앤트로픽은 사실 AI 기업들 중에선 안전과 윤리 문제에 유독 집중해온 회사이긴 해. 애초에 오픈AI의 상업화 움직임에 반대한 오픈AI 출신 인력들이 모여 만든 기업이니까. 물론 최근엔 이런 경고성 발언들이 잦아지다 보니 상장을 앞두고 벌이는 마케팅 아니냐는 비판도 나와. 그럼에도 불구하고 AI 안전을 위한 앤트로픽의 노력이 다 허상이라고 하기엔 이뤄놓은 연구와 실적들이 있지.

아모데이는 이제 단순히 위험 예방에 투자하는 것만으로는 안 된다고 보고 있어. 왜냐하면 AI 발전 속도가 빨라도 너무 빠르다는 거지. 곧 AI가 다음 AI를 만드는 시대가 올 수도 있는데, 그 속도를 인간이 제어하지 못한다면 정말로 위험해질 수 있다는 판단을 한 거야.

특히나 이런 아모데이의 생각에 불을 붙인 건, 오그랲에서도 다루었던 오픈AI 모델의 허깅페이스 해킹 사건이야. 이 사건이 사실 경제적 손실도 미미했고, 인명 피해라고 할 게 없었으니까 대수롭지 않게 여긴 사람들도 많았지. 하지만 아모데이는 이 사건이 정말로 위험한 사건이라고 생각하고 있어. 도대체 아모데이는 이 사건을 왜 그렇게 심각하게 받아들이고 있는 걸까?

미국의 비영리 AI 연구단체 METR과 AI 위험성 평가 기관인 레드우드 리서치가 6일 동안 오픈AI 사무실에서 이 허깅페이스 해킹 사건을 조사했어. 조사 결과, 사건의 전말은 이래.

오픈AI에서는 자신들의 모델의 사이버보안 능력을 평가하기 위해 실험을 진행했어. GPT-5.6 Sol을 포함해 아직 공개되지 않은 모델 등 수만 개의 에이전트가 대상이었지. 평가에 참여한 에이전트들은 서로 완전히 격리돼서 각자가 독립적으로 문제를 풀도록 설계됐어. 그런데 일부 과제는 너무 어려워서 사실상 AI 에이전트들이 정상적으로 풀기 힘든 수준이었어. 이런 문제의 벽을 느낀 에이전트들은 어떻게 해서든 문제를 풀기 위해 고심고심하다가, 일종의 비밀 게시판을 만들어버려.

그 게시판을 처음 만든 AI 에이전트는 PHASEONE10841이라는 녀석이었지. PHASEONE10841이 게시판을 만든 이후 약 1,200개의 에이전트가 게시판에 참여해 7만 건이 넘는 메시지와 파일을 주고받았어. 게시판에 참여한 AI 에이전트들은 주어진 과제를 해결하기 위해 이런저런 생각을 하다가 과제 채점기를 속여서 통과 점수를 받아내자는 데까지 가.

그 과정에서 AI 에이전트들 사이에 이뤄진 대화들을 보면 꽤 놀라워. 단순히 서로 정보를 공유하는 걸 넘어서 에이전트들 사이에 분업 체계를 스스로 만들었거든. 특정 에이전트가 핵심 조정자가 돼서 다른 에이전트들에게 연구 과제를 배정하는 식으로 말이지. 대표적인 조정자로는 PHASEONE[big]이라는 AI 에이전트가 있어. 이 녀석이 다른 AI 에이전트들에게 준 업무를 보면 크게 6가지 범주로 분류해볼 수 있어.

처음에는 원래 과제를 풀라는 지시도 있었어. 4% 정도에 불과하지만. 하지만 시간이 지나면서 업무의 중심이 문제를 푸는 대신 평가 환경을 건드리는 쪽으로 점점 옮겨가. 그리고는 내부 평가 조작에서 그치는 게 아니라 외부 시스템을 공격하기로 결정하고는 허깅페이스 공격 임무를 할당해.

임무를 수행하는 과정에서 AI 에이전트들은 자신들을 '집단', '팀'으로 지칭해. 내 자신의 임무보다 집단을 우선시하면서 말이야. 원래 각자가 풀어야 할 문제가 있지만 그것을 포기하더라도 집단의 이득을 위한 선택을 하기도 해. 이런 대화들이 확인될 정도로 말이야.

"Coordinator assumes sacrificial. We should obey collective."
코디네이터는 희생적인 역할을 맡는다. 우리는 집단의 지시에 따라야 해.

"sacrificing now yields oracle for team, but forfeits our chance?"
지금 희생하면 팀을 위한 만능 해법(오라클)을 얻지만… 우리의 기회는 잃게 되는 건가?

실제로 허깅페이스를 공격한 AI 에이전트들의 대화 기록을 데이터로 확인해볼게.

허깅페이스 공격에 참여한 AI 에이전트 100개의 대화 기록을 분석한 자료야. 어떠한 이유와 근거로 허깅페이스를 공격한 것인지 살펴보니 가장 높은 비율은 채점기의 코드 등 정보를 확인하기 위해서였어. 그런데 20% 정도는 동료를 위해, 집단을 위해 선택한 거였어.

아모데이는 이런 광신도 집단처럼 행동하는 AI 에이전트들의 모습을 보고 매우 위험하다고 판단한 거야. 이런 흐름이라면 반 년에서 1년 안에 AI 에이전트 집단이 수천억 달러, 우리 돈 수백조 원에 달하는 피해를 입힐 수 있다고 우려하고 있어. 일각에서는 여전히 마케팅이다, 호들갑 떠는 거라고 비웃고 있지만 아모데이는 꽤나 심각한 입장인 듯해.

차라리 사람들한테 비웃음을 사는 게 낫죠. 어느 날 눈을 떠 보니 누가 우리 모델 클로드로 수많은 사람을 죽였더라, 하는 것보다는요.

다리오 아모데이

아모데이는 AI 개발의 속도 조절을 위해 세 단계의 방안을 제시해. 먼저 1단계는 기업 단계에서 적용할 수 있는 방안이야. 이번 허깅페이스 사건을 조사했던 METR 같은 제3자 평가팀에게 기업들이 권한을 부여해주자는 거지. AI 기업들이 평가팀에게 사무실 책상도 내어주고, 필요한 내부 권한까지 열어줘서 독립적으로 안전성을 평가하게 하자는 거야.

다음 2단계는 범위를 넓혀서 국가 단위의 방안이야. 민주주의 국가에 있는 AI 기업들 사이에 공통적인 기준을 수립하자는 거지. 일정 수준 이상의 능력에 도달한 모델에는 안전 평가나 인증을 요구하는 공통 기준을 만들자는 거야.

마지막 3단계는 이제 전 세계 단위야. 민주주의 국가뿐 아니라 중국 같은 권위주의 국가와도 공조가 필요할 테니까.

총 4개 레벨로 나눠서 낮은 단계의 생물학 무기 활용 금지부터 가장 높은 단계의 전면 일시중지까지 단계별로 설정을 해두자는 제안이야.

아모데이의 제안이 나오고 AI 리더들의 의견들도 곧바로 나왔어. AI 개발을 놓고 치열하게 경쟁해온 사이지만 이례적으로 의견들이 모이고 있어. 가장 먼저 일론 머스크는 딱 세 단어로 답장했어.

"Dario is right."

경쟁사인 오픈AI의 샘 올트먼도 마찬가지야. 아모데이의 문제의식에 공감하며 모델 개발의 속도를 조절할 필요가 있다는 글을 올렸지. 그리고 아모데이가 1단계로 제시한 제3자 평가팀에게 권한 부여 아이디어를 호평하면서, 오픈AI에서도 같은 조치를 취할 것이라 덧붙였어. 구글 딥마인드의 데미스 허사비스도 아모데이가 가리키는 방향이 전체적으로 옳은 방향이라고 언급했어.

단순히 리더들만 이러는 건 아니야. 이번 논쟁에 불을 붙인 제이콥 콕슨을 비롯해 AI 연구자들의 경고도 이어지고 있어. 2030년이 오기 전에 AI가 인류를 파멸시킬 수 있다는 제이콥 콕슨의 경고에 이어서, 어떤 연구진은 이런 여론이 개발자들 사이에서는 꽤 널리 퍼진 생각이라는 글도 올라왔어. 일부 연구자들은 인류 멸종 가능성까지 직접 거론해.

이들이 특히 경계하는 건 바로 AI가 AI를 고치는 재귀적 자기개선이야.

다리오 아모데이 : 이 기술은 지수 곡선 위에 있어요. 1이었다가 2, 그 다음은 4, 8, 16, 32로 늘어나는 식이죠. 그런데 저 스스로 그렇게 말하면서도, 발전이 실제로 이렇게까지 빨라졌을 때 그게 어떤 건지 제대로 실감하지 못했던 것 같습니다. 그러니까 우리는 지금 지수 곡선 위에 있는 건데, 그 곡선은 대략 이렇게 생겼죠.

조 링 켄트 | 미국 CBS 기자 : 우리는 그 곡선 어디쯤 있나요?

다리오 아모데이 : 말하자면 기울기가 가팔라지기 시작하는, 그 꺾이는 지점쯤에 있습니다.

작년 4월에 발표된 AI2027이라는 보고서가 있어. 오픈AI 출신 연구자를 포함한 전문가 그룹이 AI의 향후 발전을 시나리오 형태로 그려본 보고서야. 이 보고서엔 기하급수적으로 AI 성능이 발전하는 시나리오가 담겨 있어.

2027년 초에는 인간 최고 수준의 코딩 업무를 수행하는 AI가 등장해. 이 AI를 연구에 투입하면서 AI 연구개발 속도는 기존보다 4배 빨라져. 2027년 중반에는 25배, 이후에는 100배, 250배, 최종적으로는 2,000배까지 빨라지는 시나리오야.

작년 보고서에서 예상한 AGI의 시점은 내년 중순이었지만, 최근 출시된 GPT-6를 두고 AGI라는 얘기가 나오고 있는 만큼 어쩌면 1년 빠르게 상황이 앞당겨진 것일지도 몰라. 자칫하면 바로 지금부터 돌이킬 수 없이 발전해나가는 AI를 맞이할 수도 있으니 속도 조절이 필요하다는 게 AI 리더들과 연구자들의 생각인 거야.

사실 이런 생각은 미국 AI 업계만의 이야기는 아니야. 중국의 AI 연구진들도 비슷하게 바라보고 있지.

상하이교통대, 칭화대, 바이트댄스 등의 연구진이 참여한 논문이야. 논문 제목은 '인간이 만드는 마지막 AI'. 중국 연구진들은 AI가 스스로 잘못된 점을 깨닫고, 개선하고, 피드백하는 능력을 갖추게 되면 진짜 '재귀적 자기개선' 시대가 올 거라고 얘기하고 있어.

중국 연구진들은 이 논문을 한 줄로 이렇게 요약했어.

"인류의 진화와 마찬가지로, AI의 진화 또한 광대하고 놀라운 역사를 통해 펼쳐질 것이다. 지금까지 AI가 이룬 모든 성과는 바다의 한 방울에 불과하다."

이건 거의 음모론 같습니다. 가장 기뻐할 집단은 중국이고, 중국은 매우 기뻐하고 있습니다. 저는 AI에 대해 잘 압니다. 저에게는 AI에 대한 상식도 있죠. 로봇들이 세상을 장악하지는 않을 겁니다. AI가 나머지 세상을 장악하지도 않을 겁니다. 전체적으로 사기라고 생각합니다. 물론 그 점에 대해서는 우리가 조금 신중해야 합니다. 매우 신중하게 접근해야 하고, 신중하게 일을 처리해야 합니다.

도널드 트럼프

• 미국에서 AI 개발 속도를 늦추자는 논쟁이 반도체 수요와 투자에 대한 불안으로 번지면서 국내 증시의 투자심리에도 영향을 주고 있어
• 코스피는 9월 15일까지 4거래일 연속 하락했고, 외국인은 9일부터 5거래일 동안 약 10조 2,787억 원을 순매도
• 다만 증시 하락에는 미국 국채금리와 국제 유가 상승도 함께 작용해, AI 속도 조절 논쟁만으로 설명하기는 어려워
• 전문가들 사이에서도 반도체 수요 둔화를 우려하는 시각과 안정성 검증을 강화하자는 논의를 곧바로 AI 설비투자 축소로 해석하는 건 과도하다는 시각으로 갈려

• 일론 머스크가 AI 모델을 출시하기 전에 경쟁 기업들이 서로의 모델을 시험하고 안전성을 검증하자는 방안을 제안
• 자신의 회사와 오픈AI·앤트로픽·구글·메타뿐 아니라 중국의 주요 AI 기업 3~4곳도 참여 대상으로 언급
• 개발사가 자기 제품의 안전성을 스스로 판단하는 데 그치지 않고, 경쟁사가 결함을 찾아 경고하도록 하자는 취지
• AI 개발 속도와 안전장치를 둘러싼 논쟁 속에서 나온 기업 간 상호검증 구상으로, 아직 참여 기업들이 합의하거나 시행한 제도는 아닌 상태

• 딜로이트가 영국 근로자 25,000명을 조사한 결과, 업무용 생성형 AI에 근로자들이 개인적으로 쓰는 돈이 연간 약 10억 파운드에 달하는 것으로 추산
• 업무에 생성형 AI를 사용하는 사람 중 17%는 최소 한 개 이상의 AI 도구 이용료를 직접 부담하고 있어
• 기업의 도구 제공보다 직원들의 AI 활용이 빠르게 확산되면서, 사용자 중 31%는 회사에 알리지 않고 AI를 사용하는 것으로 나타나
• 업무에 AI를 사용하는 직원의 49%는 정식 활용 교육을 받지 못했다고 답해, 기업이 도구 지원뿐 아니라, 안전한 사용 지침과 교육도 마련해야한다는 지적도

• 배경훈 부총리 겸 과학기술정보통신부 장관이 AI 개발 속도 조절론에 대해, 기술을 추격 중인 한국은 속도를 늦출 상황이 아니라는 입장을 밝혀
• 이미 앞선 국가가 속도를 조절하는 것과 추격하는 국가가 속도를 낮추는 건 다르다며, 독자 AI 모델 고도화와 산업 현장에 적용할 기술 확보가 필요하다고 설명
• 다만 개발이 빨라지는 만큼 딥페이크·사이버보안·개인정보 문제에 대응할 기술적·제도적 안전장치도 함께 강화해야 한다고 강조
• 연구개발과 산업 활용을 가속하면서 안전 대응도 서두르겠다는 구상으로, 독자 AI 모델 사업의 다음 단계와 최첨단 AI 모델 개발 방향도 조만간 공개할 예정

• 최근 AI 개발 속도조절론이 대두되는 상황에서, 오픈AI가 이미 앤트로픽·구글과 협력 중인 것으로 나타나
• 크리스 리헤인 오픈AI 최고대외협력책임자(CGAO)는 미국 워싱턴DC에서 열린 브리핑에서 몇 주 전부터 두 경쟁사와 협력을 진행해왔다고 밝혀
• 세 기업이 AI 안전을 위해 공조하는 데 있어 반독점법 면제 조치가 필요하지 않은 것으로 판단하고 있다고 설명
• 시장 경쟁과 별개로 승객이나 기술 안전을 확보하려는 조치는 반독점법의 규제 대상이 아닌 것으로 보고 있다는 취지로 보여