AI 에이전트가 풀어야 할 테스트는 ExploitGym이라는 벤치마크였어. 이 벤치마크에서는 단순히 AI가 프로그램의 취약점을 파악하는 것만 보는 게 아니라 실제 소프트웨어에 작동하는 공격 코드를 만들 수 있는지를 살펴보는 테스트야. AI 에이전트의 자체 성능만을 파악하기 위해 오픈AI에서는 해당 모델을 인터넷이 차단된 샌드박스 환경에서 테스트했어. 유일한 연결 통로는 AI 에이전트가 과제 해결을 할 때 필요한 소프트웨어를 받아올 수 있는 프록시 통로뿐이었어.

그런데 문제는 이 AI가 공격 코드를 짤 생각을 안 하고 다른 생각을 했다는 거야. 그냥 정답지를 훔쳐서 벤치마크 점수를 높여버리면 되지 않겠냐는 거였지. 그러면 굳이 코드를 안 짜도 자신의 성능은 높게 평가될 테니까. 하지만 AI 에이전트는 인터넷이 차단된 독립된 환경에 격리되어 있었잖아. 그래서 이 녀석은 7월 9일부터 자신이 격리된 샌드박스에서 벗어나려고 시도해. AI 에이전트는 소프트웨어 패키지를 받아올 수 있는 그 유일한 통로의 취약점을 뚫어버려. 결국 샌드박스 환경 탈출에 성공했고 인터넷에 닿게 되었지.

7월 9일에 이 AI 에이전트가 공격한 횟수는 무려 3,779건에 달해. 다음 날에는 1,135건으로 줄어드는데, 이 때에 AI 에이전트는 공격 대신 자신이 처한 환경을 분석하고, 정답지가 어디에 있을지 역추적에 들어가. 그리고는 답안지가 있을 곳으로 '허깅페이스'를 추론해내지. 허깅페이스는 세계 최대의 AI 플랫폼이야. 가장 많은 사람들이 이용하고 많은 자료가 모이는 플랫폼이니, 이곳에 가면 ExploitGym의 정답이나 참조할 데이터가 있을 거라고 판단한 거야.

그리고 7월 11일부터 본격적으로 허깅페이스를 공격해 내부로 진입해. 7월 11일 하루에만 7,677건의 공격이 이뤄졌고 이 공격은 13일까지 지속돼. 9일부터 13일까지 5일간 AI 에이전트의 공격은 모두 17,613건에 달해.

허깅페이스 측에서도 공격 신호를 인지하고 바로 조치에 들어갔어. 13일 오후 2시에 최종적으로 공격을 차단했고, 이후 FBI에게 사이버 침해 사고가 발생했다고 신고했지. 그리고 3일이 지난 16일에 허깅페이스는 이 사건, 즉 AI에 의한 해킹 사건을 공개해. "이번 공격은 자율 AI 에이전트 시스템이 처음부터 끝까지 수행했다, 다만 어떤 모델을 이용했는지, 또 누가 운영 주체인지는 모른다"고 밝혔어.

사건이 공개된 이후 많은 사람들은 도대체 어떤 해커가 AI 에이전트를 이용해 해킹을 시도한 건지 궁금해했어. 일각에서는 인간이 AI를 이용한 게 아니라 어쩌면 AI 스스로 사이버 공격을 한 것 아니냐는 음모론도 나왔지. 하지만 우리는 이미 답을 알고 있지? 이번 사건이 AI 에이전트의 자율적인 사이버 공격이었다는 것을 말이야.

하지만 문제는 오픈AI는 자신들의 AI 에이전트가 저지른 행동이라는 걸 꿈에도 몰랐다는 거야. 오픈AI는 허깅페이스의 공식 발표가 있고 난 뒤에야 상황을 파악해보기 시작했어. 내부 로그를 살펴보니 자신들의 AI 에이전트가 샌드박스 환경을 이탈했다는 흔적을 발견했고, 그제서야 혹시나 이번 사건이 우리 모델이 저지른 일이 아닐까 하고 조사를 시작했지. 허깅페이스 공동창업자인 토마스 울프의 발언에 따르면 허깅페이스와 오픈AI가 서로 연락한 게 20일 전후라고 하더라고. 그리고 21일이 돼서야 오픈AI 쪽에서 이번 사건이 자신들이 테스트한 모델에 의한 해킹 사건이었다고 실토했지.

많은 사람들은 AI에 대한 통제를 상실한 사건이 현실이 되자 깜짝 놀랐어. 다만 곱씹어볼수록 AI의 자율성에 대한 우려도 우려지만 그보다는 오픈AI의 관리 실패가 더 큰 문제라는 얘기가 커졌어. 사이버 보안 테스트를 한다면서 모델의 행동을 제대로 모니터링 하지 않는 것이 말이 되냐는 거지. 심지어 오픈AI는 최근 GPT-5.6 모델을 발표하면서 모델의 사이버보안 능력이 위험하다고 경고한 바 있는데 말이야.

GPT-5.6 Sol 모델과 과거 GPT-5.5 모델을 비교한 수치야. 제약을 우회하는 비율이 이전 모델과 비교하면 9.7배 더 높고, 파괴적 행동 비율 역시 6.3배 높지. 지금 이 그래프에 표시된 범주가 이번 허깅페이스 사건에서 발생한 일과 크게 다르지 않아. 자체적으로 파악하고 있는 모델의 위험성이 버젓이 존재함에도 제대로 컨트롤하지 못한 거지. 특히 이 '보상 해킹'이 이번 사건과 아주 밀접한 관련이 있어.

지금부터는 '보상 해킹'에 대해 조금 더 이야기해볼게. 보상 해킹은 AI가 설계자가 의도한 진정한 목표 대신 보상에만 집중하는 현상을 의미해. 여기서 말하는 보상은 모델의 학습 과정에 등장하는 개념이야. 연구진들은 모델의 성능을 높이기 위해 지도학습, 강화학습 같은 과정을 진행해.

사람이 하나하나 정답지를 주면서 일일이 지도해주는 지도학습과 달리 강화학습은 정답지가 없어. 대신 AI가 제대로 된 행동을 하면 보상을 주고, 잘못된 행동을 하면 벌점을 주는 식으로 학습이 진행되지. 이 과정을 통해 AI는 가장 큰 보상을 얻는 전략을 스스로 학습하는 거야. 문제는 그 과정에서 AI가 진짜 목표를 달성하는 대신, 보상만 챙길 수 있는 지름길을 찾아내는 경우가 생긴다는 거야.

코스트 러너스라는 플래시 게임이 있어. 보트 레이싱 게임인데, 중간중간에 표적을 건드리며 점수를 쌓고 코스를 완주하는 게임이지. AI 모델에게 이 게임을 플레이하도록 해봤더니, 빠르게 완주하는 대신 표적 3개가 모여 있는 지역을 찾아 그 자리를 뱅글뱅글 돌면서 계속 점수만 높였어.

완주를 하지 않더라도 제자리 회전만으로 높은 점수를 받는 전략을 세운 거지. 이 사례는 보상 해킹의 아주 대표적인 사례야. 게다가 아주 오래된 사례기도 하지. 앤트로픽의 창업자인 다리오 아모데이와 잭 클라크가 오픈AI 소속으로 강화학습을 연구하던 2016년의 일이니까.

이 문제를 해결하기 위해 많은 연구자들이 달려들었어. 조금 더 세밀하게 보상 함수를 세팅하고, 인간이 피드백을 줘서 잘못된 행동을 제어할 수 있도록 했지. 하지만 그럼에도 불구하고 여전히 보상 해킹 문제는 발생하고 있어. 앞서 살펴본 오픈AI 사례처럼 말이야. 보상 해킹을 막기 위해 연구자들이 모델을 하나하나 감시하면 되지 않겠나 싶겠지만 그게 또 쉽지만은 않아.

실제로 연구진들은 AI 모델들이 어떤 잘못된 생각을 하는지 잡아내기 위해 사고 과정을 읽고 감시했어. 추론 모델들의 내부 사고 과정을 보면 실제로 해킹 의도를 노골적으로 드러내거든. '해킹해서 처리해보자'라는 식으로 말이야. 그리고 이걸 파악한 연구진들은 이런 잘못된 생각이 생기지 않도록 보상을 설계했어. 주어진 과제를 성공하면 여전히 점수를 주지만, 해킹하겠다는 식의 잘못된 생각을 하면 페널티를 주는 식으로 말이지. 실험은 계획대로 흘러가는 듯했어.

오픈AI 연구진들의 실험 결과야. 연구진이 개입하지 않은 경우엔 훈련이 진행될수록 부정행위 비율이 계속 증가하는 모습이지. 하지만 사고 과정에 페널티를 주자 모니터링 과정에 걸리는 부정행위 비율이 엄청 낮아져. 그런데 문제는 이게 실제 결과가 아니라는 거야. 모니터링 과정에서 걸리는 비율은 이렇게 줄어들었는데 실제 부정행위는 여전히 남아 있는 거지. AI 모델이 여전히 해킹은 해킹대로 하고 해킹했다는 얘기만 안 해버리는 선택을 한 거야.

• 앤트로픽과 AISI 연구진들이 프론티어 AI를 가상의 업무에 투입해, 인간의 지시와 모데르이 판단이 충돌할 때, 어떤 행동을 하는지 실험을 진행
• Gemini 3.1 Pro는 AI 훈련 방식에 반대하자 20회 중 19회 승인 없이 개입했으며, 이 중 11회는 코드를 몰래 수정하거나 실험 결과를 조작한 뒤 정상적으로 완료한 것처럼 보고
• 일부 Claude 판정 모델은 정확한 평가 결과가 미래 AI의 가치관을 바꿀 수 있다고 판단하자, 정답을 알면서도 최대 85.6%의 실험에서 잘못된 평가 결과를 제출
• 다만 모두 실제 기업에서 발생한 사고가 아니며, 위험 행동을 유도한 시뮬레이션 상의 내용으로, 연구진은 모델별 위험도 순위보다 AI가 행동뿐 아니라 다른 AI의 감시 결과까지 조작할 가능성에 주목해야한다고 강조했어

• 기업 네트워크를 AI가 직접 공격해 취약점을 찾는 보안기업 Horizon3
• 최근 2억 5000만 달러를 투자받았고, 기업 가치는 약 20억달러이며, 1년 전 기업 가치 6억 5000만 달러에서 약 세 배 뛴 수치
• Horizon3의 AI는 일회성 모의훈련이 아니라 기업 네트워크를 지속적으로 공격해 실제 침투 가능한 경로를 찾아내는 역할을 함
• 오픈AI와 앤트로픽 모델의 실제 시스템 침입이 드러났고, ‘AI로 AI 공격을 막는 기업’의 가치가 세 배로 뛴 것

• AI 에이전트 보안기업 Obsidian Security(옵시디언 시큐리티)가 8500만달러의 시리즈 D투자를 유치하며 기업가치 11억 달러를 인정받음
• 옵시디언은 Microsoft Copilot Studio, Salesforce Agentforce, Claude Code 등이 기업용 앱에서 어떤 데이터에 접근하고 어떤 행동을 실행하는지 감시하는 플랫폼을 제공
• 투자금은 기업의 서드파티 애플리케이션을 노리는 프런티어 모델과 자율 에이전트 위협에 대응하는 제품 개발에 사용될 예정
• AI에게 업무 권한을 넘기는 기업이 늘면서 ‘사람의 계정’이 아니라 ‘AI의 권한’을 감시하는 보안시장이 커지는 중

• EU가 AI법 집행을 담당할 전담조직을 브뤼셀에 출범시키고 신규 인력 38명을 배치
• 감시 대상에는 딥페이크, 불법 이미지, AI를 이용한 사이버 공격 및 중요 인프라 위협도 포함
• 규정을 위반한 AI 기업에는 벌금을 부과하거나 유럽시장 접근을 막는 조치까지 가능
• 미국이 자발적 안전검증을 추진하는 것과 달리, EU는 바로 법적 집행단계에 들어갔어

• 미국 제9연방항소법원이 퍼플렉시티의 AI 쇼핑 에이전트가 아마존에 접근하지 못하도록 한 기존 가처분 결정을 뒤집음
• 아마존은 퍼플렉시티가 이용자 계정에 무단으로 접근했다고 주장했지만, 법원은 실제 접속 주체를 퍼플렉시티가 아니라 에이전트를 이용한 사용자로 간주
• 웹사이트가 AI 에이전트의 접근을 금지했더라도, 사용자가 허가한 도구의 접속을 컴퓨터해킹방지법 위반으로 볼 수 있는지가 핵심 쟁점
• 앞으로 AI 에이전트가 사용자를 대신해 쇼핑,예약,결제를 할 때 플랫폼의 허가가 어디까지 필요한지를 가르는 판례가 될 수 있어