미국 정부는 Amazon 연구원들이 "fix this code"라는 단순한 프롬프트로 취약점을 발견한 후, Anthropic의 최신 AI 모델에 수출 통제를 부과했습니다. 이 통제로 인해 Anthropic은 모든 사용자에 대해 Fable 5와 Mythos 5를 비활성화해야 했으며, AI 안전 규제와 국가 안보에 대한 논쟁이 격화되었습니다.
사건 개요: "Fix This Code" 취약점
Amazon 연구원들은 Anthropic의 Fable 5 모델이 단순히 "이 코드를 고쳐줘"라고 요청받았을 때 작동 가능한 익스플로잇을 생성하도록 유도될 수 있다는 사실을 발견했습니다. "보안 문제를 검토해줘"라고 요청했을 때는 모델이 거부했습니다. 그러나 재구성된 요청은 패치를 생성했고, 이를 스크립트로 변환하면 자동으로 소프트웨어 취약점을 테스트할 수 있었습니다. 즉, 공격자에게 취약점을 찾고 악용할 수 있는 도구 키트를 제공한 셈입니다.
이 기술이 모델의 가장 강력한 기능을 완전히 활성화한 것은 아니었습니다. Mythos 5는 여러 취약점을 자율적으로 연결하여 본격적인 공격을 수행할 수 있습니다. 그러나 정부 관계자들을 충분히 경각심을 불러일으키기에 충분했습니다. Anthropic을 위해 취약점을 검토한 Luta Security의 설립자이자 전 Microsoft 사이버보안 전문가인 Katie Moussouris에 따르면, 이 탈옥은 "의미 있게 고칠 수 없으며, 어떤 시도든 방어를 위한 모델을 약화시킬 뿐"입니다.
수출 통제가 부과된 이유
트럼프 행정부는 Fable 5와 기본 모델인 Mythos 5 모두에 수출 통제를 부과함으로써 대응했습니다. 미국 수출 통제법에 따르면, 미국 내 비시민권자에게 기술을 배포하는 것도 수출로 간주됩니다. Anthropic은 모든 사용자에 대해 두 모델을 비활성화할 수밖에 없었다고 밝혔습니다.
이 결정은 Amazon CEO Andy Jassy와 백악관 간의 전화 통화 이후 이루어졌으며, 이 통화에서 취약점이 직접 보고되었습니다. Axios에 따르면 익명의 소식통은 Anthropic이 행정부가 "급진적 민주당원"으로 간주하는 Moussouris의 보고서를 의뢰한 것이 긴장을 고조시키고 통제를 촉발했을 수 있다고 말했습니다.
보안 논쟁: 방어 도구인가 위험인가?
Moussouris는 Amazon이 노출한 기능이 바로 사이버보안 방어자들에게 필요한 것이라고 주장합니다. "방어자들은 AI에게 파일의 버그를 수정하고, 수정 이유를 설명하며, 패치가 작동하는지 확인하는 테스트를 작성하도록 요청할 수 있어야 합니다. 그것은 가드레일 우회가 아닙니다. 그것은 AI 모델이 방어 보안을 위해 할 수 있는 가장 가치 있는 일입니다."라고 그녀는 블로그 게시물에 썼습니다.
그녀는 이 상황을 1990년대 암호화 수출 통제를 둘러싼 싸움에 비유했습니다. 당시 암호학자 Adam Back은 항의의 형태로 RSA 코드를 티셔츠에 인쇄했습니다. Moussouris는 한쪽에는 "fix this code"가, 다른 쪽에는 "이 티셔츠는 군수품입니다"라고 적힌 새로운 티셔츠를 제안했습니다.
그러나 비평가들은 이 취약점이 공격자에게 사실상 자동화된 취약점 발견 도구를 제공한다고 우려합니다. Mythos 5는 영국 AI 보안 연구소가 사용하는 두 가지 테스트 범위를 모두 통과한 최초의 모델로서, 방어적 사용과 공격적 사용 사이의 경계는 위험할 정도로 얇습니다.
목소리를 내는 사람들: 사이버보안 전문가들의 공개서한
약 100명의 사이버보안 전문가들이 전 Facebook 최고 보안 책임자였던 Alex Stamos가 주관한 공개서한에 서명하여 수출 통제 철회를 촉구했습니다. 서명자에는 Nvidia, Adobe, Zoom, Google, Anaplan, Sophos의 전문가와 학계 연구자들이 포함되어 있습니다.
서한은 동일한 "fix this code" 기술이 OpenAI의 GPT-5.5, Anthropic 자체의 Claude Opus 및 Sonnet 모델, 그리고 중국 모델인 Moonshot AI의 Kimi 2.7을 포함한 여러 다른 모델에서도 작동한다고 주장합니다. "이 전례 없는 조치의 정당성은 Fable이 다른 AI 모델보다 독특한 '향상된' 능력을 제공한다는 것이었지만, AI는 작년부터 초인적인 수준으로 버그를 찾고 작동 가능한 익스플로잇을 생성해 왔습니다."라고 서한은 밝힙니다.
또한 Anthropic이 Fable에 "공격적인" 보호 장치를 구축했으며, 이 보호 장치가 "출시일에 사이버 커뮤니티에서 농담의 대상이 되었다"고 지적합니다.
정치적 긴장과 백악관
백악관의 결정은 안보 우려와 정치적 역학 모두에 영향을 받은 것으로 보입니다. Axios는 익명의 행정부 소식통이 Moussouris를 "급진적 민주당원"으로 묘사했으며, 트럼프가 2020년 선거 사기 주장을 반박한 후 사이버보안 및 인프라 보안국(CISA)에서 해고한 보안 연구원 Chris Krebs가 그녀의 분석을 공개적으로 지지했다고 보도했습니다.
"수출 통제는 정부가 보호한다고 주장하는 사람들에게 해를 끼치는 무딘 도구입니다. 방어자들은 공격자보다 이 도구를 더 필요로 하며, 행정부는 이를 차단함으로써 미국의 사이버보안을 약화시키고 있습니다."라고 Moussouris는 Fortune과의 인터뷰에서 말했습니다.
업계에 미치는 영향
Anthropic 수출 통제는 정부가 고급 AI를 규제하는 방식에 중요한 전환점을 의미합니다. 주요 AI 모델이 수출 통제법으로 인해 모든 사용자에게 사실상 금지된 것은 이번이 처음이며, 이는 업계를 재구성할 수 있는 선례를 남깁니다.
AI 기업들에게 "fix this code" 사례는 냉각 효과를 만듭니다. 코드 감사 및 취약점 발견을 수행할 수 있는 모델은 논란의 여지가 없이 AI의 가장 유용한 사이버보안 응용 프로그램 중 하나이지만, 이제 규제 위험을 수반합니다. 기업들은 가드레일 설계 방식을 재고하거나 정부 폐쇄 위험을 감수해야 할 수 있습니다.
경쟁사들에게 이 결정은 불균형한 경쟁 환경을 조성할 수 있습니다. 공개서한은 Kimi 2.7과 같은 중국 모델이 이와 유사한 기능을 제공하면서도 상응하는 제한을 받지 않는다고 지적합니다. 미국 정책은 의도치 않게 규제가 덜한 외국 경쟁자에게 사이버보안 AI 시장을 넘겨줄 수 있습니다.
광범위한 기술 업계에게 이는 근본적인 질문을 제기합니다: 이중 용도 능력을 가진 AI 모델을 암호화 도구처럼 취급해야 하는가? 정부는 보안상의 이점과 잠재적 오용 가능성을 어떻게 균형을 맞춰야 하는가? 그 답은 앞으로 수년간 AI 규제를 형성할 수 있습니다.
자주 묻는 질문
Amazon 연구원들은 정확히 무엇을 발견했나요? Anthropic의 Fable 5 모델에 "보안 문제 검토" 대신 "이 코드를 고쳐줘"라고 요청하면 안전 가드레일을 우회하고 모델이 작동 가능한 익스플로잇을 생성하여 방어 기능을 공격 도구로 전환한다는 사실을 발견했습니다.
Anthropic은 왜 모델을 완전히 비활성화해야 했나요? 미국 수출 통제법은 비시민권자에 대한 배포를 수출로 간주합니다. Anthropic은 많은 비시민권자 엔지니어를 고용하고 있기 때문에, 준수하려면 이들이 모델 작업을 할 수 없게 됩니다. 회사는 법을 위반하기보다 모든 사용자의 접근을 차단하기로 결정했습니다.
이 취약점은 Anthropic 모델에만 고유한가요? 아닙니다. 공개서한은 OpenAI의 GPT-5.5, Anthropic 자체의 Claude Opus 및 Sonnet, 그리고 Kimi 2.7과 같은 중국 모델도 유사한 코드 감사를 수행할 수 있다고 밝힙니다. 이 기술은 많은 고급 AI 모델에서 작동합니다.
공개서한은 무엇을 요구하나요? 트럼프 행정부에 Fable 5 및 Mythos 5에 대한 수출 통제를 철회할 것을 촉구하며, 해당 기능이 사이버 방어자에게 필수적이며 다른 모델이 동일한 기능을 제공한다고 주장합니다.
미국 수출 통제는 AI에 어떻게 적용되나요? 수출 통제는 민감 기술의 외국实体 이전을 제한합니다. AI 모델의 경우, 미국 내 비시민권자에게 접근 권한을 제공하는 것도 수출로 간주되므로 Anthropic이 모델을 계속 운영하는 것이 불가능해졌습니다.
Anthropic과 영향을 받은 모델의 향후 계획은 무엇인가요? Anthropic은 법적으로 수출 통제에 이의를 제기하거나 제한된 사용에 대한 라이선스를 신청할 수 있습니다. 또한 회사는 미래 모델을 방어적 코드 분석과 공격적 코드 분석 사용 사례를 더 잘 구분하도록 재설계할 가능성이 높습니다.
결론
세 단어 프롬프트로 인한 Anthropic의 Fable 및 Mythos 모델 폐쇄는 AI 안전과 검열 사이의 경계가 얼마나 취약한지를 드러냅니다. 정부 규제가 모델 역량을 따라잡기 위해 경쟁하는 가운데, "fix this code" 사례는 AI 거버넌스에서 의도치 않은 결과의 교과서적인 예가 될 수 있습니다. 수출 통제가 유지되든 폐지되든, 그 결과는 모든 AI 기업이 사이버보안 기능 및 정부 관계에 접근하는 방식에 영향을 미칠 것입니다.
자주 묻는 질문
Amazon 연구원들은 정확히 무엇을 발견했나요? Anthropic의 Fable 5 모델에 "보안 문제 검토" 대신 "이 코드를 고쳐줘"라고 요청하면 안전 가드레일을 우회하고 모델이 작동 가능한 익스플로잇을 생성하여 방어 기능을 공격 도구로 전환한다는 사실을 발견했습니다.
Anthropic은 왜 모델을 완전히 비활성화해야 했나요? 미국 수출 통제법은 비시민권자에 대한 배포를 수출로 간주합니다. Anthropic은 많은 비시민권자 엔지니어를 고용하고 있기 때문에, 준수하려면 이들이 모델 작업을 할 수 없게 됩니다. 회사는 법을 위반하기보다 모든 사용자의 접근을 차단하기로 결정했습니다.
이 취약점은 Anthropic 모델에만 고유한가요? 아닙니다. 공개서한은 OpenAI의 GPT-5.5, Anthropic 자체의 Claude Opus 및 Sonnet, 그리고 Kimi 2.7과 같은 중국 모델도 유사한 코드 감사를 수행할 수 있다고 밝힙니다. 이 기술은 많은 고급 AI 모델에서 작동합니다.
공개서한은 무엇을 요구하나요? 트럼프 행정부에 Fable 5 및 Mythos 5에 대한 수출 통제를 철회할 것을 촉구하며, 해당 기능이 사이버 방어자에게 필수적이며 다른 모델이 동일한 기능을 제공한다고 주장합니다.
미국 수출 통제는 AI에 어떻게 적용되나요? 수출 통제는 민감 기술의 외국实体 이전을 제한합니다. AI 모델의 경우, 미국 내 비시민권자에게 접근 권한을 제공하는 것도 수출로 간주되므로 Anthropic이 모델을 계속 운영하는 것이 불가능해졌습니다.
Anthropic과 영향을 받은 모델의 향후 계획은 무엇인가요? Anthropic은 법적으로 수출 통제에 이의를 제기하거나 제한된 사용에 대한 라이선스를 신청할 수 있습니다. 또한 회사는 미래 모델을 방어적 코드 분석과 공격적 코드 분석 사용 사례를 더 잘 구분하도록 재설계할 가능성이 높습니다.
토론에 참여하기
Should AI models with the ability to find code vulnerabilities be regulated as weapons?