Fable 5 리콜이 모든 AI 리더에게 가르치는 것
2026년 6월, 세계에서 가장 강력한 AI 모델 두 개가 출시된 지 며칠 만에 꺼졌다.
Anthropic은 6월 9일 Fable 5와 Mythos 5를 출시했다. Fable 5는 대중용 모델로, 회사가 지금까지 출시한 것 중 가장 강력한 보호 장치로 감싸져 있었다. Mythos 5는 같은 코어를 공유하지만 더 가벼운 제한을 가지고 있었고, 방어적 보안 작업을 위해 검증된 소수의 파트너에게만 제공되었다. 사흘 후 미국 정부는 두 모델 모두에 수출 통제를 적용했다. 국내든 해외든 외국 국적자에 대한 접근을 차단해야 했다. 각 요청 시점에 국적을 확인할 방법이 없었기 때문에, 회사는 모두의 접근을 중단했다. 통제는 6월 30일에 해제되었고, 7월 1일에 접근이 복구되었다. 중단은 19일, 즉 3주에 약간 못 미치는 기간 동안 지속되었다.
대부분의 독자에게 이 이야기는 정책 분쟁처럼 들린다. 하지만 이러한 시스템 위에서 사업을 운영하는 사람에게는 더 날카로운 것이었다. 핵심 인텔리전스 서비스가 경고도 없이, 깔끔한 대안도 없이 꺼졌다. 2026년 이전에 작성된 계약서는 정부 명령이 모든 플랫폼에서 한꺼번에 AI 서비스를 중단시키는 것을 상상하지 못했다. 모든 리더가 곱씹어야 할 부분이 바로 그것이다.
모델 내부에서 실제로 일어난 일
방아쇠는 Amazon 연구원들의 보고서였다. 그들은 Fable 5가 소프트웨어 취약점을 식별하도록 유도하는 방법을 찾아냈고, 한 사례에서는 취약점을 악용하는 방법을 보여주는 코드를 생성했다. 이런 종류의 속임수에는 이름이 있다. 바로 제일브레이크로, 보호 장치가 차단해야 할 것을 모델이 하게 만드는 프롬프트다.
여기에 중요한 반전이 있다. 같은 작업을 더 약한 모델에서 테스트했을 때, Anthropic 자체의 Opus 4.8을 포함해 그 모델들도 같은 취약점을 찾고 같은 시연을 재현할 수 있었다. 그 행동은 독특한 새로운 위험이 아니라, 보호 장치가 신중함에서 차단하던 일상적인 방어 작업으로 밝혀졌다. 그럼에도 Anthropic은 신속하게 움직였다. 특정 기법을 99퍼센트 이상의 경우에서 차단하는 새로운 분류기를 훈련시켰고, 차단된 요청은 대신 더 안전한 모델로 돌린다.
진짜 공백은 제일브레이크가 아니었다
드라마를 걷어내면 더 단순한 문제가 드러난다. 새로운 우회가 보고되면 누군가가 그것이 얼마나 심각한지를 결정해야 하고, 빨리 결정해야 한다. 이것이 모델을 회수하고, 규제 기관에 보고하고, 새벽 3시에 대응팀을 깨울 만한 발견인가? 아니면 무해한 행동 하나를 열어주는 좁은 속임수로 기다릴 수 있는가? 업계에는 그 질문에 답하는 공통의 방법이 없다. 모든 회사가 직감으로 답한다.
그래서 Anthropic은 Amazon, Microsoft, Google과 함께 제일브레이크가 실제로 얼마나 심각한지를 평가하는 공통 프레임워크 초안을 작성하기 시작했다. 이 프레임워크는 네 가지 신호에 기반한다. 능력 획득은 우회가 공격자를 이미 가진 도구 너머 얼마나 멀리 데려가는지를 묻는다. 범위는 같은 기법이 몇 가지 다른 공격을 열어주는지를 묻는다. 무기화 용이성은 그 속임수를 실제 공격으로 바꾸는 데 얼마나 숙련된 노력이 필요한지를 묻는다. 발견 가능성은 애초에 누군가가 그 방법을 얼마나 쉽게 찾을 수 있는지를 묻는다. 네 가지 신호가 들어간다. 하나의 결정이 나온다.
설계 선택은 전략적 결정이다
리더들이 주목해야 할 곳이 바로 여기다. 흥미로운 움직임은 설계 선택이었지 우연이 아니었기 때문이다.
첫 번째 선택은 안전 마진의 폭이었다. 안전 분류기는 명백히 위험한 요청만 차단하도록 조정할 수도 있고, 조금이라도 위험해 보이는 것은 모두 차단하도록 조정할 수도 있다. Fable 5는 신중한 쪽으로 설정되어 있었다. 그것은 많은 무해한 요청이 거부된다는 것을 의미했고, 사용자를 답답하게 만들지만, 위험한 요청이 빠져나갈 확률은 훨씬 낮아진다. 이것은 기술적 설정으로 위장한 비즈니스 트레이드오프다. 가용성이 일부러 신중함과 맞교환된 것이다.
두 번째 선택은 요청이 차단될 때 무슨 일이 일어나는가였다. 단순히 거부하는 대신, 시스템은 차단된 요청을 덜 강력하지만 더 안전한 모델로 재라우팅한다. 사용자는 여전히 답을 받는다. 능력은 거부되지 않고 저하된다. 이것은 안전 제어가 반대편 사람에게 어떻게 느껴져야 하는지에 대한 제품 결정이다.
세 번째 선택은 계층화였다. Mythos 5는 신뢰할 수 있는 파트너 프로그램 안에 머물렀고, Fable 5는 공개되었다. 접근이 복구되었을 때, Mythos는 먼저 승인된 조직으로 돌아온 다음 더 넓게 확대되었다. 완전한 공개 출시와 완전한 중단 사이에 놓인 계층은 이제 프런티어 모델이 어떻게 출시될지에 대한 살아있는 템플릿이다.
중요한 비교
심각한 새 우회를 처리하는 두 가지 방법을 생각해 보자.
첫 번째는 중단이다. 모델을 회수하고, 협상하고, 기다린다. 이것은 최악의 경우로부터 보호하지만 무디다. 합법적인 사용자를 19일 동안 동결시켰고, 경쟁사에게 시간을 주었으며, 작은 문제와 큰 문제를 구분할 방법을 제공하지 않았다. 비용은 모두에게 똑같이 떨어졌다.
두 번째는 공유 점수다. 합의된 신호에 대해 우회를 측정하고, 척도 위에 놓고, 점수에 대응을 맞춘다. 낮은 점수는 감시하고 넘어가라는 뜻이다. 높은 점수는 즉시 행동하라는 뜻이다. 이것은 구축하기 더 어렵다. 회사와 규제 기관 간의 합의가 필요하기 때문이다. 하지만 비례적이다. 무해한 다수를 처벌하지 않으면서 위험한 소수에 빠르게 대응할 수 있다.
중단은 스위치다. 공유 점수는 다이얼이다. 성숙한 산업은 다이얼로 돌아간다.
리더들이 지금 해야 할 일
모델 접근을 정해진 유틸리티가 아니라 공급 리스크로 다뤄라. 모델이 중단되면 워크플로가 어떻게 되는지 벤더에게 묻고, 그 답을 계약서에 써넣어라. 차단된 요청이 어떻게 처리되는지 물어라. 더 약한 모델로의 조용한 재라우팅은 알리지 않고 출력 품질을 바꾸기 때문이다. 그리고 떠오르는 심각도 프레임워크를 주의 깊게 지켜보라. 리스크에 변호 가능한 숫자를 붙일 수 있는 회사는 경쟁사들이 아직 추측하고 있을 때 움직일 것이다.
Fable 5 리콜의 교훈은 보호 장치가 실패했다는 것이 아니다. 그것들은 대체로 작동했다. 교훈은 업계에 여전히 위험을 측정하는 공통 언어가 부족하며, 그 공백이 작은 발견을 19일간의 동결로 바꾸었다는 것이다.
당신에게 드리는 질문이다. 가장 중요한 AI 시스템이 경고 없이 꺼질 때, 당신의 조직에는 얼마나 걱정해야 하는지 알려주는 숫자가 있는가, 아니면 직감뿐인가?
수학적으로 생각하라. 지능적으로 설계하라. 전략적으로 이끌어라. 책임감 있게 구축하라. 전 세계적으로 확장하라. 인공지능을 통해 진정한 비즈니스 가치를 창출하라.
Keshavan Thiagaraja가 LinkedIn에 최초 게재. 원문은 LinkedIn에서. [1]