수조 토큰 거래 포기, A사 수만 계정 차단…증류 데이터 99% 삭감

Anthropic은 자사 플랫폼에서 증류(distillation)로 가져갈 수 있는 추론 데이터가 약 90%~99% 줄었다고 발표했다. 규모는 기존의 1/10~1/100 수준이다. 수만 개의 관련 계정이 퇴출되었고, 일부 계정은 증류를 시작한 지 두 시간도 안 되어 차단되었다. 회사는 세 가지 방어책을 사용했다. 첫째, 추론 내용은 재사용할 수 있지만 함부로 전달하지 못하도록 했다. 보존된 사고(preserved thinking)를 도입해, 새 API 계정이 이전 컨텍스트를 바꾸면 기존 추론을 그대로 쓸 수 없게 했고, 일부 모델은 구형 모델의 읽기와 조직 간 접근을 제한했다. 둘째, 헌법적 분류기(Constitutional Classifiers)의 방어 방식을 증류 방어에 적용해, 2단계 분류 시스템으로 Claude의 완전한 추론을 얻으려는 요청을 식별하고 차단했다. 셋째, 반복적인 질의는 속도를 제한하고, 지속적으로 시도하는 관련 계정은 차단하며, Claude 응답 전에 방어 시스템에 막힌 요청에도 요금을 부과했다. Anthropic은 내부 실험에서 완전한 추론으로 학습한 모델이 SWE-bench Verified에서 80.4%를, 요약본만 학습한 모델은 71.8%를 기록해 8.6%포인트 차이가 난다고 밝혔다. 이 때문에 완전한 추론 초안은 비공개로 하고 요약만 공개해 왔다. 공격자들은 이 추론을 다시 말하도록 Claude를 유도하는 시도를 해 왔으며, 한 실험실은 12,000건의 요청을 시도한 것으로 알려졌다. 방어 강화 이후 생물학, 증류 공격, 프런티어 모델 개발 등 오탐률이 낮은 범주의 차단 요청은 2025년 9월 24일부터 다시 과금된다. 다만 분류기가 정상 요청을 잘못 차단할 수 있어 정상 고객도 비용을 낼 수 있다는 점을 회사도 인정했다.