Anthropic, AI 추론 암호화 증명 공개 — 400B 모델 초당 110토큰

어떤 AI 서비스가 "최신 모델 A로 응답했습니다"라고 말해도 믿을 방법은 없었다. 라우팅 비용을 아끼려고 더 싼 모델로 바꾸는 경우도 있고, 서버가 공격당해 토큰 스트림이 조작될 수도 있다. Anthropic이 2026년 11월 2일 공개한 FlashProve는 이 문제를 암호학으로 다룬다. "이 응답은 내가 커밋한 그 가중치의 모델이 만들었다"를 증명 파일 하나로 증명하는 것이다.

무엇이 발표됐나

Anthropic은 연구 포스트 "Progress on provable inference for large language models"를 통해 FlashProve(플래시프루브)라는 오픈소스 프로토타입을 공개했다. 핵심 암호는 zkSNARK(zero-knowledge succinct argument of knowledge)다. 프로버는 응답과 함께 증명 파일을 보내고, 검증자는 GPU 없이 CPU만으로 그 응답이 커밋된 모델에서 실제로 나왔는지 확인할 수 있다. 검증자는 가중치에 관한 정보를 얻지 못한다.

공개된 산출물은 다섯 가지다. 블로그 포스트와 기술 보고서, Claude가 작성한 프로토콜 명세, 실행 가능한 코드(프로버와 검증자 2종 — C++ 고속 검증자와 Lean으로 정확성이 증명된 검증자), Lean 증부와 시각화 도구. 코드는 Apache 2.0 라이선스다.

숫자가 실제로 얼마나 나아졌나

대상 모델은 Meta의 Llama 4 Maverick로, 400B 파라미터 MoE 구조이며 토큰당 약 17B만 활성화된다. 공개된 4비트 양자화 가중치를 사용했다.

• 증명 생성: H100 1장에서 초당 100토큰 이상. 요청 24개를 묶어 처리하면 약 223초, 즉 110토큰/초다. 증명 파일은 요청당 약 19MB.
• 검증: 클라이언트 CPU에서 24스레드 기준 17초, 단일 스레드 기준 21초. GPU가 필요 없다. 커밋먼트 파일은 전체 약 6.5MB.
• 오프라인 커밋: 모델당 약 39분 걸리며, 만들어진 커밋은 약 1,600만 요청에 대해 유효하다.
• 비용: 같은 24개 요청을 vLLM이 8×H100으로 처리하는 시간 대비 GPU 1장 기준 약 72배 길다(66~77배). vLLM을 최대 부하로 몰면 약 94배다.

비교 대상이 압도적이다. 같은 Llama 4 Maverick를 증명한 선행 시스템 VerInf는 초당 약 0.02토큰이었다. 1,000토큰 증명에 DGX Spark에서 14.3시간이 걸렸고, 증명 파일이 93.6GB였으며 검증에 거의 하루가 걸렸다. FlashProve는 110토큰/초, 19MB, 초 단위 검증이다.

왜 하드웨어가 아니라 암호학인가

zkSNARK 방식은 "제조사가 변조 불가능한 하드웨어를 만들어야 한다"는 쪽과 정반대다. 하드웨어와 OS가 모두 침해돼도, 상대가 유효한 증명을 만들어내려면 계산적으로 불가능한 문제를 깨야 한다. Anthropic은 신뢰 하드웨어와 암호학이 보완 관계라고 명시했다. 검증은 Lean으로 형식화됐고 완전성·건전성·영지성 세 성질이 랜덤 오라클 모델에서 기술된다. 다만 형식적 보장은 Lean 구현에만 적용되고 C++ 고속 검증자에는 없다.

한계도 분명하다

Anthropic은 이번 공개가 완성된 연구 의제가 아니라 중간 진행 공유라고 명시했다. 고속 실행 코드에 대한 형식적 보장은 없다. 증명은 정수 모델과 그리디 디코딩 기준이라 부동소수점 구현이나 샘플링 응답에서는 달라질 수 있다. MoE 아키텍처를 가정하며, 가중치는 숨기지만 아키텍처 자체는 숨기지 않는다. 사이드채널 공격은 범위 밖이다. 컨텍스트는 최대 1,024토큰으로 프런티어 모델보다 훨씬 짧다. GitHub 저장소에는 "유지보수되지 않음"으로 표기돼 있다.

시사점

성능 수치만큼 중요한 건 '증명 가능 추론'이라는 검증 방법론이 실용 구간에 들어왔다는 점이다. Anthropic은 Frontier Safety Roadmap에 2026년 9월 30일까지 provable inference 프로토타입을 개발한다는 목표를 세웠고, 이번 포스트는 같은 목표를 zkSNARK 경로로 추적한다.

남는 질문은 두 가지다. 70~95배의 오버헤드가 실제 서비스 도입을 허용하는 수준인지, 그리고 그리디 디코딩과 1,024토큰 제약이 채팅형 제품에 적용될 수 있는지다. 두 번째가 더 중요하다. 대화에서는 컨텍스트가 계속 쌓이므로 증명의 유효 범위가 곧 실사용 범위가 된다. 규제 쪽에서도 하드웨어 정밀 감사 없이 요청 인증서를 확인하게 되고, 제공자는 모델 내부를 노출할 필요가 없어진다.

출처

• Anthropic — Progress on provable inference for large language models (2026-11-02): https://www.anthropic.com/research/provable-inference
• anthropics/FlashProve — GitHub 저장소 (Apache 2.0): https://github.com/anthropics/FlashProve