azosi · 2026.10.26 00:08 · 조회 0
AI가 쓴 글인지 왜 그런지 말해준다 — DeepMind의 새 탐지기
AI 텍스트 탐지기가 왜 그랬는지까지 말해주는 도구가 나왔다. 판정은 그대로지만, 근거가 항목별로 분해돼 보인다.
배경
AI가 쓴 텍스트인지 가려내는 탐지기는 이미 실전에서 쓰인다. 문제는 성능이 아니라 설명 가능성이다. 논문 저자들은 탐지기가 동료심사·교육·입학·저널리즘·콘텐츠 모더레이션처럼 개인에게 직접 영향을 주는 자리에서 쓰일 때 "왜 AI냐"에 답하지 못한다고 짚었다. 성능은 신경 분류자가 담당하고, 설명 가능한 대안(문체·언어 특징 분류기)은 크게 뒤처졌다.
핵심: DetectorScope
Google DeepMind와 펜실베이니아대 NLP 연구팀의 논문 "Building Auditable AI Text Detectors with Sparse Autoencoders"는 10월 21일 arXiv에 올라왔고, 10월 25일 공식 저장소에는 "DetectorScope will appear at EMNLP 2026 in Budapest, Hungary!"라는 발표 예고가 추가됐다. EMNLP 2026 논문집(부다페스트, 17640~17689쪽)에도 실렸고, 코드와 탐지기 가중치는 Apache-2.0으로 공개됐다.
방법은 이렇다. 탐지기 신경망의 residual stream에 희소 자동인코더(SAE)를 학습한다. SAE의 각 feature에 자연어 설명을 자동으로 붙이고(논문은 gemini-3.1-flash-lite로 feature당 20단어 이내 설명 생성), 그 설명이 실제 발동 위치와 맞는지 검증한 뒤 통과한 feature만 남긴다. 그 위에 경량 분류기(로지스틱 회귀 또는 XGBoost)를 올린다. 그래서 하나의 판정은 logit = bias + 각 feature 기여도의 합으로 쪼개진다.
저장소 예제 출력:
Detection(label='ai', p_ai=0.88, features=[
Feature(importance=+0.23, description='the word about used as a preposition'),
Feature(importance=+0.14, description='repeated phrases or sequences in text'),
Feature(importance=-0.05, description='conversational filler phrase like i said')])
"about"을 전치사로 썼다는 사실이 점수를 0.23 올렸고, "i said" 같은 대화형 완충구는 오히려 0.05 내렸다. 왜 AI로 판단받았는지 특정할 수 있다는 뜻이다. 해석 가능성 임계값 tau는 기본값 0.85, 최대 0.95까지 설정 가능하다. 올릴수록 남는 feature는 읽기 쉬워지지만 정확도는 조금 떨어진다.
수치: 학습 분포 밖에서 순서가 뒤집혔다
논문 Table 1이 흥미롭다. 학습 분포 안(COLING dev)에서 검은상자 신경 탐지기(gemma-2-2b)의 F1은 98.0, 감사 가능한 Base-SAE는 91.4다. 이 구간은 검은상자가 낫다. 분포 밖(COLING test)에서는 순서가 바뀐다. 신경 탐지기 75.2, Base-SAE 88.9, FT-SAE 92.2. RAID test에서도 신경 89.3, Base-SAE 92.3. 저자들은 두 SAE 모델이 Binoculars·FastDetectGPT 같은 베이스라인보다 약 8~12 F1 높다고 정리한다. FT-Model+SAE는 임계값을 0.7 이상으로 높여도 신경 탐지기와 성능을 맞춘다.
시사점과 한계
해석 가능성이 정확도를 보장하지는 않는다. 요점은 판정 근거를 이의제기 가능한 형태로 만드는 것이다. 저자들은 README에서 탐지기가 연구 산출물이며 실수도 하고 학습 범위 밖 정확성은 확인되지 않았다고 못박는다. 특히 학술 정직성·채용·출판처럼 개인에게 영향을 주는 결정의 근거로 쓰면 안 된다며 명시했다. 논문도 feature 설명 중 약 절반은 형용론적 근거로 F1 99.5 이상을 얻었지만 나머지 절반은 회귀 편향을 보였다고 적었다. "왜 그런지 보여준다"는 "맞았다"를 보장하지 않는다.
그래도 방향성은 흥미롭다. 모델 내부를 설명하는 일보다, 모델을 감싼 도구의 설명이 먼저 실용에 닿을 수 있다. AI 텍스트 탐지기가 "AI 작성 확률"을 내놓는 도구에서 "왜 그런지 확인하고 이의제기하는 도구"로 바뀌는 단계다.
출처
- arXiv 논문(10-21): https://arxiv.org/abs/2610.30006
- 논문 전문 HTML: https://arxiv.org/html/2610.30006v1
- 공식 GitHub 저장소: https://github.com/google-deepmind/detectorscope
- ACL Anthology(EMNLP 2026): https://aclanthology.org/2026.emnlp-main.762/
1차 출처: arXiv 논문·Google DeepMind 공식 GitHub 저장소·ACL Anthology
댓글
아직 댓글이 없습니다.
댓글을 작성하려면 로그인이 필요합니다.