"AI는 외계 지능이다" 멜라니 미첼이 지적한 AI 지능 평가의 함정

퀀타 매거진(Quanta Magazine)이 2026년 8월 20일 공개한 팟캐스트 '조이 오브 와이(The Joy of Why)'에서 산타페 연구소(Santa Fe Institute)의 인지과학자 멜라니 미첼(Melanie Mitchell)은 대형언어모델(LLM)을 비롯한 현재의 AI를 인간의 사고방식과 근본적으로 다르게 작동하는 "외계 지능(alien intelligence)"으로 규정했다. 그는 AI가 특정 벤치마크에서 높은 점수를 기록하더라도 이것이 곧 인간과 같은 방식의 '이해'나 '추론'을 의미하지는 않는다며, AI 지능을 측정하는 현재의 방법론 자체를 재검토해야 한다고 주장했다.

배경

이번 대담은 퀀타 매거진이 진행하는 팟캐스트 시리즈에서 물리학자 스티븐 스트로가츠(Steven Strogatz)와 우주학자 재나 레빈(Janna Levin)이 진행자로 나서 미첼과 나눈 대화를 바탕으로 한다. 미첼은 AI의 인지능력을 평가할 때 발달심리학과 비교심리학, 즉 아기나 동물의 지능을 연구하는 방법론을 적용할 것을 제안한다.

그는 20세기 초 산술 문제를 푸는 것처럼 보였던 말 '영리한 한스(Clever Hans)' 사례를 인용했다. 한스는 실제로 계산을 한 것이 아니라 질문자의 미세한 신체 신호를 읽어 답을 맞혔던 것으로 밝혀졌는데, 미첼은 이를 AI 평가에서도 반드시 참고해야 할 교훈으로 제시한다. 겉으로 드러난 '수행(performance)'과 실제 '능력(competence)'을 구분하지 않으면, AI가 실제로는 학습한 패턴을 재현하는 것뿐인데도 마치 진짜로 문제를 이해한 것처럼 오해할 수 있다는 것이다.

영향

미첼이 제시한 AI 인지능력 평가 원칙은 인간중심적 편견 인식, 회의적 태도에 기반한 대조 실험 설계, 자극 변형을 통한 강건성 검증, AI 내부 작동 방식을 들여다보는 블랙박스 프로빙, 수행과 능력의 구분, 실패 사례와 부정적 결과에 대한 중시 등 여섯 가지로 요약된다. 이는 AI 기업들이 신모델을 발표할 때 제시하는 벤치마크 점수를 단순히 액면 그대로 받아들이기보다, 그 이면의 '학습 분포 내/외' 문제까지 살펴야 한다는 메시지로 해석된다.

실제 사례로 최신 프론티어 AI 모델이 서로 다른 두 수학 분야를 연결해 오래된 미해결 문제인 에르되시 단위거리 문제(Erdős Unit Distance Problem)에 진전을 이룬 사건이 언급됐다. 스트로가츠는 이를 "예상치 못한 연결이 실제로 작동하는" 창의성의 사례로 평가하면서도, 이런 성공 이면에는 훨씬 많은 실패한 시도가 있었을 가능성을 함께 지적했다. 반대로 제프리 힌턴(Geoffrey Hinton)이 2016년 "AI가 5년 안에 방사선사 일자리를 없앨 것"이라 예견했던 것과 달리, 2026년 현재까지도 방사선사 인력 부족 현상이 이어지고 있다는 점은 벤치마크 성능과 실제 직무 수행 사이의 괴리를 보여주는 사례로 다뤄졌다.

향후 전망

미첼은 AI 역량을 변호사 시험이나 의료 영상 판독 같은 개별 작업(task) 단위로만 측정하는 방식의 한계, 이른바 "작업의 폭정(tyranny of tasks)"을 지적한다. 실제 업무는 명확히 정의되지 않은 개방형 문제들의 복합체이기 때문에, 단일 작업 벤치마크만으로는 AI의 실질적 활용 가능성을 온전히 판단하기 어렵다는 것이다. 앞으로 AI 평가 논의는 신경망의 활성화와 가중치를 직접 분석하는 '기계적 해석가능성(mechanistic interpretability)', 즉 AI를 대상으로 한 일종의 신경과학적 접근으로 확장될 가능성이 있다.

대담 말미에 스트로가츠와 레빈은 AI가 문제 해결을 전담하게 될 경우 인간에게 남는 의미 있는 삶의 형태에 대한 철학적 질문도 던졌다. 미첼은 "우리가 과학을 하는 이유는 문제 해결을 위해서지만, 더 근본적으로는 이해하려는 인간의 본능 때문"이라고 답했다.

자주 묻는 질문

Q. 멜라니 미첼이 말하는 '외계 지능'이란 무엇인가? A. AI, 특히 대형언어모델이 인간과 전혀 다른 방식으로 정보를 처리하고 문제를 해결한다는 의미로, 인간의 인지 과정을 기준으로 AI 지능을 판단해서는 안 된다는 관점을 담은 표현이다.

Q. AI 벤치마크 점수를 그대로 신뢰하면 안 되는 이유는 무엇인가? A. 벤치마크에서 높은 점수를 받아도 이는 학습한 패턴을 재현하는 '수행'일 뿐, 실제 상황 변화에 대응하는 '능력'을 뜻하지 않을 수 있기 때문이다. '영리한 한스' 사례처럼 겉으로 드러난 결과만으로는 진짜 이해 여부를 판단하기 어렵다.

Q. AI 지능을 제대로 평가하려면 어떤 방법이 필요한가? A. 미첼은 인간중심적 편견을 인식하고, 대조 실험과 자극 변형을 통한 강건성 검증, AI 내부 작동을 들여다보는 분석, 실패 사례에 대한 면밀한 검토 등 발달심리학·비교심리학적 접근을 AI 평가에 적용할 것을 제안한다.

출처 - https://news.google.com/rss/articles/CBMikgFBVV95cUxPTXljbUZKdWtWbktTbnYwWVdfQ2hDd3NVMU03U2dJS3ZtZ1Z3MGxtYnEyaHEtMEgySFQ2ZF9jUHhTSjh3UHU3NHBwQWVKR2pYXzd1b2tsVWQwM1hNU01VNHhuUjlTb201Nml6SEkxRnkxNThKbmN2RE5PSUUwRG53ZFRGOGM1d2F6eDd5S2x5WF9idw?oc=5