FDA의 AI 도입, 왜 민간 시장과 다르게 헛돌고 있나…Elsa AI 시스템 논란

미국 식품의약국(FDA)이 신약 심사와 안전 감시에 인공지능(AI)을 적극 도입하려 하고 있지만, 정작 도입된 AI 시스템이 존재하지 않는 연구를 인용하고 임상시험 결과를 왜곡하는 등 오류를 반복하고 있다는 지적이 나왔다. Independent Institute의 Raymond J. March는 최근 기고문에서 민간 의료 AI가 빠르게 개선되는 것과 달리 FDA의 AI 도입이 부진한 이유를 관료제 특유의 인센티브 구조에서 찾았다.

배경

AI는 이미 의료 분야에서 상당한 성과를 내고 있다. 영상 스캔에서 방사선과 의사와 동일한 정확도로 종양을 감지하고, 수주 만에 새로운 항생제 후보를 설계하며, 환자 유전체에 맞춘 암 치료 맞춤화, 질병 확산 예측 등에 활용되고 있다. Healthcare 저널이 200개 연구를 검토한 결과에서도 AI를 적절히 활용하면 비용 절감과 치료 결과 개선이 확인됐다.

이런 흐름 속에서 Unleash Prosperity 보고서는 약물 승인과 안전 감시 전반에 AI를 활용하라고 권고했고, 로버트 F. 케네디 주니어(Robert F. Kennedy Jr.) 미국 보건복지부(HHS) 장관 역시 FDA가 AI를 활용해 약물을 훨씬 빠르게 승인하고 동물 실험 상당수를 대체할 수 있다고 주장해왔다.

그러나 실제 도입 과정은 순탄치 않았다. 2025년 HHS가 발표한 "Make America Healthy Again" 보고서는 존재하지 않는 연구를 인용하고 수십 개의 끊어진 링크를 포함해 논란이 됐다. FDA가 2025년 6월 출시한 임상 프로토콜 검토용 AI 시스템 'Elsa'는 임상시험 결과를 거짓으로 생성(할루시네이션)하고 왜곡하는 문제를 드러냈다. 2026년 5월 HALO라는 새로운 데이터 플랫폼과 통합해 출시된 'Elsa 4.0' 역시 검토자들로부터 "어색하고" 여전히 "자신감 있게 거짓 정보를 생성"하며 존재하지 않는 연구와 인용을 지어낸다는 평가를 받았다.

영향

기고문은 텔레헬스·체중감량 기업, 제약회사 등 민간 부문이 AI를 활용해 용량 맞춤화, 합병증 표시, 실시간 환자 모니터링, 수백만 개 화합물 선별 등에서 신약 발견 기간을 수년에서 수주로 단축하는 성과를 내고 있다고 지적한다. 반면 FDA와 같은 공공기관은 유사한 도구를 도입하고도 성과가 뒤처지는데, 그 핵심 이유로 인센티브 구조의 차이를 꼽는다. 민간 기업의 AI 도구가 잘못된 데이터를 생성하면 고객과 매출을 잃기 때문에 즉각 테스트·수정·개선에 나서지만, FDA는 실패에 대한 책임(징계) 구조가 약해 오류가 있는 도구도 계속 사용되고 다음 버전이 예정대로 배포된다는 것이다.

향후 전망

저자는 "AI는 민간 시장, 의료 및 다른 모든 곳에서 사용하라. 하지만 도구는 자신의 실수 비용을 직접 부담하는 기관에서만 개선된다. FDA는 그렇지 않다"고 결론짓는다. 규제기관이 AI 활용을 확대하려는 움직임은 계속되겠지만, 실수에 대한 책임 구조가 마련되지 않는 한 "더 많은 인공적 신뢰와 더 중대한 오류"로 이어질 수 있다는 경고다. 향후 FDA가 AI 시스템의 정확성을 검증하고 책임성을 강화하는 별도의 절차를 마련할지, 아니면 현재의 확대 기조를 그대로 이어갈지가 관전 포인트다.

자주 묻는 질문

Q. FDA가 도입한 AI 시스템 Elsa는 무엇인가요? Elsa는 FDA가 2025년 6월 도입한 AI 시스템으로, 임상 프로토콜 검토와 승인 절차를 가속화하기 위해 만들어졌으나 임상시험 결과를 거짓으로 생성하는 등의 오류가 지적됐다.

Q. 민간 의료 AI와 FDA의 AI 도입은 왜 다른 결과를 내나요? 민간 기업은 AI 오류가 고객 이탈과 매출 손실로 직결되어 신속히 개선하지만, FDA와 같은 공공기관은 오류에 대한 책임 구조가 약해 개선 유인이 부족하다는 것이 기고문의 핵심 주장이다.

Q. AI는 의료 분야에서 실제로 어떤 성과를 내고 있나요? 영상 판독을 통한 종양 감지, 항생제 후보 설계, 환자 맞춤형 암 치료, 질병 확산 예측 등에서 이미 유의미한 성과가 보고되고 있다.

출처 - https://www.independent.org/article/2026/08/20/artificial-intelligence-fda/