AI2, XYBench 공개 — 최강 모델 5종, 사용자의 '오해'는 못 짚었다

GPT-5는 더 강한 청소기를 추천했다. 실제로는 호스가 막힌 것이 원인이었다.

사람이 잘못된 전제를 품고 질문을 던지면 AI는 그 전제를 따라가는 경우가 많다. "크림이 흘러내려요"라는 말에 케이크를 식히라는 조언이 아니라, 크림을 더 진하게 하거나 겉옷을 덧씌우라는 답이 돌아온다. 사용자가 진짜 원하는 것(X)과 방법(Y)이 어긋난 이 상태를 언어학에서는 "XY 문제"라 부른다.

AllenAI가 Carnegie Mellon·NVIDIA·Johns Hopkins 연구자들과 함께 이 상황을 8,115개 질문으로 묶어 "XYBench"로 공개했다. 논문은 2026년 9월 6일 arXiv에 먼저 게재됐고, 11월 13일 Hugging Face 공식 블로그에서 데이터셋과 코드가 함께 공개되며 EMNLP 2026 Best Resource Paper Award를 받았다.

무엇을 측정하는가

질문마다 "말한 요청(Y)"과 "추론되는 실제 의도(X)"를 따로 표시하고, 응답을 세 축으로 평가한다.

• Pragmatic solution — Y에 대한 해법과 X에 대한 해법이 각각 포함됐는지
• Pragmatic emphasis — 답이 Y에 초점을 두는지, X에 두는지, 둘을 균형 있게 다루는지
• Misconception identification — 틀린 방법(Y)에서 멀어지게 하면서 진짜 목표(X)로 유도했는지

질문 8,115개는 Stack Overflow 1,557개, Stack Exchange 184개, 직접 선별한 102개, WikiHow 가이드에서 생성한 6,272개로 구성된다. 위키하우 쪽 질문은 Claude Sonnet 4.5로 생성했고, 실제 의도는 답을 봐야만 드러나는 대로 남겼다.

아는 것과 만드는 것은 다르다

평가된 모델은 Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro 다섯 종류다. 단일 턴에 질문당 응답 하나씩만 생성했다.

• Stack Overflow 구간에서 말한 요청(Y)의 해법은 응답의 7586%에 등장했고, 실제 의도(X)의 해법은 5971%에 그쳤다. 해법이 "언급"된 것과 "중심"이 된 것은 다르다.
• 강조도까지 따지면 X가 중심인 응답은 3541%에 불과하고, Y가 중심인 응답이 4757%였다. 나머지는 둘을 비슷하게 다뤘다.
• 판별 실험이 가장 인상적이다. 같은 다섯 모델에 GPT-4.1을 더해 "문자를 따르는 답"과 "오해를 짚으며 실제 목표를 다루는 답" 중 하나를 고르게 했더니, 여섯 모델 모두 71~84%에서 목표 중심 답을 골랐다. 정답을 고르는 능력은 좋은 답을 쓰는 능력보다 훨씬 높다.

의도를 알려주면 더 나아질까

오라클 실험에서는 질문과 함께 X와 Y를 직접 알려줬다. 그 결과 Sonnet 4.6의 X 해법 포함률은 59%에서 67%로 올랐지만, 오해를 식별하는 비율은 47%에서 34%로 떨어졌다. 사람이 쓴 참고 답과 비교해도 이 실험의 모든 모델이 오해 식별에서 뒤처졌다. 즉, 의도를 알아내는 것과 그 의도에 맞춰 행동하는 것은 별개의 문제다.

측정의 신뢰도와 한계

채점은 Claude Sonnet 4.5가 자동 수행했고, 500개 응답을 사람 두 명이 독립 평가해 교차 검증했다. 해법 등장 여부는 97.5100%, 오해 식별은 84.693.3%, 강조도는 74.2~79.8%로 일치했다. 다만 질문이 영어 위주이고 절차적 문제에 집중되어 있으며, 채점 기준 자체가 평가 결과를 좌우한다. 제작사(AllenAI)가 만든 벤치마크이자 자체 실험이라는 점을 감안해야 한다. 다른 벤치마크 점수와 나란히 비교하면 안 된다.

시사점

가장 현실적인 함의는 두 가지다. 첫째, 정답지형만 고르는 다중선택 평가로는 "올바른 조언을 알아채는 모델"과 "올바른 조언을 만들어내는 모델"을 구분할 수 없다는 것이다. 둘째, 채점 모델을 무엇으로 쓰느냐에 따라 점수가 달라지므로, 평가 스크립트를 제품팀이 직접 확인할 습관이 필요하다.

제품 관점에서는 모델에게 "사용자의 전제를 먼저 검증해 달라"고 지시를 바꾸는 것만으로 답이 달라질 수 있다는 가설이 남는다. 다만 이것은 XYBench가 검증한 결론이 아니라, 결과를 적용해 볼 제안일 뿐이다. 한국어 질문은 포함되지 않아 국내 제품에 그대로 적용할 수는 없다.

출처

• Hugging Face 공식 블로그 — XYBench: Helping with the problem behind the question (2026-11-13): https://huggingface.co/blog/allenai/xybench
• arXiv:2609.06842 — XYBench: Can LLMs Respond Pragmatically to Queries with Misconceptions? (2026-09-06): https://arxiv.org/abs/2609.06842
• GitHub — allenai/XYBench: https://github.com/allenai/XYBench
• 데이터셋 — allenai/XYBench-dataset: https://huggingface.co/datasets/allenai/XYBench-dataset

---

본 글은 Hugging Face 공식 블로그 원문과 arXiv 논문 메타데이터를 1차 출처로 삼아 작성했다. 수치는 공식 게시에 명시된 값만 인용했고, 제작사 자체 벤치마크 결과라는 점을 함께 적었다.