엔비디아($NVDA)와 텍사스AM대 공동 연구진이 질문과 주제는 비슷하지만 정답은 담지 않은 문서를 긴 입력에 섞자, 한 질의응답 실험에서 Qwen2.5-7B-Instruct의 정확도가 68%에서 45.5%로 낮아졌다. 해당 문서가 방해 문서에서 차지한 비중은 10%였다.
연구진은 이 현상을 첫 잉크 방울 효과라고 불렀다. 논문은 2026년 8월 20일 개정됐으며, 저자 3명 가운데 1명은 엔비디아 AI 기술센터, 2명은 텍사스AM대 소속이다. 논문 원문
연구에서 하드 디스트랙터는 질문과 의미상 비슷해 보이지만 답을 담지 않은 문서다. 질문과 관련이 적은 문장이나 무작위 문서와 달리, 정답 후보처럼 보이며 답을 담은 문서와 경쟁할 수 있다.
실험은 정답이… 더보기
정답 없는 유사 문서 10%에 질의응답 정확도 68%→45.5%


답글 남기기