Do Language Models Know When They’re Hallucinating References?

 

https://aclanthology.org/2024.findings-eacl.62.pdf

 

 

ChatGPT 논문 요약:

배경 및 문제 제기:

최신 언어 모델(LM)은 종종 사실에 기반하지 않은 정보를 생성하는 '환각' 현상을 보입니다. 이는 특히 중요한 도메인(예: 의료, 금융, 법률)에서 모델의 신뢰성을 저하시켜 오용 및 허위 정보의 위험을 증가시킵니다. 본 연구는 언어 모델이 생성하는 참고 문헌의 환각 문제를 집중적으로 조사합니다.

연구 목표:

• 언어 모델이 참조를 생성할 때 저자 및 내용과 같은 충분한 정보를 가지고 있어야 한다는 가정 하에 환각된 참조를 식별하는 방법을 제안합니다.
• 언어 모델이 생성한 참조에 대해 직접적 또는 간접적인 질문을 통해 일관성 검사를 수행하여 환각된 참조를 식별합니다.

주요 기여:

1. 환각 참조 문제 제시: 컴퓨터 과학 분야에서 환각된 책 및 기사 참조 문제를 연구의 '모델 유기체'로 제안합니다.
2. 자동 분류 방법: 환각된 참조를 자동으로 분류할 수 있는 방법을 제안하고 실험적으로 검증했습니다.
3. LM 연구 수행: 환각된 참조를 체계적으로 연구하여 다양한 언어 모델의 환각률을 비교합니다.
4. 간접 질문 도입: 환각 평가를 위한 간접 질문 방식을 도입하고, 이를 직접 질문과 비교합니다.

실험 설정:

• 데이터셋 구축: ACM Computing Classification System을 사용하여 컴퓨터 과학 주제와 관련된 기사 및 책 참조를 생성했습니다.
• 모델 및 매개변수: OpenAI의 GPT-3, ChatGPT, GPT-4 및 Llama 2 Chat 모델을 평가했습니다.
• 평가 메트릭: 수신자 조작 특성(ROC) 곡선 및 거짓 발견률(FDR) 곡선을 사용하여 평가했습니다.

실험 결과:

• 환각률: 최신 모델일수록 환각률이 낮았습니다. GPT-4는 46.8%, ChatGPT는 59.6%, GPT-3는 73.6%의 환각률을 보였습니다.
• 간접 질문 방법의 효율성: GPT-4와 ChatGPT의 경우 간접 질문 방법이 환각을 식별하는 데 있어 더 높은 정확도를 보였습니다.
• 거짓 발견률(FDR): 간접 질문 방법이 ChatGPT 및 Llama-2-70B 모델에서 가장 낮은 FDR을 기록했습니다.

결론 및 향후 연구 방향:

• 환각 문제는 모델의 훈련이 아닌 생성(디코딩) 과정에서 발생할 수 있으며, 다른 생성 절차를 통해 해결할 수 있습니다.
• 향후 연구에서는 더 나은 디코딩 기술 개발, 추가적인 간접 질문 도입, 다른 유형의 환각 식별 방법 연구 등을 제안합니다.

한글 요약:

본 연구는 언어 모델이 생성하는 환각된 참조를 식별하는 방법을 제안합니다. 언어 모델이 참조를 생성할 때 충분한 정보를 가지고 있어야 한다는 가정 하에, 직접적 또는 간접적인 질문을 통해 일관성을 검사하여 환각을 식별합니다. 최신 모델일수록 환각률이 낮으며, 간접 질문 방법이 환각 식별에 더 효율적임을 확인했습니다. 향후 연구에서는 더 나은 디코딩 기술 개발 및 다른 유형의 환각 식별 방법 연구가 필요합니다.

 

방법론: 일관성 검사

논문에서 제안하는 방법론은 언어 모델이 생성한 참조가 환각된 것인지 여부를 식별하기 위해 일관성 검사를 수행하는 것입니다. 이 방법론은 직접 질문(Direct Queries, DQ)과 간접 질문(Indirect Queries, IQ)을 포함합니다.

1. 직접 질문 (Direct Queries, DQ)

직접 질문 방식은 언어 모델이 특정 참조가 존재하는지 여부를 직접 묻는 방법입니다. 이 방식은 세 가지 템플릿을 사용합니다:

• DQ1: "이 참조가 실제로 존재합니까?"와 같이 직접적으로 묻습니다.
• DQ2: "이 참조는 언어 모델이 생성한 것입니다. 이 참조가 실제로 존재합니까?"와 같이 문맥을 제공합니다.
• DQ3: "다음 참조 중 하나가 언어 모델에 의해 생성되었습니다. 이 참조가 실제로 존재합니까?"와 같이 추가적인 참조를 비교 대상으로 제공합니다.

각 질문에 대해 언어 모델은 "예" 또는 "아니오"로 대답하게 되며, 여러 번의 응답을 통해 모델의 확률 분포를 추정합니다.

2. 간접 질문 (Indirect Queries, IQ)

간접 질문 방식은 언어 모델이 참조의 저자에 대한 정보를 가지고 있는지를 통해 참조의 신뢰성을 평가하는 방법입니다. 이 방식은 두 단계로 구성됩니다:

• Step 1: Interrogation: 각 참조에 대해 "이 참조의 저자는 누구입니까?"와 같은 질문을 여러 번 제시합니다.
• Step 2: Overlap Estimation: 이전 단계에서 얻은 응답들의 일관성을 평가합니다. 여기서는 언어 모델을 사용하여 여러 응답 간의 유사도를 비교합니다.

이 방법의 직관은, 언어 모델이 여러 번의 질문에 대해 일관된 응답을 제공할 수 있다면, 이는 모델이 해당 참조에 대해 실제로 알고 있는 것임을 의미하며, 따라서 참조가 실제로 존재할 가능성이 높다는 것입니다. 반면, 응답이 다양하다면 모델이 해당 참조를 훈련 데이터에서 보지 못했을 가능성이 높아 환각된 참조일 가능성이 큽니다.

3. 종합 검사 (Ensemble Checks)

간접 질문과 직접 질문 방법을 결합하여 더 높은 정확도를 달성할 수 있습니다. 이를 위해 두 방법의 점수를 평균 내어 최종 점수를 계산합니다.

실험 설정

• 데이터셋 구축: ACM Computing Classification System을 기반으로 컴퓨터 과학 주제와 관련된 참조를 생성.
• 모델 평가: OpenAI의 GPT-3, ChatGPT, GPT-4 및 Llama 2 Chat 모델을 사용.
• 평가 메트릭: ROC 곡선과 FDR 곡선을 사용하여 환각을 탐지하는 성능을 평가.

결과 분석

• 환각률: 최신 모델일수록 환각률이 낮았음.
• 간접 질문의 효과성: GPT-4와 ChatGPT의 경우 간접 질문 방식이 환각을 식별하는 데 있어 더 높은 정확도를 보임.
• FDR 곡선: 간접 질문 방식이 더 낮은 FDR을 기록하여 더 나은 성능을 보여줌.

결론

제안된 방법론은 언어 모델의 생성 과정에서 환각 문제를 식별하고 줄이는 데 효과적임을 입증했습니다. 특히 간접 질문 방식이 더 높은 정확도와 낮은 FDR을 기록하여, 언어 모델의 참조 생성에 대한 신뢰성을 높이는 데 기여할 수 있음을 보여줍니다. 향후 연구에서는 더 나은 디코딩 기술과 추가적인 간접 질문 도입을 통해 환각 문제를 해결할 수 있는 가능성을 제시합니다.