Rethinking STS and NLI in Large Language Models

 

연구 배경 및 목적:

최근 몇 년 동안, 대규모 언어 모델(LLM)의 등장으로 다양한 작업에서 효과적인 성능을 보였습니다. 그러나, 의미적 텍스트 유사성(STS) 및 자연어 추론(NLI)에 적용했을 때, 저자들은 LLM의 효율성이 저자원 도메인 정확도, 모델의 과신, 그리고 인간 판단 사이의 불일치를 포착하는 데 한계가 있음을 발견했습니다. 본 연구는 LLM 시대에서 STS 및 NLI 과제를 재고하고자 하며, 임상 및 생의학 도메인에서의 성능을 평가하고, LLM의 예측 신뢰도 및 집합적인 인간 의견을 포착하는 능력을 평가합니다.

주요 발견:

1. BERT 기반 모델 대비 성능:
   • BERT-base로 미세 조정된 모델이 10개의 STS 및 NLI 데이터셋 중 9개에서 zero-shot ChatGPT보다 우수한 성능을 보였습니다. 특히, 개인 주석자 간 높은 불일치가 있는 데이터셋(USTS 및 ChaosNLI)에서 큰 차이를 보였습니다.
   • LLaMA-2 (7B, 13B)는 ChatGPT보다 성능이 낮았습니다.
2. 모델의 신뢰도:
   • STS에서 연속적 레이블에 대한 블랙박스 및 화이트박스 접근법 모두 큰 보정 오류를 보였습니다. 모델의 크기가 클수록 보정 오류가 적었습니다(ChatGPT > LLaMA-2 (13B) > LLaMA-2 (7B)).
3. 개인화된 판단:
   • LLM은 특정 주제에 대한 개인화된 설명을 제공하거나 다양한 톤의 유사한 콘텐츠를 생성할 수 있지만, 현재 LLM으로 개인화된 판단이나 결정을 내리는 것은 어렵습니다.

실험 설정 및 결과:

• 실험 설정: ChatGPT에는 zero-shot 프롬프트를, LLaMA-2에는 few-shot 프롬프트를 사용했습니다. 실험에는 일반, 임상 및 생의학 STS/NLI 데이터셋 10개를 사용했습니다.
• 결과: ChatGPT의 예측은 BERT-base로 미세 조정된 모델의 예측보다 대부분 열등했으며, LLaMA-2의 성능은 훨씬 낮았습니다. 특히 중국어 데이터셋(USTS-C, USTS-U)에서는 매우 낮은 상관관계를 보였습니다.

결론 및 향후 연구:

본 연구는 STS 및 NLI 과제가 LLM 시대에서도 여전히 해결되지 않은 문제를 포함하고 있음을 보여줍니다. 향후 연구에서는 자동 프롬프트 최적화 알고리즘을 사용하여 과제 및 모델 특화 프롬프트를 사용자 정의하고, 보다 많은 추론 집약적 작업을 평가할 예정입니다.

윤리적 고려사항:

본 연구는 공개적으로 사용 가능한 데이터셋만을 사용하여 기존 지적 재산권을 존중합니다. 건강 관리 도메인에서의 LLM 사용은 안전성, 신뢰성, 효능 및 프라이버시를 보장하기 위해 추가 연구가 필요합니다.

이 논문은 LLM의 현재 한계와 향후 연구 방향에 대해 중요한 통찰을 제공합니다.

 

https://aclanthology.org/2024.findings-eacl.65.pdf