논문 리뷰/Prompt engineering
-
“According to . . . ”: Prompting Language ModelsImproves Quoting from Pre-Training Data논문 리뷰/Prompt engineering 2024. 5. 22. 16:07
초록더보기대형 언어 모델(LLM)은 사실적인 데이터로 사전 학습을 했음에도 불구하고 환각을 일으키고 가짜 정보를 생성할 수 있습니다. 저널리즘 장치인 “출처에 따르면”을 참고하여, 우리는 LLM이 이전에 관찰된 텍스트를 기반으로 응답을 유도하는 "출처에 따른 프롬프트"를 제안합니다. 이 기반을 정량화하기 위해, 우리는 모델이 생성한 답변이 기본 텍스트 자료에 얼마나 직접적으로 나타나는지를 측정하는 새로운 평가 지표 (QUIP-Score)를 제안합니다. 우리는 세 가지 자료 (위키백과, PubMed, 미국 법률 세법)에 대한 실험을 통해 이러한 프롬프트가 우리의 지표 하에서 기반을 개선함을 보여주며, 추가적인 이점으로 종종 최종 과제 성능이 향상됨을 보여줍니다. 더욱이, 모델에게 기반을 줄이거나(또는 다른..