just do it just do it

초록더보기대형 언어 모델(LLM)은 사실적인 데이터로 사전 학습을 했음에도 불구하고 환각을 일으키고 가짜 정보를 생성할 수 있습니다. 저널리즘 장치인 “출처에 따르면”을 참고하여, 우리는 LLM이 이전에 관찰된 텍스트를 기반으로 응답을 유도하는 "출처에 따른 프롬프트"를 제안합니다. 이 기반을 정량화하기 위해, 우리는 모델이 생성한 답변이 기본 텍스트 자료에 얼마나 직접적으로 나타나는지를 측정하는 새로운 평가 지표 (QUIP-Score)를 제안합니다. 우리는 세 가지 자료 (위키백과, PubMed, 미국 법률 세법)에 대한 실험을 통해 이러한 프롬프트가 우리의 지표 하에서 기반을 개선함을 보여주며, 추가적인 이점으로 종종 최종 과제 성능이 향상됨을 보여줍니다. 더욱이, 모델에게 기반을 줄이거나(또는 다른..

논문 요약: "CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity"저자:Moshe Berchansky, Daniel Fleischer, Moshe Wasserblat, Peter Izsak (Intel Labs)연구 배경 및 목표:최신 질문 응답(QA) 시스템은 대형 언어 모델(LLM)을 사용하여 최고의 성능을 달성하지만, 이러한 모델은 응답에서 정보를 허구화하는 경향이 있습니다.본 연구는 입력에서 출력으로의 귀속을 포함하여 생성 프로세스를 향상시키는 접근 방식에 초점을 맞춥니다.CoTAR(Chain-of-Thought Attribution Reasoning) 방법을 도입하여 귀속의 정확성을 높이는 것을 목표로 합니다.Co..

논문 요약: "Learning to Plan and Generate Text with Citations"저자:Constanza Fierro, Reinald Kim Amplayo, Fantine Huot, Nicola De Cao, Joshua Maynez, Shashi Narayan, Mirella Lapata연구 배경 및 목표:LLM(대형 언어 모델)은 정보 검색 시나리오에서의 활용도가 증가하고 있습니다. 하지만 생성된 응답이 허구적이거나 정확하지 않은 경우가 많아 검증 가능한 시스템에 대한 요구가 커지고 있습니다.이 논문은 텍스트 생성 시 계획 기반 모델이 신뢰성과 검증 가능성을 어떻게 향상시키는지 탐구합니다.계획을 일련의 질문으로 개념화하여 생성할 콘텐츠와 그 조직을 계획합니다.두 가지 귀속 모델을..

ALCE is a benchmark for Automatic LLMs' Citation Evaluation. ALCE collects a diverse set of questions and retrieval corpora and requires building end-to-end systems to retrieve supporting evidence and generate answers with citations.  평가 항목fluency, correctness, and citation quality- Use MAUVE (Pillutla et al., 2021) to measure fluency, adopt a natural language inference (NLI) model (Honovich et ..

LLM에서 흔히 발생하는 중도 포기 문제를 극복하기 위한 접근 방식을 제시사용 모델: Mistral-7B-Instruct-v0.24 (Jiang et al., 2023) IN2 training (instruction-tuning)https://huggingface.co/datasets/In2Training/VaLProbing-32K the long contexts and questions are used as instructions, and the loss on the answer parts are used to update the model To avoid data contamination for the evaluation stage in Section 4, we apply a pre-filtering..

We show that this is indeed possible with QUOTE-TUNING, our proposed method that aligns LLMs to quote through preference optimization and automatic feedback, without the need for any human annotation. QUOTE-TUNING first generate responses from a pre-trained LLM, and then synthesize a preference dataset for quoting by ranking responses by how much they quote from a desired corpus. Finally, QUOTE-..