Learning to Plan and Generate Text with Citations

논문 요약: "Learning to Plan and Generate Text with Citations"

저자:

Constanza Fierro, Reinald Kim Amplayo, Fantine Huot, Nicola De Cao, Joshua Maynez, Shashi Narayan, Mirella Lapata

연구 배경 및 목표:

• LLM(대형 언어 모델)은 정보 검색 시나리오에서의 활용도가 증가하고 있습니다. 하지만 생성된 응답이 허구적이거나 정확하지 않은 경우가 많아 검증 가능한 시스템에 대한 요구가 커지고 있습니다.
• 이 논문은 텍스트 생성 시 계획 기반 모델이 신뢰성과 검증 가능성을 어떻게 향상시키는지 탐구합니다.
• 계획을 일련의 질문으로 개념화하여 생성할 콘텐츠와 그 조직을 계획합니다.
• 두 가지 귀속 모델을 제안합니다: 질문을 처음부터 생성하는 추상적 모델과 입력에서 질문을 복사하는 추출적 모델.

방법론:

• 데이터셋:
  • AQuAMuSe 데이터셋을 사용하여 실험을 수행합니다. 이 데이터셋은 긴 형식의 질문 답변을 포함합니다.
  • 실험에서는 MS MARCO, SQuAD, Natural Questions 등 다양한 데이터셋을 사용합니다.
• 모델링 전략:
  • 추상적 모델: 목표 요약에서 질문을 생성하여 계획을 만듭니다.
  • 추출적 모델: 입력 단락에서 질문을 복사하여 계획을 만듭니다.
• 평가 지표:
  • 요약의 관련성: ROUGE-L 지표를 사용하여 평가합니다.
  • 정확성: 텍스트 함축을 측정하여 입력 단락과의 충실도를 평가합니다.
  • 인용 품질: AutoAIS 메트릭을 사용하여 평가합니다.

주요 실험 결과:

• 계획 기반 모델은 요약의 관련성과 충실도를 개선합니다.
• 추출적 계획 모델이 가장 좋은 성과를 보였습니다.
• 다른 평가 메트릭에서도 추출적 모델이 높은 성과를 나타냈습니다.
• 인용 품질 평가에서 계획 기반 모델이 더 높은 점수를 받았습니다.
• 다른 도메인(ELI5, ASQA)에서 모델의 귀속 능력이 잘 전이됨을 보여줍니다.

결론 및 시사점:

• 계획 기반 모델은 텍스트 생성 시 귀속 품질을 크게 향상시킵니다.
• 블루프린트(계획) 모델은 정보를 여러 소스에서 종합하는 능력을 향상시켜 정확한 인용을 포함한 응답을 생성할 수 있습니다.
• 인용 메커니즘이 중요한 역할을 하며, 인라인 인용이 효과적임을 확인했습니다.
• 귀속은 다른 데이터셋과 정보 검색 작업에서도 중요한 기술로 나타났습니다.

한계 및 미래 연구:

• 본 연구는 주로 인코더-디코더 모델에 초점을 맞췄으며, 다양한 모델에서의 귀속 학습을 탐구하는 것이 필요합니다.
• 효율적인 패시지 인덱싱 방법과 질문을 정보 검색의 추가 학습 신호로 사용하는 방법을 탐구할 필요가 있습니다.
• 생성 모델의 오정보 문제를 해결하기 위한 추가 연구가 필요합니다.

 

세부 방법론

1. 데이터 수집 및 전처리:
   • 데이터셋: AQuAMuSe 데이터셋을 주로 사용하며, Natural Questions, SQuAD 등의 데이터셋도 활용합니다.
   • 각 데이터셋은 질문, 관련 단락, 그리고 타겟 요약(및 인용)을 포함합니다.
   • 실험 데이터셋은 긴 형식의 질문에 대해 다중 단락을 사용하여 요약을 생성합니다.
2. 모델 구조:
   • 추상적 모델(Abstractive Model):
     • 요약에서 질문을 생성하는 모델입니다.
     • T5-3B 모델을 기반으로 SQuAD와 Natural Questions 데이터셋을 사용해 질문 생성 모델을 훈련합니다.
     • 요약 문장에서 질문을 생성하고, 생성된 질문을 기반으로 요약을 작성합니다.
   • 추출적 모델(Extractive Model):
     • 입력 단락에서 질문을 복사하여 계획을 수립하는 모델입니다.
     • 각 단락에서 질문을 생성하고, 질문이 요약 문장과 일치하는지 확인합니다.
     • 요약의 각 문장에 해당하는 질문을 선택하고, 이를 통해 요약을 작성합니다.
3. 계획 및 요약 생성:
   • 블루프린트 생성:
     • 각 요약 문장에 대응하는 질문을 생성하여 블루프린트를 만듭니다.
     • 추상적 모델은 요약 문장에서 직접 질문을 생성합니다.
     • 추출적 모델은 입력 단락에서 질문을 복사하여 요약 문장에 맞는 질문을 선택합니다.
   • 블루프린트와 요약 결합:
     • 모델은 질문(블루프린트)을 바탕으로 요약을 생성합니다.
     • 추상적 모델은 질문을 기반으로 요약을 생성하고, 인용을 포함합니다.
     • 추출적 모델은 입력 단락에서 질문을 복사하여 요약에 포함하고, 각 질문에 대한 인용을 추가합니다.
4. 평가 및 검증:
   • 평가 메트릭:
     • ROUGE-L: 요약의 관련성을 평가합니다.
     • ANLI: 요약의 충실도를 평가합니다.
     • AutoAIS: 인용의 품질을 평가합니다.
   • 인용 품질 평가:
     • 각 요약 문장이 인용된 단락에 의해 충분히 지원되는지 평가합니다.
     • 추출적 모델은 질문이 단락에서 직접 복사되므로 인용의 정확도가 높습니다.
5. 실험 결과:
   • 추출적 모델이 가장 높은 성과를 보이며, 이는 요약의 관련성, 충실도, 인용 품질에서 나타났습니다.
   • 블루프린트를 사용한 모델은 일반적인 시퀀스-투-시퀀스 모델보다 더 나은 결과를 보였습니다.
   • 다른 도메인에서도 계획 기반 모델의 귀속 능력이 잘 전이됨을 확인했습니다.

결론

• 계획 기반 모델을 통해 검증 가능한 텍스트를 생성할 수 있으며, 이는 LLM의 신뢰성과 정확성을 높이는 데 기여합니다.
• 추출적 모델은 입력 단락에서 질문을 복사하여 인용의 정확성을 높이고, 이를 통해 더 신뢰할 수 있는 요약을 생성합니다.
• 블루프린트(질문 계획)를 통해 요약의 구조를 계획하고, 이를 바탕으로 정확하고 검증 가능한 인용을 포함한 텍스트를 생성합니다.

이 논문은 LLM이 보다 신뢰할 수 있고 검증 가능한 텍스트를 생성할 수 있도록 계획 수립 및 인용 생성 메커니즘을 도입하여 큰 성과를 보여줍니다.

 

인용 포함 방법

논문에서 제안한 인용 포함 방법은 두 가지 모델(추상적 모델과 추출적 모델)을 사용하여 텍스트 생성 시 인용을 포함하는 방식입니다. 여기서 각 모델이 인용을 포함하는 방법을 구체적으로 설명합니다.

1. 추상적 모델 (Abstractive Model)

추상적 모델은 다음과 같은 절차를 따릅니다:

1. 질문 생성:
   • 요약 문장에서 질문을 생성합니다.
   • T5-3B 모델을 사용하여 SQuAD와 Natural Questions 데이터셋에서 학습된 질문 생성 모델을 통해 각 요약 문장에 대한 질문을 생성합니다.
2. 질문 기반 요약 생성:
   • 생성된 질문을 바탕으로 요약을 작성합니다.
   • 요약 문장을 작성할 때 해당 질문에 답하는 형태로 텍스트를 생성합니다.
3. 인용 포함:
   • 각 요약 문장이 참조하는 단락을 인용합니다.
   • 텍스트 생성 과정에서 해당 문장이 참조하는 출처를 인라인(in-line) 인용으로 포함시킵니다.

예시:

arduino

코드 복사

질문: "폐동맥과 폐정맥의 특징은 무엇인가요?" 요약 문장: "폐동맥은 산소가 적은 혈액을 폐로 운반합니다. [출처1]"

2. 추출적 모델 (Extractive Model)

추출적 모델은 다음과 같은 절차를 따릅니다:

1. 질문 복사:
   • 입력 단락에서 질문을 복사하여 블루프린트를 만듭니다.
   • 각 단락에서 생성된 질문을 요약 문장과 일치시키고, 선택된 질문을 기반으로 블루프린트를 구성합니다.
2. 질문 기반 요약 생성:
   • 블루프린트(질문)를 바탕으로 요약을 작성합니다.
   • 질문에 대한 답변 형태로 요약을 작성하고, 해당 질문에 대한 답변이 포함된 단락을 인용합니다.
3. 인용 포함:
   • 질문이 참조하는 단락을 인용합니다.
   • 각 질문과 그에 대한 답변이 포함된 요약 문장에 해당 단락의 출처를 인라인 인용으로 포함시킵니다.

예시:

 

질문: "폐동맥은 무엇인가요?" 요약 문장: "폐동맥은 산소가 적은 혈액을 폐로 운반합니다. [출처1]"

인용 품질 평가

논문에서는 인용 품질을 평가하기 위해 다양한 메트릭을 사용합니다:

• AutoAIS: 각 요약 문장이 인용된 단락에 의해 충분히 지원되는지 평가합니다.
• 정확성(Correctness): 인용된 단락이 실제로 해당 요약 문장을 지원하는지 검증합니다.

결론

논문에서 제안된 방법은 LLM을 통해 생성된 텍스트가 검증 가능하고 신뢰할 수 있도록 인용을 포함하는 체계적인 접근 방식을 제공합니다. 추상적 모델과 추출적 모델을 사용하여 생성된 텍스트에 인용을 포함시키는 과정은 다음과 같습니다:

1. 질문을 생성 또는 복사하여 블루프린트를 구성합니다.
2. 블루프린트를 바탕으로 요약 문장을 생성합니다.
3. 각 요약 문장에 해당 질문을 참조하는 단락을 인용으로 포함시킵니다.

이를 통해 생성된 텍스트의 정확성과 신뢰성을 높일 수 있습니다.

 

 

인용 포함 방법의 예시

추출적 모델 예시

입력 단락:

 

단락1: 폐동맥은 산소가 적은 혈액을 폐로 운반합니다. 이 혈액은 산소를 받아 다시 심장으로 돌아옵니다. 단락2: 폐정맥은 산소가 많은 혈액을 심장으로 운반합니다. 이는 심장의 좌심방으로 들어갑니다.

질문 생성 및 요약:

 

질문: "폐동맥은 무엇을 운반합니까?" 요약 문장: "폐동맥은 산소가 적은 혈액을 폐로 운반합니다. [단락1]" 질문: "폐정맥은 무엇을 운반합니까?" 요약 문장: "폐정맥은 산소가 많은 혈액을 심장으로 운반합니다. [단락2]"

추상적 모델 예시

입력 단락에서 생성된 질문과 요약:

 

질문: "폐동맥과 폐정맥의 차이점은 무엇입니까?" 요약 문장: "폐동맥은 산소가 적은 혈액을 폐로 운반하고, 폐정맥은 산소가 많은 혈액을 심장으로 운반합니다. [단락1, 단락2]"

https://arxiv.org/pdf/2404.10513v1