Attribute First, then Generate:Locally-attributable Grounded Text Generation

이 논문은 대형 언어 모델(LLM)의 환각 문제를 해결하기 위한 최근 노력에 대해 논의하며, 주어진 텍스트 생성에 출처를 인용하여 사후 사실 확인 및 수정을 가능하게 하는 방식을 소개합니다. 기존의 방식은 전체 문서나 단락을 인용하여 사용자가 검증하는 데 많은 시간을 소모하게 합니다. 본 연구에서는 로컬 속성 기반 텍스트 생성 접근 방식을 제안하여, 더 간결한 인용을 우선시합니다. 이 방법은 "먼저 속성 지정, 그다음 생성(Attribute First, then Generate)"이라는 세 가지 직관적인 단계로 전통적인 종단 간 생성 과정을 분해합니다: 콘텐츠 선택, 문장 계획, 순차적 문장 생성입니다. 먼저 관련 소스 세그먼트를 식별하고(선택 먼저) 생성 프로세스를 이에 조건화한 다음(그다음 생성), 이러한 세그먼트가 생성된 텍스트의 세부 인용으로 작동하게 합니다(선택이 속성으로 전환됨). 다중 문서 요약 및 장문 질문 응답에서 테스트한 결과, 이 방법은 기존 방식보다 더 간결한 인용을 제공하면서도 생성 품질과 인용 정확성을 유지하거나 향상시켰습니다. 또한, 사실 확인에 필요한 시간을 크게 줄였습니다.

 

주요 내용:

1. 배경: 요약 및 질문 응답과 같은 작업에서 구체적인 출처에서 파생된 콘텐츠를 생성하는 것을 목표로 합니다.
2. 기존 문제점: 현재 방식은 전체 문서나 단락을 인용하여 검증이 비효율적입니다.
3. 새로운 접근 방식: 로컬 속성 기반 텍스트 생성으로, 선택된 세그먼트를 기반으로 생성 과정을 조건화합니다.
4. 세 단계 과정:
   • 콘텐츠 선택: 관련 세그먼트를 식별합니다.
   • 문장 계획: 문장을 구성하기 위한 콘텐츠를 조직합니다.
   • 순차적 문장 생성: 선택된 콘텐츠를 기반으로 문장을 생성합니다.
5. 효과: 이 접근 방식은 기존 방식보다 더 간결하고 정확한 인용을 제공하며, 사실 확인에 필요한 시간을 절감합니다.

이 논문은 다중 문서 요약 및 장문 질문 응답에서 높은 성과를 보여, 미래의 연구가 이러한 로컬 속성 기반 생성 패러다임을 발전시키는 데 기여할 것을 제안합니다.

 

1. 개요

이 접근 방식은 전통적인 종단 간 텍스트 생성 과정을 세 가지 직관적인 단계로 나누어 보다 세부적인 인용을 제공합니다:

1. 콘텐츠 선택
2. 문장 계획
3. 순차적 문장 생성

이 방법론은 다중 문서 요약(MDS) 및 장문 질문 응답(LFQA)에 적용됩니다.

1. 콘텐츠 선택(Content Selection)

목표: 생성된 텍스트에서 인용할 관련 세그먼트를 소스 문서에서 식별합니다.

• 절차:
  • 소스 문서 세트를 입력으로 받아, 모델이 생성된 텍스트에 포함될 중요한 세부 정보를 선택합니다.
  • 선택된 세그먼트는 이후의 생성 프로세스에서 언어 선택을 안내하는 데 사용됩니다.
  • 이러한 세그먼트는 결과 텍스트의 주요 정보로서 세부 인용으로 작용합니다.

2. 문장 계획(Sentence Planning)

목표: 출력 문장에서 문장 수준의 인용을 달성합니다.

• 절차:
  • 선택된 세그먼트를 논리적으로 그룹화하고 정렬하여 문장 수준 계획을 세웁니다.
  • 각 그룹 내의 세그먼트는 자연스럽게 하나의 문장 내에 들어갈 수 있습니다.
  • 이 단계는 생성 과정을 더 작고 관리 가능한 단계로 분해하여 모델의 작업을 단순화합니다.
  • 결과적으로 각 문장은 해당 그룹의 하이라이트로 인용됩니다.

3. 순차적 문장 생성(Sentence-by-sentence Generation)

목표: 문장 계획에 따라 텍스트를 순차적으로 생성하여 세부 인용을 유지합니다.

• 절차:
  • 모델은 계획된 내용을 바탕으로 문장을 하나씩 생성합니다.
  • 각 문장은 해당 세그먼트를 기반으로 하여 생성되며, 이전에 생성된 문장과의 일관성을 유지합니다.
  • 이는 각 문장이 지정된 하이라이트의 내용을 표현하면서도, 이전 출력과 자연스럽게 통합되도록 보장합니다.

4. 적용 방법(In-context Learning 및 Fine-tuning)

In-context Learning:

• 목표: 특정 지침과 몇 가지 샘플 예제를 통해 모델을 안내합니다.
• 절차:
  • 콘텐츠 선택 단계에서는 소스 문서에서 관련 세그먼트를 출력하는 작업을 수행합니다.
  • 문장 계획 단계에서는 하이라이트된 세그먼트를 클러스터링하고 정렬합니다.
  • 순차적 문장 생성 단계에서는 이전 문장과 현재 클러스터의 하이라이트를 기반으로 다음 문장을 생성합니다.

Fine-tuning:

• 목표: 각 단계별로 모델을 세분화하여 학습시킵니다.
• 절차:
  • 콘텐츠 선택 단계에서 소스 문서의 특정 세그먼트를 정확하게 복사하도록 모델을 학습시킵니다.
  • 문장 계획 단계에서 하이라이트된 세그먼트를 클러스터링하고 정렬합니다.
  • 순차적 문장 생성 단계에서 하이라이트된 문서, 프리픽스, 쿼리를 기반으로 문장을 생성합니다.

5. 평가

평가 항목:

• 출력 텍스트 품질: 일관성 및 작업 충족도 평가.
• 인용 품질: 문장별 인용의 정확성과 간결성을 평가.

평가 방법:

• 자동 평가: ROUGEL, BERTSCORE, AUTOAIS 등의 지표를 사용하여 평가.
• 인간 평가: 문장 수준의 인용 품질을 평가하고, 사실 확인 시간을 측정.

이 방법론을 통해 로컬 속성 기반 생성이 더 간결하고 정확한 인용을 제공하면서도 생성 품질을 유지하거나 향상시킬 수 있음을 입증합니다.