Understanding LLM Scientific Reasoning through Promptings and Model’s Explanation on the Answers

연구에서는 다음과 같은 7가지 Prompt Engineering 기법을 테스트했습니다.

Direct Answer (Zero-Shot): 추가적인 예시나 지침 없이 질문에 직접 답변하도록 요구하는 Baseline 기법입니다.
Chain-of-Thought (CoT): 3개의 예시를 제공하여 모델이 단계별 추론 과정을 명시적으로 보여주도록 안내하는 기법입니다.
Zero-Shot CoT: 예시 없이 "Let's think step by step"과 같은 지침을 추가하여 모델이 단계별 추론을 시도하도록 유도하는 기법입니다.
Self-Ask: 복잡한 문제를 해결하기 위해 모델 스스로 관련 중간 질문을 생성하고 답변하며 최종 답변에 도달하도록 하는 기법입니다. Multi-hop 문제 해결에 적합합니다.
Self-Consistency: Single greedy decoding 대신 여러 개의 다양한 추론 경로를 생성하고, 가장 일관성이 높은 최종 답변을 집계하여 선택하는 기법입니다. 본 연구에서는 3개의 경로를 사용했습니다.
Decomposition: 복잡한 문제를 더 작고 관리 가능한 하위 문제(subproblems)로 재귀적으로 분해하고, 각 하위 문제의 해결을 통합하여 최종 답변을 도출하는 기법입니다. 하위 문제를 순차적으로 또는 모두 한 번에 제공하는 방식을 테스트했으며, 순차 방식은 Hallucination을 유발하여 분석에서 제외하고 하위 문제를 연결하여 모두 한 번에 제공하는 방식을 사용했습니다.
Multipath Prompting: 본 연구에서 고안한 기법으로, 모델에게 제시된 각 객관식 선택지에 대해 정당화(justification) 또는 검증(verification)을 생성하고, 각 선택지가 정답인지 아닌지를 판단하게 한 후, 이러한 정당화와 판단을 바탕으로 최종 정답을 결정하도록 요구하는 기법입니다.