just do it just do it

논문 요약: "Large Language Models for Qualitative Research in Software Engineering: Exploring Opportunities and Challenges"저자:Muneera Bano, Rashina Hoda, Didar Zowghi, Christoph Treude배경 및 목적:이 논문은 소프트웨어 엔지니어링 분야에서 대형 언어 모델(LLMs)인 ChatGPT와 같은 모델이 질적 연구에 통합되는 것의 기회와 도전 과제를 탐구합니다. LLM의 도입은 학계와 다양한 전문 분야에 큰 변화를 가져왔으며, 특히 소프트웨어 엔지니어링 연구에서 LLM이 어떻게 활용될 수 있는지를 조사합니다.주요 내용:LLM의 통합과 연구자 역할의 변화:LLM의 통합으로 인해 ..

Timeline of the Generative Retrieval methodsGenerative document retrievaldirectly generate document identifiers (DocIDs) related to the documentsGENRE: Autoregressive entity retrievalDSI: Transformer memory as a differentiable search indexNCI: A neural corpus indexer for document retrievalUltron: An ultimate retriever on corpus with a model-based indexerGLEN... https://arxiv.org/pdf/2404.14851  ..

이러한 문제를 극복하기 위한 흥미로운 방향 중 하나는 사전 학습된 언어 모델의 지식을 편집하여 잘못된 행동을 수정하거나 새로운 사건에 대한 정보를 포함시키는 것입니다. Editing factual knowledge in language modelshttps://arxiv.org/pdf/2104.08164   https://dl.acm.org/doi/pdf/10.1145/3597307.

논문 요약: "Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance"저자:Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara, Satoshi Sekine연구 배경 및 목표:이 논문은 프롬프트의 예의 수준이 대형 언어 모델(LLM)의 성능에 미치는 영향을 조사합니다. 인간 간의 소통에서 예의 바른 언어는 더 많은 순응과 효과를 가져오는 반면, 무례한 언어는 반감을 일으켜 응답의 질에 영향을 미칠 수 있습니다. LLM이 인간의 커뮤니케이션 특성을 반영할 수 있다고 가정하고, 영어, 중국어, 일본어 작업에서 프롬프트의 예의가 LLM의 성능에 미..

초록더보기대형 언어 모델(LLM)은 사실적인 데이터로 사전 학습을 했음에도 불구하고 환각을 일으키고 가짜 정보를 생성할 수 있습니다. 저널리즘 장치인 “출처에 따르면”을 참고하여, 우리는 LLM이 이전에 관찰된 텍스트를 기반으로 응답을 유도하는 "출처에 따른 프롬프트"를 제안합니다. 이 기반을 정량화하기 위해, 우리는 모델이 생성한 답변이 기본 텍스트 자료에 얼마나 직접적으로 나타나는지를 측정하는 새로운 평가 지표 (QUIP-Score)를 제안합니다. 우리는 세 가지 자료 (위키백과, PubMed, 미국 법률 세법)에 대한 실험을 통해 이러한 프롬프트가 우리의 지표 하에서 기반을 개선함을 보여주며, 추가적인 이점으로 종종 최종 과제 성능이 향상됨을 보여줍니다. 더욱이, 모델에게 기반을 줄이거나(또는 다른..

논문 요약: "CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity"저자:Moshe Berchansky, Daniel Fleischer, Moshe Wasserblat, Peter Izsak (Intel Labs)연구 배경 및 목표:최신 질문 응답(QA) 시스템은 대형 언어 모델(LLM)을 사용하여 최고의 성능을 달성하지만, 이러한 모델은 응답에서 정보를 허구화하는 경향이 있습니다.본 연구는 입력에서 출력으로의 귀속을 포함하여 생성 프로세스를 향상시키는 접근 방식에 초점을 맞춥니다.CoTAR(Chain-of-Thought Attribution Reasoning) 방법을 도입하여 귀속의 정확성을 높이는 것을 목표로 합니다.Co..

논문 요약: "Learning to Plan and Generate Text with Citations"저자:Constanza Fierro, Reinald Kim Amplayo, Fantine Huot, Nicola De Cao, Joshua Maynez, Shashi Narayan, Mirella Lapata연구 배경 및 목표:LLM(대형 언어 모델)은 정보 검색 시나리오에서의 활용도가 증가하고 있습니다. 하지만 생성된 응답이 허구적이거나 정확하지 않은 경우가 많아 검증 가능한 시스템에 대한 요구가 커지고 있습니다.이 논문은 텍스트 생성 시 계획 기반 모델이 신뢰성과 검증 가능성을 어떻게 향상시키는지 탐구합니다.계획을 일련의 질문으로 개념화하여 생성할 콘텐츠와 그 조직을 계획합니다.두 가지 귀속 모델을..

ALCE is a benchmark for Automatic LLMs' Citation Evaluation. ALCE collects a diverse set of questions and retrieval corpora and requires building end-to-end systems to retrieve supporting evidence and generate answers with citations.  평가 항목fluency, correctness, and citation quality- Use MAUVE (Pillutla et al., 2021) to measure fluency, adopt a natural language inference (NLI) model (Honovich et ..