just do it just do it

https://dl.acm.org/doi/pdf/10.1145/3476415.3476428 Rethinking search: making domain experts out of dilettantes: ACM SIGIR Forum: Vol 55, No 1When experiencing an information need, users want to engage with a domain expert, but often turn to an information retrieval system, such as a search engine, instead. Classical information retrieval systems do not answer information needs directly, but ...d..

이 논문은 대형 언어 모델(LLM)의 환각 문제를 해결하기 위한 최근 노력에 대해 논의하며, 주어진 텍스트 생성에 출처를 인용하여 사후 사실 확인 및 수정을 가능하게 하는 방식을 소개합니다. 기존의 방식은 전체 문서나 단락을 인용하여 사용자가 검증하는 데 많은 시간을 소모하게 합니다. 본 연구에서는 로컬 속성 기반 텍스트 생성 접근 방식을 제안하여, 더 간결한 인용을 우선시합니다. 이 방법은 "먼저 속성 지정, 그다음 생성(Attribute First, then Generate)"이라는 세 가지 직관적인 단계로 전통적인 종단 간 생성 과정을 분해합니다: 콘텐츠 선택, 문장 계획, 순차적 문장 생성입니다. 먼저 관련 소스 세그먼트를 식별하고(선택 먼저) 생성 프로세스를 이에 조건화한 다음(그다음 생성), ..

이 논문은 질문 응답과 증거 검색을 단일 Transformer 모델을 사용하여 수행하는 1-PAGER(One Pass Answer Generation and Evidence Retrieval) 시스템을 소개합니다. 이 시스템은 검색 및 응답 생성 작업을 통합하여 수행하며, 제한된 디코딩을 통해 검색 코퍼스를 점진적으로 분할하고, 문서와 답변 문자열을 선택합니다. 이는 기존의 검색 후 읽기(retrieve-and-read) 시스템과 비교할 때 경쟁력 있는 성능을 보여줍니다. 또한, 1-PAGER는 증거 코퍼스를 기반으로 예측을 수행하여 'closed-book' 질문 응답 모델보다 우수한 성능을 발휘합니다. 주요 내용 요약 (Key Points)도입 (Introduction):NLP와 기타 도메인의 다양한 ..

5. 평가이 섹션에서는 생성적 정보 검색 방법(GR)을 평가하기 위한 다양한 평가 지표와 벤치마크를 제공하고, 이들의 성능에 대한 분석과 논의를 제공합니다.5.1 생성적 문서 검색 평가5.1.1 지표이 섹션에서는 GR 방법을 평가하기 위한 핵심 지표들에 대해 논의합니다. 여기에는 Recall, R-Precision, Mean Reciprocal Rank (MRR), Mean Average Precision (MAP), 그리고 Normalized Discounted Cumulative Gain (nDCG)이 포함됩니다. 이러한 지표들은 GR 시스템의 정확성, 효율성, 결과의 관련성 등을 다양한 관점에서 평가합니다.Recall: 검색 시스템이 검색한 관련 문서의 비율을 측정하는 지표입니다. 주어진 컷오프 포..

논문 요약: "Challenges and Applications of Large Language Models"저자:Jean Kaddour, Joshua Harris, Maximilian Mozes, Herbie Bradley, Roberta Raileanu, Robert McHardy연구 배경 및 목적:대형 언어 모델(LLMs)은 몇 년 만에 비존재에서 전방위로 확산되었습니다. 이 논문은 LLMs가 직면한 남아 있는 도전과 이미 성과를 거둔 응용 분야를 체계적으로 정리하여, ML 연구자들이 현재의 상태를 신속하게 이해하고 생산성을 높일 수 있도록 돕고자 합니다.주요 내용:도전 과제방대한 데이터셋: 사전 학습 데이터의 규모가 너무 커서 데이터 품질을 수동으로 확인하는 것이 불가능합니다.토크나이저 의존성: ..

논문 요약: "A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT"저자:Jules White, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse Spencer-Smith, Douglas C. Schmidt배경 및 목적:이 논문은 대형 언어 모델(LLM)과의 대화를 효과적으로 이끌어내기 위해 필요한 프롬프트 엔지니어링 기술을 향상시키기 위한 프롬프트 패턴 카탈로그를 소개합니다. 프롬프트는 LLM에 주어진 지침으로, 출력의 품질과 상호작용을 개선하기 위해 사용됩니다. 프롬프트 패턴은 소프트웨어 패턴과 유사하게, 특정 문맥에서 직면..

논문 요약: "Large Language Models for Qualitative Research in Software Engineering: Exploring Opportunities and Challenges"저자:Muneera Bano, Rashina Hoda, Didar Zowghi, Christoph Treude배경 및 목적:이 논문은 소프트웨어 엔지니어링 분야에서 대형 언어 모델(LLMs)인 ChatGPT와 같은 모델이 질적 연구에 통합되는 것의 기회와 도전 과제를 탐구합니다. LLM의 도입은 학계와 다양한 전문 분야에 큰 변화를 가져왔으며, 특히 소프트웨어 엔지니어링 연구에서 LLM이 어떻게 활용될 수 있는지를 조사합니다.주요 내용:LLM의 통합과 연구자 역할의 변화:LLM의 통합으로 인해 ..

Timeline of the Generative Retrieval methodsGenerative document retrievaldirectly generate document identifiers (DocIDs) related to the documentsGENRE: Autoregressive entity retrievalDSI: Transformer memory as a differentiable search indexNCI: A neural corpus indexer for document retrievalUltron: An ultimate retriever on corpus with a model-based indexerGLEN... https://arxiv.org/pdf/2404.14851  ..