just do it just do it

LLM 기반 Multimodal Agents (LMA) 연구 분류Planner의 특성과 장기 기억 (Long-term Memory) 유무에 따라 크게 4가지 유형으로 분류할 수 있음 Planner 는 LMA(Large Multimodal Agent)에서 인간의 뇌와 같은 역할을 수행하는 핵심 구성 요소입니다. 다양한 멀티모달 정보를 바탕으로 현재 작업에 대한 심층적인 추론을 수행하고, 그에 맞는 계획을 수립하는 역할을 담당플래너장기 기억주요 기능폐쇄형 LLM(예: GPT-3.5)없음추론을 위해 프롬프트를 사용합니다. 기본 작업; 복잡한 환경에서는 제한적입니다.미세 조정된 LLM(예: LLaMA, LLaVA)없음다중 모드 작업에 맞게 미세 조정되었습니다. 유형 I에 비해 향상된 계획 및 실행; 장기 기억력..

NotebookLM 요약 이 논문은 생성 언어 모델(GLM)의 신뢰성을 높이기 위해 제안된 선택적 생성(selective generation) 방법에 대해 설명합니다. GLM은 종종 환각(hallucination) 문제, 즉 사실이 아닌 정보를 생성하는 문제를 겪는데, 선택적 생성은 이러한 문제를 해결하기 위해 모델이 확신하지 못하는 경우 답변을 거부하는 기능을 도입합니다. 논문에서는 텍스트적 의미 포함(textual entailment) 개념을 활용하여 생성된 답변의 정확성을 평가하고, 이를 통해 오류 발생률을 제어하는 두 가지 알고리즘 SGenSup과 SGenSemi를 제안합니다. SGenSup은 지도 학습 방식으로, 인간이 텍스트적 의미 포함을 라벨링한 데이터를 사용합니다. 반면에 SGenSemi는..

인텔리콘연구소, 법률 특화 LLM '코알라' 개발 성공 소형언어모델(sLLM) '코알라(KOALLA)' 개발 직접선호최적화(DPO)같은 기법과 학습 데이터 구성 자체를 최적화하는 데이터 재규격화(Renormalization) 기술을 개발, 추가 학습을 진행했다.데이터 재규격화 기법은 인텔리콘이 고안한 특허 기술로, 방대한 학습 데이터에서 성능 향상에 불필요한 데이터를 제거하는 데이터 디노이징(Data-denoizing) 기법과 실제 사용자의 행동 패턴 데이터를 융합해 리셔플링(Re-shuffling)하는 기술을 포함한다. 출처 : AI타임스(https://www.aitimes.com)  superlawyer https://superlawyer.co.kr/?utm_source=Google_SA&utm_me..

https://sjkoding.tistory.com/94 [LLM]Llama 3.1 설치 및 ValueError: `rope_scaling` 해결방법 (+ vLLM 에러 해결 such as '_OpNamespace' '_C' object has nhttps://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct · Hugging FaceThe information you provide will be collected, stored, processed and shared in accordance with the Meta Privacy Policy. LLAMA 3.1 COMMUNITY Lsjkodi..

MEDVOC: Vocabulary Adaptation for Fine-tuning Pre-trained Language Models on Medical Text Summarization 이 연구는 BERTSumAbs, BART, PEGASUS와 같은 사전 학습된 언어 모델(PLM)을 의료 텍스트 요약에 맞게 미세 조정하기 위한 동적 어휘 적응 전략인 MEDVOC을 제안합니다. 기존의 요약 도메인 적응 접근법과 달리, MEDVOC은 어휘를 최적화 가능한 매개변수로 간주하고, 다운스트림 작업의 참조 요약에만 조건화된 프래그먼트 점수를 기반으로 PLM 어휘를 최적화합니다. 이전의 어휘 적응 작업(주로 분류 작업에만 제한됨)과 달리, 요약 작업을 기반으로 어휘를 최적화하는 것은 대규모 요약 데이터셋에 대한 매우..

Putting Back the Stops: Integrating Syntax with Neural Topic Models구문(Syntax)과 의미(Semantics)는 언어 이해의 두 가지 핵심 개념입니다. 토픽 모델링(Topic Modeling)은 일반적으로 텍스트 코퍼스의 의미를 나타내며, 전처리 과정에서 구문 정보를 제거합니다. 전처리 없이 토픽을 생성하면 구문적 단어들이 생성된 토픽을 지배하게 되어 토픽 해석이 어려워집니다. 해석 가능한 토픽을 학습하면서도 유용한 구문 정보를 유지하기 위해, 우리는 전처리 없이 코퍼스로부터 구문적 및 의미적 토픽을 동시에 학습할 수 있는 새로운 프레임워크를 제안합니다. 이 프레임워크는 텍스트의 의존 관계를 활용하여 구문적 단어와 의미적 단어를 구별하는 컨텍스트 네..

GRASP: A Novel Benchmark for Evaluating Language GRounding and Situated Physics Understanding in Multimodal Language Models 이 논문은 GRASP라는 새로운 벤치마크를 소개하며, 이를 통해 비디오 기반 멀티모달 대형 언어 모델(LLMs)의 언어 그라운딩과 물리적 이해 능력을 평가합니다. 이 평가는 Unity 시뮬레이션을 활용한 이중 접근 방식을 통해 이루어집니다. 첫 번째 수준에서는 간단한 텍스트 설명과 시각적 정보를 연관시키는 모델의 능력을 평가하여 언어 그라운딩을 테스트합니다. 두 번째 수준에서는 객체 영속성 및 연속성 같은 "직관적 물리학(Intuitive Physics)" 원칙을 이해하는 모델의 능력을..

Attention Based Document-level Relation Extraction with None Class Ranking Loss 문서 수준 관계 추출(Document-level Relation Extraction, RE)을 통해 텍스트 내 엔터티 간의 전반적인 관계를 분석할 수 있으며, 보다 포괄적이고 정확한 의미 정보를 얻을 수 있습니다. 문서 수준 RE에서는 모델이 서로 다른 문장에 있는 두 엔터티 간의 암묵적인 관계를 추론해야 합니다. 더 많은 의미 정보를 얻기 위해, 기존 방법들은 주로 엔터티 표현을 탐구하는 데 초점을 맞추지만, 관계, 엔터티 및 문맥 간의 상관성과 불가분성을 간과합니다. 또한, 현재의 방법들은 "관계 없음"이라는 경우를 무시하고 미리 정의된 관계만을 독립적으로 추..