just do it just do it

https://ksh0416.tistory.com/125 [Multi-Modal](A Survey on Multimodal Large Language Models) https://arxiv.org/abs/2306.13549 Encoder 들의 feature 들을 실제 LLM 에서 사용가능한 토큰으로 만드는게 요즘의 핵심이다. 그렇게 된다면, llm 의 능력을 활용해서 textksh0416.tistory.com

ChartCoder: Advancing Multimodal Large Language Model for Chart-to-Code Generation더보기논문 요약저자 및 기관: Xuanle Zhao, Xianzhen Luo 등 / Tsinghua University, Harbin Institute of Technology제출일: 2025년 1월 11일Zhao, Xuanle, et al. "ChartCoder: Advancing Multimodal Large Language Model for Chart-to-Code Generation." arXiv preprint arXiv:2501.06598 (2025).논문 링크: https://github.com/thunlp/ChartCoder🏆 기여점1. Cha..

https://github.com/LLaVA-VL/LLaVA-NeXT GitHub - LLaVA-VL/LLaVA-NeXTContribute to LLaVA-VL/LLaVA-NeXT development by creating an account on GitHub.github.com 참고 블로그>https://fornewchallenge.tistory.com/entry/LLaVA-NeXT-%EC%A0%9C%EB%AF%B8%EB%82%98%EC%9D%B4-%ED%94%84%EB%A1%9C%EB%A5%BC-%EB%9B%B0%EC%96%B4%EB%84%98%EB%8A%94-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC-AI LL..

논문 초록(Abstract)인간 인지의 핵심 요소인 수학적 추론은 교육적 문제 해결부터 과학적 발전에 이르기까지 다양한 영역에서 필수적인 요소입니다. 인공 일반 지능(AGI)이 발전함에 따라 대규모 언어 모델(LLM)을 수학적 추론 작업과 통합하는 것이 점점 더 중요해지고 있습니다. 이 설문조사는 다중 모드 대규모 언어 모델(MLLM) 시대의 수학적 추론에 대한 최초의 종합적인 분석을 제공합니다. 2021년 이후 발표된 200개 이상의 연구를 검토하고, 멀티모달 환경에 초점을 맞춰 수학-LLM의 최신 발전 상황을 살펴봅니다. 이 분야를 벤치마크, 방법론, 과제의 세 가지 차원으로 분류합니다. 특히, 멀티모달 수학적 추론 파이프라인과 (M)LLM의 역할 및 관련 방법론에 대해 살펴봅니다. 마지막으로, 이 ..

아래의 내용은 ChatGPT o1으로 요약한 것 요약“Beagle: Automated Extraction and Interpretation of Visualizations from the Web”은 웹사이트에 게시된 차트, 그래프, 기타 시각적 자료를 자동으로 탐지하고 해석하는 시스템을 제안한다. 이 연구에서는 컴퓨터 비전 기법과 자연어 처리, 그리고 휴리스틱 기반 분석을 결합하여, (1) 이미지 안에서 시각적 요소와 레이아웃 구조를 식별하고, (2) 축 레이블이나 범례와 같은 텍스트 주석을 해석하며, (3) 구조화된 형태로 데이터 값을 재구성한다. 이는 주로 정적 시각화로 인해 웹상에 방대한 데이터가 잠겨 있다는 문제를 해결하고, 데이터 재사용 및 대규모 정보 집계를 촉진하고자 하는 목표를 가진다.주요..

MLLM 개요MLLM은 텍스트, 이미지, 비디오, 오디오 등 다양한 유형의 정보를 이해하고 처리할 수 있는 AI 모델입니다. 최근 GPT-4V와 같은 발전으로 MLLM은 빠르게 진화하고 있으며 일반 인공지능(AGI)을 향한 가능한 경로로 주목받고 있습니다.1. 기본 구조 및 교육 전략구조: MLLM에는 일반적으로 사전 학습된 모달리티 인코더, 사전 학습된 LLM(대형 언어 모델) 및 둘을 연결하는 모달리티 인터페이스가 포함됩니다.Modality Encoders: CLIP과 같은 사전 훈련된 인코더를 사용하여 원시 데이터(예: 이미지, 오디오)를 LLM이 해석할 수 있는 형식으로 변환합니다.사전 훈련된 LLM: 방대한 텍스트 데이터에 대해 훈련된 LLM(예: Flan-T5, LLaMA, Vicuna)은 지..

이기종 데이터 입력 및 처리 방법 1. 텍스트 및 이미지 입력 ​​처리텍스트: 텍스트는 이미 LLM이 이해할 수 있는 형식이므로 변환이 필요하지 않습니다.이미지: 이미지는 LLM이 처리할 수 있는 형식으로 변환되어야 합니다. 이미지 인코더는 이미지 특징을 추출하고 이를 벡터로 변환하는 데 사용됩니다.이미지 인코더: 일반적으로 사용되는 인코더에는 CLIP, ImageBind 및 CLAP가 포함됩니다. 2. 텍스트와 이미지 정보 결합인코더의 이미지 정보와 텍스트 정보를 결합하는 두 가지 기본 방법이 있습니다.● 토큰 수준 융합이미지 특징 벡터를 토큰으로 변환한 다음 이를 텍스트 토큰과 결합하여 LLM에 입력합니다.Q-Former: 쿼리 토큰을 사용하여 이미지 정보를 요약한 다음 입력을 위해 텍스트 토큰과 연..