just do it just do it

https://ksh0416.tistory.com/125 [Multi-Modal](A Survey on Multimodal Large Language Models) https://arxiv.org/abs/2306.13549 Encoder 들의 feature 들을 실제 LLM 에서 사용가능한 토큰으로 만드는게 요즘의 핵심이다. 그렇게 된다면, llm 의 능력을 활용해서 textksh0416.tistory.com

https://developer0hye.tistory.com/785 Hugging Face Datasets 에 이미지, 텍스트 멀티모달 데이터셋을 업로드 해보"자이아파트"짱구도 살고 싶은 문화자이sk뷰아파트를 억지로 제목에 녹여봤습니다. 짱구는 한국에서 자기 이미지가 이렇게 소비되는 걸 알긴알까요? 단독 주택에 잘 살고 있는 짱구가 왜 아파트에 살고 싶developer0hye.tistory.com

연구에서는 다음과 같은 7가지 Prompt Engineering 기법을 테스트했습니다.Direct Answer (Zero-Shot): 추가적인 예시나 지침 없이 질문에 직접 답변하도록 요구하는 Baseline 기법입니다.Chain-of-Thought (CoT): 3개의 예시를 제공하여 모델이 단계별 추론 과정을 명시적으로 보여주도록 안내하는 기법입니다.Zero-Shot CoT: 예시 없이 "Let's think step by step"과 같은 지침을 추가하여 모델이 단계별 추론을 시도하도록 유도하는 기법입니다.Self-Ask: 복잡한 문제를 해결하기 위해 모델 스스로 관련 중간 질문을 생성하고 답변하며 최종 답변에 도달하도록 하는 기법입니다. Multi-hop 문제 해결에 적합합니다.Self-Consis..

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3!pip3 install -q -U datasets==2.18.export TRANSFORMERS_NO_FLASH_ATTN=1 https://github.com/open-compass/VLMEvalKit/blob/main/docs/en/Quickstart.md VLMEvalKit/docs/en/Quickstart.md at main · open-compass/VLMEvalKitOpen-source evaluation toolkit of large multi-modality models (LMMs), support 220+ LMMs, 80+ benchmarks - open..

pip install transformers==4.38.2 https://github.com/huggingface/trl/issues/6

기여점멀티모달 차트 검색 문제 제기 및 비교 평가이미지 기반 차트를 텍스트 질의를 통해 검색하는 과제를 설정하고, 다음 네 가지 방법을 비교:(a) OCR 후 텍스트 기반 검색(b) 차트 디렌더링(DEPLOT) → 테이블 검색(c) 이미지 이해 모델(PALI-3) 직접 사용(d) (b)와 (c)를 결합한 접근TABGTR 모델 제안테이블 구조 임베딩을 활용한 텍스트 검색 모델을 새롭게 제안.NQ-TABLES 벤치마크에서 R@1 48.88%로 기존 대비 성능 향상.모델 효율성과 정확도 비교DEPLOT 기반 접근은 PALI-3보다 정확도가 높고 파라미터 수는 10배 적음 (300M vs 3B).다만, 복잡한 차트에는 DEPLOT이 성능 저하를 보임.결합 방식의 시너지 효과단일 모델보다 PALI-3 + DEPL..

https://csj000714.tistory.com/908 [Network] Ubuntu 무선 랜카드 세팅(NEXT-1305AC-AT, rtl88x2BU): Window Linux 호환가능💡 본 문서는 'Linux Ubuntu 무선 랜카드 세팅(NEXT-1305AC-AT, rtl88x2BU)'에 대해 정리해놓은 글입니다. 윈도우, 리눅스 호환가능한 랜카드인 NEXT-1305AC-AT를 구매하고, 이를 설치하여 세팅한 과정에 대해csj000714.tistory.comhttps://github.com/morrownr/88x2bu-20210702 GitHub - morrownr/88x2bu-20210702: Linux Driver for USB WiFi Adapters that are based on th..

Background and MotivationLarge Multimodal Models (LMMs) extend Large Language Models into the vision domainEarly LMMs generated ungrounded textual responses based on holistic imagesRecent region-level LMMs allow visually grounded responsesLimitations include single-object references, need for manual region input, and lack of dense pixel-wise groundingProposed Model: GLaMMGLaMM is the first model..