A Comprehensive Review of Multimodal LargeLanguage Models: Performance and ChallengesAcross Different Tasks

이기종 데이터 입력 및 처리 방법

 

1. 텍스트 및 이미지 입력 ​​처리

텍스트: 텍스트는 이미 LLM이 이해할 수 있는 형식이므로 변환이 필요하지 않습니다.
이미지: 이미지는 LLM이 처리할 수 있는 형식으로 변환되어야 합니다. 이미지 인코더는 이미지 특징을 추출하고 이를 벡터로 변환하는 데 사용됩니다.
이미지 인코더: 일반적으로 사용되는 인코더에는 CLIP, ImageBind 및 CLAP가 포함됩니다.

 

2. 텍스트와 이미지 정보 결합

인코더의 이미지 정보와 텍스트 정보를 결합하는 두 가지 기본 방법이 있습니다.

● 토큰 수준 융합
이미지 특징 벡터를 토큰으로 변환한 다음 이를 텍스트 토큰과 결합하여 LLM에 입력합니다.
Q-Former: 쿼리 토큰을 사용하여 이미지 정보를 요약한 다음 입력을 위해 텍스트 토큰과 연결합니다.
MLP(Multi-Layer Perceptron): 이미지 특징 벡터를 텍스트 임베딩 공간에 투영하여 텍스트 토큰과 통합합니다.

 

● 기능 수준 융합
상호 작용을 통해 텍스트와 이미지 기능을 융합합니다.
Flamingo: Transformer 레이어 사이에 교차 주의 레이어를 삽입하여 텍스트 기능에 시각적 정보를 추가합니다.
CogVLM: 텍스트와 이미지 기능 간의 양방향 상호 작용을 위해 각 Transformer 레이어에 시각적 전문가 모듈을 포함합니다.
LLaMA-Adapter: Transformer 레이어에 학습 가능한 프롬프트를 도입하여 이미지 정보를 텍스트 기능에 통합합니다.

 

3. 다중 모드 LLM(MLLM)을 사용한 처리

결합된 텍스트와 이미지 정보는 MLLM에 입력되며, MLLM은 이러한 다중 모드 입력을 함께 이해하고 처리할 수 있습니다.
MLLM 모델: 예로는 GPT-4V, BLIP-2, InstructBLIP, LLaVA, MiniGPT-4, mPLUG-Owl, VideoChat, ImageBind-LLM, NExT-GPT, Qwen-VL 및 VisCPM이 있습니다.

 

4. MLLM 교육 과정

MLLM 교육에는 일반적으로 다음이 포함됩니다.

• 사전 학습: 텍스트-이미지 쌍이 포함된 대규모 데이터세트에서 다중 모드 지식을 학습합니다.
• 지시 튜닝: 명령을 따르고 작업을 수행하는 모델의 능력을 향상합니다.
• 정렬 조정: 종종 RLHF(인간 피드백을 통한 강화 학습)를 사용하여 인간 선호도에 따라 모델 응답을 조정합니다.

 

MLLM에서 다양한 텍스트와 이미지를 처리하려면:

• 이미지에는 이미지 인코더를 사용합니다.
• 토큰 수준 또는 기능 수준 융합을 통해 정보를 결합합니다.
• 다중 모드 이해 및 작업 실행을 위해 MLLM에 입력합니다.

 

 

멀티모달 대규모 언어 모델(MLLM)은 텍스트, 이미지, 비디오, 오디오 등 다양한 데이터 유형을 통합하고 처리하며 이해하는 AI 시스템으로, 복잡한 현실 세계의 과제를 수행하기 위해 설계되었습니다. 정보 기술의 발전과 데이터 양의 급증으로 인해 단일 모달 시스템만으로는 현실의 복잡한 문제를 다루기 어렵기 때문에, MLLM은 여러 분야에서 실질적인 가치를 보여주며 차세대 AI 기술로 자리잡고 있습니다. 그러나 MLLM이 더 널리 활용되고 발전하기 위해 해결해야 할 여러 과제가 있습니다. 제안된 미래 연구 방향은 다음과 같습니다.

 

1. 멀티모달 정보 융합의 해석 가능성 개선

• MLLM은 다양한 모달 정보를 통합하여 작업 성능을 향상시키지만, 내부 메커니즘이 복잡하고 불투명하여 해석 가능성이 낮다는 문제가 있습니다.
• 각 모달이 최종 결정에 어떻게 기여하는지 이해하는 것이 멀티모달 데이터 간 상호작용을 분석하는 데 중요합니다.
• 현재 멀티모달 정보 융합은 종종 "블랙 박스"로 취급되어 사용자들이 모델의 결정 과정을 이해하기 어렵습니다.
• 따라서, 중요한 분야(예: 의료, 금융)에서 MLLM의 신뢰성을 높이기 위해 결정 과정에 대한 분석과 해석 가능성을 개선하는 연구가 필요합니다.

2. MLLM의 진화 방향: 일반성과 특수성의 균형

• 모델 크기가 계속 커짐에 따라, MLLM이 "대규모 및 종합적" 접근과 "소규모 및 특화된" 접근 중 어떤 방향을 추구해야 하는지에 대한 논의가 진행 중입니다.
• 다양한 현실 세계 과제를 다룰 수 있는 범용 AI 콘텐츠 생성 시스템이 매력적이지만, 특정 분야에서는 더 작은, 목적이 명확한 모델이 뛰어난 성능을 보일 수 있다는 증거가 늘고 있습니다.
• 따라서 일반화와 특수화 간 균형을 찾아 특정 작업에서 우수한 성능을 발휘하면서도 강한 일반화 능력을 유지하는 것은 중요한 연구 과제가 되었습니다.

---

3. MLLM의 보안 및 윤리적 문제 해결

• MLLM은 방대한 양의 데이터를 처리하기 때문에 프라이버시 유출과 데이터 편향과 같은 보안 문제에 직면할 수 있습니다.
• 이를 해결하는 것은 기술적 노력을 넘어서 연구자의 사회적 책임 측면에서도 중요합니다.
• 모델 개발과 배포가 사회 및 도덕적 규범을 준수하도록 강력한 윤리 기준과 보안 조치를 수립하는 것은 시급하고 심도 있는 논의가 필요한 중요한 문제입니다.

---

4. 효율적인 멀티모달 표현 학습 및 융합 기술 개발

• 대조 학습(Contrastive Learning), 강화 학습과 같은 보다 효율적인 시각-언어 표현 학습 방법이 모델 성능을 더욱 향상시킬 잠재력을 가지고 있습니다.
• Temporal Attention 등 시간 정보를 고려하는 고급 멀티모달 융합 메커니즘은 비디오의 동적 특성을 더 잘 모델링할 수 있습니다.

---

5. 경량화 모델 설계 및 실시간 응용

• 성능을 유지하면서도 계산 오버헤드를 크게 줄일 수 있는 경량화 모델 설계는 실시간 응용 시나리오에 더 적합합니다.
• 모델 양자화 및 가지치기와 같은 기술은 이 문제를 완화하는 데 도움이 될 수 있습니다.

---

6. 고차원 인지 능력 기반 MLLM 개발 및 외부 지식 활용

• 인과 추론과 논리적 추론과 같은 고차원 인지 능력을 기반으로 한 MLLM은 인간에 가까운 비디오 이해를 가능하게 합니다.
• 상식, 도메인 지식 등 외부 지식을 통합하여 MLLM의 분석 및 추론 능력을 강화하는 것 또한 유망한 연구 방향입니다.