VLM (Vision-Language Model) #
VLM은 이미지(또는 영상)와 글을 함께 이해하는 모델이다. 우리말로는 비전-언어 모델이라고 한다. LLM이 글만 읽고 글을 쓴다면, VLM은 사진을 “보고” 그 내용을 글로 설명하거나 사진에 대한 질문에 답한다.
예를 들어 영수증 사진을 넣고 “합계 금액이 얼마야?“라고 물으면, VLM은 사진 속 글자를 읽고 표 구조를 이해한 뒤 “32,500원"이라고 답한다. 사람이 사진과 글을 동시에 보면서 판단하는 일을 모델 하나가 하는 것이다.
LLM과의 관계 #
오늘날 대부분의 VLM은 이미 잘 학습된 LLM에 “눈"을 붙인 구조다. 언어 능력(추론, 지식, 대화)은 LLM에서 그대로 가져오고, 이미지를 LLM이 이해할 수 있는 형태로 바꿔 주는 부품을 덧붙인다. 그래서 VLM은 “LLM의 멀티모달 확장"이라고 보면 이해하기 쉽다.
- LLM: 글 → 글
- VLM: 이미지 + 글 → 글
- VLA: 이미지 + 글 → 로봇 행동
VLM의 구조 #
대표적인 VLM은 세 부품으로 이루어진다.
1. 비전 인코더 (Vision Encoder) #
이미지를 작은 조각(패치, patch)으로 잘라 각 조각을 숫자 벡터로 바꾼다. 주로 ViT(Vision Transformer, 이미지를 조각 단위로 처리하는 트랜스포머) 계열을 쓰며, CLIP이나 SigLIP처럼 이미지와 글을 짝지어 미리 학습한 인코더가 많이 쓰인다.
2. 프로젝터 (Projector / Connector) #
비전 인코더가 만든 벡터를 LLM의 단어 임베딩과 같은 공간으로 옮겨 주는 “통역사"다. 간단한 다층 퍼셉트론(MLP)을 쓰기도 하고(LLaVA), 이미지 정보를 몇십 개의 토큰으로 압축하는 별도 모듈을 쓰기도 한다(BLIP-2의 Q-Former).
3. 언어 모델 (LLM) #
프로젝터를 거친 이미지 토큰을 글 토큰과 나란히 입력받아, 평소처럼 다음 토큰을 예측하며 답을 생성한다. LLM 입장에서는 이미지가 “조금 특이한 단어 몇백 개"로 보이는 셈이다.
[이미지] → 비전 인코더 → 프로젝터 → 이미지 토큰 ┐
├→ LLM → 답변(글)
[질문 글] → 토크나이저 → 글 토큰 ────────────────┘
처음부터 이미지와 글을 한 모델로 함께 학습하는 네이티브 멀티모달(Native Multimodal) 방식도 있다. Google의 Gemini가 대표적이다. 붙여 만드는 방식보다 학습 비용이 크지만, 이미지와 글 사이의 연결이 더 자연스럽다는 장점이 있다.
학습 과정 #
붙여 만드는 VLM은 보통 두 단계로 학습한다.
- 정렬 사전학습 (Alignment Pre-training): 이미지-설명 쌍 수백만~수억 개로 프로젝터를 학습시켜, 이미지 벡터가 LLM이 알아듣는 “말"이 되도록 맞춘다. 이 단계에서는 비전 인코더와 LLM을 대부분 고정해 둔다.
- 시각 지시 튜닝 (Visual Instruction Tuning): “이 그림에서 이상한 점은?”, “표의 3행을 요약해 줘” 같은 질문-답변 데이터로 전체 또는 일부를 미세 조정한다. 이 단계에서 대화형 비서처럼 행동하게 된다.
이후 LLM과 마찬가지로 사람 선호도를 반영하는 강화학습(RLHF, DPO 등)을 더하기도 한다.
주요 모델의 흐름 #
| 연도 | 모델 | 의미 |
|---|---|---|
| 2021 | CLIP (OpenAI) | 이미지와 글을 같은 공간에 놓는 대조 학습. 생성은 못 하지만 이후 VLM의 “눈"이 됨 |
| 2022 | Flamingo (DeepMind) | 고정된 LLM에 이미지를 끼워 넣어 몇 개 예시만으로 새 작업 수행 |
| 2023 | BLIP-2 (Salesforce) | Q-Former로 비전 인코더와 LLM을 가볍게 연결 |
| 2023 | LLaVA | 간단한 프로젝터 + 시각 지시 튜닝. 공개 VLM 연구의 기준점이 됨 |
| 2023 | GPT-4V, Gemini | 상용 대형 모델이 이미지 입력을 본격 지원 |
| 2024~ | Claude, Qwen-VL, PaliGemma, InternVL 등 | 문서·차트·화면 이해, 고해상도 처리, 영상 이해로 확장 |
지금은 주요 상용 LLM 대부분이 이미지 입력을 기본으로 지원하므로, “VLM"은 별도 제품이라기보다 LLM이 갖춘 시각 능력을 가리키는 말로도 많이 쓰인다.
무엇을 할 수 있나 #
- 이미지 설명 (Captioning): 사진 내용을 문장으로 설명
- 시각 질의응답 (VQA, Visual Question Answering): “이 사진에 사람이 몇 명이야?”
- 문서·OCR 이해: 스캔 문서, 영수증, 계약서, 손글씨 읽기와 요약
- 차트·표 해석: 그래프 이미지를 보고 추세나 수치 설명
- 화면 이해: 앱이나 웹 화면 캡처를 보고 버튼 위치나 다음 동작 판단 (컴퓨터 사용 에이전트의 기반)
- 위치 찾기 (Grounding): “빨간 컵은 어디 있어?” → 이미지 속 좌표나 상자로 답
데이터과학에서의 활용 예 #
- 손으로 작성된 설문지나 장부 사진을 구조화된 표 데이터로 변환
- 대시보드 캡처를 넣고 이상치나 추세를 설명하게 하기
- 제조 현장 사진에서 불량 유형을 글로 분류하고 근거 설명
- 논문의 그림과 표를 읽어 핵심 결과 정리
한계와 주의점 #
- 시각 환각 (Visual Hallucination): 사진에 없는 물체를 있다고 말하거나 글자를 지어낸다. 중요한 수치는 원본과 대조해야 한다.
- 세는 것과 공간 관계에 약함: “의자가 몇 개?”, “컵이 책 왼쪽에 있나?” 같은 질문에서 자주 틀린다.
- 해상도 문제: 이미지를 줄여서 넣기 때문에 작은 글자나 세밀한 부분을 놓치기 쉽다. 필요한 부분을 잘라서(crop) 넣으면 정확도가 오른다.
- 비용: 이미지 한 장이 수백~수천 토큰으로 바뀌므로 글보다 처리 비용이 크다.