VLA (Vision-Language-Action Model) #
VLA는 눈으로 보고(Vision), 말을 알아듣고(Language), 몸을 움직이는(Action) 모델이다. 카메라 영상과 사람의 지시를 입력받아, 로봇 팔이나 다리를 어떻게 움직일지를 직접 출력한다.
예를 들어 로봇에게 “식탁 위 빈 컵을 싱크대에 넣어 줘"라고 말하면, VLA는 카메라 화면에서 빈 컵을 찾고, 그 문장의 뜻을 이해한 뒤, “팔 관절을 이만큼 돌리고 그리퍼(집게)를 닫아라” 같은 동작 명령을 1초에 수십 번씩 내보낸다.
VLM과의 차이 #
VLM은 이미지를 보고 글로 답한다. VLA는 같은 입력을 받아 행동으로 답한다.
- VLM: “컵은 식탁 오른쪽 끝에 있습니다.” (설명)
- VLA:
[x=+0.12, y=-0.03, z=+0.05, 회전=..., 그리퍼=닫기](동작 명령)
VLA는 보통 VLM을 출발점으로 삼는다. 인터넷 규모의 이미지와 글에서 배운 “세상에 대한 상식”(컵이 무엇인지, 싱크대가 어디쯤 있는지)을 로봇 제어에 그대로 활용하려는 것이 핵심 아이디어다.
왜 등장했나 #
예전 로봇은 작업마다 따로 프로그래밍하거나 따로 학습시켜야 했다. “빨간 블록 집기"를 배운 로봇은 “파란 컵 집기"를 하지 못했다. VLA는 LLM이 언어 작업을 하나의 모델로 통합했듯, 여러 로봇 작업을 하나의 범용 모델로 처리하려는 시도다. 그래서 로봇 파운데이션 모델(Robot Foundation Model)이라고도 부른다.
구조와 동작 방식 #
[카메라 영상] ─┐
[지시 문장] ──┼→ VLM 백본(보고 이해하기) → 행동 출력부 → 관절/그리퍼 명령
[로봇 상태] ──┘ (초당 수십 회)
행동을 출력하는 두 가지 방법 #
1. 행동을 토큰으로 바꾸기 (이산화)
로봇 동작 값(예: 팔 이동량 -1.0 ~ +1.0)을 256칸 같은 구간으로 나눠 각 구간을 “단어"처럼 취급한다. 그러면 LLM이 글을 생성하듯 행동 토큰을 생성할 수 있다. Google DeepMind의 RT-2, 공개 모델 OpenVLA가 이 방식이다. 구조가 단순하지만 동작이 다소 끊기거나 느릴 수 있다.
2. 별도의 행동 전문가 붙이기 (연속 출력)
VLM이 상황을 이해하면, 그 결과를 받아 부드러운 연속 동작을 만드는 작은 네트워크를 따로 둔다. 확산 모델(Diffusion, 노이즈를 조금씩 걷어내며 결과를 만드는 생성 방식)이나 플로우 매칭(Flow Matching)을 주로 쓴다. Physical Intelligence의 π0(파이 제로)가 대표적이며, 빨래 개기처럼 섬세한 작업에 유리하다.
행동 묶음 예측 (Action Chunking) #
한 번에 다음 한 동작만 내지 않고 앞으로 0.5~1초 분량의 동작을 묶어서 예측하는 기법이다. 동작이 매끄러워지고, 큰 모델의 느린 추론 속도를 보완할 수 있어 최근 VLA에서 널리 쓰인다.
빠른 시스템과 느린 시스템 (System 1 / System 2) #
사람의 사고를 “빠른 직관"과 “느린 숙고"로 나누는 비유를 빌려, 느리지만 똑똑한 VLM(계획·이해)과 빠르지만 단순한 제어 모델(실시간 동작)을 분리하는 설계도 많다. NVIDIA GR00T N1, Figure의 Helix 등 휴머노이드용 모델이 이런 이중 구조를 쓴다.
주요 모델의 흐름 #
| 연도 | 모델 | 의미 |
|---|---|---|
| 2022 | RT-1 (Google) | 실제 로봇 13만 회 시연 데이터로 학습한 트랜스포머 로봇 정책 |
| 2023 | RT-2 (Google DeepMind) | VLM에 행동 토큰을 출력하게 학습. “VLA"라는 말을 처음 씀 |
| 2023 | Open X-Embodiment | 여러 기관의 20여 종 로봇 데이터를 모은 공개 데이터셋 |
| 2024 | OpenVLA | 7B 규모의 공개 VLA. 연구용 기준 모델 |
| 2024 | π0 (Physical Intelligence) | 플로우 매칭 행동 전문가. 빨래 개기 등 정교한 조작 시연 |
| 2025 | Gemini Robotics, GR00T N1, Helix | 대형 기업의 범용 로봇·휴머노이드용 VLA |
학습 데이터 #
VLA의 가장 큰 병목은 데이터다. 글과 사진은 인터넷에 넘쳐나지만, “로봇이 이렇게 움직였더니 성공했다"는 데이터는 사람이 직접 만들어야 한다.
- 원격 조작 시연 (Teleoperation): 사람이 조종기나 VR 장비로 로봇을 움직여 시범을 보이고 기록한다. 품질은 좋지만 비싸고 느리다.
- 여러 로봇 데이터 합치기 (Cross-Embodiment): 모양이 다른 로봇들의 데이터를 함께 학습해 데이터 양을 늘린다.
- 시뮬레이션 데이터: 가상 환경에서 대량으로 만든다. 현실과의 차이(Sim-to-Real Gap)를 줄이는 것이 과제다.
- 사람 영상: 사람이 손으로 물건을 다루는 영상에서 동작 지식을 배우려는 연구도 활발하다.
한계와 과제 #
- 일반화: 학습 때 본 적 없는 물건, 조명, 방 구조에서는 성공률이 크게 떨어진다.
- 속도: 수십억 파라미터 모델을 로봇 안에서 실시간으로 돌리기 어렵다.
- 안전: 글은 틀려도 고치면 되지만, 로봇의 잘못된 동작은 물건을 깨거나 사람을 다치게 할 수 있다.
- 평가: 실제 로봇으로 수백 번 시험해야 성능을 알 수 있어, 비교 기준을 만들기 어렵다.