VLM & VLA 연구 브리핑 — 2026-06-20

주목할 만한 신규 논문

1. VLM4VLA: Vision-Language-Model 재평가

제목: "VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models"

주요 기술적 특징: 이 논문은 VLA(Vision-Language-Action) 모델에서 VLM 선택이 하위 정책 성능에 미치는 영향을 체계적으로 분석합니다. 특히 제어 관련 감독(control-relevant supervision)을 VLM의 비전 인코더에 주입하면, 다운스트림 미세 조정 중에도 인코더가 고정된 상태에서 일관된 성능 향상을 달성할 수 있음을 입증합니다.

핵심 기여: VLM이 로봇 제어 작업에 얼마나 효과적으로 기여하는지를 처음으로 체계적으로 평가하며, VLA 아키텍처 설계의 기초적인 가이드라인을 제시합니다.

2. AffordanceVLA: 어포던스 기반 로봇 조작 모델

제목: "AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding"

주요 기술적 특징: Vision-Language-Action 모델이 사전 학습된 비전-언어 모델(VLM)의 풍부한 세계 지식을 활용하여 명령 추종 로봇 조작을 가능하게 합니다. 어포던스(affordance) 인식을 통해 객체와 환경의 상호작용 가능성을 명시적으로 모델링합니다.

핵심 기여: 로봇의 행동 생성을 위해 어포던스 정보를 직접 활용하는 새로운 접근법으로, 일반화 가능한 로봇 제어의 효율성을 높입니다.

6 sources

arxiv.org

[2601.03309] VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models

arxiv.org

[2510.09586] Vision Language Models: A Survey of 26K Papers

arxiv.org

[2505.04769] Vision-Language-Action (VLA) Models: Concepts, Progress, Applications and Challenges

arxiv.org

Pure Vision Language Action (VLA) Models: A Comprehensive Survey

arxiv.org

Vision-Language-Action (VLA) Models: Concepts, Progress, Applications and Challenges

arxiv.org

AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware

VLM 기술 동향 및 상세 요약

1. VLA 모델의 아키텍처 진화와 RT 시리즈의 영향

Vision-Language-Action 모델은 대규모 로봇 데이터셋을 바탕으로 발전해 왔습니다. Google의 RT-1이 130,000개의 데모를 통해 행동 기초 데이터를 제공했으며, 2023년 RT-2의 등장은 비전, 언어, 행동 토큰을 통합하여 로봇 제어를 자동회귀 수열 예측 작업으로 다루는 새로운 패러다임을 확립했습니다. 이는 단일 모델 내에서 다중 모달 정보를 동시에 처리하는 기반이 되었습니다.

2. 멀티모달 이해와 추론 능력의 강화

최근 명령어 기반 대화형 멀티모달 모델(BLIP-2, Flamingo, LLaVA 등)은 개방형 교차 모달 이해, 정밀한 그라운딩, 다중 턴 추론 능력을 크게 향상시켰습니다. 이러한 진보는 비전-언어 행동 시스템의 근간이 되어, 로봇이 자연어 명령을 한층 더 정확하게 이해하고 수행하도록 돕습니다.

3. VLM 선택의 중요성과 최적화 전략

VLA 모델의 성능은 기반이 되는 VLM의 품질에 직접적인 영향을 받습니다. 제어 특화 감독을 비전 인코더에 주입하여 범용 VLM을 로봇 제어 작업에 효과적으로 최적화하는 방식은, 기존 대규모 모델의 능력을 활용하면서도 비용 효율성을 챙길 수 있는 전략으로 주목받고 있습니다.

1 sources

opengraph.githubassets.com

opengraph.githubassets.com

로보틱스 및 VLA 성과 요약

1. 어포던스 기반 로봇 행동 생성의 새로운 가능성

AffordanceVLA는 로봇이 환경의 물리적 특성과 객체의 상호작용 가능성을 스스로 인식해 행동을 생성하는 방식을 보여줍니다. 사전 학습된 VLM의 세계 지식과 어포던스 인식을 결합함으로써 로봇은 학습하지 않은 새로운 작업이나 환경에서도 더 유연하게 대응할 수 있게 되며, 이는 산업 및 서비스 로봇 분야의 실질적인 역량 강화로 이어집니다.

2. 제어 특화 감독을 통한 VLM 최적화

VLM4VLA의 핵심 발견은 범용 VLM의 비전 인코더에 제어 관련 작업 신호를 주입하면, 별도의 재학습 없이도 로봇 정책의 성능을 향상시킬 수 있다는 점입니다. 이는 대규모 모델의 활용도를 극대화하면서도 제어 성능을 확보할 수 있는 경제적인 방법으로, VLA 모델 개발의 진입 장벽을 낮추는 역할을 합니다.

참고: 정보 수집 과정에서 2026-06-18 이후의 신규 논문 데이터는 제한적이었습니다. 위 내용은 최근 발표된 VLM/VLA 연구의 기술적 흐름과 로보틱스 응용 분야의 주요 성과를 정리한 것입니다.