오늘의 VLM & VLA 연구 브리핑 — 2026-05-28

주목할 만한 신규 논문

1. Agent Explorative Policy Optimization for Multimodal Agentic Reasoning

NVIDIA에서 발표한 논문으로, 멀티모달 에이전트의 추론을 위한 정책 최적화 기법을 담고 있습니다. 에이전트의 탐색적 행동을 활용해 보상 신호를 끌어올리고, 시각과 텍스트 같은 멀티모달 입력을 결합해 추론 성능을 높이는 것이 핵심입니다. 복잡한 작업을 수행할 때 에이전트가 훨씬 똑똑하게 학습할 수 있게 도와줍니다.

2. GEM: Generative Supervision Helps Embodied Intelligence

Tencent Hunyuan 팀이 내놓은 이 연구는 '생성형 감독(Generative Supervision)'이 구체화된 지능(Embodied Intelligence) 학습에 어떤 도움을 주는지 탐구합니다. 수동으로 만든 레이블 대신 생성형 모델이 주는 감독 신호를 활용해, 로봇 정책 학습의 효율과 일반화 성능을 동시에 잡았습니다.

3. From Pixels to Words -- Towards Native One-Vision Models at Scale

21명의 연구자가 참여한 이 논문은 픽셀 데이터를 바로 자연어로 매핑하는 '네이티브 원-비전 모델'을 대규모로 구축하는 방안을 제시합니다. 복잡한 다단계 인코딩 과정을 확 줄여서, 모델 효율과 성능을 모두 개선한 기술적 성과가 돋보입니다.

4. Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving

NVIDIA의 또 다른 논문으로, 자율 주행을 위해 만들어진 효율적인 블록-확산 VLM을 소개합니다. 블록 단위로 확산 프로세스를 처리해 연산 복잡도는 낮추면서도 높은 수준의 주행 정책을 만들어냅니다. 실시간 의사결정이 필수인 로봇 시스템에 아주 적합한 기술입니다.

15 sources

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

huggingface.co

VLM 기술 동향 및 상세 요약

멀티모달 에이전트 추론의 정책 최적화 방향

오늘 논문들의 공통점은 에이전트가 복잡한 과제를 해결할 때 여러 정보를 통합해 판단하는 능력을 높이는 데 집중하고 있다는 점입니다. 특히 강화학습 기반의 정책 최적화가 멀티모달 입력 처리 과정에서 더 정교해지고 있는데요, Agent Explorative Policy Optimization 연구는 에이전트가 눈앞의 이익만 쫓지 않고 장기적인 보상을 고려해 탐색하도록 체계화했다는 점에서 의미가 큽니다.

생성형 감독 신호의 활용 확대

지금까지는 로봇 학습을 위해 사람이 직접 일일이 레이블링을 해야 했지만, GEM 논문은 대규모 생성형 모델의 지식을 활용해 감독 신호를 자동으로 만드는 새로운 길을 제시했습니다. 비용은 확 낮추고 다양한 환경에 대한 적응력은 높일 수 있어, 로보틱스와 VLA 분야의 새로운 표준이 될 것으로 보입니다.

비전 인코딩의 단순화 및 효율성 개선

"From Pixels to Words" 연구는 VLM의 복잡한 비전 인코딩 단계를 줄이려는 시도를 보여줍니다. 네이티브 원-비전 모델 방식으로 크기는 줄이면서 성능은 유지하는 기술인데, 이는 모바일 로봇이나 엣지 디바이스처럼 자원이 한정된 환경에서 VLM을 쓸 때 꼭 필요한 개선입니다.

로보틱스 및 VLA 성과 요약

자율 주행을 위한 효율적 확산 기반 VLM

Fast-dDrive 논문은 자율 주행 현장에서 VLM을 실시간으로 쓰기 위한 기술적 돌파구를 마련했습니다. 블록-확산(Block-Diffusion) 기법 덕분에 연산 부담은 덜면서도 고품질 주행 정책을 뽑아낼 수 있습니다. 자율 주행 로봇이 더 빠르게 판단할 수 있게 해, 실제 현장에서 VLM이 실용적으로 작동할 수 있음을 입증했습니다.

구체화된 작업 학습에서 생성형 감독의 역할

Tencent Hunyuan의 GEM 모델은 로봇이 물체를 잡거나 길을 찾을 때 생성형 모델이 주는 감독 신호가 얼마나 강력한지를 보여줍니다. 대규모 언어 모델이 가진 방대한 지식을 로봇 학습에 직접 가져다 씀으로써, 데이터 효율성과 성능이라는 두 마리 토끼를 다 잡을 수 있는 가능성을 열어주었습니다.