获项目资助博士研究生与多个研究团队合作在具身空间智能领域取得进展

图 SpatialVLA：面向具身智能的3D空间智能通用操作模型

　　在尊龙凯时青年学生基础研究项目（博士研究生，批准号：624B2044）的资助下，复旦大学计算机科学与技术学院博士研究生屈德林与上海人工智能实验室、中国电信AI研究院、上海交通大学、浙江大学、上海科技大学等研究团队开展交叉合作，在面向具身智能的通用机器人空间智能操作研究中取得进展。研究成果“SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Models”被第21届Robotics: Science and Systems（RSS 2025）会议录用，项目代码与模型权重已经全面开源，截至2025年4月已获得15K的下载量。（开源项目：http://spatialvla.github.io；论文链接：http://arxiv.org/pdf/2501.15830）

　　与3D物理环境交互、适应不同机器人形态并执行复杂任务的通用操作策略，一直是机器人领域的长期追求。现有的通用操作模型局限于2D输入，缺乏鲁棒的3D感知能力，在面对单视角视差、光照变化和环境不一致等视觉外观变化时表现较差，限制了其在现实世界中的通用性。而人类本能地形成结构化的空间认知模型，轻而易举地在不同的场景中组织、操作物体。因此，当前面向具身智能的通用机器人领域的一个关键研究问题是如何有效地为视觉语言动作模型（VLA）赋予深刻的3D物理世界空间理解能力，即3D空间智能操作模型。

　　开发具有3D空间智能的通用机器人操作模型面临两个关键挑战：首先，由于相机传感器和安装位置（例如腕部安装与第三方视角）不同，机器人在各个形态下的观察数据缺乏3D对齐，造成了3D观察空间未同一校准的；其次，机器人表现出多样的动作特性，源自自由度、运动控制器、工作空间配置和任务复杂性的差异，使得学习通用空间动作变得复杂。为应对以上挑战，该文创新的提出了基于百万真机数据预训练的空间具身通用操作模型SpatialVLA（图），通过探索对齐的空间表示，将VLA模型赋予3D空间智能，全面探究空间表征在具身通用操作模型中的能力，在zero-shot泛化控制、场景高效微调、空间理解等多项评估中取得了较优的性能。

　　本研究成果创新地实现了具有真实3D空间智能的通用机器人操作模型，突破了视觉语言动作模型在复杂物理环境中的泛化性能瓶颈，将有效推动具身智能在工业服务、家庭助理等多样化场景的落地应用。