当用户说"往左飞",无人机Agent听不懂:轨迹翻译层的缺失
空中视觉语言导航Agent通常用细节丰富、与轨迹对齐的指令训练,但真实用户只会说"往左飞""绕过去"这种简短意图性指令。这种训练与部署的语言鸿沟,导致Agent在真实场景中表现骤降。这篇论文提出"轨迹锚定的指令翻译"方法:在不微调冻结Agent的前提下,将用户的简短指令翻译为Agent训练时见过的丰富轨迹描述。核心思路是把翻译层作为独立模块,架在用户和Agent之间。对于所有面临"训练数据分布与真实使用分布不匹配"的具身Agent,这提供了一种低成本、可复用的适配策略。
Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
Aerial vision-and-language navigation (VLN) agents are typically trained on detail-rich, trajectory-aligned commands, whereas users issue short, inten