摘要
空中视觉-语言导航(VLN)智能体通常在细节丰富、与轨迹对齐的指令上进行训练,而用户发出的则是简短的、意图驱动的指令;在一个冻结的 OpenFly 导航器上,这种指令鸿沟使成功率(SR)从 $31.03\%$ 下降到 $11.33\%$。为了扩大翻译器的训练规模,我们用人类编写的风格示例来提示语言模型,将原始指令转换为成对的、以意图为中心的 Weak 指令,其成功率为 $15.27\%$。我们引入了轨迹锚定指令翻译器(TGIT),这是一个前端组件,它保持导航器冻结,并通过学习导航器的轨迹结果,将 Weak 输入翻译为智能体可执行的指令。由此得到的 Weak 训练翻译器将 Weak 输入的成功率提升至 $37.93\%$,并零样本迁移到真实人类指令($11.33\%{\rightarrow}32.51\%$);它还提升了留出的 OpenFly 数据集表现($4.95\%{\rightarrow}20.79\%$),并在 CityNav 和 AirVLN 上实现了恢复。