草榴地址 让机器东说念主更像东说念主类有了新要道！港科大新算法对皆东说念主机行为形态，无需叠加训诫，轻量模块通用且适配
发布日期：2025-04-12 14:11 点击次数：52
"让机器东说念主看懂天下、听懂提醒、入手干活"正从科幻走向现实草榴地址。
基于大领域东说念主类视频数据进行视觉预训诫，是开荒果然场景可泛化机器东说念主操作算法的有用阶梯。
中枢在于东说念主类操作与机器东说念主行为序列高度雷同，因此从东说念主类视频习得的动态表征可挪动至机器东说念主任务；然而 "从东说念主到机器东说念主" 的挪动濒临环节守密，即东说念主 - 机器东说念主数据域间互异（Human-Robot Domain Discrepancy）。尽管二者推行任务时行为看似雷同，但其形态存在根柢互异。
这种互异导致了一个伏击问题：即便在海量东说念主类数据上预训诫了模子，这些模子一朝径直用于机器东说念主任务时，其进展却每每大打扣头，以至失败。
来自香港科技大学（广州）的团队提倡了一个中枢问题：
奈何减少东说念主 - 机器东说念主之间的数据域互异影响，使得从东说念主类预训诫中获取的视觉模子，大约更有用地匡助机器东说念主完成践诺任务？
在这一问题之下，他们提倡东说念主类视频预训诫挪动新范式，哄骗匹配的东说念主类 - 机器东说念主操作视频，打算语义对皆要道弥合了这种跨域边界。
其中第一作家周佳明，香港科技大学广州二年齿博士生，磋商场所为东说念主类视频行为师法以及可泛化的机器东说念主操作；通信作家是梁俊卫，是香港科技大学广州助理教师。
传统作念法（如图左）径直用在 Ego4D 等东说念主类数据集上训诫的模子去向理机器东说念主任务，这种径直挪动的要道当然会受到东说念主类 - 机器东说念主数据域互异的侵略。
本磋商提倡的新范式（如图右）通过哄骗语义对皆的东说念主类 - 机器东说念主视频对，在现存的东说念主类视频预训诫模子中插入 Adapter 微调模块，通过对比耗损将机器东说念主数据上养息的模子的语义和预训诫模子中精粹建模的东说念主类动态语义进行对皆，从而减少域互异的侵略。
HR-Align 跳跃东说念主机语义边界的桥梁
左证提倡的预训诫适配新范式，该使命打算了 HR-Align（Human-Robot Semantic Alignment）要道。其中枢念念想极端粗略：
若是大约获取"合并个任务"的东说念主类操作视频和机器东说念主操作视频，并用它们之间的对应关系来训诲模子微调，那就有可能建造起一个东说念主 - 机器东说念主之间的语义对皆机制。
1. 从"孤苦预训诫"到"配对视频语义对皆"
传统的视觉预训诫要道是在纯东说念主类视频上进行训诫，然后将模子"冻结"，径直应用于机器东说念主任务。这种形态忽略了东说念主和机器东说念主领域间的互异。HR-Align 冲破了这种"径直挪动"的壁垒，目标在预训诫和下贱任务之间，引入一个"适配阶段"。
在这个阶段中，磋商者使用了一个具有语义配对的东说念主机数据集，这个数据围聚每一个东说念主类行为视频，都有一个对应的机器东说念主操作视频。这种东说念主 - 机器东说念主视频对提供了一个自然的"语义桥梁"。
2. 引入对比学习机制，终了语义对皆
HR-Align 适配的环节是东说念主 - 机器东说念主对比对皆耗损。在适配经由中，关于已有的东说念主类视频预训诫视觉编码器，HR-Align 差异从东说念主类视频和机器东说念主视频中索要冻结的语义特征。同期，使用另一分支在编码器中引入轻量级 Adapter 模块在机器东说念主视频上微调，从而索要机器东说念主视频的适配特征。模子适配的中枢拘谨是，比拟机器东说念主视频的冻结特征，机器东说念主视频的适配特征与匹配的东说念主类视频特征应当具有愈加雷同的语义；
3. 轻量高效，适配通用
与其他需要大领域重新训诫、或者为每种机器东说念主环境单独养息模子的决议不同，HR-Align 具备如下上风：
参数高效：仅适配小模块，主模子无需大领域更新；
通用性强：合并个适配模子可泛化至多个任务和环境，无需逐个定制；
数据易得：越来越多的平台提供东说念主 - 机器东说念主视频对，为要道的可落地提供保险。
实验效果
在 RLBench 的 18 个仿真任务下，通过 HR-Align 要道适配的 D4R-Align 模子比拟底本的 D4R 预训诫模子，平均告捷率提高了 4.6%；而通过 HR-Align 要道适配的 R3M-Align 模子比拟未养息的 R3M 模子，平均告捷率提高了 8.9%；
在五个果然场景的机器东说念主任务上，D4R-Align 和 R3M-Align 模子比拟未适配的预训诫模子，平均告捷率差异提高 13% 和 11%；
这些权贵的提高不仅考证了要道的有用性，也标明该适配政策具有极高的践诺应用价值。
中枢孝敬回归
提倡新问题：从大领域东说念主类视频预训诫中学习可泛化机器东说念主操作，东说念主体 - 机器东说念主数据的域互异问题不能薄情。
提倡新范式：通过匹配的东说念主 - 机器东说念主行为视频，终了东说念主类行为与机器东说念主操作的语义对皆，不再盲目依赖预训诫模子的泛化才智。
高效适配要道：引入轻量级 Adapter 模块，仅需少量参数微调，即可将模子适配到机器东说念主任务中。
充分实验考证：在 20 个仿真任务与 5 个果然机器东说念主任务中均取得越过 7% 平均告捷率提高，适配模子权贵优于未适配版块。
论文承接： https://arxiv.org/pdf/2406.14235
花样主页： https://jiaming-zhou.github.io/projects/HumanRobotAlign/
开源仓库： https://github.com/jiaming-zhou/HumanRobotAlign
一键三连「点赞」「转发」「留意心」
宽宥在评述区留住你的主见！
— 完 —
学术投稿请于使命日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
丁香网你是谁，从哪来，投稿内容
附上论文 / 花样主页承接，以及关连形态哦
咱们会（尽量）实时薪金你
� � 点亮星标 � �
科技前沿进展逐日见草榴地址
