操纵各种形状的物体并不是机器的长处，但对于负责导航物理世界的任何机器人来说，这都是一项有用的技能。为了推动这一领域的最新发展，谷歌，斯坦福大学和哥伦比亚大学的研究人员最近研究了一种名为Form2Fit的机器学习系统，该系统旨在教一个带有吸臂的捡拾机器人，将物体组装成套件。

“如果机器人可以学习'事物如何融合'，那么它们可能会变得更加适应于涉及从未见过的物体的新操作任务，例如重新连接切断的管道，或在灾难响应场景中通过将碎片拼凑在一起来建造临时避难所，”在博客文章中写了研究实习生Kevin Zakka和机器人研究科学家Andy Zeng。“它有助于提高我们执行任务的效率，例如组装DIY家具套件或将礼品包装到盒子中。”

正如Zakka和Zeng解释的那样，Form2Fit学会通过反复试验来识别对象之间的对应关系(或“拟合”)。一个组件-两流匹配算法-推断三维点表示，不仅可以传达对象的几何形状，还可以传达其纹理和上下文任务级知识。这些描述符用于建立对象及其目标位置之间的关系。而且，由于点表示对方向敏感，因此可以使Form2Fit了解对象在放置到目标位置之前应如何旋转。

两个单独的Form2Fit组件生成有效的选择放置对象：抽吸模型和计划器模型。前者摄取物体的三维图像，并预测上述机械臂的抽吸臂的成功。作为用于规划器模型，它需要在目标位置的图像，并输出放置成功的预测，然后将其集成了所有三个Form2Fit的组件(包括匹配算法)的输出，以产生最终的拾取位置，地点的位置，和旋转角度。

该团队通过称为时间反向拆卸的概念创建了一个训练数据集，该组件的拆卸顺序随着时间的推移而变成有效的装配顺序。这使他们可以通过自我监督来训练Form2Fit，方法是随机选择拆卸一个完全组装好的套件，然后颠倒该拆 卸顺序，以了解如何组装该套件。

在对机器人进行了整整12小时的整夜训练之后，研究人员报告说，它学会了针对各种物体的有效拾取和放置策略，使用不同配置的套件可以达到94%的组装成功率，而处理全新的物体和套件时可以达到86%的成功率。即使培训了仅在一个特定位置和方向组装工具包的策略，它仍然设法在90%的时间内处理工具包的随机旋转和平移。

Zakka和Zeng指出：“尽管Form2Fit的结果令人鼓舞，但它的局限性为未来的工作指明了方向。”“在我们的实验中，我们假设使用2D平面工作空间来约束套件组装任务，以便可以通过对自上而下的拾取和放置动作进行排序来解决它。这可能不适用于所有组装情况，例如，当需要将销钉以45度角精确插入时。将Form2Fit扩展到3D装配的更复杂的动作表示形式将很有趣。”