麻省理工学院利用生成式人工智能重塑机器人精度

麻省理工学院的研究人员正在使用生成式人工智能模型来帮助机器人更高效地解决复杂的物体操作问题，例如，用不同的物体包装一个箱子。

该图显示了二维三角形堆积的示例。这些都是无碰撞配置。

该图显示了具有稳定性约束的三维物体堆叠。研究人员表示，至少有一个物体由多个物体支撑。麻省理工学院的研究人员创造了一种机器学习方法来改进机器人包装，使机器人能够通过同时满足多个约束条件来高效地解决复杂的包装问题。该技术利用扩散模型找到最优解，性能优于传统方法，有望在未来的各种环境中得到应用。研究人员诱导一系列生成式人工智能模型协同工作，以解决多步骤机器人操纵问题。任何尝试过将家庭常用尺寸的行李装进轿车大小的后备厢的人都知道这是一个难题。机器人在执行密集包装任务时也会遇到困难。对于机器人来说，解决打包问题需要满足许多约束条件，例如堆叠行李时，行李箱不能从后备箱中翻出，重物不能放在轻物上面，避免机械臂与汽车保险杠发生碰撞。一些传统方法是按顺序解决这个问题的，每次猜测满足一个约束条件的部分解决方案，然后检查是否违反了其他约束条件。由于要采取一长串行动，还要打包一大堆行李，这个过程可能会非常耗时。麻省理工学院研究人员的创新方法麻省理工学院的研究人员使用了一种称为扩散模型的生成式人工智能来更高效地解决这个问题。他们的方法使用了一系列机器学习模型，每个模型都经过训练，以代表一种特定类型的约束。这些模型结合在一起，生成包装问题的全局解决方案，同时考虑到所有约束条件。与其他技术相比，他们的方法能更快地生成有效的解决方案，而且在相同的时间内能生成更多成功的解决方案。重要的是，他们的技术还能解决模型在训练过程中没有遇到过的约束条件组合新颖、对象数量较多的问题。由于这种通用性，他们的技术可用于教授机器人如何理解和满足包装问题的整体约束条件，例如避免碰撞的重要性或一个物体紧靠另一个物体的愿望。通过这种方式训练出来的机器人可以应用于不同环境中的各种复杂任务，从仓库中的订单执行到某人家中的书架整理。“我的愿景是推动机器人完成更复杂的任务，这些任务有许多几何限制，需要做出更多的连续决定——这些都是服务机器人在非结构化和多样化的人类环境中面临的问题。有了构图扩散模型这个强大的工具，我们现在就能解决这些更复杂的问题，并获得很好的泛化结果。”电气工程与计算机科学研究生、这一新型机器学习技术论文的第一作者杨竹田说。连续约束的复杂性对于机器人来说，连续约束满足问题尤其具有挑战性。这些问题出现在多步骤机器人操纵任务中，如将物品装入盒子或摆放餐桌。它们通常涉及实现一系列约束条件，包括几何约束条件，如避免机械臂与环境发生碰撞；物理约束条件，如堆叠物体使其稳定；以及定性约束条件，如将勺子放在刀的右边。约束条件可能有很多，而且根据物体的几何形状和人类指定的要求，在不同的问题和环境中会有不同的约束条件。为了高效地解决这些问题，麻省理工学院的研究人员开发了一种名为DiffusionCCSP的机器学习技术。扩散模型通过迭代改进其输出，学会生成与训练数据集中的样本相似的新数据样本。为此，扩散模型学习了一种对潜在解决方案进行微小改进的程序。然后，为了解决问题，它们会从一个随机的、非常糟糕的解决方案开始，然后逐渐改进。例如，想象一下在模拟的桌子上随机放置盘子和器皿，允许它们物理上重叠。物体间的无碰撞约束会导致它们相互挤开，而定性约束则会将盘子拖到中间，使沙拉叉和餐叉对齐，等等。杨竹田解释说，扩散模型非常适合这类连续约束满足问题，因为多个模型对一个物体姿态的影响可以组成一个模型，以促进所有约束的满足。通过每次从随机初始猜测开始，模型可以获得一系列不同的良好解决方案。实现协同工作对于Diffusion-CCSP，研究人员希望捕捉到约束条件之间的相互联系。例如，在打包过程中，一个约束条件可能要求某个物体必须紧邻另一个物体，而第二个约束条件可能指定其中一个物体的位置。Diffusion-CCSP会学习一系列扩散模型，每种类型的约束条件都有一个扩散模型。这些模型是一起训练的，因此它们共享一些知识，比如要打包的物体的几何形状。然后，这些模型会一起寻找共同满足约束条件的解决方案，在本例中就是要放置物体的位置。“我们并不总能在第一次猜测时就找到解决方案。但是，当你不断完善解决方案，并出现一些违规情况时，你就会找到更好的解决方案。你会从错误中获得指导。”杨竹田说。与其他方法相比，为每种约束类型训练单独的模型，然后将它们组合起来进行预测，大大减少了所需的训练数据量。不过，训练这些模型仍然需要大量展示已解决问题的数据。杨竹田说，人类需要用传统的慢速方法解决每个问题，因此生成这些数据的成本过高。研究人员反其道而行之，首先提出解决方案。他们使用快速算法生成分段盒，并将一组不同的三维物体放入每个分段中，确保了紧凑的包装、稳定的姿势和无碰撞的解决方案。“有了这个流程，数据生成几乎可以在模拟中瞬间完成。我们可以生成数以万计的环境，我们知道这些问题都是可以解决的。”杨竹田说。通过使用这些数据进行训练，扩散模型可以共同确定机器人抓手应该放置物体的位置，从而在满足所有约束条件的同时完成包装任务。他们进行了可行性研究，然后用一个真正的机器人演示了Diffusion-CCSP如何解决一系列棘手的问题，包括将二维三角形装入一个盒子、包装有空间关系约束的二维形状、堆叠有稳定性约束的三维物体，以及用机械臂包装三维物体。新方法在许多实验中都优于其他技术，产生了更多既稳定又无碰撞的有效解决方案。未来，杨竹田和她的合作者希望在更复杂的情况下测试Diffusion-CCSP，比如使用可以在房间里移动的机器人。他们还希望让Diffusion-CCSP能够解决不同领域的问题，而无需对新数据进行重新训练。佐治亚理工学院交互计算学院助理教授、英伟达人工智能研究科学家徐丹飞（DanfeiXu）说：“Diffusion-CCSP是一种基于现有强大生成模型的机器学习解决方案。它可以通过组合已知的单个约束模型，快速生成同时满足多个约束条件的解决方案。虽然它仍处于早期开发阶段，但这种方法的不断进步有望在各种应用中实现更高效、安全和可靠的自主系统。”（麻省）