混合人工智能驱动的计算机视觉结合了物理学和大数据

加州大学洛杉矶分校和研究实验室的研究人员提出了一种新方法，通过将基于物理学的意识添加到数据驱动技术中来增强人工智能驱动的计算机视觉技术。

该研究发表在Nature Machine Intelligence上，概述了一种混合方法，旨在改进基于 AI 的机器如何实时感知、交互和响应其环境——例如自动驾驶汽车如何移动和操纵，或机器人如何使用改进的执行精确操作的技术。

计算机视觉允许 AI 通过解码数据和从图像中推断物理世界的属性来查看和理解周围环境。虽然此类图像是通过光物理和力学形成的，但传统的计算机视觉技术主要侧重于基于数据的机器学习来提高性能。基于物理学的研究已经在一个单独的轨道上发展起来，以探索许多计算机视觉挑战背后的各种物理原理。

将对物理学的理解——控制质量、运动等的定律——融入神经网络的发展一直是一个挑战，在神经网络中，人工智能模仿人脑，拥有数十亿个节点来处理海量图像数据集，直到它们获得一个了解他们“看到”的内容。但现在有一些有前途的研究方向，试图将物理意识的元素添加到已经强大的数据驱动网络中。

加州大学洛杉矶分校的研究旨在利用来自数据的深入知识和现实世界的物理知识的力量来创建具有增强功能的混合人工智能。

“视觉机器——汽车、机器人或使用图像感知世界的健康仪器——最终在我们的物理世界中完成任务，”该研究的通讯作者、加州大学洛杉矶分校萨穆埃利学院电气和计算机工程助理教授 Achuta Kadambi说。工程学。“物理感知形式的推理可以使汽车更安全地驾驶或使手术机器人更精确。”

研究团队概述了物理学和数据开始结合到计算机视觉人工智能中的三种方式：

将物理学纳入 AI 数据集 为

对象添加附加信息，例如它们移动的速度或重量，类似于视频游戏中的角色

将物理学纳入网络架构

通过网络过滤器运行数据，该过滤器将物理属性编码为相机拾取的内容

将物理学纳入网络损失函数

利用建立在物理学基础上的知识来帮助 AI 解释其观察到的训练数据

这三方面的调查已经在改进计算机视觉方面取得了令人鼓舞的结果。例如，混合方法允许 AI 更精确地跟踪和预测物体的运动，并可以从被恶劣天气遮挡的场景中生成准确、高分辨率的图像。

研究人员表示，随着这种双模式方法的不断进步，基于深度学习的人工智能甚至可能开始自行学习物理定律。

该论文的其他作者是陆军研究实验室计算机科学家 Celso de Melo 和加州大学洛杉矶分校计算机科学教授 Stefano Soatto;Cho-Jui Hsieh 是计算机科学副教授，Mani Srivastava 是电气与计算机工程和计算机科学教授。