NeuWS相机解决了光学成像中的圣杯问题

莱斯大学和马里兰大学的工程师发明了全动态视频技术，该技术可用于制造能够透过雾、烟、倾盆大雨、浑水、皮肤、骨骼和物体进行观察的摄像机。其他反射散射光和遮挡视线的物体的介质。

“目前，通过散射介质成像是光学成像中的‘圣杯问题’，”莱斯大学的Ashok Veeraraghavan说，他是今天发表在《科学进展》上的一项开放获取研究的共同通讯作者。“散射使得光——波长较短，因此具有更好的空间分辨率——在许多情况下无法使用。如果你能消除散射的影响，那么成像就会走得更远。”

Veeraraghavan 的实验室与马里兰州共同通讯作者Christopher Metzler的研究小组合作创建了一项名为 NeuWS 的技术，这是该技术的核心技术“神经波前整形”的缩写。

“如果你问从事自动驾驶汽车工作的人他们面临的最大挑战，他们会说，‘天气不好。我们无法在恶劣天气下进行良好的成像。”Veeraraghavan 说道。“他们说‘恶劣天气’，但用技术术语来说，他们的意思是光散射。如果你向生物学家询问显微镜技术面临的最大挑战，他们会说：“我们无法对体内深层组织进行成像。” 他们说的是“深层组织”和“体内”，但他们实际上的意思是他们想要透视的皮肤和其他组织层正在散射光。如果你问水下摄影师他们面临的最大挑战是什么，他们会说，“我只能拍摄离我很近的东西。” 他们实际上的意思是光在水中发生散射，因此光线的深度不足以让他们聚焦于远处的事物。

“在所有这些情况以及其他情况下，真正的技术问题是分散，”Veeraraghavan 说。

他表示 NeuWS 有可能用于克服这些场景和其他场景中的散射。

“这对我们来说是向前迈出的一大步，以一种可能可行的方式解决这个问题，”他说。“在我们真正能够在每个应用程序领域构建原型之前，还有很多工作要做，但我们演示的方法可以遍历它们。”

从概念上讲，NeuWS 所基于的原理是：光波是复杂的数学量，具有两个关键属性，可以针对任何给定位置进行计算。第一个是幅度，是波在该位置携带的能量的大小，第二个是相位，是波在该位置的振荡状态。Metzler 和 Veeraraghavan 表示，测量相位对于克服散射至关重要，但由于光学频率较高，直接测量是不切实际的。

因此，他们将入射光测量为“波前”(包含相位和强度信息的单一测量)，并使用后端处理从每秒数百个波前测量中快速破译相位信息。

“技术挑战是找到一种快速测量相位信息的方法，”马里兰州计算机科学助理教授、“三猫头鹰”莱斯大学校友、电气和计算机工程博士、硕士和学士学位的梅茨勒说。分别于2019年、2014年和2013年来自莱斯。Metzler 在莱斯大学开发了名为WISH的早期波前处理技术迭代，该技术由 Veeraraghavan 及其同事于 2020 年发布。

“WISH 解决了同样的问题，但它的工作原理是假设一切都是静态且良好的，”Veeraraghavan 说。“当然，在现实世界中，事情一直在变化。”

他说，NeuWS 的想法不仅是消除散射的影响，而且消除得足够快，这样散射介质本身在测量过程中就不会发生变化。

“你不是测量振荡状态本身，而是测量它与已知波前的相关性，”Veeraraghavan 说。“你采用一个已知的波前，将其与未知的波前进行干涉，然后测量两者产生的干涉图样。这就是这两个波前之间的相关性。”

梅茨勒用夜间透过云雾观察北极星进行类比。“如果我知道北极星应该是什么样子，并且我可以看出它以某种特定方式模糊，那么这就告诉我其他一切都会如何模糊。”

Veerarghavan 说，“这不是比较，而是相关性，如果你测量至少三个这样的相关性，你就可以唯一地恢复未知的波前。”

最先进的空间光调制器每分钟可以进行数百次此类测量，Veeraraghavan、Metzler 及其同事表明，他们可以使用调制器及其计算方法来捕获因介入散射介质而被遮挡的移动物体的视频。

“这是第一步，验证了该技术可以实时校正光散射的原理，”该研究的主要作者之一、莱斯大学的博士郭海云说。Veeraraghavan 研究小组的学生。

例如，在一组实验中，包含猫头鹰或乌龟打印图像的显微镜载玻片在主轴上旋转，并由高架摄像机拍摄。将光散射介质放置在相机和目标载玻片之间，研究人员测量了 NeuWS 校正光散射的能力。散射介质的例子包括洋葱皮、涂有指甲油的载玻片、鸡胸肉组织切片和光漫射薄膜。对于其中的每一个，实验表明 NeuWS 都可以校正光散射并生成旋转人物的清晰视频。

“我们开发了算法，使我们能够连续估计散射和场景，”梅茨勒说。“这就是我们能够做到这一点的原因，我们使用称为神经表示的数学机制来做到这一点，使其既高效又快速。”

NeuWS 快速调制来自传入波前的光，以创建几个略有改变的相位测量。然后，改变后的相位被直接输入 16,000 个参数的神经网络，该网络快速计算必要的相关性，以恢复波前的原始相位信息。

“神经网络允许我们设计需要更少测量的算法，从而使其速度更快，”Veeraraghavan 说。

梅茨勒说：“这实际上是最大的卖点。基本上，更少的测量意味着我们需要更少的捕获时间。这使我们能够捕捉视频而不是静态帧。”