飞行时间(ToF)传感器将自主应用推向市场

十年前，当索尼、微软和松下首次发布这项技术用于基于手势的游戏控制（微软 Kinect）、手机和其他消费电子产品时，飞行时间 (ToF) 相机首次实现了广泛的商业部署。 早期的传感器提供较低的 2D、角度和深度分辨率，而且速度很慢——非常适合消费电子产品，但对于安全关键的工业应用来说不太好。

如今，一些机器视觉公司不仅有能力推动 ToF 传感器的发展，而且随着索尼在 2015 年收购 Kinect，随后 Teledyne 收购 e2v 和 IFM Effector 拥有 PMD Technologies 的所有权，他们还拥有制造 ToF 传感器的晶圆厂 筹码。 这导致更多的商业选择和整体性能完美匹配物流、自主机器人和相关应用的需求。

什么是 ToF？

ToF 系统包括一个照明光源——通常是激光二极管或基于 LED 的结构光源——和一个 ToF 传感器。光源发出脉冲。每个像素测量光线返回所需的时间，并根据往返长度确定到物体的距离。一种称为间接飞行时间 (iToF) 的 ToF 变体为传感器提供了一种更简单、更具成本效益的电子设计，它测量的是相位变化而不是时间。 iToF 距离精度随着与物体的距离越远而下降。虽然传统的 ToF 相机可以轻松地工作到 30 或 40 米，但 iToF 相机通常最适合中距离应用，在 5 到 7 米范围内，非常适合自主移动机器人 (AMR) 和自主地面车辆 (AGV) )，例如自动叉车。

Teledyne 营销经理 Yoann Lochardet 表示，“一些应用，如高级物流、工业安全或地图绘制，正在寻找更高分辨率的传感器——目前市场上的分辨率通常为 VGA 或更低。” “其他应用，如工业 AGV、[智能运输系统] 和汽车，正在寻找能够捕捉快速移动物体的传感器，因此不需要运动伪影，而且通常需要高帧率。此外，以前的大多数应用（以及其他应用，如无人机）也在寻找高动态范围传感器，以增加物体的距离和/或反射率范围。”

Lochardet表示，Teledyne e2v 最先进的 ToF 传感器是 Hydra3D，它的分辨率为 832 x 600 像素——远高于标准的 VGA 分辨率——12 位时的最大帧速率为 416.7 fps，最小积分时间为 20 ns，以及三个- 点按像素以最大程度地减少移动对象的运动伪影。由于 3D ToF 应用的帧率可能会因应用要求而异，Hydra3D 使用户可以灵活地优化关键应用参数：分辨率、距离范围、精度、3D 帧率，取决于距离范围对象反射率等。 Hydra3D 还为户外应用提供高动态范围，其中阳光寄生会降低范围和分辨率，无论距离多远，都可以看到低反射和高反射的物体。最后，Hydra3D 集成了片上功能，允许多个互不连接的 ToF 系统在同一区域内工作而不会相互干扰——这是自主系统的主要区别，通常使用多个摄像头来感知大型操作空间。

将 ToF 传感器与应用需求相匹配

虽然 ToF 传感器最初是由消费电子产品驱动的，但 Basler 的 3D 图像采集产品经理 Martin Gramatke 解释说，该技术已经发展到机器视觉也可以利用它的程度。虽然通常以毫米或范围的百分比校准的 ToF 3D 测量精度可能不足以满足所有工业应用的要求，但对于许多机器人拾取任务而言，其精度对于手大小的物体来说已经足够了，尤其是在放置精度不高的情况下不需要很高的精度。这使得 ToF 技术更适用于机器人拾放应用，而不太适合拾放。 Gramatke 表示，凭借毫秒范围内的 ToF 传感器采集时间，使用 ToF 3D 传感器技术可以轻松实现 500 毫秒的循环时间。

“物流应用通常对精度要求较低，” Gramatke 说。 “一个常见的应用是对包裹、箱子、袋子、手提箱和托盘等货物进行尺寸标注，以优化存储和运输空间。以大约 2 厘米的精度计算边界框对于许多物流应用来说已经足够了。”

他继续说道：“在进行测量时，这些物体通常会移动。因此，完整的采集时间很重要，这不仅仅是一次曝光时间。以 Basler blaze [ToF 相机] 为例，它至少需要四帧，因此采集周期相对较短，为 15 毫秒。” Gramatke 补充说，考虑到 ToF 的周期时间，硬连线编码器触发器往往比软件触发器工作得更好，如果目标移动，软件触发器可能只捕获要测量尺寸的框的一部分。

对于较大的物品，例如托盘，最终用户需要不止一台 ToF 相机来测量大工作范围内所有侧面的尺寸。 ToF 相机可能会相互干扰 - 一个传感器将另一个传感器的照明脉冲误认为是自己的。虽然 Teledyne 的 Hydra3D 在传感器级别解决了这个问题，但 Basler blaze 提供了调制每个相机频率以减少干扰的能力。两个不同频率的摄像头干扰明显减少。

范围：自主和融合解决方案

测量用于运输和存储的大型托盘可能需要多个 ToF 传感器，类似于多相机 3D 可见光成像解决方案。但由于 ToF 独特的传感范式，它更像是雷达收发器而不是可见光相机接收器，不仅测量强度，还测量时间和相位，因此 ToF 范围成为一个更大的问题。虽然可见光相机可以简单地将放大镜放置在传感器前面以“看得更远”，但 ToF 系统无法利用每个环境光源来确保良好的对比度，从而确保准确的 3D 测量。

自动驾驶汽车为 ToF 相机执行各种任务，特别是障碍物检测、定位以及拾取或放置物体，例如托盘。定位可能需要长距离，而障碍物检测需要低延迟才能快速反应，并且在许多情况下需要更广阔的视野。只要车辆以步行速度行驶，ToF 相机的测量范围就足够了。对于更高的速度，您可以使用具有扫描 ToF 原理的激光雷达。 ToF 相机不是经过认证的安全设备，因此它们必须与其他传感器模式结合使用。 Gramatke 表示：“Basler blaze 具有抗日光性、坚固耐用的设计，包括 IP67 保护、M12 连接器、防震和防振以及可承受不利环境条件的镍涂层，是户外使用的理想工具。”

简化多头 ToF 相机与激光雷达和其他传感器模式的融合是 IFM Efectors O3R 生态系统的核心。 O3R 现在包括用于优化 IFM 3D 机器人解决方案的 Windows/Linux/ROS 兼容软件开发套件，很快将扩展到包括相机和处理硬件，这将减少“自主机器人应用程序设计人员开发多模式 AMR 感知所需的摩擦” IFM 机器人感知业务开发主管 Garrett Place 解释说。

与 Teledyne 一样，IFM 拥有自己的 ToF 传感器公司 PMD Technologies。该公司最初为消费类应用开发了 ToF 3D 传感器，但最近增加了一系列 iToF 解决方案，其成本远低于大多数工业 ToF 相机。 “与 iToF 相比，传统 ToF 相机在更远的范围内更准确，但传统 ToF 的每像素成本也高得多，”Place 说。 “如果您不需要超高准确度，那么您可以使用 iToF 保存一个包。我们可以通过间接 ToF 将我们的范围扩展到 20 米、30 米，因为我们拥有硅并且拥有超大像素和强大的照明源，但这并不是一项微不足道的成就。然而，最适合我们技术的可能是 5 到 7 米的范围，这非常适合大多数工业应用。”

根据 Place 的说法，当谈到 AMR 和 AGV 的进一步发展时，不仅仅是一个摄像头或传感器；这是为了更容易地将多个摄像头和传感模式组合成单个数据流进行处理。 IFM 的 O3R 解决方案将允许自主系统设计人员包括多达六个 iToF 摄像头和一个基于 Nvidia 的处理单元，旨在接受成像和激光雷达系统——价格低于 3,000 美元。

“您需要激光雷达和 iToF 摄像头，因为 AMR 需要在大范围内收集 3D 数据，不仅在设备前面，而且在地板上和悬挂在上面。今天，ToF 相机本身并不擅长识别地板上的颠簸或孔洞，或者可能会被自动叉车夹住的架空电缆。我们的解决方案消除了设计师在尝试集成自主感知系统的关键组件时面临的摩擦，”Place 说。

IFM“翻转了脚本”以降低其相机的成本，几乎将所有处理工作从相机中取出，并将原始数据传递给专用 IPC。 Place 说：“过去，IFM 专注于相机、组件、硬件或软件。但我们意识到我们的客户需要一个整体解决方案，使开发这些系统更容易、更便宜。不仅仅是财富 100 强公司可以从 AMR 解决方案中受益。”

实感和真正的机会

随着英特尔最近宣布打算关闭其实感 3D 传感器产品线——这让视觉行业的许多人感到震惊——其他具有成本效益的 3D 解决方案的机会从未如此光明。

“基于当前的市场状况，ToF 传感器的市场份额将继续增加，并且 ToF 技术将被越来越多的市场采用，”Teledyne 的 Lochardet 总结道。 “不仅用于纯距离测量，还用于改进随机照明场景（监控、汽车、消费者等）中的图像分割。 因此，这项技术的创新还将继续提高分辨率、精度和速度，同时保持甚至降低生产成本。”

毕竟，当您能以低于标准工业 3D 相机的价格购买 360 度传感解决方案时，那它可能真的是下一个杀手级应用。