利用TI IWR6243毫米波雷达和NVIDIA Holoscan平台上的摄像头实现实时AI原始传感器融合
本文将概述如何使用德州仪器(TI)IWR6243毫米波雷达传感器和部署在NVIDIA Holocan平台上的摄像头构建实时AI原始传感器融合流程,如图1所示。

图1 由摄像头、IWR6243毫米波雷达传感器和NVIDIA Holoscan平台组成的系统示意图
简介
现代机器人(包括人形机器人、自主移动平台和工业自动化系统)必须在各种操作条件下以高精度、低延迟和一致的可靠性来感知环境。像视觉传感器这样的当前技术在暴露于雾、眩光、灰尘、雨水或弱光环境中时,性能往往会下降,而单模态深度传感器经常难以在杂乱或动态场景中提供稳定的测量结果。
TI的毫米波雷达技术提供了一种从根本上不同的感应方式,这种方式本身就能应对各种环境挑战。IWR6243毫米波雷达传感器可在不受光照条件影响的情况下提供精确的距离、速度和角度测量,并且具有很强的环境干扰抗扰性。当原始传感器数据与基于摄像头的感知和AI驱动的传感器融合相结合时,与仅雷达或仅视觉方法相比,这种功能能够实现稳健可靠的周围环境感知,并且具有更高的保真度。
IWR6243是一款在57GHz至64GHz频段内工作的高度集成的单芯片4RX和3TX毫米波雷达收发器。这种集成水平能够显著降低系统复杂性、功耗和物料清单成本,从而使其适用于可扩展机器人和边缘AI部署。该器件支持高分辨率点云生成,专为需要低延迟和确定性性能的实时感应应用而设计。
通过部署IWR6243以及NVIDIA的Jetson Thor和NVIDIA Holoscan Sensor Bridge,开发人员可以将TI久经考验的毫米波雷达感应与NVIDIA GPU加速的AI和流媒体基础设施无缝结合。这种组合使雷达传感器数据能够高效地流入AI传感器融合流程,同时保持TI雷达著名的物理测量精度和可靠性。
在机器人应用中,IWR6243能够实现精确的短距离人体检测和运动跟踪,从而在仓库等拥挤环境中进行安全导航。借助雷达的直接距离和速度测量功能,可以在机器人周围创建一个动态安全缓冲区,可以根据物体距离和相对速度定义和连续调整保护区域。在人形机器人中,雷达传感器进一步支持在行走、运行或操作任务期间实现稳定的平衡控制和动态避障。
系统概述
系统架构以低延迟、以GPU为核心的数据通路为中心,在保留传感器原始精度的同时,支持高级AI处理。该设计集成了TI的IWR6243毫米波雷达模块、摄像头模块、用于高带宽和确定性传感器数据收集的NVIDIA Holoscan Sensor Bridge,以及所有在Holoscan SDK(软件开发套件)上运行的NVIDIA Jetson Thor边缘计算平台,如图2所示。

图2 系统概述
IWR6243毫米波雷达传感器通过高速CSI-2接口提供原始测量数据,可实现对原始雷达信息的直接、低延迟访问,且传输开销极低。该接口可将雷达数据高效流式传输至NVIDIA Holoscan Sensor Bridge,借助零拷贝机制将数据直接传入GPU内存,全程兼具以太网的可扩展性与灵活性。该方案在保持TI高精度雷达测量传感器数据完整性的同时,最大限度降低延迟并减少CPU参与度。
传入GPU之后,Holoscan运行时会使用基于图形的执行模型来编排处理流程。雷达信号处理、摄像头预处理、神经网络推理及多模式融合均采用确定性调度,确保在传感器高数据率下仍能满足实时性约束要求。借助这种架构,开发人员可以充分利用TI毫米波雷达的测量精度,同时高效扩展AI工作负载。
AI传感器融合流程
传感器融合流程首先同步收集雷达和摄像头数据。雷达处理利用IWR6243的能力提供距离、速度和角度测量的原始传感器数据,生成可捕获环境空间结构和运动特性的点云。同时,使用GPU加速的AI模型对摄像头帧进行处理,这些模型提取语义信息,如对象身份、姿势和分类。

图3. 雷达处理流程
融合阶段将TI雷达测量与空间和时间的视觉检测保持一致。雷达衍生的深度和速度信息补充了基于视觉的推理,可提高稳健性并减少模糊性。在涉及高速运动目标、部分遮挡或视觉环境恶化的场景中,仅依靠摄像头感知极易失效,融合感知的价值尤为突出。
通过将TI不受照明影响的精确雷达传感与AI驱动的视觉语义相结合,融合感知输出可实现更高的置信度、更高的跟踪稳定性和更可靠的对象分类。生成的融合数据可用于实时决策、导航、安全监控或下游自主堆栈。
TI毫米波雷达在传感器融合中的优势
TI的毫米波雷达为传感器融合系统带来了独特的优势,这种优势难以通过其他传感技术实现。直接测量距离和速度的能力可实现精确的运动理解,从而增强跟踪和预测。毫米波传感的稳健性使感知系统能够在光学传感器性能退化的环境(包括低光照、眩光、雾和灰尘)中可靠运行。
IWR6243的高集成度可降低系统复杂性和功耗,同时实现可扩展的多传感器部署。TI在汽车和工业雷达领域的长期专业知识还为功能安全性、可靠性和长期可用性奠定了坚实的基础,这些都是对机器人和自主系统的关键要求。
IWR6243集成到基于Holoscan的AI流程时,可用作传感器前端,为实际测量的AI推理提供可靠的传感器数据。这种组合可提高整体系统性能,并降低边缘部署中出现感知故障的风险。
开始使用硬件
基于德州仪器毫米波雷达与NVIDIA Holoscan构建雷达视觉传感器融合系统,首先需搭建一套硬件平台,支持从传感器到集中式AI计算平台的高带宽、低延迟数据传输。参考硬件配置将TI的雷达评估硬件与NVIDIA Holoscan Sensor Bridge和NVIDIA Jetson Thor相结合。
IWR6243级联EVM用作雷达传感前端。该评估模块集成了两个IWR6243毫米波雷达器件,以及快速开发和验证所需的电源管理、时钟和连接。借助IWR6243 EVM,开发人员可以配置雷达线性调频脉冲和帧时序,同时公开适用于高级信号处理和基于AI的融合的原始雷达数据。借助该EVM可加速系统启动,并提供经过验证的可靠硬件基准,能够真实反映量产雷达方案的性能特性。
为了实现从IWR6243EVM到Holoscan生态系统的高效数据传输,在雷达评估模块和NVIDIA Holoscan Sensor Bridge之间使用了一个CSI-2适配器板,如图4所示。此适配器板将雷达输出接口的信号桥接至传感器桥预期的CSI-2输入。

图4. 硬件概述
Lattice CertusPro-NX传感器到以太网桥接板在低延迟、低功耗、灵活的FPGA上运行,可用作高带宽传感器数据的中央聚合和传输设备。它接收来自雷达的CSI-2数据流,以及摄像头等其他传感器的各类接口信号。传感器桥接器负责确定性数据移动,并将传感器数据直接传送到计算平台上可由GPU访问的存储器中。
NVIDIA Jetson Thor用作系统的集中计算平台。Jetson Thor提供雷达信号处理、摄像头推理、多模式融合和实时决策所需的GPU性能和AI加速。在NVIDIA Jetson Thor上运行Holoscan SDK使开发人员能够定义和执行流式AI流程,以可预测的延迟处理雷达和视觉数据。传感器数据集中计算方法允许系统通过提高计算能力在不同的自主级别之间进行扩展,而无需重新设计传感器硬件。
IWR6243EVM、CSI-2适配器板、NVIDIA Holoscan Sensor Bridge、摄像头模块和NVIDIA Jetson Thor共同构成了雷达视觉传感器融合的完整硬件基础。这种传感器数据配置使开发人员能够专注于感知算法和AI融合,同时依赖于针对高带宽检测、低延迟和面向量产人形机器人和机器人系统的可扩展性进行优化的硬件架构。IWR6243级联EVM硬件和适配器板可直接从德州仪器(TI)获取,开发人员应联系其德州仪器(TI)售代表以了解供货情况、订购信息和支持选项。
开始使用软件
在NVIDIA Holoscan Bridge上搭建雷达视觉传感器融合软件栈,需完成Holoscan SDK配置、启用Holoscan Sensor Bridge软件组件,并部署实现雷达处理与传感器融合功能的应用软件。
NVIDIA Holoscan SDK为构建实时流式AI应用程序提供了核心软件框架。它包括基于图形的执行模型、GPU加速运算符、确定性调度,以及对传感器推理、可视化和传感器数据移动的集成支持。该SDK在NVIDIA Jetson Thor上运行,并管理雷达处理和摄像头推理的执行。
NVIDIA Holoscan Sensor Bridge软件栈通过支持高带宽传感器将数据高效地流式传输到Holoscan运行时来补充SDK。它提供了必要的驱动程序、固件和接口,可将传感器数据从基于Lattice的传感器桥接硬件直接移动到GPU可访问的存储器中。该软件层可将传感器数据传输细节提取出来,并验证确定性时序,使应用程序的开发人员能够专注于感知算法而不是低级别的传感器数据移动。Holoscan Sensor Bridge与Holoscan SDK之间的紧密集成对于在实时传感器融合应用中保持雷达与摄像头流之间的同步至关重要。
在NVIDIA Holoscan平台之上,应用软件实现了雷达配置、信号处理、传感器对齐和融合逻辑。在此系统中,应用软件由D3 Embedded开发,专门设计用于利用德州仪器(TI)毫米波雷达、Lattice Semiconductor的Holoscan Sensor Bridge板和NVIDIA Holoscan基础设施。该软件将IWR6243雷达数据集成到基于Holoscan的流程中,从而在集中式处理架构内实现雷达点云生成、摄像头对齐和AI驱动的融合。
D3 Embedded开发的应用软件可作为D3 Embedded sales@d3embedded.com服务项目的一部分获得。
NVIDIA Holoscan SDK、Holoscan Sensor Bridge软件栈和D3 Embedded的应用软件共同构成了用于实时雷达视觉传感器融合的完整软件设计。这种传感器数据组合实现了快速启动和可扩展的性能,并为从评估硬件到可直接用于生产环境的人形机器人和机器人系统提供了清晰的途径。
结语
TI的IWR6243毫米波雷达与NVIDIA Holoscan平台上的摄像头数据之间的实时AI传感器融合提供了稳健、可扩展且可立即投入生产的感知设计。TI的毫米波雷达技术可对距离和速度进行准确且不受光照影响的测量,而NVIDIA Holoscan可实现超低延迟GPU处理和AI驱动的传感器融合。这些技术可以让开发人员共同构建能够在复杂、动态和具有挑战性的环境中可靠运行的高级感知系统,加快下一代机器人和自主机器的部署。
暂无评论