CASBOT PAPER丨基于LiDAR强度图像构建的强度三角描述子,提升人形机器人在室内外环境下的SLAM鲁棒性
01.激光雷达(LiDAR)感知中的回环检测挑战 在当前的人形机器人产品中,激光雷达(LiDAR)作为主要感知传感器之一,广泛应用于环境建图、自主导航与避障路径规划等任务。相比于视觉传感器,激光雷达具备抗光照变化强、空间测距精度高的优势,已成为多种具身智能任务中的关键感知手段。而在基于激光雷达传感器的同时定位与建图(Simultaneous Localization and Mapping,SLAM)系统中,鲁棒的回环检测(Loop Closure Detection, LCD)对于纠正定位累计误差和提高建图精度至关重要,直接关系到人形机器人在多楼层建筑、狭窄通道或结构复杂环境中的稳定运行能力。 在实际应用中,SLAM系统是人形机器人实现长时间自主运行的核心能力之一,广泛用于高精度室内导航、跨楼层路径规划、动态障碍避让与任务区域重定位等任务。无论是在教育展馆、地下空间,还是结构复杂的工业场景中,只有具备稳定、精确的SLAM能力,机器人才能有效感知周围环境、持续进行空间建图并纠正自身位姿偏差,确保在动态变化环境中的可靠执行与交互。 然而,现有多数激光回环检测方法主要面向大尺度的室外场景,通过将3D点云结构化信息降维到2D平面来构建全局描述子,在狭窄的室内场景中会丢失大量的有效信息,从而限制了激光回环检测方法在兼顾室内外作业的人形机器人上的部署与应用。 02.ITD :赋予机器人不同尺度环境下6DOF回环检测能力 为了解决这一难题,由中国科学院自动化研究所团队提出了一种基于高分辨率旋转LiDAR强度图像构建的强度三角描述子(Intensity Triangle Descriptor, ITD)。ITD将图像特征点的空间位置与其邻域反射强度纹理信息结合,通过高斯混合模型(Gaussian Mixture Model, GMM)赋予3D关键点强判别性,并通过刚性三角拓扑结构构成全局描述子。随后,基于边长与GMM相似度的两阶段回环检测方法有效提升了检测的效率和精度。ITD在结构化、退化及非结构场景中的实验表现表明,该方法在保持低计算成本的同时,显著提升了回环检测的召回率和准确率,展现出良好的环境适应性与部署潜力。 ITD系统框架 作为灵宝CASBOT技术体系的深度合作团队,中国科学院自动化研究所在具身智能方向具备长期、系统性的理论研究能力,并持续产出面向复杂场景的前沿成果。ITD的提出,是灵宝CASBOT背后科研力量深耕“场景导向和技术自研”路线的重要体现,也为灵宝CASBOT的人形机器人产品在多样化环境中实现稳健感知与精准空间理解提供了核心支撑。 具体来看,ITD主要有以下三项核心贡献: 提出基于LiDAR强度图像的三角拓扑全局描述子ITD,有效融合图像纹理与空间结构信息,提升回环检测在非结构化和退化场景下的鲁棒性,直接提供6DOF回环位姿约束。 ITD采用图像特征点融合多帧空间位置进行关键点提取,并结合邻域反射强度估计GMM签名,构造高判别性全局描述子,扩大感受野同时减少误匹配。 ITD的两阶段回环检测机制利用边长搜索与GMM相似度计算进行候选检索,再通过几何验证实现精确匹配,确保回环检测的准确性。 03.提升描述符稳定性与判别性的关键点建模策略 ITD通过对多个连续帧的图像特征点在三维空间中进行累积,避免了单帧噪声点的不稳定性,具体策略包括: 图像特征提取:使用FAST算法从LiDAR强度图中提取2D角点。 多帧配准累积:通过LiDAR里程计将连续帧特征点对齐累积至关键帧,增强结构一致性。 体素降采样+非极大值抑制(NMS):对累积点云进行体素降采样,并利用局部密度进行冗余剔除,保留代表性强、分布均匀的关键点。 此外为增强描述子的判别能力,每个关键点被进一步结合其图像邻域纹理进行建模: 1.邻域强度图像块采样:提取每个关键点3×3邻域内的强度图像像素值; 2.GMM建模:采用高斯混合模型(Gaussian Mixture Model)估计其强度分布特征(权重、均值、方差),并用9维向量表示每个关键点的强度签名。 与传统点云法依赖局部几何法线不同,GMM更能反映纹理特征的差异性,增强关键点在场景间的区分能力。 04.基于ITD的两阶段回环检测机制 为实现高效、准确的回环检测,在强度三角描述符的基础上,设计了一个两阶段匹配机制,分别负责候选检索与几何验证,以提升算法的精度和召回率。 首先使用增量式kd-tree来索引每个描述符的边长,并采取以下策略筛选出候选历史描述符: 三边长距离匹配:先根据三角形边长在特定半径范围内快速筛选相似三角形。 GMM相似性计算:引入设计的GMM相似性函数,比较描述子中三个关键点的强度分布是否一致,用于进一步精细筛选候选。 其中是阶跃函数。 为剔除外点并确认匹配的几何一致性,采用了鲁棒的几何验证算法: SVD姿态估计:使用奇异值分解(Singular Value Decomposition,SVD)对当前帧与候选帧间的匹配三角形进行刚体配准,估算6自由度相对变换。 RANSAC筛选:结合匹配点对的几何一致性,使用RANSAC算法过滤离群匹配对,保留内点集合。 05.ITD的多场景实验验证:精度、效率与适应性的全面提升 在回环检测精度上,通过在多个公开数据集(FusionPortable、STheReO)和自建LiDAR数据集(涵盖公园、郊区道路等)上进行了系统性评估,实验采用AUC、F1最大值和扩展精度(EP)作为评估指标。实验结果显示,ITD在所有场景中均优于当前主流方法,如STD、Scan Context和Imaging LiDAR。 最大F1分数下不同方法的回环检测结果(绿线为正确匹配,红线为错误匹配),由上而下为城市道路序列、室内走廊序列和郊区道路序列 在城市与室内结构化场景中,ITD保持了与现有SOTA方法相当的精度和召回率。 在反向视角场景(如公园道路)中,得益于环视LiDAR图像与GMM的配准鲁棒性,ITD精度保持稳定,而Scan Context和STD性能下降明显。 在狭窄走廊等几何退化场景中,ITD通过图像纹理关键点辅助,显著缓解特征缺失问题,其最大F1分数比SOTA方法提高43%,AUC提高34%。 在郊区道路非结构化场景中,ITD凭借广泛分布的关键点和高判别性三角描述子,有效提升远距离匹配性能,EP比SOTA方法高出48%,在接近100%识别精度条件下的召回率高达90%。 实验表明,ITD可以在室内、城市、几何退化的走廊和非结构化的郊区道路中实现高召回率和准确率的环路检测任务 在系统实时性与资源效率上,ITD每个子模块的平均处理时间低于2ms,总体平均耗时仅5.17ms,优于STD的126.14ms,满足SLAM系统对实时性要求。与Scan Context相比,虽然计算略有增加,但ITD显著提升了识别精度和鲁棒性,实现性能与效率的双重平衡。 在SLAM集成应用上,将ITD集成入FAST-LIO框架构建完整的SLAM系统ITD-FAST-LIO,并与无回环的FAST-LIO进行对比: 在室内走廊数据序列中,ITD-FAST-LIO系统的绝对轨迹误差RMSE从无回环的5.587m降至0.339m。 相较于直接使用ICP方案,以ITD为初值的ICP方案使ICP收敛更快,误差更低。 室内走廊序列下ITD-FAST-LIO 与FAST-LIO绝对轨迹误差对比 06.开源赋能:夯实人形机器人核心感知能力 目前,ITD已在GitHub开源平台发布,旨在推动学术社区与产业领域的进一步交流与共创。 相关代码与说明文档可访问:https://github.com/RoboFeng/ITD ITD的开源不仅有助于灵宝CASBOT在多平台环境中实现算法复现,而且在构建开放式技术生态的同时,也进一步提升了灵宝CASBOT在具身智能领域的研究影响力与品牌号召力。 在系统集成方面,ITD已成功融入FAST-LIO等主流SLAM框架,展现出优越的实用性与部署效率,为灵宝CASBOT人形机器人产品在多楼层建筑、地下空间、城市户外等复杂场景中的稳定运行提供了关键支撑。其高精度、高效率的闭环识别能力,使机器人在导航、地图构建及长期任务执行过程中表现出更强的稳健性和环境适应性。 面向未来,ITD将作为灵宝CASBOT多传感器融合体系中的核心组件,持续拓展与视觉、IMU等异构传感器的协同策略,构建更具泛化能力的三维空间感知系统,支撑其在服务、科研、工业等场景中的产品化布局。作为灵宝CASBOT技术体系中的关键感知能力之一,ITD的落地应用将持续支撑灵宝CASBOT在人机共融方向上的产品演进,加速其在服务、教育、科研与工业等多元领域的落地化进程。