slam框架：紧耦合激光视觉惯性里程计的统一多模态地标点跟踪_unified multi-modal landmark tracking for tightly -程序员宅基地
技术标签： 论文阅读 slam 自动驾驶 计算机视觉 人工智能
论文题目：
Unified Multi-Modal Landmark Tracking for Tightly Coupled Lidar-Visual-Inertial Odometry
紧耦合激光视觉惯性里程计的统一多模态地标点跟踪
参考链接：
【泡泡点云时空】紧耦合激光视觉惯性里程计的统一多模态地标点跟踪
摘要：
我们为移动平台提出了一种高效的多传感器里程计系统，该系统在单个集成因子图中联合优化视觉、激光雷达和惯性信息。 这使用固定滞后平滑以全帧速率实时运行。为了执行这种紧密集成，提出了一种从激光雷达点云中提取 3D 线和平面图元的新方法。这种方法克服了典型的帧到帧跟踪方法的次优性 将图元视为地标并在多次扫描中跟踪它们。 使用激光雷达和相机帧的微妙被动同步，可以实现激光雷达特征与标准视觉特征和 IMU 的真正集成。 3D 功能的轻量级公式允许在单个 CPU 上实时执行。 我们提出的系统已经在各种平台和场景上进行了测试，包括使用腿式机器人进行地下探索和使用动态移动的手持设备进行户外扫描，总持续时间为 96 分钟，行驶距离为 2.4 公里。 在这些测试序列中，仅使用一个外部感受器会导致失败，原因是几何形状受限（影响激光雷达）或由剧烈的光照变化（影响视觉）引起的无纹理区域。 在这些情况下，我们的因子图自然会使用来自每个传感器模式的最佳信息，而无需任何硬开关。
主要贡献：
• 一种新颖的因子图公式，在单个一致的优化过程中紧密融合视觉、激光雷达和 IMU 测量值；
• 一种提取激光雷达特征的有效方法，然后将其优化为地标。 激光雷达和视觉特征共享统一的表示，因为地标都被视为 n 维参数流形（即点、线和平面）。 这种紧凑的表示允许我们以标称帧速率处理所有激光雷达扫描；
• 与更典型的方法相比，在单个传感器模式失败时挣扎的更典型的方法相比，在一系列场景中进行了广泛的实验评估，展示了卓越的鲁棒性。
我们的工作建立在 VILENS 估计系统的基础上 通过添加激光雷达特征跟踪和激光雷达辅助视觉跟踪，在我们之前的作品 [11]、[12] 中引入。 相机和激光雷达的组合即使在剧烈移动时也能在便携式设备上使用，因为它自然地处理场景中的退化（由于缺乏激光雷达或视觉特征）。
主要图：
雷达惯导，雷达视觉惯导，和loam，lego-loam对比：
总结：
1 在一个固定步长的平滑窗口内，视觉提取特征点，激光雷达提取线特征和面特征点集。
2 跟踪视觉特征，使用激光雷达提供深度（投影，查找3个像素之内的对应点，计算残差）如上图3。
3 使用海塞正规式来参数化平面p，使用一个单位向量n以及一个d表示其原点的距离。
4 使用一个旋转矩阵R和两个尺度参数a,b来参数化一个直线，R表示直线方向，ab表示直线上距离原点最近的点
5 使用FAST角点检测器检测特征，并使用KLT特征跟踪器跟踪它们，使用RANSAC滤除外点
6 使用imu做先验，对雷达点云去畸变，并转换到最近的相机帧时间，实现同步，如上图6。
7 进行聚类，滤波，计算曲率取角点和平面点（同loam）。
8 跟踪前一帧中的线和面，具体是：
使用imu预测到当前帧中对应的位置，为了帮助局部跟踪，我们使用最大的点到模型的距离对预测的特征位置进行CP和CL分割。然后，我们执行欧几里得聚类（和平面特征的正态过滤），以去除外点。然后，我们使用PROSAC鲁棒拟合算法将模型拟合到分割后的点云上。最后，我们检查了预测的地标和检测到的地标是否足够相似。当两个平面p_i和p_j的法线与距离原点的距离小于阈值时，被认为是匹配的
9 一旦跟踪了一个特征，特征的内点将从相应的候选集中删除，并对剩余的地标重复这个过程。在跟踪完成后，我们将在剩余的候选云中检测到新的地标。首先使用欧氏聚类对点云进行划分，平面采用基于法向的区域增长算法。然后，我们使用与地标跟踪相同的方法来检测每个集群中的新地标。点云特征只有在跟踪了至少多次连续帧后才包含在优化中
10 当平台静止时，为了限制漂移和因子图的增长，当三种模态(相机、激光雷达、IMU)中的两种更新报告没有运动时，我们向图中添加了零速度约束
智能推荐
2022黑龙江最新建筑八大员（材料员）模拟考试试题及答案_料账的试题-程序员宅基地
文章浏览阅读529次。百分百题库提供建筑八大员（材料员）考试试题、建筑八大员（材料员）考试预测题、建筑八大员（材料员）考试真题、建筑八大员（材料员）证考试题库等,提供在线做题刷题，在线模拟考试，助你考试轻松过关。310项目经理部应编制机械设备使用计划并报（）审批。A监理单位B企业C建设单位D租赁单位答案：B311对技术开发、新技术和新工艺应用等情况进行的分析和评价属于（）。A人力资源管理考核B材料管理考核C机械设备管理考核D技术管理考核答案：D312建筑垃圾和渣土._料账的试题
chatgpt赋能python：Python自动打开浏览器的技巧-程序员宅基地
文章浏览阅读614次。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。AI职场汇报智能办公文案写作效率提升教程 专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。_python自动打开浏览器
Linux中安装JDK-RPM_linux 安装jdk rpm-程序员宅基地
文章浏览阅读545次。Linux中安装JDK-RPM方式_linux 安装jdk rpm
net高校志愿者管理系统-73371，计算机毕业设计（上万套实战教程，赠送源码）-程序员宅基地
文章浏览阅读25次。免费领取项目源码，请关注赞收藏并私信博主，谢谢-高校志愿者管理系统主要功能模块包括页、个人资料（个人信息。修改密码）、公共管理（轮播图、系统公告）、用户管理（管理员、志愿用户）、信息管理（志愿资讯、资讯分类）、活动分类、志愿活动、报名信息、活动心得、留言反馈，采取面对对象的开发模式进行软件的开发和硬体的架设，能很好的满足实际使用的需求，完善了对应的软体架设以及程序编码的工作，采取SQL Server 作为后台数据的主要存储单元，采用Asp.Net技术进行业务系统的编码及其开发，实现了本系统的全部功能。
小米宣布用鸿蒙了吗,小米OV对于是否采用鸿蒙保持沉默，原因是中国制造需要它们...-程序员宅基地
文章浏览阅读122次。原标题：小米OV对于是否采用鸿蒙保持沉默，原因是中国制造需要它们目前华为已开始对鸿蒙系统大规模宣传，不过中国手机四强中的另外三家小米、OPPO、vivo对于是否采用鸿蒙系统保持沉默，甚至OPPO还因此而闹出了一些风波，对此柏铭科技认为这是因为中国制造当下需要小米OV几家继续将手机出口至海外市场。 2020年中国制造支持中国经济渡过了艰难的一年，这一年中国进出口贸易额保持稳步增长的势头，成为全球唯一..._小米宣布用鸿蒙系统
Kafka Eagle_kafka eagle git-程序员宅基地
文章浏览阅读1.3k次。1.Kafka Eagle实现kafka消息监控的代码细节是什么?2.Kafka owner的组成规则是什么？3.怎样使用SQL进行kafka数据预览？4.Kafka Eagle是否支持多集群监控？1.概述在《Kafka 消息监控 - Kafka Eagle》一文中，简单的介绍了 Kafka Eagle这款监控工具的作用，截图预览，以及使用详情。今天_kafka eagle git
随便推点
Eva.js是什么（互动小游戏开发）-程序员宅基地
文章浏览阅读1.1k次，点赞29次，收藏19次。Eva.js 是一个专注于开发互动游戏项目的前端游戏引擎。：Eva.js 提供开箱即用的游戏组件供开发人员立即使用。是的，它简单而优雅！：Eva.js 由高效的运行时和渲染管道 (Pixi.JS) 提供支持，这使得释放设备的全部潜力成为可能。：得益于 ECS（实体-组件-系统）架构，你可以通过高度可定制的 API 扩展您的需求。唯一的限制是你的想象力！_eva.js
OC学习笔记-Objective-C概述和特点_objective-c特点及应用领域-程序员宅基地
文章浏览阅读1k次。Objective-C概述Objective-C是一种面向对象的计算机语言，1980年代初布莱德.考斯特在其公司Stepstone发明Objective-C，该语言是基于SmallTalk-80。1988年NeXT公司发布了OC，他的开发环境和类库叫NEXTSTEP， 1994年NExt与Sun公司发布了标准的NEXTSTEP系统，取名openStep。1996_objective-c特点及应用领域
STM32学习笔记6：TIM基本介绍_stm32 tim寄存器详解-程序员宅基地
文章浏览阅读955次，点赞20次，收藏16次。TIM（Timer）定时器定时器可以对输入的时钟进行计数，并在计数值达到设定值时触发中断16位计数器、预分频器、自动重装寄存器的时基单元，在 72MHz 计数时钟下可以实现最大 59.65s 的定时，59.65s65536×65536×172MHz59.65s65536×65536×721MHz不仅具备基本的定时中断功能，而且还包含内外时钟源选择、输入捕获、输出比较、编码器接口、主从触发模式等多种功能。_stm32 tim寄存器详解
前端基础语言HTML、CSS 和 JavaScript 学习指南_艾编程学习资料-程序员宅基地
文章浏览阅读1.5k次。对于任何有兴趣学习前端 Web 开发的人来说，了解 HTML、CSS 和JavaScript 之间的区别至关重要。这三种前端语言都是您访问过的每个网站的用户界面构建块。而且，虽然每种语言都有不同的功能重点，但它们都可以共同创建令人兴奋的交互式网站，让用户保持参与。因此，您会发现学习所有三种语言都很重要。如果您有兴趣从事前端开发工作，可以通过多种方式学习这些语言——在艾编程就可以参与到学习当中来。在本文中，我们将回顾每种语言的特征、它们如何协同工作以及您可以在哪里学习它们。HTML vs C._艾编程学习资料
三维重构（10）：PCL点云配准_局部点云与全局点云配准-程序员宅基地
文章浏览阅读2.8k次。点云配准主要针对点云的：不完整、旋转错位、平移错位。因此要得到完整点云就需要对局部点云进行配准。为了得到被测物体的完整数据模型，需要确定一个合适的坐标系变换，将从各个视角得到的点集合并到一个统一的坐标系下形成一个完整的数据点云，然后就可以方便地进行可视化，这就是点云数据的配准。点云配准技术通过计算机技术和统计学规律，通过计算机计算两个点云之间的错位，也就是把在不同的坐标系下的得到的点云进行坐标变..._局部点云与全局点云配准
python零基础学习书-Python零基础到进阶必读的书藉：Python学习手册pdf免费下载-程序员宅基地
文章浏览阅读273次。提取码：0oorGoogle和YouTube由于Python的高可适应性、易于维护以及适合于快速开发而采用它。如果你想要编写高质量、高效的并且易于与其他语言和工具集成的代码，《Python学习手册：第4 版》将帮助你使用Python快速实现这一点，不管你是编程新手还是Python初学者。本书是易于掌握和自学的教程，根据作者Python专家Mark Lutz的著名培训课程编写而成。《Python学习..._零基础学pythonpdf电子书