发布询价单
您的位置:首页 > 资讯 > 综合资讯 > 正文

SupSLAM:使用SuperPoint用于无人机的鲁棒视觉惯性 SLAM 系统

2022-09-08 10:22 性质:转载 作者:飞思实验室 来源:飞思实验室
免责声明:无人机网(www.youuav.com)尊重合法版权,反对侵权盗版。(凡是我网所转载之文章,文中所有文字内容和图片视频之知识产权均系原作者和机构所有。文章内容观点,与本网无关。如有需要删除,敬请来电商榷!)
近年来,使用机器学习技术进行特征提取的现代基于特征的 SLAM受到越来越多的关注,并有望在几乎所有机器人工作环境中超越传统方法。这种方法利用经过训练的网络...

近年来,使用机器学习技术进行特征提取的现代基于特征的 SLAM受到越来越多的关注,并有望在几乎所有机器人工作环境中超越传统方法。这种方法利用经过训练的网络来学习关键点,从而增强视觉SLAM数据关联的鲁棒性。由于资源有限,无人机上的SLAM通常会对计算造成限制。因此,提取特征点的方法在SLAM中起着关键作用。我们介绍了一种名为SupSLAM的视觉惯性SLAM方法,该方法基于使用称为SuperPoint的新特征点。这些特征点是通过深度神经网络从SLAM前端的输入图像中提取的。我们的SLAM前端只需要一个带有IMU作为输入的立体相机。姿态估计由多状态约束卡尔曼滤波器 (MSCKF)进行,而轨迹可靠性由在后端运行的图优化过程保持。

我们的SLAM系统如图1所示。该系统使用立体相机作为输入来提取环境的特征。该相机配有IMU,用于测量线加速度和角速度。然后通过前端和后端模块处理来自输入设备的数据。

图1 SupSLAM系统概述

SuperPoint是一个完全卷积神经网络,它在单次前向传递中计算 2D特征点位置和描述符并运行。在我们的工作中,我们只考虑特征点来降低计算成本并保持匹配结果的一致性。使用的SuperPoint架构如图2所示。

图2 SuperPoint的模型架构

实验中使用真实数据和合成数据。真实数据包括三个最复杂的序列。合成数据包括两个场景,代表农村农场和城市区域,由我们从AirSim 开发的工具集生成,如图3所示。农村农场模拟了一个地形崎岖不平、植物种类繁多、农业设备齐全的农村环境。市区呈现出与汽车、树木和生活场所不同的平坦区域。

图3 用于实验的农村农场和城市区域的合成场景

无人机以5m/s的速度和5m的高度沿矩形轨迹飞行,形成名为LoopF的数据集。在这些场景中,我们使用类似于用于EuRoC数据集的系统的无人机配置,即20Hz立体相机和200Hz IMU。然而,我们的数据集更具挑战性,因为无人机在可追踪地标较少的环境中以更高的速度飞行更远的距离。

我们使用两个指标进行性能评估,包括绝对轨迹误差(ATE)和相对轨迹误差(RTE)。通过首先将估计的轨迹与地面实况对齐,然后测量它们之间的差异来计算ATE,如图4a所示。RTE是通过将估计的轨迹划分为段dk来计算的,然后将每个段与地面真实轨迹对齐以计算误差,如图4b所示。

图4 评估指标的说明 (a) 绝对轨迹误差和 (b) 相对轨迹误差

图5显示了SuperPoint在三个场景中检测到的特征点,包括市区、农村农场和机房,具有两种不同的设置,100个和400个特征点。可以看出,边角、边缘、颜色变化等特征都被很好地检测到了。此外,检测到的特征分布在图像中,因此算法对某些对象的依赖性较小。

图5 Superpoint检测到的特征点

图6显示了检测到的特征点在左右图像之间的对应关系。可以看出,大多数特征点都被正确匹配,这意味着提取的深度信息是可靠的。

图6 Superpoint检测到的特征点

图7a显示了在不同时间Δt=0.3s捕获的两个图像帧之间的特征点跟踪。由于检测到的特征点分布在整个图像上,因此帧之间的公共特征点的数量得到了很好的保持,这对于稳定的SLAM很重要。

图7 在时间差Δt=0.3s的情况下捕获的两帧中(a)快速和(b)超点跟踪结果

图8显示了LoopF数据集的SLAM结果,其中无人机在农村农场上方飞行两圈。可以看出,即使在近500m的长距离内,最终估计的轨迹(红线)也能很好地跟踪地面真实轨迹(黄线)。

图8 LoopF 数据集的无人机轨迹包括地面实况轨迹(黄线)、前端估计(绿线)和后端估计(红线)

为了进一步评估我们方法的性能,我们与OpenVINS 进行了比较,这是一种使用FAST进行特征提取的最先进的SLAM系统。图9显示了FAST检测到的特征点。与SuperPoint不同,这些特征点集中在某些对象周围,例如植物、房屋或机器。因此,如图7b所示,当物体移出场景时,在不同时间拍摄的图像帧之间的共同特征点的数量显着减少。这个问题反过来会影响SLAM结果。

图9 FAST 检测到的特征点

与其他特征提取方法相比,SuperPoint提供了更好的特征点分布,从而提高了快速移动场景中的跟踪性能。由于SuperPoint是一个预训练网络,它还需要较少的计算资源,因此适用于有效载荷电池容量有限的无人机。

源自:2021 8th NAFOSTED Conference on Information and Computer Science (NICS)

网友评论
文明上网,理性发言,拒绝广告

相关资讯

  • 思洛普无人机森林火灾后航测
    近期,桂林全州发生森林火灾,深圳思洛普科技有限公司携带无人机赶赴现场,利用机载网络相机及快速成图系统,实时快速生成高清正射影像图,将火灾现场情况完整呈...

    2022-12-02 11:10

  • CES 2023 机器人创新奖获奖名单公布
    CES 宣布了即将于 2023 年 1 月 5 日至 8 日在拉斯维加斯举行的 CES 2023 活动的创新奖获奖者。并重点介绍了与机器人技术相关的解决方案。ACWA机器人法国机器人公司ACWA Robotics制造...

    2022-12-02 09:34

  • NUAIR公布了纽约-Quebec AAM走廊发展项目
    无人机网12月1日报道,据《DroneDJ》消息,无人机开发组织东北无人机空域一体化研究联盟(NUAIR)的业务范围和活动范围将通过参与一个新的美国和加拿大财团而变...

    2022-12-01 10:14

  • 大疆创新的无人机通过了美国和加拿大制定的关键数据安全指标
    无人机网11月30日报道,据《DroneDJ》消息,大疆创新表示,其无人机硬件已经在美国商务部和加拿大网络安全中心联合制定的一项重要安全基准中得到验证。实现这一...

    2022-11-30 10:59

  • 日本国产无人机SOTEN被加入其国土交通部的无人机名单
    无人机网11月30日报道,据日媒消息,11月24日,由ACSL公司提供的无人机SOTEN被加入日本国土交通省的无人机名单,其中部分申请文件可以省略。这将允许在申请飞行...

    2022-11-30 10:58

  • SORABOT支持全自动无人机港口“DroneNest”业务中从安装到驾驶的所有操作
    2022年11月28日,以提供全自动无人机港口DroneNest为核心业务的有限责任公司SORABOT宣布成立并开始运营。除了提供简化检查和监测工作的“DroneNest”外,该公司...

    2022-11-29 10:34

  • 无人机网本周行业看点(2022年11月20日-11月26日)
    注:每周行业热点新闻,仅代表我网对本周事件精彩回顾和行业点评,排名不分先后,旨在推动无人机行业的发展(凡在我网发表过的文章将均有机会被优选,欢迎投稿)...

    2022-11-28 10:57

  • 美国启动无人驾驶和人工智能系统整合活动
    美国第五舰队于11月23日在巴林开始了为期三周的无人驾驶和人工智能集成活动,该活动将涉及首次在该地区采用新平台。这项名为“数字地平线”的活动将推动司令部整...

    2022-11-28 10:46

  • 美国陆军测试血液运送无人机
    无人机网11月28日报道,据《UAS VISION》消息,美国陆军无人机正在莫哈韦沙漠上空投放模拟血液包裹,努力寻找更好的方法尽快将医疗用品送到受伤的部队。最近几...

    2022-11-28 10:35

  • 科普 | 微型军用无人机,战场上的硬核神器!
    随着军用无人机频繁亮相于各大局部战争和地区冲突,为适应愈加复杂多变的侦测环境,更灵敏、更灵活、作战性能更强的微型军用无人机应运而生。微型军用无人机对智...

    2022-11-25 10:45

推荐图文

关注官方微信

手机扫码看新闻