无人机整机
无人机配件
无人机服务
设备与工具原创 | 郭汉青
编辑 | 吕嘉玲
相信关注我们公众号的小伙伴们对无人机探测已经不陌生了，前面几期的文章介绍了一些常用的无人机探测方法和基于深度学习的无人机检测算法。我们的研究结果表明，基于视觉外观信息，即便是目前性能最好的一些深度学习算法也很难解决极端情况下的无人机检测这个难题。那么我们有没有其他方法来改善这个问题呢？
基于视觉外观信息的无人机检测
面临的问题
基于视觉外观信息的无人机检测主要不足在于以下几个方面。1）极端天气情况下的检测能力不足。光学相机能够很准确地识别无人机的外观特征，但是在雨、雪、雾、夜等天气情况下就无能为力了。2）对于小目标无人机的探测能力不足。无人机通常重量轻体积小，远距离时无人机在图像中的成像尺寸很小。现有的图像目标检测网络很难处理这种极小尺寸的目标，尤其是在背景比较复杂的时候。3）对于快速运动无人机的探测能力不足。当无人机快速运动时，目标在图像中会产生运动模糊，导致基于目标外观特征的深度学习方法很难识别目标。4）复杂背景下的无人机探测能力不足。当无人机位于树林、城市建筑等复杂背景时，无人机与背景的对比度下降，仅依靠外观信息很难发现目标。
小目标无人机[6]
复杂背景
无人机快速运动
极端天气情况
图1. 基于视觉外观特征的无人机检测面临的挑战
综上，我们知道只依靠外观特征检测无人机在现实场景中依然会面临很多困难。不过，除了外观特征外，无人机区别于其他物体的另一个重要特征是运动模式。大多数情况下，无人机会在三维空间中运动，这种特殊的运动模式是无人机区别于其他物体的重要线索。
基于运动信息的无人探测
当无人机距离较远或者背景太复杂时，仅仅依靠单张图片人眼都很难识别出无人机。但是通过对比连续多帧图片，无人机的突然运动就很容易被识别出来。现有的基于运动信息的无人机检测可以分为基于静止相机的无人机检测和基于运动相机的无人机检测。
基于静止相机的无人机检测一般包括运动区域检测和目标分类两个步骤。[1,2]通过静止相机对空中进行观测，先使用背景消减和形态学操作得到运动目标区域，然后使用 CNN网络对目标进行分类的方法来检测无人机。
图2. 基于静止相机的运动无人机检测流程[2]
与静止相机相比，更具挑战的是在运动相机中检测无人机，因为相机可能面临大幅度和突然的运动，目标无人机的形状和视角也会有更多变化。Jing[3,4]等人提出了一个空对空无人机检测数据集，先使用光流和透视变换对相机运动进行估计，然后利用背景消减得到运动目标，接下来使用深度神经网络训练混合运动特征和外观特征的分类器，得到候选无人机目标。最后为了剔除候选无人机中的假阳性目标和减少漏检情况，作者使用了候选目标的时序运动特征和卡尔曼滤波跟踪。
图3. 基于运动相机的运动无人机检测流程[3]
视频：基于运动相机的运动无人机检测[3]
类似的，Rozantsev[5]引入了一个更具挑战性的无人机和固定翼飞机数据集，作者先使用多尺度滑窗方法获得时空图片序列, 然后利用CNN回归器获得以目标为中心的稳像时空图片序列，最后使用CNN网络在每个时空序列上进行分类来检测无人机。更进一步，Ashraf[6]提出使用一种两阶段基于分割的方法来提取无人机的时空注意力信息。第一阶段，基于相互重叠的图片序列，作者使用金字塔池化在卷积特征图上获得详细的上下文信息，并引入注意力机制来优化目标位置。第二阶段，作者使用运动边界、目标跟踪、时空特征提取等方法确认检测结果和消除误检测。
上述方法在“空对空”无人机检测上取得了不错的效果，但存在计算量过大，难以实时运行等问题。此外，除了通过对图片序列或视频流进行复杂的处理来识别运动无人机，基于事件相机等新型传感器的运动目标检测也越来越流行[7]。这些新型传感器能够直接识别运动目标，也为我们的研究带来了很多新的思路。我们团队会在这些研究的基础上，继续推进相关领域的研究，以期未来能够在机载移动端实现更加鲁棒的无人机检测。
参考文献
[1] A. Schumann, L. Sommer, J. Klatte, T. Schuchert, and J. Beyerer, “Deepcross-domain flying object classification for robust uav detection,” in 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017.
[2] U. Seidaliyeva, D. Akhmetov, L. Ilipbayeva, and E. T. Matson, “Real-time and accurate drone detection in a video with a static background,” Sensors, vol. 20, no. 14, p. 3856, 2020.
[3] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, and Charles A. Bouman, “Fast and Robust UAV to UAV Detection and Tracking from Video,” to appear in IEEE Transactions on Emerging Topics in Computing.
[4] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, Charles Bouman, “Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs).” Intelligent Robots and Systems (IROS), 2016.
[5] A. Rozantsev, V. Lepetit, and P. V. Fua, “Detecting flying objects using a single moving camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, pp. 879–892, 2017.
[6] M.W.Ashraf, W.Sultani, and M.Shah, “Dogfight: Detecting drones from drones videos,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7067–7076, 2021.
[7] Sanket, N.J., Singh, C.D., Parameshwara, C., Fermuller, C., Croon, G.D., & Aloimonos, Y. (2021). “EVPropNet: Detecting Drones By Finding Propellers For Mid-Air Landing And Following.” ArXiv, abs/2106.15045.
本文由西湖大学智能无人系统实验室博士生郭汉青原创，申请文章授权请联系后台相关运营人员，未经授权不得转载。
欢迎来到西湖大学智能无人系统实验室！我们的实验室专注于小型无人机（UAV）的基本理论和新应用。技术研究领域包括（i）单无人机的制导，导航和控制，（ii）多无人机的集群系统，以及（iii）基于视觉和其他类型的传感器的智能传感系统。目前，我们有十多个小组成员，包括博士后，博士生，研究助理和访问学生。他们都毕业于中国和海外的顶尖大学。我们拥有一流的实验设备，如Vicon，动作捕捉系统和各种实验无人机平台。
欢迎来到西湖大学智能无人系统实验室！ 小型旋翼无人机在民用和军事领域有广泛的应用，涉及到众多的科学研究问题。 西湖大学“智能无人系统实验室” 关注于微小型无人机的基础理论与应用研究，面向国家和社会重大需求，专注于从事高影响力的研究工作。 实验室目前关注的研究领域包括单无人机系统的导航制导与控制、多无人机系统的协同控制与估计、以及基于视觉和多种传感器的智能感知系统。 实验室具有一流的科研设施、完善的工作条件、活跃的科研氛围。 目前实验室已有十几名优秀团队成员，分别来自国内外著名高校。 此外，实验室具有高精度VICON室内定位系统、一系列空中和地面机器人平台、GPU计算服务器、3D打印机等设施，为开展相关研究和实验奠定了良好基础。
2023-11-21 10:27
2023-11-20 16:04
2023-11-20 15:59
2023-11-20 15:57
2023-11-20 15:51
2023-11-20 15:49
2023-11-20 15:43
2023-11-20 14:18
2023-11-20 14:16
2023-11-20 14:08
