本篇文章6910字，读完约17分钟
雷锋。搜索“雷锋”。这篇文章的作者是来自大江的一位工程师，他叫杨硕。本文分为两个部分，下一部分在此链接。
2014年6月，我在智湖。“小型民用无人机的销售现状和前景如何？——YY大师的答案”，一个关于科普特多旋翼飞机技术的答案已经在下面发表了，它已经获得了889个批准和近10万次在智湖的浏览，并且已经被数十个媒体和公众数字转发。2014年年中是多旋翼飞机市场爆发前的热点。后来，许多朋友告诉我，正是这篇文章吸引他们进入多旋翼飞机行业。
在过去的两年里，大江精灵系列已经更新了两代，飞行控制技术也更新了两代。智能导航技术从无到有，许多新的软硬件产品相继发布。同时，我们也有很多朋友。现在多旋翼飞机的市场正在蓬勃发展，许多产品令人眼花缭乱，价格相差很大。为了了解这些飞机之间的差异，我们必须首先了解这些飞机中使用的传感器技术。我认为有必要再发一篇科普文章来定义“智能导航”的概念，顺便介绍一下大江在过去两年里在传感器技术方面所做的努力。
1.飞机状态
如果许多有人驾驶和无人驾驶飞机，如客机和多旋翼飞机，想要稳定飞行，首先也是最基本的问题是确定它们在空.的位置和相关状态为了测量这些状态，需要各种传感器。
世界是三维的，飞机的三维位置非常重要。例如，当一架民用客机飞行时，它使用全球定位系统来获取其经度、纬度和高度。此外，gps还可以通过多普勒效应测量自身的三维速度。后来，全球定位系统被用于民用之后，成本超过10美元的全球定位系统接收器可以让汽车和手机等小型设备接收自己的三维位置和三维位置。
对于多旋翼飞机来说，仅仅知道三维位置和速度是不够的，因为当多旋翼飞机在空飞行时，它通过调整自己的“姿态”产生一定方向的推力。例如，飞向一边实际上是向一边倾斜。根据一些物理学原理，飞机升力的一部分会将飞机推向一侧。为了调整自己的姿势，一个人必须有一种方法来测量自己的姿势。态度由三个角度来表示，所以它也是三维的。对应于三维位置和角度的物理量是三维速度、三维加速度和三维角速度，它们是15个待测状态。
这15个状态在保持多旋翼飞机稳定飞行中起着重要作用。以“悬停”为例，这似乎是多旋翼飞机最基本的能力，事实上，飞机的控制器在它后面做了一系列的“级联控制”:在知道它的三维位置的基础上，它控制它的位置始终锁定在悬停位置，其中控制量是目标的悬停速度。当飞机的位置等于悬停位置时，目标的悬停速度为0。当飞机的位置偏离悬停位置时，飞机需要为自己生成一个悬停位置。如果一架飞机想要控制它的目标悬停速度，它需要根据它当前的三维速度产生一个目标加速度；为了达到这个目标加速度，飞机需要知道它的三维角度，然后调整它的姿态；为了调整你的姿势，你需要知道你的三维角速度，然后调整马达的速度。
读者可能会想为什么它如此复杂。事实上，我们周围的许多工程产品在简单的性能背后隐藏着复杂的过程。例如，汽车的油门是相似的。踩下油门后，传感器测量汽油流量并控制汽油流量；然后有传感器来测量发动机转速和控制发动机转速...有许多传感器来测量和控制汽车从踩油门到加速的各种状态量。
知道15个状态量是多旋翼飞机任何动作的基础，但是对于飞机来说，在任何情况下都很难准确地知道这15个状态量，因为目前的科学技术水平还不能使一个传感器同时测量这么多的物理量。在过去的几十年里，人们开发了一种叫做组合导航的复杂技术，它使用全球定位系统、惯性测量单元、气压计和地磁罗盘来让飞机测量它们的15个状态量。
2.组合导航
惯性测量元件是一种能够测量自身三维加速度和角速度的设备(实际上，惯性测量元件有两种，一种是加速度计，一种是角速度计。为了便于写作，我们把这两种元素作为一类，统称为惯性测量元件)。根据物理学原理，加速度的积分是速度，速度的积分是位置，角速度的积分是角度。理论上，我们只能通过惯性测量元件知道15个状态量。
人类的科学技术水平确实达到了这一点:在全球定位系统发明之前，导弹通常配备有精确的惯性测量元件。导弹发射后，他们用这个装置测量他们的15个状态量，然后控制自己飞越海洋和大陆。然而，这种惯性测量元件将在测量过程中缓慢积累误差。元件本身的工艺、技术和成本越差，误差积累就越快。在飞行数万公里后，导弹上价值数百万的惯性测量元件会积累十几米到几公里的误差。这种水平的导弹已经非常了不起了。毕竟，不是每个国家都可以背着洲际导弹与国际社会讲道理。
人体内有惯性测量元件。人体的耳蜗充满液体。人体运动时，液体有惯性，耳朵里的神经可以感觉到，所以测量运动的加速度。然而，人们的惯性测量元件很差，所以他们不能只靠耳蜗的运动来走直线。
然而，用于多旋翼飞机的低成本mems惯性测量元件的精度更差，其测量的速度和位置将在几秒钟内发散到几十米之外，因此不能用于规划和控制其自身的飞行路径。
此外，惯性测量单元将受到温度和制造工艺的限制，这将导致一些测量偏差。例如，有时在温度突然变化后，静止的惯性测量单元会感觉到它在旋转。虽然它仍然是，它将输出一个非零角速度。这种测量偏差需要通过仔细的算法进行校正，仅靠惯性测量单元无法完全消除。
地磁罗盘是测量航向的传感器。指南针在人们的生活中起着重要的作用。在一个未知的环境中，不区分南北可能很难移动。飞机机身是朝南还是朝北，在航海术语中称为航向，是飞机姿态的三维角度之一。这在组合导航系统中是一个非常重要的状态。
地磁罗盘可以指引北方，因为在地球表面空.有一条看不见的地磁线穿越南北地磁罗盘可以测量通过自身的地磁强度，从而指出自身相对于地磁线的当前偏转。同样，尽管这个理论很简单，地磁线的强度很弱，很容易受到干扰。例如，多旋翼飞机上使用的无刷电机在运行时会产生变化的磁场，地磁罗盘与地磁场叠加后无法找到正确的方向。地磁罗盘的这一特性非常令人讨厌，但早期的多旋翼飞机开发者却无能为力，因为它是空.唯一能确定飞机绝对航向的设备如果你不知道这个航向，你很难进行组合导航。
气压计的原理是最简单的。因为地球表面的高度越高，空气体越稀薄，气压越低，气压可以给出飞机的高度。然而，适用于多旋翼飞机的气压计存在很大的缺陷也就不足为奇了，其测量值会受到温度、湿度、空风速、光照、振动等因素的影响，因此仅靠气压计很难实现稳定的高度测量。
组合导航技术综合了全球定位系统、惯性测量单元、地磁罗盘和气压计的优缺点，在电子信号处理领域采用了多种技术，融合了各种传感器的测量值，获得了对飞机15个状态量更精确的测量。据说惯性测量单元的测量容易发散，这种发散可以通过gps来抑制:gps可以获得三维位置和三维速度，惯性测量单元可以获得三维加速度，加速度的积分也是速度。在通过地磁罗盘获得航向的基础上，可以将两种速度的观测值进行合并，并通过全球定位系统的测量值来发现和抑制惯性测量元件的发散。惯性测量单元的发散得到抑制后，还可以更精确地测量三维角度和加速度。因此，在这些情况下，全球定位系统和惯性测量单元相互补充。此外，气压计和全球定位系统提高了高度测量的精度，而地磁罗盘、全球定位系统和惯性测量单元提高了航向测量的精度。他们都使用相同的融合和“互补”的概念。
组合导航技术中的传感器互补原理直接源于1948年诞生的信息论。克劳德·香农总结的信息论提出了信息的概念以及如何用数学方法来度量信息。信息论可以说是现代人类文明的基石之一。在解释清楚信息的本质后，人们可以用数学表达一个简单而深刻的原理:信息可以用来估计状态，信息越多，估计状态量就越准确。
(上图向信息论之父克劳德·香农致敬)
此后，控制论的创始人诺伯特·维纳、鲁道夫·卡尔曼以及其他大量工程师和科学家完善了通过信息进行状态估计的线性估计理论，并进一步提出了传感器之间的“互补滤波”理论，以共同减少误差。卡尔曼设计的卡尔曼滤波器也已在阿波罗飞船的导航计算机中实现，利用星座位置和惯性测量元件来补充测量阿波罗飞船的15个状态量。
信息论、线性估计理论和卡尔曼滤波允许人们通过数学方程融合多个有误差的传感器，并利用传感器信息来估计特定的状态量，并且传感器越“互补”，就可以获得越好的状态估计。这样，数学为工程指明了发展方向:如果制造出更强大的传感器来相互补充，就可以获得更好的状态估计能力。大江飞控的总工程师于大仁曾经说过:“最有实力的工程师是从事传感器的。”可以看出传感器技术的重要性。
作为一个位置传感器，全球定位系统有许多问题。gps信号只能在开放的空室内给出更好的测量值，因为gps接收器需要从天空中的卫星获取信号，这些信号应该从空.传输到大气中这么长的距离，信号都比较长。在室内环境中，全球定位系统甚至根本不能使用。如果要进一步发展组合导航技术，就必须找到其他可以在无法使用全球定位系统的环境中使用的传感器。
一个可以代替gps测量高度的简单传感器是一个小型超声波模块。该模块通常有两个探头，一个用于接收，一个用于发送，一个用于发出超声波，另一个用于测量回波时间，可以计算引起声波反弹的物体与探头之间的距离。现在在淘宝上，你只需花10元就可以买到一个能精确测量几米内物体距离的超声波模块，这种模块广泛应用于大学生制造的小型机器人中。这种10元传感器的性能并不比气压计和mems惯性测量元件高多少。该传感器发出的声波容易发散，被测物体不一定位于探头前方。此外，声波很容易受到空气体中的水雾和振动的影响，从而给出完全错误的观察结果。因此，超声波模块的最佳使用场景是面向地面并测量其自身与地面之间的距离。
3.视觉感知系统
另一个选择是视觉感知系统。1970年以后，随着数字成像技术的发展，摄像机作为一种传感器开始被广泛研究。由于人们可以通过自己的视觉来估计视野中物体的位置和距离，并且摄像机的原理模拟了人的眼睛，所以研究人员模仿人的特征，利用摄像机的二维图像来反转图像中物体的三维信息。与从2D图像中计算3D信息相关的这项技术和数学理论已经发展成为一门独立的学科——计算机视觉，也称为机器视觉。
视觉感知系统是当今世界机器人学和机器视觉领域最热门的研究课题。其原理是使用由一个或多个摄像机组成的视觉传感器系统，并采用复杂的算法，通过二维摄像机图像计算视野中物体相对于视觉传感器系统几何中心的运动信息。如果假设这些物体是静止的，那么相对运动实际上代表视觉传感器本身的运动。理论上，计算机视觉技术仅用一台摄像机就能精确测量15个状态量。然而，像其他传感器一样，相机也有许多缺陷，包括无法恢复比例、成像质量有限以及巨大的计算消耗。幸运的是，我们还可以将视觉感知系统与其他传感器结合起来，以提高测量精度。
聪明的读者肯定会认为，将视觉感知系统与前面提到的组合导航中使用的所有传感器相结合，在全球定位系统信号质量较高时使用全球定位系统进行组合导航，以及在没有全球定位系统的情况下使用视觉感知系统代替全球定位系统不会解决问题。这正是工程师和科学家目前正在努力解决的问题，也是Elf 4上实现的主要技术。在介绍Elf 4如何将视觉感知系统和组合导航技术相结合之前，我们先简单介绍两种成熟的视觉感知系统:光流速度测量模块和视觉里程表。
顾名思义，光流速度测量模块只能测量速度。通常，光学流速测量模块由摄像机、惯性测量单元和超声波模块组成。其主要原理是1981年在计算机视觉技术中开发的“光流跟踪”算法。
“光流”的概念最早是由心理学家和生物学家在20世纪50年代提出的，这意味着当一个观察者和他正在观察的事物相对运动时，这些事物在他眼前的图像会产生一种“运动模式”，人脑可以利用这种“运动模式”更灵敏地感知周围正在运动的东西。例如，在下图中，读者可以直观地理解“光流”的含义。
后来，计算机科学家布鲁斯·卢卡斯(Bruce Lucas)和金·吴楚·熊(Kim Xiong)于1981年发明了卢卡斯-卡纳德算法，通过该算法计算了连续拍摄的照片上的光流，证明了光流可以求解相对运动速度。虽然lucas-kanade算法被公认为30多年来最好的“光流跟踪”算法，但它有很大的局限性。它包含许多假设，例如假设连续图片的平均亮度是相同的，例如，假设图片中的物体只在一个平面内移动，等等。另外，光流算法计算的速度没有标度，因为相机图像的单位是像素，所以光流算法只能给出“你当前的速度是每秒10个像素”，但是不可能计算出10个像素是1厘米还是1米。恢复比例的方法是增加一个超声波模块来测量平面运动和摄像机之间的距离，这样像素运动就可以转化为真实运动。最后，如果光流测速仪模块也可以用于摇摆多旋翼飞行器，就需要通过惯性测量单元找出图像所代表的平面，这就需要算法中两个传感器之间的良好配合。
原则上，光流算法只能测量三维速度，而不能直接测量三维位置。我们也可以通过对光流测速仪模块测量的三维速度进行积分来获得三维位置，但是正如惯性测量元件的积分会发散一样，光流测速仪模块获得的位置也会发散。幸运的是，它不会失控，并且在与组合导航技术中除全球定位系统之外的传感器适当集成后，它可以在悬停时保持测量位置不偏离。因此，可以说光学流速测量模块只能在有限的条件下替代gps。
光流测速仪模块已经形成了一个非常标准的解决方案。吴和Elf 3装有自行研制的光学流速测量模块。此外，pixhawk，一个著名的开源飞行控制产品，包含一个光学流速测量模块px4flow，所有的代码和硬件解决方案都是开源的。因此，光流测速仪模块已广泛应用于各大制造商的多旋翼飞机产品中。
与光流测速模块相比，视觉里程表增加了直接测量位置的能力，因此被称为“里程表”。视觉里程表比光学流速测量模块具有更强的能力和更好的性能。
读者可能会问，为什么视觉里程表和光学流速测量模块参与的传感器数量大致相同(光学流速测量模块甚至还有一个超声波模块)，但视觉里程表更强？这里的原因不是传感器硬件，而是软件算法。如前所述，光流跟踪算法有许多简化的假设，只能测量平面运动。在某种程度上，增加其他传感器硬件是为了弥补简化因素，便于计算。
视觉里程计算的算法要复杂得多，它不仅推导出视野中物体的平面运动，还通过图像推导出这些物体的三维位置，并根据这些物体的三维位置进行许多优化计算，算法的复杂度要乘以光流速度测量模块。一些视觉里程表算法甚至包括一个完整的光流跟踪算法，但只计算光流作为图像的预处理步骤。
视觉里程表可以直接测量位置，测量值相对准确，不会像光学流速测量模块那样发散。通常，一个优秀的视觉里程表在飞行100米后只会累积10厘米到10厘米的误差，这远比导弹上数百万个惯性测量元件要差。然而，考虑到视觉里程表的极低价格，相比之下它的性价比非常高。
视觉里程表有几个不同层次的难度，最简单的是双目立体视觉系统与惯性测量单元组成的两个摄像头，最困难的是单目视觉系统与惯性测量单元组成的一个摄像头。如果视觉里程表和光流测速仪模块的硬件一致，那么这里的视觉里程表采用单目视觉系统。目前，双目立体视觉系统结合惯性测量单元实现自我状态观测是一项比较完善的技术，而单目视觉系统是一个活跃的研究方向。世界上在这方面做得很好的大学包括美国的宾夕法尼亚大学、瑞士的苏黎世联邦理工学院、英国的牛津大学、中国的香港科技大学和其他欧美大学。
与单目视觉系统和双目立体视觉系统相比，它们的算法难度有很大不同。视觉里程表算法的关键是“通过连续图像推导出物体在视野中的三维位置”。对于结构类似于人眼的双目立体视觉系统来说，这是很容易的，因为当一个物体同时出现在左右两个摄像机场中时，左右两个视场都有视差，这有助于计算物体的位置，并且只能通过简单的几何关系来实现，这已经是一项非常成熟的技术。
然而，对于单目视觉系统来说，只有一个摄像机是没有视差的，因此不可能求解简单的几何关系。因此，该算法必须能够在局部范围内同时智能地估计多个物体的位置，然后在其自身运动过程中通过位置运动产生视差，然后对多个物体的位置进行最大似然估计，从而计算出这些物体更精确的位置。这一过程包含许多环节，其中大部分环节在学术界并不被认为是最佳方案，因此没有成熟的技术。
由于原理相对简单，由双目立体视觉系统组成的视觉里程表是三十年前研究的。20世纪80年代初，美国宇航局工程师、著名机器人专家汉斯·莫拉维克(Hans Moravik)已经制造了这种状态测量系统。关于汉斯·莫拉维克的另一个故事，我问智虎一个问题，“关于控制、机器人等等的引语是什么。”？”——YY烁的回答”也提到了。
(上图向汉斯·莫拉维克致敬)
经过多年的优化，2004年，美国宇航局在Opportunity和Spirit rover的专用芯片上成功安装了由视觉里程表和惯性测量单元组成的视觉定位系统，主频率仅为20mhz，并将其发送到火星，这可以帮助rover通过一对双目摄像机非常精确地记录自己的路线。2007年，参与火星探测的计算机科学家和工程师撰写了一篇论文《火星上的计算机视觉》，吸引了众多计算机视觉研究者投身于视觉里程表的研究，极大地推动了视觉里程表在机器人学中的应用。
