无人机集群表演技术与multi-agent system
从目前最大规模的无人机表演引出，搜索国内无人机集群表演的相关企业，分析其技术与产品，推测无人机集群表演的技术与实现方法，分析将multi-agent system用于无人机集群表演的可能性。
最大规模无人机表演
先看两个无人机表演视频。2021年6月15日晚，在深圳市龙岗区大运中心，将近5200架无人机组成编队表演庆祝建党一百周年，创下无人机表演的多项世界纪录。表演由高巨创新等提供技术支持。可惜没有找到未剪辑版的视频。
世界最大规模的无人机编队4K | 5200架献礼建党100周年 | 深圳龙岗www.youtube.com/watch?v=PZ-zibpMz3E&ab_channel=roywalker4K%7CKeepWalking%2CGreaterChina
世界最大规模的无人机编队4K 5200架献礼建党100周年 深圳龙岗12 播放 · 0 赞同视频
吉尼斯世界记录，5200架无人机表演Guinness World Records, 5,200 drone showswww.youtube.com/watch?v=ZDQT2uRKtYg&ab_channel=GONGQUEUAV
吉尼斯世界记录，5200架无人机表演5 播放 · 0 赞同视频
相关企业
高巨创新
高巨创新-全球领先室内外无人机编队系统供应商 (hg-fly.com)www.hg-fly.com/2014年在深圳成立的无人机软硬件科技企业，硬件上，生产包括室内外表演无人机、教育无人机和航拍产品。
产品技术点包括
5.8G wifi， 地面中继器轻量化设计，长续航双冗余传感器：几乎每个传感器都配备了双份，保证安全全彩高亮灯光自动编号，按照舞步位置图摆放，可实现对无人机的自动编号厘米级精准定位：RTK定位技术空中暂停，二次复飞室内三维定高技术，定位精度3cm室内VIO定位移动端app操控教育编程，scratch、python编程自研仿真软件（最小摆放距离50cm）
亿航智能
亿航智能 EHang | 城市空中交通自动驾驶飞行器创新者www.ehang.com/cn/2014年在广州成立，2019年美股上市的智能自动驾驶飞行器科技企业，主打无人机载人交通、无人机物流，无人机消防等，可通过亿航飞行指挥调度中心实现监测、调度、管理、预警和集群五大核心功能。18年4月1374架无人机表演申请“最多无人机同时飞行”的吉尼斯世界纪录称号。
产品技术点：
共轴双桨无人机载人交通：全备份安全设计，自动驾驶，智能指挥调度中心集群管理，视觉定位轻松实现精准着陆；纯电能，二小时充满，实施通信获得电池状态。无人机物流：自动规划航线，自动执行飞行任务高效编队方式：高精度的RTK-GPS载波相位差分技术，实现厘米级高精度定位，让每架飞行器相距5厘米而不碰撞（理想值）
空中未来
全球无人机创新应用领航者-空中未来科技集团aerofuture.cn/
全球无人机集群编队技术领航者 | 无人机表演-空中未来AeroFuture (dyphoon.cn)www.dyphoon.cn/wap/index.html
16年在北京成立，主要卖点为无人机各种行业应用，还生产低空防务设备（无人机侦察与干扰），（也说自己是5164架无人机飞行的纪录保持者），产品技术点：
灵隼ZT-3VS，固定翼+四旋翼可支持6000架无人机同时起飞（标称）使用双频RTK差分定位，实现厘米级精准定位精度使用加密局域网通信实现0.5米间距分批起飞。3D立体仿生舞步图数一体多功能数据链覆盖范围30km远度科技
TUSUAV远度科技-行业无人机应用专家www.tusuav.com/远度科技，侧重复合翼无人机野外作业，依托清华大学设立的启迪控股，在飞控、数据链和光电吊舱上有很多技术积累。产品技术点：
灵隼系列固定翼+四旋翼设计的高性能无人机机载人工智能，实时识别处理信息机机中继通信模式图数一体多功能数据链覆盖半径30km防干扰高空视觉惯性里程计，误差百分之一双天线差分定向技术在被干扰和诱骗情况下不依赖卫星定位仍可通过航向及吊舱进行导航DSM-CAS 智能防撞系统AR数据叠加视频引导降落动平台起降仿真飞行培训套件：通过机载计算机实现仿真实训的新型培训套件态势视频/图实时生成软件集成双目深度图和视觉惯性里程计(Visual‒Inertial Odometry)系统100~3000+架无人机表演若联科技
Robsense Homehome.robsense.com/若联科技www.zhihu.com/org/ruo-lian-ke-ji
2015年在广州成立，特点是开放程度高，侧重飞行控制算法及飞行控制硬件。技术点包括
Phenix Pro飞行器自动驾驶系统开发平台EKF滤波算法厘米级RTK定位系统毫米波雷达避障SwarmLink适用于无人系统的集群控制网关，远距离实时群控，基于CAD空闲信道检测，自适应随机退避机制https://www.zhihu.com/question/46665285/answer/601712069一飞智控
一飞智控-无人机表演_无人机编队表演视频 (efy-tech.com)www.efy-tech.com/一飞智控www.zhihu.com/org/yifei-zhi-kong
16年成立，和中科院自动化所有很强的联系，主要业务包括无人机表演、物流运输和巡检测绘无人机硬件和服务，自动机库，飞控等。保有‘最长时间无人机表演’的世界纪录，主要技术点包括：
长续航通讯多重备份，4g/5g，wifi，电台三模灯光、动画效果好全球首款支持桨正位的无人机穿越千机
千机秀｜全球无人机表演及空域造景数字平台www.cross1000.com/
穿越千机www.zhihu.com/org/chuan-yue-qian-ji-47
2017年在广州成立的公司，有一款无人机，主要做无人机表演的，主要技术包括：
4G+wifi+电台抗干扰RTK技术优秀灯效ToF+气压计，异常监控，智能缓降科技报道
解密电子科大建校65周年无人机表演背后的奥妙 电子科技大学 成电新闻网news.uestc.edu.cn/?n=UestcNews.Front.DocumentV2.ArticlePage&Id=81473无人机灯光秀的生意经 | 界面 · 财经号m.jiemian.com/article/6560539.html
揭秘丨成都无人机表演灯光秀燃爆夜空，背后有何奥妙？_四川在线sichuan.scol.com.cn/ggxw/202107/58205595.html
飞思实验室：无人机集群表演=无人机智能集群吗？12 赞同 · 5 评论文章
无人机集群技术现状与趋势_综合资讯_资讯_无人机网（www.youuav.com)_无人机专家--无人机专业网络平台(www.youuav.com)！m.youuav.com/news/detail/202008/44045.html为什么集群无人机是趋势，它的关键技术是什么？-科技频道-手机搜狐m.sohu.com/n/481368490/如何反制无人机集群作战-新华网www.xinhuanet.com/mil/2020-04/16/c_1210560541.htm
技术分析
集群表演技术分析
1. 定位技术：无人机表演最重要的技术是定位技术，普遍采用的方法为RTK算法。RTK算法需要建立地面基站获得一个定位信号，处理并广播给无人机，由无人机进行差分，获得较为准确的位置。理论上也可以由地面基站获得所有无人机的定位信号，和自己的差分并获得所有无人机的位置并广播出去，但是这个方法明显对中心节点计算压力太大，且广播通信压力太大，需要广播不同的信号。
2. 控制算法：即使是很大规模的无人机集群表演，也并未使用多智能体控制算法，可能局部采用了分组控制方法，但是没有采用分布式控制方法。很明显，无人机集群并不具备感知周围个体的传感器，也就无从实行分布式控制算法，实现多智能体智能。注意到，在5164个无人表演中，虽然没有注意到无人机型号是否有不同，但是可以看到有多家无人机企业参与，摆出了他们的logo，在记录中有一项为‘同组无人机连续组成最多的队形’，以及单个无人机企业很难一次性凑齐这么多架无人机来看，应该是有多家企业的多组无人机参与了表演，硬件不互通，必然只能通过划分图案，分组完成表演。
3. 感知能力：注意到，无人机表演都在夜晚，视觉定位感知能力几乎失效，在室外无人机中也没有搭载视觉传感器的，这也意味着，无人机不仅无法感知周围个体的位置，也无法感知周围个体的灯光变换。灯光的变换依赖的是本地触发条件，如到达某个位置，或到达某个时间。同样的，每个表演段落的开始和结束也应当是依赖本地触发条件。同时，无人机根据对各家飞控软件的观察，无人机应该将自己的位置状态反馈给了中心节点，但是并没有将自己的信息反馈给其他节点。
4. 中心节点控制能力：除了高巨创新提到具有暂停和复飞功能外，其余企业并未提及在表演途中对无人机集群的控制。实际上，在集群控制中，不论是否采用分布式方法，都要尽量避免对单独个体的控制，以避免意想不到的问题。同时，集群运动中对集群的控制也应当尽可能简单，开始，暂停，继续，复位，即使是我之前做的三个移动加工机器人协同控制程序，也是只有这么几个控制选项。通信方式应该为广播模式，减少通信资源占用。
5. 轨迹规划问题，轨迹规划是无人机集群表演的重点问题，主要步骤包括图形分块（将图案进行分块，降低大型图形的规划难度），点位分配（将图案离散为点位，和上一步可能互换），点位规划（表演中，不同时间的图案之间的点位的对应，避免变换图案时的碰撞，并均匀各无人机的飞行距离使尽量同步），路径规划（图案切换时，无人机在起点和终点之间的轨迹），表演调试（在仿真中给出无碰撞轨迹后，进行调试，避免无人机碰撞，确认无人机集群全部到达位置的时间并分配灯光）。其实这个问题即使在仿真环境中，实现起来都需要很大的工作量（难度可能不太大）。这一步也是最类似与多智能体的部分，但是这是一个优化问题，而不是一个多智能体问题。
6.通信问题，表演中大概率、大部分为离线模式，不存在大量的通信，无人机编好程序后按照程序运行即可。通信存在于a)开始、暂停、继续等广播信号，b)中心节点向无人机的RTK广播信号，c）无人机向中心节点反馈自身信息。前两项可能通过广播信号实现，占用带宽有限。如何处理最后一个通信还没有想明白，可能可以选择关闭这个通信？
7.同步问题，主要涉及三个同步问题：到达时间同步，运动同步和灯光变换同步。到达时间同步：从一小节变换到另一小节时，必须要等所有的无人机都到位才能开始，最好的情况是所有无人机同时到达，否则需要等最慢的一架无人机到达后才能开始。但是这个约束不强，不同时到达的话等一会就好，而且一般会设置一个等待时间，保证所有无人机都到达且过了一小段时间后才开始。运动同步：比如上面视频中龙飞舞的画面，尽量保持整体的速度一致，至少分组一致，这样可以保证图案不在运动过程中拉伸扭曲。这两个同步都可以通过轨迹规划实现。灯光变换同步：回想一下苹果的果冻屏，当无人机展示内容连续变化的一段图片或视频时，由于灯光的不同步会造成画面不同步，影响观感。同时，无人机表演的‘像素’毕竟太低，即使能够同步，展示图片和视频效果也很差，因此少见有这种表演。其次是每小节亮灯时间的同步，猜测实现方式为同步无人机时钟，在固定时间点触发。或者采用人工控制，广播开始本段表演的信号。
注意到这些无人机集群控制和表演企业大部分也都是无人机生产企业，因为无人机需求太大，同时还要进行各种自定义编程和拓展，还是自己生产比较划算。
技术实现猜想
分析了这么多，最大的的实施难点还是在轨迹规划上，最硬核的技术点还是在RTK定位技术上。
1.分节：对表演内容进行分节，找到每一节的第一帧。时间离散化，设计关键帧，关键帧之间应当尽量平滑。
2.空间离散化，将每一节表演的关键帧用点来表示，注意点位之间的距离。建立关键帧之间的点位对应关系。点位对应关系也应当尽量一致平滑，用直线、圆弧等连接。尽量保证轨迹无交叉。用极坐标表示关键帧图像并进行关键帧点位对应可能会方便一点。
3.无人机编号：将无人机和点位进行对应，无人机起飞前阵型可视为第0节的唯一一帧。
4.节间规划，和关键帧规划差不多，但是约束更加宽泛，保证无碰撞、到达时间基本一致即可。注意设置时间安全余量，保证无人机都到达后才进入下一节表演。
5.写入程序：通过起飞——节间规划——第一节——节间规划——第二节——……——返航的方式，对无人机进行轨迹分段，写入对应程序节。轨迹片段中应当包括目标位置、运行模式（直线、圆弧）、运行速度、停顿等，以及灯光信息。
6.两种触发模式：时间触发模式：校准无人机时间，保证无人机时间一致，设置上述程序步骤触发的时间，到达某一时间后，触发下一个程序节。广播模式：通过广播执行执行，执行下一节程序，程序执行完毕但未接受到指令则悬停。实际上这个方式也是看时间的，操作人员看到无人机都到达位置后，广播执行指令。
7.调试：进行试飞，确认无碰撞即安全距离，确认环境干扰可控，确认无人机状态。通过调试确认关键帧间是否平滑，不平滑则调整图案或调整飞行速度；通过调试确认节间规划是否合理，确保无人机在差不多的时间内到达下一界第一帧位置，并去除多余的安全余量。
多智能体技术分析
目前来讲，多智能体控制技术的应用还存在很长的道路，甚至就目前来看，民用无人机几乎不可能用上多智能体控制技术。主要体现在
价格：多智能体系统为重资产系统，如进行1000个无人机的表演，则需要常备至少1100个无人机，每个无人机价格1000元，则仅无人机的价值就达到110万。实际上很多多智能体的潜在应用，通过少量无人机多次作业即可完成，既降低了成本，也减少了操作难度。感知：多智能体控制技术需要智能体具有较强的感知能力，传感器很难在价格、稳定性、处理复杂度上均表现优异，要么太贵影响成本，要么不够稳定无法使用，通过优秀的算法弥补前两者不足，有需要很大的板载计算能力。除了传感器，处理器同样存在这个问题。通信：这个是很非常棘手的一个问题，尤其是将近5200架无人机，不论是使用wifi信号还是4g信号，信道肯定会非常拥堵。举个例子，只要在一个区域内，有多个wifi发射装置（路由器），或有多个wifi接收装置（手机），信道就会被占用，而仅仅是在有数据传输的时候。在一些人流密集的地方，大家的手机信号都会变差（并非有人信号好有人信号差），都无法上网。于是要么分频段，要么分时间，来解决通信问题，但是两种方法都不那么容易实施。一个可行的办法是用感知代替通信，如激光测距等感知手段就不受通信约束，可以获得周围个体的信息。稳定性：虽然多智能体系统可以表现出很强的稳定性，但是达成稳定需要一个过程，同时这里所说的稳定性也并不一定是我们想要的稳定性。假设某个无人出现故障坠机，多智能体需要经历一个变动过程，从相邻的无人机开始像涟漪一样传递开来，这个过程耗时长，不可控（如果施加外部控制，那就又是集中式控制方法了）。同时，最后达到的稳定性可能会导致整个图案失真，虽然变动后图案整体和原图案是相似的，但是必然出现拉伸，比缺失某个像素点更加影响观感。算法局限性：多智能体算法解决的核心和基础问题是一致性，也就是所有智能体的状态达成一致，进行formation control需要全局定位信息，在编程支出规划formation，为每个智能体分配位置，设置偏置，才能形成一个图案，这个过程和现行技术中分配和优化无人机位置相同，并非一般认为的，多智能体算法可以给定一个图案，让集群自动形成这个图案。RTK技术
00:00/ 00:00视频信息镜像画面[X]DeviceId:web_748955009AF17CBEPlayerVersion:1.0.27
