若你的浏览器无法加载本页面中的图片,请将VPN软件设置为全局模式
由于大型模型文件无法上传到 GitHub,因此从 GitHub 下载的项目无法使用体态控制等功能(基础功能如拍照录像等不受影响)。如在编译过程中遇到因找不到模型而失败的问题,请将相关代码注释掉
Mail:[email protected]
- 此平台基于python语言开发,可用于控制大疆公司的Tello系列无人机,并利用无人机的摄像头、红外等传感器完成一系列视觉功能,包括:目标检测与跟踪(绿色小球与人脸)、手势控制、体态控制等。 也可控制Tello进行拍照、录像,以及做出一些花式动作。
- 项目文件中,
myScripts
文件夹涵盖了主要的代码文件,包括主程序main.py
。UIfile
文件夹涵盖了程序的各窗口初始代码(从.ui
类型文件转化而来)。ico
文件夹包含了各窗口界面用到的图标。
开发环境为python + QtDesigner,主要在macOS下进行开发,可移植到其他系统上。
使用到的python库包括:pyQt5,ffmpeg,av,pytorch,baidu-aip,opencv-python等。ffmpeg和av是用来解码视频的
运行我们的代码时,请先确保计算机连接到Tello的Wi-Fi,然后运行main.py。当在终端中使用命令
python3 main.py
直接运行时,可能会出现错误。这时请将myScripts
文件夹中的内容移动到整个项目的根目录中,再尝试上面的命令。
当直接在PyCharm等IDE中运行时,一般不需要上述操作。
通过此平台控制Tello无人机的方式有两种,一种是默认的键盘控制,第二种是语音控制。
键盘控制一直处于开启状态。每个键盘键位对应的功能如下:
tab:
起飞L/P/G/H:
降落/悬停/抛飞/手上降落W/A/S/D:
向前/左/后/右U/I:
向上/下J/K:
顺/逆时针旋转Z/X/C/V:
前/后/左/右空翻
使用语音控制时,还需再将网线连接到计算机上。这是因为,本项目中的语音识别功能使用了百度提供的语音识别API,使用时需联网获取识别结果。
注意:当你使用语音控制功能时,请在百度智能云上申请一下语音识别技术API,并更改myScripts/mySpeechRecognition.py
中的APP_ID、API_KEY、SECRET_KEY(我们的已经过期啦)
有效语音指令如下:
- 起飞;
- 降落;
- 悬停;
- 向前/后/左/右/上/下飞x厘米(x=20~500);
- 顺时针旋转x度(x=1~360);
- 向前/后/左/右翻滚;
- 速度设为x厘米每秒(x=10~100);
- 向前/后/左/右;(不建议,此指令会让无人机一直朝某个方向飞,直到得到“停”指令);
- 停;
在菜单栏开启人脸跟踪功能后,无人机会搜寻人脸目标(最好只有一个),然后靠近人脸并保持在一定的安全距离内,且能够随着人脸的移动而移动。
与人脸跟踪类似,开启此功能后,无人机能够跟随绿色小球(球不要太小)。
开启此功能后,会显示一个子窗口,并显示计算机摄像头视频流。识别出比划的手势后,无人机会做出相应的动作。为了避免连续识别并发出指令,我们设置了每次跳过一定帧数后再识别一次。
支持的手势如下:
双手合十:
启动;大拇指向上:
起飞;大拇指向下:
降落;一/二/三/四/五/六:
向上/下/左/右/前/后飞x厘米;七/八:
顺/逆时针旋转90度;九:
悬停;
飞行速度与飞行步长与主界面中对滑块设置的值有关
与语音识别类似,我们的手势识别功能使用了百度提供的手势识别API,你需要更改myScripts/myGesture.py
中的APP_ID、API_KEY、SECRET_KEY。
我们加入这个功能的初衷是想通过人体的姿势来控制无人机。
但是我们没有时间去训练自己的轻量检测模型。我们寻找到了AlphaPose
这个开源姿势检测库,并选择其中运行速度较快的一个模型融合进我们的平台中。
尽管如此,检测速度还是无法达到我们的预期。而且由于整个项目是在我的macOS系统上构建,无法使用CUDA加速计算,因此整体检测速度非常慢。
为了避免危险情况发生,我并没有为体态检测结果设置相应的无人机指令,只将体态检测结果显示在主界面上。
如果你感兴趣的话,可以在具备英伟达显卡和CUDA环境的计算机上重新将此功能构建一下,添加每种检测结果对应的无人机指令,主要代码在myScripts/AlphaPose_control.py
中。
注意:由于GitHub上传文件大小的限制,AlphaPose的模型文件我们无法上传至本仓库。假如你有需要的话,可以从下面的AlphaPose
仓库里下载文件,或者联系我们获取。
在主界面点击拍照后,会将当前无人机原始画面以jpeg格式存储到本地。
点击录像后,程序开始将无人机原始画面以avi格式编码为视频流,再次点击录像按钮后,停止录像并将视频保存到本地。
由于项目中使用了av库,我们无法在windows以及macOS系统上通过pyinstaller生成exe等可执行文件。