答辩博士：戚超
指导老师：陈坤杰教授
论文题目：基于多任务深度学习的早花期杭白菊单目三维目标检测算法研究
答辩委员会：
主席：
鲁植雄教授/博导皇冠
委员：
丁为民教授/博导皇冠
周俊教授/博导皇冠
蒋雪松教授/博导 南京林业大学
钱生越研究员南京市农机技术推广中心
秘书：
於海明讲师皇冠
答辩时间：2023年12月11日15时
答辩地点：浦口校区育贤楼C402会议室
论文简介：
农业机器人是解决农产品采摘这类目前必须由人工完成的复杂劳动的最佳方案。其中，机器视觉系统是农业采摘机器人的重要组成部分，它通过对目标的检测和定位，引导执行装置进行采摘，是实现自主采摘的关键。三维目标检测算法不仅能够对目标进行检测和识别，还能够提供目标的三维空间信息，用于农业采摘机器人具有广阔的发展前途。然而，三维目标检测算法的精度严重依赖激光雷达、双目相机以及RGB-D相机获取高质量的点云数据。高昂的硬件成本以及对于数据采集环境和标定精度的较高要求，限制了其在农业中的应用。与直接采集点云数据相比，由于获取单目图像（RGB图像）具有成本低、操作便利、更适用于现实场景等优势，因此，本文对利用早花期杭白菊单目图像获取目标的深度信息的方法进行研究，探索通过三维定位方法实现早花期杭白菊单目三维目标检测的可行性，为杭白菊采摘机器人的开发，提供一个低成本的目标检测技术方案。
本文研究的主要内容和结论包括以下几个方面：
（1）所提出的以YOLOv5s为基准算法、基于特征融合的轻量级目标检测算法TC-YOLO，可以在复杂非结构化环境下，快速准确地实现对早花期杭白菊的目标检测。与三十四种目前主流的目标检测算法相比，TC-YOLO算法在测试数据集的mAP值达到最优的91.62%，推理速度达到次优45.56 FPS。
（2）以Progressive GAN为基准算法构建一种新的生成式对抗网络TC-GAN对杭白菊数据集进行优化重建，用重新构建的早花期杭白菊数据集对所提出的TC-YOLO进行训练，TC-YOLO算法的预测精度可以得到进一步提高，mAP值从91.62%提升到了92.63%。
（3）以F-PointNet为基准算法，通过对视锥网络和基于Transformer的点云分割网络的开发以及引入特征融合网络，可以实现面向早花期杭白菊的三维目标检测。所开发的算法TC-TDOD，在Easy模式、Moderate模式、Hard模式下，mAP值分别可以达到86.23%，80.86%和72.03%，推理速度为8.09FPS。
（4）所开发的基于改进FCRN的杭白菊单目深度估计算法，实现了在复杂的非结构化环境下，利用单张RGB杭白菊图像预测对应的深度图的目标。用500张杭白菊彩色图像与对应的深度图作为测试数据集进行测试，与十七种直流的单目深度估计算法相比，TC-MDE在测试数据集的精度（δ﹤1.25，δ﹤1.252和δ﹤1.253）达到最优，分别是0.863，0.951和0.983，Abs Rel和RMSE都达到了最小值，分别是0.111和8.069，推理速度达到次优20.44FPS。
（5）所提出的以AM3D为基准算法的基于多任务深度学习的单目三维目标检测算法TC-MTDOD，能够实现利用单张RGB杭白菊图像对早花期杭白菊的三维目标检测。与基线算法AM3D以及十一种主流的单目三维目标检测算法相比，TC-MTDOD算法的检测精度最优，相较于次优的算法SGM3D，在光照度范围10-100LUX时，mAP值分别提升了16.47%、13.97%和18%。当光照度范围为100-10000LUX时，AP值分别提升了12.18%、10.04%和18.32%。当光照度范围为10000-40000LUX时，mAP值分别提升了15.19%、16.36%和21.45%。TC-MTDOD算法的推理速度为7.06FPS，在十一种单目三维目标检测算法中排名第六，比最快的M3D-RPN算法慢1.43FPS。
主要创新点如下：
（1）提出一种轻量级的早花期杭白菊目标检测算法TC-YOLO，并利用生成式对抗网络提高数据集质量，进一步优化TC-YOLO算法的性能。
（2）基于TC-YOLO目标检测算法、Transformer网络、编码器-解码器结构以及特征融合算法，开发了一种新的早花期杭白菊三维目标检测算法TC-TDOD，实现早花期杭白菊的精准识别及三维定位。
（3）提出一种利用Transformer网络及编码器-解码器结构模块提取杭白菊局部与全局特征、利用拉普拉斯金字塔结构提取杭白菊轮廓特征的杭白菊单目深度估计算法TC-MDE。
（4）通过设计一种多任务深度学习损失函数的方式，实现多算法的联合训练，开发出一种早花期杭白菊单目三维目标检测算法TC-MTDOD。
