答辩博士：陈佳玮
指导老师：周济教授
论文题目：基于多种机器学习模型的小麦产量相关表型性状解析算法与产量分类模型的研究
答辩委员会：
主席：
丁艳锋教授/博导 皇冠农学院
委员：
姜东教授/博导 皇冠农学院
姬长英教授/博导 皇冠集团游戏平台
肖茂华教授/博导 皇冠集团游戏平台
陆明洲教授/博导皇冠人工智能学院
云挺教授/博导 南京林业大学机电学院
刘永华教授/硕导 江苏农林职业技术学院机电工程学院
秘书：
毛江美皇冠前沿交叉研究院
答辩时间：2023年8月29日下午3点
答辩地点：卫岗校区第三实验楼308
论文简介：
本研究以灌浆期小麦为研究对象，以保证我国小麦生产为主要研究目的，以高通量和大规模量化小麦产量相关表型性状、探索边缘端和云端协同软件系统研发为主要内容开展研究。本研究试图通过小麦产量相关表型性状精准提取、小麦产量精准预测和小麦产量分类模型构建的递进研究，提升中国小麦育种水平、减少农业工作者的田间重复劳动，为科研工作者提供免费开源的小麦产量相关表型性状提取和产量预测软件系统，系统性地解决小麦产量相关表型性状提取过程中的现有问题。本文的主要研究内容与结论如下：
（1）基于PointRCNN-3DPlot的小麦三维小区提取及三维表型性状分析算法的研究。
通过飞控软件对田间试验进行航线规划，设定飞行过程中的图像采集点，进而通过无人机自动交叉飞行以倾斜摄影的方式采集田间试验地的所有图像。对采集图像进行三维重建，得到420个小区及地面的点云数据。提出了针对小麦小区三维目标检测的深度学习算法PointRCNN-3DPlot，通过2点（增加SE Block，更换模型激活函数）对原始PointRCNN模型进行改进，增强了模型对小区识别的准确性。结合前景分割算法分割识别到的小区点云，得到了每个小麦品种对应的三维点云数据。对于提取到的单个小麦小区三维点云数据，对每个小区点云进行三维表型性状提取，得到了作物高度Plot-3DHeight、三维冠层表面积Plot-3Dsurf、三维冠层指数Plot-3DCI、三维体素指数Plot-3DVI和三维剖面指数Plot-3DPI这5个与小麦生长发育相关的表型数据。对于量化的5个三维表型性状，通过与小麦发育及产量相关的传统人工表型性状进行相关性分析，证明三维冠层表面积Plot-3Dsurf、三维冠层指数Plot-3DCI、三维体素指数Plot-3DVI和三维剖面指数Plot-3DPI与小麦产量相关表型性状具有相关性，将这4个三维表型性状作为小麦产量相关表型性状用于后续研究。
（2）基于YOLACT-Plot和YOLO-Spike的小麦二维小区分割及二维表型性状分析算法的研究。
采用经济型无人机Mavic2 Pro在4 m高度通过规划好的航线交叉飞行，并且相机角度垂直于小麦冠层，直接采集小麦冠层的二维图像数据。对于采集到的无人机图像，通过2种图像标注工具（Labelme和LabelImg）分别标注冠层轮廓和冠层麦穗，建立小麦冠层轮廓分割数据集和麦穗目标检测数据集。通过2种方法改进YOLACT++模型，对小麦小区冠层的提取更加准确，最终得到了专用于小麦二维小区自动分割的YOLACT-Plot算法，通过应用冠层分割算法，获得了210个品种2个重复共420个小区的冠层轮廓二维图像。基于前人对于小麦产量相关的光谱和纹理性状研究，分别提取了3个产量相关光谱性状和3个产量相关纹理性状，为后续产量分类模型的构建提供数据基础。
基于收集的灌浆期小麦冠层图像，使用深度学习算法对小区进行分割并对麦穗进行检测，量化了关键产量性状SNpM2。在量化分析SNpM2时，通过语义分割模型YOLACT-Plot分割小麦冠层，使用麦穗目标检测模型YOLO-Spike获取冠层中的麦穗数，建立了一个高效的工作流程来批量处理一系列航空图像，提高了SNpM2和纹理、光谱等产量相关性状的提取效率。通过YOLACT-Plot和YOLO-Spike这2个算法高通量及大规模获取SNpM2这一关键产量相关性状，有利于育种家完成田间大规模的SNpM2统计并分析不同小麦品种的产量表现及后续优良小麦品种的选育。
（3）基于YOLO-Spike和BlendMask-Spike的小麦穗区轮廓分割及单穗表型性状分析算法的研究。
基于近地面手持式设备在田间试验中采集的420张小麦冠层图像（210个品种，2个重复），通过标注小麦麦穗扩增第三章中的麦穗检测数据集，裁剪识别到的麦穗检测框，获得包含单个麦穗的图像，进而通过标注麦穗轮廓，建立穗区轮廓分割数据集，为后续的模型训练奠定数据基础。为了对近地面手持式设备采集到的小麦冠层图像中的麦穗小目标精准检测，本研究使用新扩增的数据集对YOLO-Spike算法进行重新训练和迁移学习。同时为了模型在后续研究中边缘计算端的部署，还对YOLO-Spike模型进行了轻量化处理，在尽可能保证检测精度的情况下，压缩模型的大小得到YOLO-SpikeLite。在完成麦穗检测识别的基础上，本研究还对穗区的轮廓进行提取，通过对原始模型结构进行改进增强了高性能语义分割算法BlendMask的分割精度和准确性，得到了改进后的模型BlendMask-Spike。同时使用传统的图像处理算法，对单穗的纹理和形态学性状进行提取，获取单穗相关表型性状。对YOLO-Spike模型识别到的SNpM2和人工统计的SNpM2进行相关性分析，证明YOLO-Spike能够实际应用到田间麦穗检测中。对YOLO-Spike和YOLO-SpikeLite模型性能的一系列评估表明YOLO-Spike和YOLO-SpikeLite能够适用于多种应用场景，为后续研究中的模型部署奠定基础；对BlendMask-Spike模型进行了一系列的模型评估，表明BlendMask-Spike能够精确分割单穗轮廓。通过图像处理算法得到的9个单穗相关的纹理和形态学性状与人工测量的产量相关性状进行了验证，证明9个单穗相关的表型性状能够作为小麦产量相关的表型性状，参与到后续产量分类模型的构建中。
（4）小麦产量相关表型性状提取软件平台和基于集成机器学习算法的产量分类模型构建的研究。
将本研究所有算法进行部署和集成，共开发了两个表型性状提取软件系统CropQuant-Air和YieldQuant平台。其中CropQuant-Air能对三维小区点云进行提取并进行二维冠层分割，输出小麦产量相关的三维和二维表型性状；YieldQuant作为双组件系统，包含智能手机安卓端应用系统YieldQuant-Mobile和云端应用系统YieldQuant-Cloud，两个系统的应用场景和应用范围不同。其中YieldQuant-Mobile对手持式设备采集到的田间图像中的麦穗进行识别，并通过历史数据库中的GNpS和TGW数据，计算单位面积籽粒产量（Grain production per m2，GPpM2），具有大规模应用到田间实时麦穗检测和产量预测的潜力；YieldQuant-Cloud能够在实验室环境下完成YQ-M的所有功能，并能进一步提取产量相关的单穗表型性状。通过CropQuant-Air和YieldQuant输出的多尺度产量相关的表型性状（4个小麦产量相关的小区三维表型性状，7个小麦产量相关的小区二维表型性状，9个小麦产量相关的麦穗表型性状），构建了系统的产量相关表型数据集。然后，将YieldQuant系统获取的产量预测值作为数据集，以人工测得的产量三要素数据（SNpM2、GNpS和TGW）为训练目标，通过集成机器学习模型XGBoost算法训练表型数据集，，在完善了模型训练参数的基础上，，完成了产量分类模型的构建。最终的相关性分析结果表明该产量分类模型能够应用到田间小麦产量分类中且具有很高的准确率。例如，对于高产品种的模型分类准确率达到97.0%；对中产品种分类准确率为96.4%，对低产品种分类准确率为94.7%。
主要创新点如下：
（1）非破坏性性状提取：本研究可以在不破坏植物正常生长的情况下进行性状采集、测量和分析，避免了传统测量方法需要破坏性采样的情况，确保了小麦在灌浆期间保持其完整性。
（2）多维数据获取：此套体系可以获取多种性状的量化结果，包含20个三维小区、二维冠层和单穗相关表型性状。通过采集到的图像和三维重建的点云数据，基于此系统分析这些多维数据，可以更全面地了解小麦在灌浆期的生长状态和产量表现。
（3）高通量分析：此套体系可以实现大规模试验田中小麦小区及麦穗的高通量快速检测和数据提取。相比于传统的人工测量和评估方法，此套系统可以提高检测效率和准确性，节省人力和时间成本。
（4）自动化和数字化分析：此套体系可以将测量数据进行自动化和数字化处理，通过图像处理、计算机视觉和机器学习等方法，量化分析小麦产量相关表型性状，有助于建立产量预测和分类模型，提高产量预测和分类的准确性和可靠性。
