Asurveyondeep-learning-basedplantphenotyperesearchinagriculture
翁杨,曾睿,吴陈铭,王猛,王秀杰*and刘永进*Citation:中国科学:生命科学49,698(2019);doi:10.1360/SSV-2019-0020Viewonline:/doi/10.1360/SSV-2019-0020
ViewTableofContents:/publisher/scp/journal/SSV/49/6
Publishedbythe《中国科学》杂志社
Articlesyoumaybeinterestedin
Deep-learning-basedextractionoftheanimalmigrationpatternsfromweatherradarimagesSCIENCECHINAInformationSciences63,140304(2020);
Deep-learning-basedinformationminingfromoceanremote-sensingimageryNationalScienceReview7,1584(2020);
Asurveyofmulti-partydialogueresearchbasedondeeplearningSCIENTIASINICAInformationis51,1217(2021);
Robustnessofdeeplearningmodelsongraphs:AsurveyAIOpen2,69(2021);
ResearchonUnsupervisedKPIAnomalyDetectionBasedonDeepLearningFrontiersofDataandComputing2,87(2020);
中国科学:生命科学SCIENTIASINICAVitae
评述
2019年
第49卷
第6期:698~716
基于深度学习的农业植物表型研究综述
翁杨
1,曾睿
1,吴陈铭
1,王猛
2,王秀杰2*,刘永进1,3*
1.清华大学计算机科学与技术系,北京100084;
2.中国科学院遗传与发育生物学研究所,北京100101;
3.普适计算教育部重点实验室,北京100084*联系人,E-mail:xjwang@;liuyongjin@ 收稿日期:2019-03-05;接受日期:2019-04-19;网络版发表日期:2019-05-17国家自然科学基金(批准号:61725204,31471198)和中国科学院遗传资源研发中心(南方)建设项目(批准号:BM2016034)资助 摘要植物表型是指植物可测量的特征和性状,是植物受自身基因表达、环境影响相互作用的结果,也是决定农作物产量、品质和抗逆性等性状的重要因素.大多数植物表型信息可通过数字图像处理的方法获取和分析.随着基因组学研究的快速发展,传统植物表型研究方法在诸多方面已无法满足进一步研究的需要,高精度、高通量的植物表型获取技术成为植物表型研究的新兴热点方向.近年来深度学习在数字图像处理领域取得了突破性进展,在物体识别、分割等应用上,基于深度学习的图像处理在技术表现上远好于传统方法.在植物表型研究领域,如何使用深度学习技术研究植物表型已成为研究人员十分关注的一项研究问题.本综述从植物株型与生理参数获取、植物识别与杂草检测、病虫害检测以及产量预测四个方面,对近几年基于深度学习的植物表型检测方法进行概述,同时还分析了这些方法和传统机器学习方法的优劣,最后对基于深度学习的植物表型研究的未来趋势进行分析和展望. 关键词植物表型,深度学习,卷积神经网络 表型(phenotype)、表型组(phenome)和表型组学(phenomics)是生命科学领域重要的三个概念.表型指生物个体或群体在基因与环境的相互作用下所表现出的可观察的形态特征;表型组指某一生物的全部性状特征;表型组学则是研究在基因组水平上某一生物或细胞所有表型的学科.表型组学随着基因、基因表达产物及各类遗传关联分析研究的开展而逐渐受到人们关注[1],并发展成生物学中的一个重要分支,尤其在近几年得到了蓬勃发展[2,3].具体而言,植物表型是由基因与环境相互作用产生的部分或全部可辨识的物理、 生理和生化特征及性状,包括植物的结构、组成以及生长发育过程[4].利用这些特征和性状,应该能够将不同植物基因型和环境的决定作用或影响区分开来.总的来说,植物表型不仅体现了分子水平上的表达调控,也可以反映植物的生理生化、形态解剖、胁迫抗性等复杂性状. 全球粮食安全问题仍是人类发展面临的一个重要问题.联合国粮食与农业组织预测在2050年全球人口将达到91亿,这意味着农业生产至少需要在现有基础上增加70%才能满足不断增长的粮食需求(联合国粮 引用格式: 翁杨,曾睿,吴陈铭,等.基于深度学习的农业植物表型研究综述.中国科学:生命科学,2019,49:698–716WengY,ZengR,WuCM,etal.Asurveyondeep-learning-basedplantphenotyperesearchinagriculture(inChinese).SciSinVitae,2019,49:698–716,doi:10.1360/SSV-2019-0020 ©2019《中国科学》杂志社 /doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 食及农业组织,世界粮食安全首脑会议宣言,http:///wsfs/zh/).但目前全球粮食产量的增长速度远低于人口增长速度,并且还伴随着气候变化和资源枯竭等复杂艰巨的问题.中国人均耕地少,粮食产量对保障人民生活水平、国民经济发展和国家粮食安全的意义尤为重要.因此,急需利用现代科学技术实现农业生产的突破.基于图像识别的作物表型检测技术可以实现高通量的优质作物品种筛选、精确的产量预测、田间杂草自动检测和病虫害早期自动诊断等功能,对于作物性状调控的分子机制研究、品种选育和产量提升等具有重要意义. 传统的植物表型研究主要依靠人工观察和测量得到植物外部物理性的描述,进而得到基因和表型的关系.这种方法往往依赖于从小样本植物中手动检测个别性状,因此能够得到的数据量非常有限,效率非常低,并且难以对植物的多种性状进行综合分析,也容易引入人为因素导致的测量数据误差.随着植物功能基因组学和作物分子育种的快速深入发展,研究人员急需高精度、高通量和低成本的技术来获取与植物生长、产量、品质和对生物、非生物胁迫的耐受性等的相关表型数据,这需要生物科学、计算机科学、数学和工程学等多领域知识的融合.目前已有多种成像技术用来收集与生物或非生物胁迫(如疾病、昆虫、干旱和盐度)的生长、产量和适应性有关的复杂性状,这些成像技术包括可见光成像(如机器视觉)、成像光谱学(如多光谱和高光谱遥感)、热红外成像、荧光成像、3D成像和层析成像(如正电子发射计算机断层显像和电子计算机断层扫描).国际上有很多机构和组织已经开展表型组分析工作,如澳洲植物表型组学设施(Australianplantphenomicsfacility).同时也有一些部署在田间或室内的高通量表型检测平台,如LemnaTec. 尽管基于光学成像的植物表型解析具有多种优势,但也面临一些困难.如机器视觉的方法对可见光图像进行处理以获得植物种类、果实数量、病虫害类别等表型信息时,难以解决相邻叶片、穗与果实造成的重叠、遮挡等问题.实验室环境采集的图像往往背景纯净,光照均匀且图像中包含的植株或器官数量较少,而解决田间实际问题常受背景复杂、光照差异以及遮挡物阴影的干扰. 深度学习由大数据集驱动,不需要领域专家设定目标数据特征,就可以提取到更高维度的特征判别依 据,已展示出强大的数据处理优势.特别是卷积神经网络(convolutionalworks,CNN)、循环神经网络(recurrentworks,RNN)和长短期记忆模型(long-shorttermmemory,LSTM)等深度学习方法,已经在图像分类、物体识别与序列特征提取等方面取得了巨大成功.本文主要从植物株型与生理参数获取、植物识别与杂草检测、病虫害检测以及产量预测四个方面,对传统的农业植物表型研究与基于深度学习的植物表型研究进行系统介绍,并对深度学习技术在农业植物表型研究中的应用前景进行了展望. 1传统植物表型研究 1.1植物株型与生理参数信息获取 株型主要是对植物的形态特征与茎叶空间排列方式的描述,传统株型信息的获取常通过手工测量的方式,如用直尺测量株高、叶宽等.这不仅费时费力,而且提取到的特征种类有限,精度也不高.因此利用图像处理技术来准确、高效地获取植株株型信息非常必要.李少昆和张弦[5]通过照相机获取植株图像材料后,人工在图像中的各器官上标记点,由这些点拟合出曲线来获取玉米和部分麦类作物的株高、叶长等30种指标的信息.此外,作者还基于多媒体图像处理技术的特点,定义了一些新指标,如茎叶距、茎叶角等.Constantino等人[6]开发了水稻株高和分蘖数的自动测量系统,他们在HSV颜色空间上进行阈值过滤后,用Canny边缘检测和Zhang-Suen细化算法提取植株结构并估算高度,通过计算ROI区域的像素簇来统计分蘖数.由于二维图像无法提供足够的空间信息以获取植株的三维特征,研究人员尝试通过多幅二维图像重建植株的三维模型来解决.方伟等人[7]对图像采集系统得到的图像进行分割,分离前景和背景,得到植株轮廓,标定相机后进行体素重建得到植株的三维模型.Paproki等人[8]在采集了多幅高分辨率的棉花植株图像后,用建模软件3DSOM重建植物三维模型,并对该模型使用一种新的混合网格分割算法进行分割,用以解决棉花植株的形态差异以及叶柄被叶片遮挡等问题.在分割得到主茎、叶柄和叶片信息后计算了主茎高度和倾斜度、叶柄长度和起始角、叶宽和长度等参数. 基于图像的植物生理参数分析作为一种非破坏性的方法,在优化肥料投入、提高资源利用效率等方面 699/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 比传统的土壤和植物分析方法更具优势.Yao等人[9]对植物叶片的形态特征与营养状况(尤其是含氮量)之间的关联,从生物特征建模、图像采集和图像处理三个方面综述了基于图像的植物营养状况分析的研究进展,对各方面的技术方案进行了回顾和比较,并指出未来对影响植物健康的重要元素进行定量分析的重要性.Singh等人[10]对植物的生物与非生物胁迫表型研究中常用的机器学习算法进行了梳理,并指出未来将机器学习方法用于植物胁迫的定量分析具有很大的研究前景.崔日鲜等人[11]采集了田间冬小麦图像,用随机森林算法分割冠层图像后,提取了冠层覆盖度和颜色信息,采用人工神经网络、支持向量回归和随机森林三种机器学习方法估算了冬小麦的氮积累量.张玉荣等人[12]采集了小麦单籽粒和整批籽粒图像,分别提取了形态、颜色和纹理特征,建立BP神经网络模型对小麦不同水分含量的检测识别.总体而言,在植物株型信息与生理参数检测方面,机器学习方法和深度学习方法应用较少. 1.2传统植物识别与杂草控制 人类通常基于积累的经验对植物种类进行识别和分类,通过观察植物根、茎、叶、花和果的特点,从颜色、形状、味道等角度来识别植物种类.田间杂草与农作物争夺养分、阳光和生长空间,影响农作物产量,因此需要及时去除.在农业生产中,农民可以轻松辨认田间杂草,但随着农业现代化进程的不断深入,基于计算机技术的自动化杂草识别和清除是未来农业发展的必然趋势.另一方面,通过杂草识别实现除草剂的定点喷洒,对于降低作物栽培成本、减少除草剂的环境危害、提升农产品的安全性均具有重要意义.因此,开发作物幼苗和杂草的可视化鉴别方法,实现农业中非化学杂草控制系统自动化,通过点喷的方法减少化学除草剂势在必行. 早期应用机器学习方法解决杂草识别问题一般使用共生矩阵(colorurrencematrix,CCM)从色调、颜色饱和度和强度等方面提取特征,或以形态和颜色特征作为分类器的输入.如Burks等人[13]使用CCM纹理统计作为误差反向传播网络的输入来解决杂草分类.Hussin等人[14]利用尺度不变转换特征(scaleinvariantfeaturetransform,SIFT)和基于网格的颜色矩,通过比较测试图像的提取特征和标注之间的欧氏距 离,可以达到87.5%的准确率.Wang等人[15]通过形态学方法将叶片分割,并提取形状特征送入移动中心超球分类器中推断植物种类,来解决复杂背景下的叶片分类问题. 1.3传统病虫害检测方法 农作物病虫害不仅影响果蔬品质,也经常会造成全球农作物大幅减产,是全球粮食安全的重要威胁[16].大量使用诸如杀菌剂和杀虫剂等化学物质来控制病虫害已经在农业生态系统中造成了不良影响[17].对病虫害威胁的早期发现与防治对于农业生产至关重要.在这一方面,使用机器学习方法对作物照片进行分析,可以比人眼观察更早地发现病虫害.传统机器学习方法检测病虫害往往先通过预处理技术移除背景并将感染部分分割,然后提取具有区分性的特征做进一步分析,最后用监督分类算法或无监督聚类算法对特征进行分类[18~26].此类方法关注的作物种类有限,通常只在小数据集上进行分析.如Clément等人[27]设计了一个用来检测由方翅网蝽造成的叶片发白的工具,该工具先将叶片的原始RGB图像转变为HIS和L*a*b*颜色空间,利用颜色的差异将感染叶片与健康叶片分离,用Otsu方法将叶片与背景分离,再利用叶绿素直方图来检测由虫害造成的变色.Al-Hiary等人[21]利用基于颜色的方法来识别早期叶焦病、棉腐病、晚期叶焦病等五种叶片病害,作者首先通过Otsu获得全局阈值来分割绿色像素,移除非绿色像素,再对感染区域进行Kmeans聚类,用纹理特征来提取共生矩阵作为神经网络的输入来识别病害.Mohan等人[28]提出了识别稻田植物病害的方法,针对褐斑病、叶瘟病和白叶枯病提取SIFT特征,然后用K近邻算法(K-nearestneighbors,KNN)和支持向量机(supportvectormachine,SVM)来分类.在LemnaTec官网上的案例分析部分(https:///applications/case-studies/)介绍了使用颜色阈值分割方法判断作物感病的严重程度.对于上述方法而言,如果背景包含其他叶片和植物等干扰,则分割会变得困难,并且难以识别与周围健康部分没有特别明显边界的病害斑点[29].此外,设计人工特征如颜色直方图、纹理特征和SIFT特征需要专业知识,较难普遍应用,并且对于大样本存在较大差异的情况效果也较差. 近年来,研究人员开始通过使用高光谱数据和神 700/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 经网络模型在早期阶段检测和诊断植物疾病.Liu等人[30]利用径向基函数网络(radialbasisfunction,RBF)和主成分分析(ponentanalysis,PCA)对水稻褐斑病的严重程度进行判断.作者使用光谱仪获得水稻植物健康和病态叶片的光谱,通过三种不同的预处理技术对水稻叶片的光谱进行转换,再对转换结果进行PCA分析得到主成分光谱(ponents,PCs),最后将PCS送入RBF网络进行训练.Liu等人[31]利用PCA和学习矢量量化(learningvectorquantization,LVQ)神经网络分类器来检测水稻颖枯病,提供了PCA分析感染颖枯病的穗部光谱,然后用LVQ神经网络分类器对这些光谱进行感染程度的区分.高光谱数据包含丰富的细节信息,神经网络具有很强的识别与分类能力,将二者结合具有广阔的研究前景.但高维度的高光谱数据对训练样本数量有很大的需求,且浅层神经网络提取特征的能力不强,与理想的分类效果还有差距. 1.4传统产量预测方法 传统农业部门常根据穗数、粒数等测产方法进行经验式的产量预测,如通过目测估计、测数预测和割取预测等方法预测玉米的产量.目测法是根据作物品种的特点、长势、株型、气候条件、病虫害状况等影响作物产量的因素来预估作物的单位面积产量,是一种凭经验的粗略估产法.测数预测法则通过科学选点来测算亩收获穗数和平均穗粒数,进而计算作物的单位面积产量.割取法指的是将样点的作物割取、脱粒、扬净并干燥至一定标准后称重,求出各取样点的平均产量,再求得每亩产量.对于苹果、梨等主要果树也常用取样测产法[32,33],但这种人工抽样估产费时费力,而且不准确. 随着图像处理技术的发展,研究人员已将其应用到农业生产方面以实现产量预测的自动化.最先在该领域探索的Germain等人[34]根据灰度值分布上的差异,区分图像中的麦穗区域和非麦穗区域.该方法取得了不错的结果,但作者只是在小规模数据集上做了测试,也没有考虑麦田的实际情况.后续许多研究基于颜色特征[35~39]、纹理特征[36~41]来分割麦穗图像,往往还需要结合形态学算法以消除麦穗黏连与空洞、再通过骨架分析和角点检测得到麦穗数目估计结果,如Cointault等人[39]通过将多种颜色和纹理特征融合,实现半 自动麦穗计数.虽然准确率可以达到85%,但他们进行实验的数据库非常有限,并且整个流程无法完全自动化.另外一些研究没有依赖颜色、纹理信息,而是直接使用滤波器解决问题,如Journaux等人[42]搭建了图像获取装置,使用高通傅里叶滤波估算麦穗数.该方法表现良好,其估算结果与人工计数结果相比误差约为4%,相较于Cointault等人[39]的颜色纹理融合特征空间的方法误判更少、速度更快,但仍无法解决数据量小的问题,且无法识别靠近地面的麦穗.FernandezGallego等人[43]通过拉普拉斯滤波和中值滤波后求极大值的方法估算田间环境下麦穗数量.同样针对大田环境中的小麦麦穗群体数目估计,范梦扬等人[37]使用SVM学习颜色和纹理特征提取麦穗轮廓,经过形态学处理和提取骨架后计算麦穗数量.Sadeghi-Tehran等人[44]提出了一种通过麦穗识别小麦生长阶段的方法,作者提取SIFT特征,并用视觉词袋(bagofvisualwords,BoVW)的方法聚类生成码本,随后训练SVM分类器对小麦抽穗期和开花期进行区分.该方法不限定于特定的小麦品种,且具备对田间自然环境和光照差异的鲁棒性.针对麦穗中的小穗与籽粒计数问题,杜世伟等人[45]首先通过抛物线分割方法分割小穗,再通过阈值法确定各小穗面积值与其籽粒数间的关系,最终实现了小穗数及籽粒数的同步识别计数. 在水果产量预测方面,研究人员通过设计水果独特的特征属性,如颜色[46~54]、纹理[46,51,52,54,55]、形状[46,48,50,56,57]以及空间方向[52],从背景树叶中分离出水果,然后采用基于区域和计数的方法对产量进行估计.Wang等人[58]用基于区域的方法开发了基于立体摄像机的自动苹果产量估计系统,他们通过在夜间人工光照下获取图像来避免自然光线的差异,使用色调、饱和度和HSV颜色参数来检测红苹果,用色调、饱和度和强度轮廓来检测绿色苹果,通过样本确定阈值.该算法对于480棵红苹果树,产量的估计误差为−3.2%,对于大约670棵绿色苹果数,产量的估计误差为1.2%.Linker等人[59]用基于计数的方法来预测果园中绿苹果的数量,首先通过颜色和纹理特征确定具有很高概率属于苹果的像素,将这些像素聚合为种子区域,再将种子区域的边缘分割成弧,最后将这些圆弧分组合并为圆,每个圆代表一个苹果,并启发式地衡量分割结果与苹果的相似性.但上述方法普遍需要人工设计识别特征,其缺点在于其难以处理遮挡情况,且方法具 701/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 有种类和环境限制. 2深度学习技术 深度学习是机器学习的一种,近年来已成为图像处理、语音识别、机器翻译等各种领域的热门技术.其深度之名,是相对于传统的机器学习方法(如支持向量机)而言的.传统的机器学习方法多为不包含或仅有一两层隐藏层的神经网络,而深度学习网络则包含更多隐藏层,多者甚至可达成百上千层.深度学习本质是一种自发性的特征学习方法,经过训练学习的参数优化过程后,深度学习网络对输入的数据进行多层的非线性变换操作,不断耦合低层特征,层层往上,最后得到高层的语义表达.传统机器学习方法中,多见流水线多步骤式的操作,比如常常需要手工设计并提取特征,再借由机器学习模型得到最终结果;或者是对输入数据进行预处理,过滤掉不需要的冗余干扰数据后,对机器学习模型输出进行后处理,得到目标输出.而深度学习的出现则可以简化流程,由输入数据通过更深的神经网络模型直接得到最后结果,这种“端到端”(end-to-end)的系统更容易被实现.由于植物表型的处理常常与图像处理、图像识别等工作挂钩,受人脑视觉结构启发的卷积神经网络CNN在植物表型处理领域大有用武之地.事实上,在植物表型处理领域,运用最多的也是CNN(图1). 早在1959年,Hubel和Wiesel[60]进行了猫脑部神经视觉中枢的实验,发现其视觉神经处理图像的方式是先识别简单图形,再将其组合以识别整个图案.1962年,他们基于此研究提出了“感受野”的概念.而人工智能领域的专家之后也由此得到灵感,建立逐层处理、由局部到整体的卷积神经网络结构.1984年,Fukushima[61]提出神经认知机(Neocognitron)模型,即CNN的前身.1998年,Lecun等人[62]提出著名的LeNet5网络模型,该卷积神经网络被成功地运用于手写数字的识别.由于当时计算能力的限制,网络逐渐加深后会导致训练变得十分困难,因此深度学习发展的步伐被放缓.2012年,Hinton和他的学生AlexKrizhevsky设计出经典的AlexNet[63],在基于图像数据集ImageNet[64]的图像竞赛ImageNetlargescalevisualrecognitionchallenge(ILSVRC)的分类任务中夺冠,同时分类准确率得以大幅度提升,展现了深度学习网络在图像处理任务 上的潜力.2014年VGGNet[65]展示了网络层级的深度是深度学习网络性能提升的重要因素,并分别在ILSVRC比赛的定位和分类问题上获得第一和第二名.同年GoogleNet[66]在ILSVRC比赛的检测任务上用超过20层的网络结构夺冠.2015年,ResNet[67]引入残差的技术来解决随着网络深度增加而性能下降的问题,用深达152层的网络模型获得分类、定位以及检测三个任务的冠军,使得深度学习的发展再上新台阶.针对各种不同的任务,近年来各种各样的优秀网络模型也在不断涌现,如解决像素级分割问题的FCN[68]和SegNet[69],解决目标检测问题的R-CNN[70]、FastR-CNN[71]和FasterR-CNN[72]系列框架等.CNN的技术日益成熟,其在物体识别、图像分类、姿态估计等领域都展现出巨大的潜能. 一个典型的CNN如图1所示,通常由卷积层、池化层、全连接层等部分组成.在卷积层中,神经元成矩阵排列形成多通道特征图.每个通道的一个神经元只与上一层的部分特征图相连,通过一个卷积核进行卷积操作后,再使用激活函数得到该神经元的最后输入.这一设计符合“感受野”的原则,利用图像信息中的局部相关性,减少了参数数目,使得训练所需的空间和时间代价大幅降低.另外,权值共享是CNN的一个重要特点.位于同一层卷积层中同一通道特征图上的神经元,都是由同一个卷积核对上一层的特征图处理而得到的.因为同一个图形如果在图像的某个局部出现,则其在其他部分出现的概率也不会低,不同通道的特征图对应的卷积核则不同,这一仿生设计又使得模型再一次得到简化,既减少了参数数目,也减小了过拟合的可能性.卷积层的作用是探测上层特征图的局部特征所呈现出的联系信息,而池化层则是将相同涵义的信息融合起来.因为相邻位置形成的图形信息可能有略微抖动,而池化操作可以从上层特征图中提取出主要的信息.较为常见的池化操作为最大池化或者平均池化.通过池化采样,可以降低特征图的分辨率,增大感受野,保留特征的同时使得模型具有平移、旋转、放缩等不变性.而在卷积和池化交替之后,出现的往往是全连接层.全连接层的每个神经元都与上层所有神经元相连,综合所有信息,将多维的特征化为一维特征,交给最后的回归器、分类器等来得出最后结果. 目前,常用的深度学习框架有TensorFlow,Caffe, 702/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 图1卷积神经网络结构(网络版彩图) Figure1Architectureofconvolutionalworks(coloronline) Keras,Torch,PyTorch,Theano等.这些框架各有特色:TensorFlow和Theano偏向底层,Caffe运行速度快,Keras文法简洁,Torch基于Lua,而PyTorch基于Python.虽然各有偏重,但都完成了神经网络的底层实现,提供了简易的接口,让编程人员能较为快速地搭建起一个需要的神经网络模型. 3基于深度学习的植物表型研究 3.1植物识别与杂草检测 植物识别的准确性对生态监测任务至关重要,尤其是对于生物多样性的保护[73,74].研究一个地区的生物多样性、监测濒危物种种群大小、确定气候变化对物种分布的影响都取决于植物识别的准确程度[73,75].植物识别不仅仅是植物学家和生态学者的工作,它对于农业生产和日常生活也同样很有帮助.随着智能手机设备的普及,许多软件被开发出来帮助用户识别植物种类,为人们提供了很多便利,常见的软件与工具见表
1.在农业生产中,自动化清除田间杂草的设备同样十分依赖于杂草和作物的准确识别. 无论是一年生的落叶植物还是多年生的常绿植物,它们的叶片所载有的性状信息在一年四季皆可被采集用来进行植物识别工作.但不同植物的叶片往往有着相同的颜色和形状,通过叶片特征的不同来识别区分植物种类有一定的挑战性.传统的方法常选定提取特定特征来进行识别分类,往往只能在特定的数据集上有较好的表现.Lee等人[78]在一个包含44类植物的叶片的MalayaKew数据集上,训练出一个微调的AlexNet模型来自动提取叶片特征,解决人为设计特征所带来的数据集表现偏差问题.结果表明,在同样使用 多层感知机(multi-layerperceptron,MLP)作为分类器时,通过局部叶片数据集训练出来的模型准确率可达99.6%,高于完整叶片数据集上表现出的准确率97.7%.无论使用SVM还是MLP做分类器,上述结果都远超各种人为设计特征的方法所能达到的准确率.已有部分工作通过解卷积[79,80]来可视化每一层提取的特征.研究发现基于完整叶片数据集的模型对叶片的形状边缘特征敏感,而基于局部叶片数据集的模型则更重视叶片的纹理特征,由此可推测使用叶片的纹理特征能获得更有鲁棒性的识别分类模型.此类工作中CNN仅用作植物特征提取,而非设计一个满足“端到端”要求的深度网络. Grinblat等人[81]同样也证明通过深度神经网络提取叶片特征可优于人为设计特征,该工作针对白豆、红豆和大豆三种同属豆科的植物的识别分类任务,直接通过预处理去除叶片的颜色和形状信息,只留下不同尺度的叶片纹理信息送入CNN模型,作者同样使用了解卷积[80]的方法来高亮输入图片中对结果影响最大的区域,通过分析三种豆科植物识别率的升降变化,可以更细致地观察到CNN网络识别三种植物主要使用的叶片脉络信息.随着网络深度从两层增加至五层,发现识别率不断增高,这一现象说明网络深度对结果准确度至关重要.使用5层网络的识别率(单一纹理数据集上为92.6%±0.2%,复合纹理数据集上为96.9%±0.2%)超过了所有基于传统特征分类方法的识别率. 除了使用特定背景下植物的特定器官(如花、叶)图片来进行植物识别,深度网络模型还可以在更复杂的条件下实现植物识别.PlantCLEF植物识别挑战赛即是完成这样一个任务.该挑战赛的目标是在真实场景下,完成大规模的植物识别,以实现生物多样性监 703/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 表1常用的植物识别软件和工具 Table1Commonlyusedplantdetectionsoftwareandtools 名称 下载地址 输入 LeafSnap[76] 树叶图像 Pl@ntNet[77] 植物图像 Microsoftgarage’sflowerrecognition 花伴侣 /en-us/garage/profiles/flower- recognition/ 花卉图像 植物的花、果、叶等特征部位图像 看图识花 /web 花卉图像 形色Gardenanswers 植物照片植物照片 输出树木种类植物种类 特点 树木种类仅来自美国东北部、加拿大和英国;发布了LeafSnap数据集,该数据集采集于实验室环境和真实场景,包含185种树木的 30000多图像 除APP外,可在网页上使用;可以根据不同地区来识别;上传图片后,用户可选择是植物的哪个器官以提高准确率;图像数据集主要由 用户拍照上传构建 花卉种类 仅支持IOS系统的离线应用,仅支持中文 植物种类 花卉种类花名、寓意和 比对图等植物种类 基于中国植物图像库海量植物分类图像:涵盖常见的中国野生及栽培植物3000属,近5000种;附有植物百科 基于中国植物图像库;生活中1000多种常见的植物;通过网页在线使用 可快速识别4000种植物;为用户搭建了一个社交平台;有识花专家帮忙鉴定植物;有特色 植物景点攻略;有开放的API 快速识别超过2万种植物;帮助判断是否感染病虫害;向后台专家提问咨询建议 测.2016年的比赛提供了包含1000种草、树和蕨类植物的各种视角(水果、花、整棵植物等)的110K张图像作为训练集[82].2017年的比赛更是将植物种类扩充到10000种,1.1MB张图像,并且提供了两种类型的训练集,一是基于在线协作的生活百科全书(encyclopediaoflife,EoL)的“可信”数据集,另一个是由搜索引擎得到的“噪声”数据集[83].2016年参赛人员使用了包含VGG,ResNet,AlexNet在内的多种深度网络模型解决植物识别问题,实验结果表明基于CNN的深度学习方法非常有效,普遍优于人为特征设定的方法.在2017年的比赛中,参赛人员全部使用了深度学习方法.如Lasseck[84]集成使用了GoogLeNet,ResNet和ResNeXT三个预训练网络模型,取得了2017年PlantCLEF挑战赛第一名的成绩. 随着智能移动设备的普及,移动设备端的植物自动识别技术在生态环境监督、生态科学普及、异域植物入侵监视等领域发挥着越来越重要的作用.Sun等人[85]在北京林业大学使用移动智能手机采集了10000张源自100种景观植物的高精度照片,构建了BJFU100数据集(下载地址/s/1jILsypS),弥补了此前基于移动设备的植物图像数据集的空白.该文 章构建ResNet网络模型在上述数据集上进行分类识别任务,对比试验下发现网络层数为26时识别率最佳. 在农业生产中,杂草的自动清除依赖于对杂草和农作物的准确识别与分类.实验表明通过有效地掌控杂草的长势情况能减少~40%除草剂的用量[86],为发展环境友好型农业的一个关键环节.为实现这一目标,Dyrmann等人[87]构建了带有残差支路模块的CNN网络模型,在一个包含有22种作物及杂草种类的10413张图片数据集上训练测试,达到了86.2%的准确率.这些图片来源于6个不同的数据集,相比此前的工作,实现了种类更为广泛、背景更为复杂的植物图片识别分类,能为控制杂草并减少除草剂用量的任务提供更为有效的信息.从准确率来看,该方法对于拟南芥、甜菜和大麦几种占数据集主体的植物有97%以上的识别率,另外在数据集更庞大、植物生长阶段更多样、背景更复杂的情况下,该方法的总体识别率还能与之前的工作大致持平. 在具体实施喷洒农药或执行机械除草方案时,自主机器人的应用通常可以大大提升效率.Potena等人[88]提出了一种农业机器人感知系统,该系统以搭载多光谱相机的无人地面车辆(unmannedgroundvehi- 704/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 cles,UGV)获取的近红外光谱四通道图像(RGB+NIR)作为输入,使用两种深浅结构不同的CNN网络,以流水线形式实现像素级作物和杂草的分割.该流水线首先将植被从土壤中分割出来.对于RGB+NIR图片,归一化植被指数(normalizeddifferencevegetationindex,NDVI)常被用来进行像素级绿植与土壤分割.但由于需要根据不同的光照及土壤情况设置阈值来进行分割,该方法鲁棒性不强.为了克服这一缺点,作者先设置较为保守的NDVI阈值,再通过一个轻量级CNN网络进行修正,最终得到绿植的分割结果.实验表明选用精度和效率兼顾的网络,改进方法能够达到96.7%的平均准确率,超过以往任何基于阈值的NDVI方法的准确率.流水线随后使用一个层数稍深的CNN网络进行像素级分类,得到作物、杂草、土壤的最终三分类结果.实验结果表明,同在均值平均精度达到96%以上时,深浅网络结合的流水线方法只需3s左右即可完成像素级作物杂草分类,而单一网络实现全过程则需要23s.作者同时提出在网络不变的情况下,结合基于连通域的投票方法,可进一步将区域级的作物杂草分类时间缩减至0.99s,均值平均精度提升至98.3%. 针对同样的机械化除杂草应用,Milioto等人[89]提出一种不依赖于近红外信息或预处理、仅需RGB图像便可实施的“端到端”实时作物杂草分类检测方法.该方法首先通过RGB信息计算出11种辅助特征通道,连同RGB通道一起组成14通道送入由结构启发而来的语义分割网络来完成像素分类.结果表明在各项指标上,叠加辅助特征通道的网络无论在效率上还是精度上与仅用RGB作为输入的网络和RGB+NIR作为输入的网络相比均表现更佳.通过将设计的已训练收敛的分割网络作为特征提取器,该方法在新数据集上同样有良好的表现,证明其泛化特性良好.在实际农业机器人上该方法的实验运行速率能够达到20Hz,完全适合实时的检测任务. 对于作物杂草分类任务,杂草密度、杂草种类、土壤情况、作物生长时期等诸多因素都会影响分类器的结果.所以构建一个适应于不同环境的、具有鲁棒性的分类系统,对于机械除杂草这一目标有着举足轻重的意义.为了达到这一目的,Lottes等人[90]提出了一种基于FCN的作物杂草分类系统,该系统考虑到作物通常为间隔均一的成排播种,而杂草总是随机出现,且该几何特征受环境改变较小,因此提出将采集位置 连续的RGB-NIR图片作为输入,构建编码解码结构的深度网络,通过一系列卷积和池化操作,在获取到更高维度语义特征的同时缩小了特征图的尺寸,随后作者引入序列化支路模块来获取序列图片的几何位置特征,并将该位置特征与一系列的反卷积操作得到的视觉特征相结合计算出最终的分割分类结果.多组以甜菜根为实验对象的对照实验都证实了该文章所提出的方法在测试集生长阶段、采集地点改变的情况下依然有良好的表现.作者通过合成仅包含几何特征的输入进行实验,进一步验证了所提出的方法在截取几何特征上的良好表现. 与无人车相比,无人机可以在较短的时间内覆盖较大面积,并且不会造成地面车辆车轮压实土壤、影响农田质量的问题.Sa等人[91]提出了一种利用深层神经网络来处理无人机多光谱图像的杂草分割框架,该框架首先将多个无人机获取的带有GPS标定的多光谱图像辐射定标,然后将多通道和对齐的正交图像平铺、分割成小块,便于后层修改后的SegNet网络进行分割.作者还公布了甜菜地最大的可用数据集,包含多光谱图像及其标注. 实现成千上万种植物的正确识别和分类属于细粒度图像问题,相对来说,作物和田间杂草的种类有限,但农业生产中对于准确率和实时性的要求不可忽视.当前,研究人员通过自行构建数据集,或者使用公开数据集,利用经典网络或者构建浅层网络提取特征,在包含多种植物图像的数据集上实现了较高的分类准确率. 3.2病虫害检测 基于图像处理技术的植物病虫害自动识别和检测对与作物早期病害检疫治疗具有重要意义,通过该技术能够极大地便利植物育种工作,更好地帮助农民监管田地.而实现植物病虫害的自动识别和检测主要面临如下几个难点[29].(ⅰ)图像背景复杂.除了染病叶片外,图像可能包含其他元素,如作物茎秆、土壤等,尤其是在田间环境下拍摄的照片,背景杂乱的同时还存在光照、角度差异等因素.(ⅱ)染病区域和健康区域可能没有明确的边界.(ⅲ)同一种病害在不同的发展阶段有不同的特征表现,甚至长在不同位置的病害也会有不同的特征.(ⅳ)不同种类的病害特征表现可能相同或差异微小,且同一位置可能同时存在多种病 705/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 害.(ⅴ)难以区分染病区域和其他死亡的植物组织.近年来(尤其是自2015年以来),基于深度学习技 术的方法在植物病理学中得到广泛运用.在基于深度学习的植物病虫害识别检测领域,许多研究是利用迁移学习的方法,在染病的叶片图像数据集上微调经典网络模型来解决病虫害分类问题.Mohanty等人[92]使用PlantVillage数据库中14个作物品种、26种病虫害的训练集,测试了经典网络模型AlexNet和GoogLeNet,为植物叶片图像预测“作物-病虫害”类别.Brahimi等人[93]同样使用AlexNet和GoogleNet,实现了对包含9种病害的番茄叶片图像分类.除此之外,Amara等人[94]使用LeNet在真实场景和复杂条件(如照明、杂乱背景、不同图像分辨率、大小、姿态和方位等)下,实现了对两种著名香蕉病害(叶斑病、条纹病)以及健康状态的三分类.Oppenheim和Shani[95]在自然光照下采集了不同大小、色调和形状的染病土豆图像,通过微调VGG网络对其进行识别分类.这些研究普遍对比了迁移学习和训练全新网络两种方法,同时还分析了训练测试集的分布比例对分类效果的影响.实验结果表明,与传统机器学习方法相比,用深度学习方法识别植物病虫害可以大幅提升结果的准确率,同时还发现预训练模型和较大的训练测试集分布比例会有更好的效果.Too等人[96]微调和对比评估了VGG-16,InceptionV4,DenseNets-121和ResNet-50等多种经典网络,作者使用的数据来源于PlantVillage数据集中的14种植物,38类病虫害.实验结果表明,随着迭代次数的增加,DenseNets的精度在不过拟合的前提下不断提高.此外,DenseNets仅需很少的参数就能在较短的训练时间内实现99.75%的测试精度,优于其他网络结构. 除了使用经典网络模型,研究人员也在尝试改进经典网络或自己构建浅层网络来解决问题.Liu等人[97]在AlexNet和GoogLeNet的基础上构建了网络,该网络头部是AlexNet的前五个卷积层,由于病斑面积相对较小,作者采用了较小的卷积核,网络尾部由两个pooling层和两个Inception级联在一起.相比经典的AlexNet,该网络参数较少,收敛速度很快.Kawasaki等人[98]构建了一个包含三个卷积层和一个全连接层的CNN网络来实现两种黄瓜病害和健康状态的三分类,该网络可以达到平均94.5%的分类准确率,但该数据集来源单
一、黄瓜病害种类少,且没有考虑到诸如光照等环境的干扰.Fujita等人[99]进一步完善上述工 作,用自己搭建的四层卷积网络实现了对黄瓜叶片健康状态和感染七种病毒性病害状态的八分类,这七种病害涵盖了黄瓜可能感染的所有病毒.相对于Mohanty等人[92]使用的PlantVillage数据集,作者在图像采集过程中限制较少,能够保证该诊断系统在实际使用中的稳定性. 在对感病叶片图像分类取得不错成绩的基础上,还有一些研究解决了病斑定位和感染程度判断的问题.Fuentes等人[100]提出了一种番茄植株病虫害种类识别和定位的实时系统.作者对比了三种网络结构,即FasterR-CNN,SSD和R-FCN,每一种网络结构又与不同的特征提取网络(如VGG,ResNet)相结合.该系统有如下优点:
(1)系统使用的图像是实地采集的;
(2)考虑了一株作物可能同时被多种病虫害感染的情况;
(3)使用不同的设备采集数据,数据集有不同的分辨率;
(4)可以有效处理不同光照环境、不同的作物尺寸、以及复杂背景的数据;
(5)系统鲁棒性强,可以在大田实际环境下实现检测.这个系统还可以解决复杂的任务,如感染状态(早期、晚期)、感染位置(叶片、茎秆、果实)和叶片的两面(正面、反面).同样可以对感染程度做出判断的还有Wang等人[101]提出的基于VGG-16对苹果黑腹病感染程度的判断的模型. 移动设备采集的图像数据具有光照、角度和相机规格难以统一等问题,因此利用移动设备获取的图像进行植物病虫害识别有更大的难度.Ramcharan等人[102]训练了MobileNet-SSD物体检测模型来识别木薯叶片表面病虫害症状,他们将模型部署在智能手机上,用真实场景下获取的叶片图像和视频进行测试,发现得到的准确率明显下降.Picon等人[103]使用深度残差网络ResNet-50实现了自然条件下麦田中多种病虫害的自动识别,作者给图像中的叶片添加了人工背景,这些随机背景来自ILSVRC15数据库,以增加数据集背景的多样性.该算法可以识别三种小麦疾病,即叶枯病、锈病和黄斑病,并且该算法已经部署在智能手机上. 当前基于深度学习的植物病虫害研究涉及的作物种类广泛,包含各种蔬菜水果和粮食作物,完成的任务不仅包括病虫害分类与检测等基本任务,也包含感染程度的判断等更为复杂的任务.由于深度学习依赖于大规模数据集,而当前植物病虫害方面公开数据集很少.研究者通常通过对比不同的训练集和测试集比 706/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 例、不同的网络模型来找到最优的解决方案,但由于这些感病图像在复杂度上与真实田间场景相比还有一定的差距,距离真正解决基于移动设备的实时田间病虫害检测问题还存在一定差距,关于上述研究的详细对比见表
2. 3.3产量预测 产量预测具有十分重要的宏观和微观意义,科学准确地预测主要农产品产量有助于政府做好国民经济规划、及时调整宏观政策,有效应对粮食短缺和供给冲击,确保国家粮食安全.对于育种工作者来说,对作物产量和品质的评估有利于提高单产、改进品质.对于农户来说,准确地预测产量分布,可以高效地进行诸如施肥、喷药等田间管理作业;准确地预测产量大小也能够帮助农民提前计划收割、仓储和销售所需要的包装、运输等资源,同时也对农产品经营者具有重要参考意义. 谷类作物的产量可以由作物穗内部的谷粒数量来衡量,对穗及其包含的小穗进行计数是产量预测的重要方法[105].考虑到穗及其包含的小穗构成了类似于人体关节的节点结构,Pound等人[106]借鉴了人体姿势检测领域中常用的热度图回归方法,提出了一种使用堆叠沙漏网络对麦穗和小穗进行定位和冠层表型图像级分类的方法.他们在温室内采集了二倍体春小麦的520张图像构建数据集,该数据集背景纯净,分辨率较高,有丰富的冠层和穗表型,并且已由专业人员准确标注了穗尖部、基部和小穗的位置,以及有芒和无芒性状,弥补了小麦公开数据集的不足.由于数据集包含的穗和小穗在形态方面极其相似,作者没有提前处理图像准备训练集,而是在训练阶段加载完数据后,随机选取麦穗并以其为中心进行裁剪和数据增强操作,来尽可能增加不同迭代之间的多样性.作者堆叠了四个沙漏网络,最终输出两个热度图分别表征穗尖和小穗的特征,再通过非极大值抑制算法得到二维坐标,同时在最后一个沙漏添加了一条支路完成有芒和无芒的分类.整个网络实现了穗和小穗的定位计数及有芒和无芒分类的多表型任务.作者以距离阈值作为判定成功的标准,实验结果表明,该网络可以达到95.91%和99.66%的麦穗与小穗检测准确率,可以有效应对遮挡、光照等干扰因素. 与Pound等人[106]用温室环境下采集的盆栽小麦图 像计算穗数不同的是,Madec等人[107]用深度学习技术估算了田间小麦群体的穗密度.小麦的穗密度与植物种群大小和单株分蘖数等因素相关,是评估作物产量的重要指标,但对于作物育种工作者来说,对其准确测算是一项困难和繁琐的工作.此外,当采样区域很小时,容易产生较大的估算偏差.作者以俯视角度获取田间的小麦图像构建数据集,该数据集分辨率高、包含多种基因型、单张图像包含较多的麦穗,且麦穗重叠、光照差异明显.作者对比使用了Faster-RCNN和TasselNet[108]两种卷积网络来估计麦穗密度.两种方法都有很好的效果,相对均方根误差(relativerootmean-squarederror,rRMSE)约为6%,但Faster-RCNN对于晚期小麦植株的估算效果更加稳定.作者通过实验对比确定了麦穗检测效果最好的图像分辨率,为以后使用无人机获取高通量图像,估算大面积麦田的麦穗密度提供了新的思路. 除了在实验室与田间环境采集的数据外,遥感数据也常被用来预测粮食产量.遥感图像数据丰富且易得,包含颜色、空间和时间信息,同时还包含丰富的植被生长信息.然而,由于遥感图像数据是高维和非结构化的,较难提取到有用的特征.Kuwata和Shibasaki[109]利用深度学习技术和遥感数据实现了国家层面的玉米产量回归预测.作者从气候研究机构下载了美国伊利诺伊州2001~2010年的玉米产量、增强植被指数(enhancedvegetationindex,EVI)以及包括每月气温范围、潜在蒸发和气压等气候数据.在Caffe框架下分别使用了含有一层和两层全连接层的自定义网络,同时与SVM进行了对比.实验结果表明,含有两层全连接的卷积网络产生更好的回归结果,相关系数可以达到0.81.但该网络仅仅使用了全连接层,层数较浅,而且仅考虑了有限的气候数据,忽略了土壤类型、施肥量等因素对产量的影响.与Kuwata和Shibasaki提出的方法不同,You等人[110]以图像序列作为输入,使用整个区域图像的像素值直方图作为输入,用CNN和LSTM预测美国的县级大豆产量.像素值直方图作为特征的方法可以降低数据维数,解决训练集较小的问题.此外,与以往的研究假设作物产量在区域间是相互独立的且在空间和时间上呈均匀分布不同,作者将网络的输出送入一个深度高斯过程,以解释县域之间产量的时空相关性. 除了谷类作物以外,深度学习技术在水果产量预 707/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 708/doi/10.1360/SSV-2019-0020 表2病虫害自动诊断中深度学习方法的对比 Table2Comparisonofdeeplearningmethodsinautomaticdiagnosisofcropdiseases 任务描述 数据库 数据预处理 数据增强 深度学习模型 对比实验 效果 参考文献 PlantVillage数据库包含标注“作物-病虫害”对; 14种作物,26种病虫害剔除属于同一张叶子 病虫害识别的54306张叶片图像;的不同角度的图像;缩 无 来自网络的121+119张小到统一大小;灰度化; 图像 叶片分割 AlexNet和GoogLeNet AlexNet和GoogLeNet;迁移学习和从头训练; 不同类型的数据集:RGB图像、灰度图和叶片分割图;不同的训练集和测试集的分布 比例 PlantVillage数据库F1score:99.34%;在线数据库1和2:整体准确率 31.4%和31.69% Mohanty等人[92] 番茄病害分类与症PlantVillage中9种、 状检测和可视化14828张番茄染病叶片 无 图像 无 AlexNet和GoogLeNet预训练与从头训练; 准确率99.18% Brahimi等人[93] SVM与随机森林 土豆病害分类 作者采集的400张土豆裁剪有症状的矩形区 图像 域,灰度化,统一大小 水平镜像与裁剪成不同尺寸 添加了dropout层的VGG 不同的训练集和测试集的分布比例 96%的分类准确率Oppenheim和Shani[95] PlantVillage中3700张包 香蕉叶片病害分类含两种病害和健康香灰度化、调整大小 无 蕉叶片图像 LeNet 不同的训练集和测试集的分布比例;RGB与 灰度图 99.72%的分类准确率 Amara等人[94] 作者自己采集的800张中心裁剪、旋转、调 黄瓜叶片病害检测黄瓜叶片图像,包含两 整大小 种病害和健康叶片 多次旋转 作者自定义的网络,包不同训练策略;不同的含三个卷积层调整大小方法;有无数据增强 94.9%的分类准确率 Kawasaki等人[98] 检测网络:FasterR- 调整大小、裁剪、旋CNN,SSD和R-FCN不同的检测网络与特 实时番茄植株病虫作者构建的数据集: 害识别 5000张包含9种病虫害 无 转、水平翻转、对比特征提取网络:Alex-征提取网络;有无数据F1a6st,emrRea-nCNANP0+.V83G0G6-Fuentes等人[100] 度、亮度增强、噪音Net,ZFNet,VGG-16, 增强 GoogLeNet和ResNet等 PlantVillage中健康的和调整大小、像素值归病害感染程度估计感染黑腹病的苹果叶一化、样本归一化 片,共2086张 随机旋转、剪切、缩放、翻转 VGG16,VGG19,Inception-v3和ResNet ANN VGG16准确率90.4% Wang等人[101] 苹果叶片病害识别1053张,4种常见苹果病害 数据标注 角度、光照、对比基于AlexNet和Goog-标准的AlexNet和Re- 度、高斯噪音和PCA sNet,GoogLeNet,VGG, 抖动 LeNet SVM,BP 识别准确率97.62% Liu等人[97] 可部署在移动设备田地采集的2415张木 上的木薯病虫害检薯叶片图像,包含三种 测系统 病害、两种虫害以及 营养不良 三种标注方式 F1score:测试数据集 无 MobileNet-SSD 测试数据集和真实世0.79,真实世界图像Ramcharan等人[102] 界的图像与视频0.26/0.54,真实世界视 频0.25/0.48 田间小麦病害分类包含三种小麦病害的8178张图像 大小调整、叶片区域和感病区域分割 随机的线性几何变化:变焦、透视、旋转和位移,以及人工 背景 ResNet-50 Johannes等人[104] BAC0.87 Picon等人[103] 中国科学:生命科学2019年第49卷第6期 测方面的应用也越来越多.Chen等人[111]利用深度学习技术提出了水果技术框架.作者开发了label.ag在线标注平台构建所需的数据集,该平台以众包的形式快速收集专业人士的标注.作者分两步实现从输入图像到果实计数的映射,首先用文献[68]中的全卷积网络FCN来实现水果候选区域分割. 为了解决水果重叠对计数产生的干扰,作者采用另外一个卷积网络来实现对上一步分割得到的候选区域中水果数量的估计.该网络与候选区域分割网络有着相同的结构,但损失函数不同而且没有反卷积层,它的输出是一个参数,该参数通过线性回归模型映射为最终的水果数目.实验结果表明,该算法流程可以适应包括遮挡、深度变化以及自然光照等非结构化环境,与Pothen和Nuske[112]基于纹理的方法相比误差更小. Rahnemoonfar和Sheppard[113]提出采用合成图像的方法应对大数据集的缺失和繁杂的人工标注.作者用绿色和棕色的实心圆形填充空白图像来模拟背景和番茄植株,再用高斯滤波器模糊.在图像上的随机位置绘制若干随机大小的圆表示番茄.作者修改了Inception-ResNet-A[114]最后一个卷积层,同时对reduction模块做了修改,将中线和右线的特征数减少,在此基础上构建了卷积网络.网络采用了Xavier初始化方法,在虚拟数据上进行训练,在真实数据上进行测试.实验结果表明,该系统在真实图像和合成图像上均可以达到90%以上的准确率,可有效降低遮挡、光照和果实大小的干扰.该系统的平均处理时间少于1s,满足了实时性要求.然而该方法受合成图像数据集的限制,不仅不易检测形态差异较大的番茄,也很难拓展可检测的水果种类. Bargoti和Underwood[115]通过搭载单目相机的无人车在果园内逐排移动获取苹果树图像,构建了包含不同品种苹果的8000张高分辨图像数据集.数据集构建完毕后,作者对部分图像进行了标注.元数据是描述数据获取方式的背景信息,包括苹果树的位置和太阳相对于车身框架的位置等,它们用来提高模型的分类效果.作者采用了与[116]相似的多尺度多层感知机模型和CNN网络,将苹果图像进行像素级的“水果”和“非水果”二分类.上述图像分割方法的输出是二值掩码,还需要进一步进行单个水果的检测.由于存在水果之间的遮挡和叶片对水果的遮挡,分别使用了分水岭算 法[117]与霍夫变换圆形检测[118].作者假设平均可见水果与被遮挡的水果有一定的比率,因此可以在水果检测结果与产量之间得到映射关系.实验结果表明,用不考虑元数据的CNN网络与分水岭算法相结合有着最好的水果检测效果,与收获后的计数结果相比较,相关系数可以达到0.826. 目前,用深度学习技术预测三大粮食作物水稻、小麦和玉米产量的研究较少,更多的是集中于果园中的水果分割计数(详细对比见表3).并且相关公开数据库缺乏,研究人员往往需要花费大量时间自己采集数据或者通过合成模拟图像等方式构建数据集.在粮食作物产量预测方面,研究者解决了微观上小麦穗和小穗的定位与计数问题,以及田间小麦群体的穗密度问题,并且宏观层面预测国家级、县级玉米、大豆产量的工作也不断涌现.研究者也提出了大量基于深度学习的水果分割、计数解决方案. 4研究趋势与展望 近几年来,深度学习技术在计算机科学与工程领域取得了巨大成功,其应用也已经渗透到植物表型研究的方方面面,尤其在植物识别与杂草检测、病虫害检测、产量预测这四个与农业生产息息相关的领域取得了不错的成绩.着眼未来,在基于深度学习的植物表型研究这一课题上还有许多工作值得期待. 深度网络性能非常依赖训练数据集的大小与丰富度,因此由各个国家、各个领域的专家、学者构建覆盖更多种植物类型、更多种植物表型、更大差异性的大型公开数据集,对于研究人员更多更好地解决表型问题非常重要.其次,扩大深度学习解决表型问题的场景,提高深度学习解决田间、果园等实际场景中的应用效果可以切实提高农业生产自动化程度. 部分研究领域结合深度学习的工作还比较少,比如种子鉴定、叶片含氮量测定、差别灌溉、污染物识别等诸多问题,将深度学习更多地应用于目前其尚未涉足的生物与农业领域可能会产生更丰硕的成果.随着深度学习技术在物体三维重建中的研究逐步深入,未来可通过构建植物模型弥补二维图像提供的空间信息不足,获取诸如植株密度、分蘖数、叶夹角等全面的株型信息以了解作物生长状况具有重要意义.深度学习技术也为综合分析众多环境参数(温度、湿度、 709/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 表3产量预测中深度学习方法的对比 Table3Comparisonofdeeplearningmethodsinyieldprediction 任务描述 数据库 数据预处理 数据增强深度学习模型 效果 对比算法 参考文献 温室条件下采集 对小麦的穗、小穗的520张春小麦 穗准确率为 进行定位和计数,同图像,标注了图训练阶段在原图裁剪、调整大作者使用四个堆95.91%,小穗的 时对图像中的小麦像中每个穗的基随机选取麦穗,小、旋转、水平叠沙漏网络构造准确率为 无 是否有芒进行了部和尖部的位置以其为中心裁剪 翻转 编码解码结构 分类 坐标以及图中小 99.66% 麦是否有芒 Pound等人[106] 从气候研究机构 (CRU)下载的气 候数据,MODIShardthreshold算 从国家层面估计获取的增强植被法平滑增强植被 无 作者自定义的卷RMSE达到6.298 高斯核函数的 Kuwata和Shiba- [109] 美国玉米产量指数(EVI)美国指数(EVI) 积网络 SVR saki 伊利诺伊州2001 至2010年的玉米 产量 水果计数 区域分割网络和 71张橙子日间图 计数网络对橙子 像,21张苹果夜将以SVG格式存 两个修改后的全和苹果数据的 间图像由label.储的标注转化为随机截取和翻转卷积网络分别用 IoU分别为 基于纹理的水果 [112] ag在线众包平台神经网络可用的 于区域分割和数 检测算法 标注以SVG格式 形式 量估计0.813,0.838,L2 存储 范数分别为13.8 和10.5 Chen等人[111] 番茄计数 24000张合成图像用于训练, 2400张合成图像用于测试,100张网上随机选取的 真实图像 高斯模糊 在虚拟图像上基于面积的计数 虚拟番茄在大 方法、浅层神经 小、光照等方面修改后的Incep-RMSE为1.16,在 网络、原始的 Rahnemoonfar和 [113] 存在差异tion-ResNet-A真实图像上Inception-Re-Sheppard RMSE为2.52 sNet-
A 无人车在果园内 采集的8000张图 像以及相应的元 水果检测和计数数据,对每张图 无 像分割并从中随 机选出1100张进 行标注 没有使用元数据 作者自定义的卷的CNN得到较 Bargoti和Under- 无 积网络 好的分割效果,多尺度MLP wood[115] 其F1分数为 0.791 气压等)和生理参数(水分含量、光合效率、叶绿素含量、植物体内养分等)以全面充分地了解作物生长速率与外界环境因素的关系提供了可能. 本文提到的深度学习应用方案,大多应用的是卷积神经网络模型,或是在经典网络模型基础上微调,或是自行构建了浅层网络.在未来,其他深度学习模型例如循环神经网络RNN、长短期记忆网络LSTM等,在植物表型获取方面的应用潜力也值得研究者关注.RNN,LSTM等模型更适用于处理序列数据,如果将时间维度考虑在植物表型上的预测、判定研究上,可能会得到更加精准的结果,未来可能的结合方向有预测植物的生长趋向、植物的需水量、植物遭受病害的趋向等.环境的变化如水质的变化趋势、气候的变化趋 势、土壤的变化趋势也值得进一步使用深度学习的方法进行分析和研究. 当前还需要进一步研究基于无人车、无人机等机器人的多种图像采集平台,构建自动化的高通量和高精度、适用于更多种类作物、更多种表型的通用研究平台,进而将获取的数据转化为有意义的生物学知识.此外,开发界面友好、方便易用的手机、电脑软件,对于农业生产活动和提高农业工作人员的生物农业知识也具有较为重要的现实意义. 展望未来,拓宽深度模型的应用领域,尝试更多的深度学习框架,提高深度学习应用效果,增强解决实际生产生活问题的能力,对于植物表型研究都可能产生显著影响. 710/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 5结论 本文首先介绍了农业植物表型研究的意义,回顾了传统的农业植物表型的研究方法,介绍了深度学习模型尤其是CNN模型的基本原理.重点从与农业生产息息相关的三个方面,即植物识别与杂草检测、病虫害检测和产量预测,介绍了深度学习技术的应用成果,并对每篇文章中涉及的数据集建立、数据预处理与增强技术、神经网络模型以及实验结果进行了对比总 结.现阶段基于深度学习的农业植物表型分析方法与基于传统机器学习的方法相对有更优的性能,但是目前对于深度学习的原理理解依然尚未透彻明晰,深度学习与植物表型的交叉研究之路也才刚刚开始.随着深度学习技术研究的推进,可以肯定的是,未来与植物表型各种具体问题相结合的解决方案会不断增多,将会出现更多具有影响力的基于深度学习的植物表型工作和成果,助力未来更智慧、可持续的农业与更安全的粮食保障. 参考文献 1SiebnerHR,CallicottJH,SommerT,etal.Fromthegenometothephenomeandback:Linkinggeneswithhumanbrainfunctionandstructureusingicallyinformedneuroimaging.Neuroscience,2009,164:1–6 2BilderRM,SabbFW,CannonTD,etal.Phenomics:Thesystematicstudyofphenotypesonagenome-widescale.Neuroscience,2009,164:30–42 3HouleD,GovindarajuDR,OmholtS.Phenomics:Thenextchallenge.NatRev,2010,11:855–8664PanYH.Analysisofconceptsandcategoriesofplantphenomeandphenomics(inChinese).ActaAgronomicaSin,2015,41:175–186[潘映红. 论植物表型组和植物表型组学的概念与范畴.作物学报.2015,41:175–186]5LiSK,ZhangX.Informationanalysisofcropbasedonmultimediaimageprocessingtechnology(inChinese).ActaAgronomicaSin,1998,24: 265–271[李少昆,张弦.作物株型信息多媒体图像处理技术的研究.作物学报.1998,24:265–271]6ConstantinoKP,GonzalesEJ,LazaroLM,etal.Towardsanautomatedplantheightmeasurementandtillersegmentationofricecropsusing imageprocessing.In:MechatronicsandMachineVisioninPractice3.Cham:SpringerInternationalPublishing,2018.155–1687FangW,FengH,YangWN,etal.Phenotypicdetectionofwheatbasedonrapidthree-dimensionalreconstruction(inChinese).JAgricSciTech China,2016,18:95–101[方伟,冯慧,杨万能,等.表型检测中用于小麦株型研究的快速三维重建方法.中国农业科技导报.2016,18:95–101]8PaprokiA,SiraultX,BerryS,etal.Anovelmeshprocessingbasedtechniquefor3dplantanalysis.BMCPlantBiol,2012,12:63–759YaoX,DuW,FengS,etal.Image-basedplantnutrientstatusanalysis:Anoverview.In:IEEEInternationalConferenceonIntelligentComputingandIntelligentSystems.Xiamen,2010.460–46410SinghA,GanapathysubramanianB,SinghAK,etal.Machinelearningforhigh-throughputstressphenotypinginplants.TrendsPlantSci,2016,21:110–12411CuiRX,LiuYD,FuJD.Estimationofnitrogenumulationinwinterwheatleavesbasedonmachinelearningandvisiblespectrum(inChinese).SpectroscSpectAnal,2016,36:1837–1842[崔日鲜,刘亚东,付金东.基于机器学习和可见光光谱的冬小麦叶片氮积累量估算.光谱学与光谱分析,2016,36:1837–1842]12ZhangYR,ChenSS,ZhouXQ.Wheatmoisturecontentidentificationbasedonimageprocessingtechnology(inChinese).JHenanUnivTech-NatSciEd,2014,35:101–106[张玉荣,陈赛赛,周显青.基于图像处理的小麦水分含量识别方法研究.河南工业大学学报(自然科学版),2014,35:101–106]13BurksTF,ShearerSA,GatesRS,etal.Backpropagationworkdesignandevaluationforclassifyingweedspeciesusingcolorimagetexture.TransASAE,2000,43:1029–103714HussinNAC,JamilN,NordinS,etal.Plantspeciesidentificationbyusingscaleinvariantfeaturetransform(sift)andgridbasedcolourmoment(gbcm).In:2013IEEEConferenceonOpenSystems(ICOS).NewYork:IEEE,2013.226–23015WangXF,HuangDS,DuJX,etal.Classificationofplantleafimagesplicatedbackground.ApplMathComput,2008,205:916–92616StrangeRN,ScottPR.Plantdisease:Athreattoglobalfoodsecurity.AnnuRevathol,2005,43:83–11617GeigerF,BengtssonJ,BerendseF,etal.Persistentnegativeeffectsofpesticidesonbiodiversityandbiologicalcontrolpotentialoneuropean 711/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 farmland.BasicApplEcol,2010,11:97–10518BarbedoJGA.Anautomaticmethodtodetectandmeasureleafdiseasesymptomsusingdigitalimageprocessing.PlantDis,2014,98:1709– 171619AtoumY,AfridiMJ,LiuX,etal.Ondevelopingandenhancingplant-leveldiseaseratingsystemsinrealfields.PatternRecognit,2016,53: 287–29920QinF,LiuD,SunB,etal.Identificationofalfalfaleafdiseasesusingimagerecognitiontechnology.PLoSONE,2016,11:e016827421Al-HiaryH,Bani-AhmadS,ReyalatM,etal.Fastanduratedetectionandclassificationofplantdiseases.IntJComputAppl,2011,17:31– 3822OmraniE,KhoshnevisanB,ShamshirbandS,etal.Potentialofradialbasisfunction-basedsupportvectorregressionforapplediseasedetection. Measurement,2014,55:512–51923HernándezRabadánDL,RamosQuintanaF,GuerreroJukJ.Integratingsomsandabayesianclassifierforsegmentingdiseasedplantsin uncontrolledenvironments.SciWorldJ,2014,21467424Correa-TomeFE,Sanchez-YanezRE,Ayala-RamirezV.Comparisonofperceptualcolorspacesfornaturalimagesegmentationtasks.OptEng, 2011,50:11720325SchikoraM,SchikoraA,KogelKH,etal.ProbabilisticclassificationofdiseasesymptomscausedbysalmonellaonArabidopsisplants.GI Jahrestagung,2010,176:874–87926BarbedoJGA.Anewautomaticmethodfordiseasesymptomsegmentationindigitalphotographsofplantleaves.EurJPlantPathol,2017, 147:349–36427ClémentA,VerfailleT,LormelC,etal.Anewcolourvisionsystemtoquantifyautomaticallyfoliardiscolourationcausedbyinsectpests feedingonleafcells.BiosystEng,2015,133:128–14028MohanKJ,BalasubramanianM,PalanivelS.Detectionandrecognitionofdiseasesfrompaddyplantleafimages.InJComputAppl,2016,144: 34–4129BarbedoJGA.Areviewonthemainchallengesinautomaticplantdiseaseidentificationbasedonvisiblerangeimages.BiosystEng,2016, 144:52–6030LiuZ,HuangJ,TaoR,etal.Estimatingtheseverityofricebrownspotdiseasebasedonponentanalysisandradialbasisfunction work.SpectroSpectAnal,2008,28:2156–216031LiuZY,WuHF,HuangJF.Applicationofworkstodiscriminatefungalinfectionlevelsinricepaniclesusinghyperspectral reflectanceandponentsanalysis.ComputElectronAgric,2010,72:99–10632WangQP.Methodsformeasuringyieldofseveralmainfruitspecies’streesinorchard(inChinese).KexueZhongyang,2014,2014:23[王秋 萍.几种主要果树的果园测产方法.科学种养,2014,2014:23]33ElkindA,Ablimit,SunZM,etal.MeasurementoffruittreeyieldinKashgarArea(inChinese).ForXinjiang,2013,2013:30–31[艾尔肯·亚 生,阿不力米提,孙芝梅,等.喀什地区果树测产方法.新疆林业,2013,2013:30–31]34GermainC,RousseaudR,GrenierG.Nondestructivecountingofwheatearwithpictureanalysis.In:FifthInternationalConferenceonImage ProcessinganditsApplications,London:IEE,1995.435–43935DuanL,HuangC,ChenG,etal.Determinationofricepaniclenumbersduringheadingbymulti-angleimaging.CropJ,2015,3:211–21936GuérinD,CointaultF,GéeC,etal.Feasibilitystudyofawheatearscountingvisionsystem.CSIMTA.2004,5:658–66437FanMY,MaQ,LiuJM,etal.Wheatearcountingmethodinfieldenvironmentbasedputervision(inChinese).TransChinSocAgric Mach,2015,46:234–239[范梦扬,马钦,刘峻明,等.基于机器视觉的大田环境小麦麦穗计数方法.农业机械学报.2015,46:234–239]38LiuT,SunCM,WangLJ,etal.Wheatearcountingmethodbasedonimageprocessingtechnology(inChinese).TransChinSocAgricMach, 2014,45:282–290[刘涛,孙成明,王力坚,等.基于图像处理技术的大田麦穗计数.农业机械学报.2014,45:282-–290]39CointaultF,GuerinD,GuilleminJ,etal.In-fieldTriticumaestivumearcountingusingcolour-textureimageanalysis.NewZealJCropHortic Sci,2008,36:117–13040CointaultF,JournauxL,MiteranJ,etal.Improvementsofimageprocessingforwheatearcounting.In:InternationalConferenceonAgricultural Engineering.Silsoe,UK:EuropeanSocietyofAgriculturalEngineers(AgEng),2008.1–1141FrédéricC,LudovicJ,GillesR,etal.Texture,colorandfrequentialproxy-detectionimageprocessingforcropcharacterizationinacontextof precisionagriculture.AgricSci,2012,1:49–70 712/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 42JournauxL,MarinA,CointaultF,etal.Fourierfilteringforwheatdetectioninacontextofyieldprediction.In:17thWorldCongressoftheInternationalCommissionofAgriculturalandBiosystemsEngineering(CIGR).Quebec,2010.1–19 43Fernandez-GallegoJA,KefauverSC,GutiérrezNA,etal.Wheatearcountingin-fieldconditions:Highthroughputandlow-costapproachusingrgbimages.PlantMethod,2018,14:22–33 44Sadeghi-TehranP,SabermaneshK,VirletN,etal.Automatedmethodtodeterminetwocriticalgrowthstagesofwheat:Headingandflowering.FrontPlantSci,2017,8:252–265 45DuSW,LiYN,YaoM,etal.Graincountingmethodbasedonimagesegmentationofwheatspikelets(inChinese).JNanjingAgricUniv,2018,41:742–751[杜世伟,李毅念,姚敏,等.基于小麦穗部小穗图像分割的籽粒计数方法.南京农业大学学报.2018,41:742–751] 46ZhaoJ,TowJ,KatupitiyaJ.On-treefruitrecognitionusingtexturepropertiesandcolordata.In:IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway:IEEE,2005.263–268 47HayashiS,OtaT,KubotaK,etal.Roboticharvestingtechnologyforfruitvegetablesinprotectedhorticulturalproduction.In:Antonyed..InformationandTechnologyforSustainableFruitandVegetableProduction.Montpellier:Cemagref,2005.227–236 48HannanM,BurksT,BulanonDM.Amachinevisionbiningadaptivesegmentationandshapeanalysisfororangefruitdetection.AgricEngInter:CIGRJ,2010,14:1–17 49SengWC,MirisaeeSH.Anewmethodforfruitsrecognitionsystem.In:NordinMJ,JumariK,eds.InternationalConferenceonElectricalEngineeringandInformatics.NewYork:IEEE,2009.130–134 50LakMB,MinaeiS,AmiriparianJ,etal.Applefruitsrecognitionundernaturalluminanceusingmachinevision.AdvJFoodSciTech,2010,2:325–327 51ArivazhaganS,ShebiahRN,NidhyanandhanSS,etal.Fruitrecognitionusingcolorandtexturefeatures.JEmergTrendsComputInfSci,2010,1:90–94 52PatelHN,JainR,JoshiMV.Fruitdetectionusingimprovedmultiplefeaturesbasedalgorithm.IntJComputAppl,2011,13:1–553DorjUO,LeeK,LeeM.putervisionalgorithmfortangerineyieldestimation.IntJBio-SciBio-Tech,2013,5:101–11054GuoW,PotgieterA,JordanD,etal.AutomaticdetectingandcountingofhumheadsinbreedingfieldusingrgbimageryfromUAV.In: ClausGrønS,Gerrit-JanC,eds.CIGR-AgEng.Aarhus,2016.1–555GuoW,RageUK,NinomiyaS.Illuminationinvariantsegmentationofvegetationfortimeserieswheatimagesbasedondecisiontreemodel. ComputElectronAgric,2013,96:58–6656PatelH,JainR,JoshiM.Automaticsegmentationandyieldmeasurementoffruitusingshapeanalysis.IntJComputAppl,2012,45:19–2457ParrishE,GokselA.Pictorialpatternrecognitionappliedtofruitharvesting.TransASAE,1977,20:822–82758WangQ,NuskeS,BergermanM,etal.Automatedcropyieldestimationforappleorchards.In:DesaiJP,DudekG,eds.The13thInternational SymposiumonExperimentalRobotics.Québec,2013.Heidelberg:Springer,2013.745–75859LinkerR,CohenO,NaorA.Determinationofthenumberofgreenapplesinrgbimagesrecordedinorchards.ComputElectronAgric,2012,81: 45–5760HubelDH,WieselTN.Receptivefields,binocularinteractionandfunctionalarchitectureinthecat’svisualcortex.JPhysiol,1962,160:106– 15461FukushimaK.Ahierarchicalworkmodelforassociativememory.BiolCybern,1984,50:105–11362LecunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition.ProcIEEE,1998,86:2278–232463KrizhevskyA,SutskeverI,HintonGE.classificationwithdeepconvolutionalworks.CommunACM,2017,60:84–9064DengJ,DongW,SocherR,etal.:Alarge-scalehierarchicalimagedatabase.In:IEEE.IEEE-Computer-SocietyConferenceon ComputerVisionandPatternRecognitionWorkshops.NewYork:IEEE,2009.248–25565SimonyanK,ZissermanA.Verydeepworksforlarge-scaleimagerecognition.ComputSci,201466SzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions.In:ProceedingsoftheIEEEConferenceonComputerVisionandPattern Recognition.NewYork:IEEE,2015.1–967HeK,ZhangX,RenS,etal.Deepresiduallearningforimagerecognition.In:ProceedingsoftheIEEEConferenceonComputerVisionand PatternRecognition.NewYork:IEEE,2016.770–77868ShelhamerE,LongJ,DarrellT.Fullyworksforsemanticsegmentation.IEEETransPatternAnalMachIntell,2017,39:640– 651 713/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 69BadrinarayananV,KendallA,CipollaR.:Adeepconvolutionalencoder-decoderarchitectureforimagesegmentation.In:IEEETransactionsonPatternAnalysisandMachineIntelligence.2017,39:2481–2495 70GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforurateobjectdetectionandsemanticsegmentation.In:27thIEEEConferenceonComputerVisionandPatternRecognition(CVPR).NewYork:IEEE,2014.580–587 71GirshickR.FastR-CNN.In:ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork:IEEE,2015.1440–144872RenS,HeK,GirshickR,etal.FasterR-CNN:Towardsreal-timeobjectdetectionwithregionworks.IEEETransPatternAnal MachIntell,2017,39:1137–114973FarnsworthEJ,ChuM,KressWJ,etal.Next-generationfieldguides.Bioscience,2013,63:891–89974ElphickCS.Howyoucountcounts:Theimportanceofmethodsresearchinappliedecology.JApplEcol,2008,45:1313–132075AustenGE,BindemannM,GriffithsRA,etal.Speciesidentificationbyexpertsandnon-experts:Comparingimagesfromfieldguides.Sci Rep,2016,6:3363476KumarN,BelhumeurPN,BiswasA,etal.Leafsnap:putervisionsystemforautomaticplantspeciesidentification.In:FitzgibbonA, LazebnikS,eds.12thEuropeanConferenceonComputerVision(ECCV),Berlin,2012.Berlin:SpringerBerlinHeidelberg,2012.502–51677JolyA,GoëauH,P,etal.Interactiveplantidentificationbasedonsocialimagedata.EcolInf,2014,23:22–3478LeeSH,ChanCS,WilkinP,etal.Deep-plant:Plantidentificationwithconvolutionalworks.In:IEEEInternationalConferenceon ImageProcessing(ICIP).NewYork:IEEE,2015.452–45679ZeilerMD,TaylorGW,FergusR.Adaptiveworksformidandhighlevelfeaturelearning.In:InternationalConferenceon ComputerVision.NewYork:IEEE,2011.2018–202580ZeilerMD,FergusR.Visualizingandunderstandingworks.In:FleetD,PajdlaT,eds.13thEuropeanConferenceon ComputerVision(ECCV).Cham:SpringerInternationalPublishing,2014.818–83381GrinblatGL,UzalLC,LareseMG,etal.Deeplearningforplantidentificationusingveinmorphologicalpatterns.ComputElectronAgric, 2016,127:418–42482JolyA,GoëauH,GlotinH,etal.Lifeclef2016:Multimedialifespeciesidentificationchallenges.In:FuhrN,QuaresmaP,eds.7thInternational ConferenceoftheCLEF-Association(CLEF).Cham:Springer,2016.286–31083GoeauH,
P,JolyA.Plantidentificationbasedonnoisywebdata:Theamazingperformanceofdeeplearning(lifeclef2017).In:GarethJ FJ,SéamusL,eds.CLEF2017-ConferenceandLabsoftheEvaluationForum.Cham:SpringerInternationalPublishing,2017.1–1384LasseckM.Image-basedplantspeciesidentificationwithdeepconvolutionalworks.In:CappellatoL,FerroN,eds.Conferenceand LabsoftheEvaluationForum(CLEF)(WorkingNotes).Aachen:CEUR-WS,2017.1–1185SunY,LiuY,WangG,etal.Deeplearningforplantidentificationinnaturalenvironment.ComputIntellNeurosci,2017,2017:1–686JørgensenLN,NoeE,LangvadAM,etal.Vurderingafplanteværnonlinesøkonomiskeogmiljømæssigeeffekt.København:Forlag Miljøstyrelsen,2007.1–24687DyrmannM,KarstoftH,MidtibyHS.Plantspeciesclassificationusingdeepconvolutionalwork.BiosystEng,2016,151:72–8088PotenaC,NardiD,PrettoA.Fastanduratecropandweedidentificationwithsummarizedtrainsetsforprecisionagriculture.In:ChenW, HosodaK,eds.IntelligentAutonomousSystems14.Cham:SpringerInternationalPublishing,2017.105–12189MiliotoA,LottesP,StachnissC.Real-timesemanticsegmentationofcropandweedforprecisionagriculturerobotsleveragingbackground knowledgeinCNNS.In:IEEEInternationalConferenceonRoboticsandAutomation(ICRA).LosAlamitos:IEEE,2018.2229–223590LottesP,BehleyJ,MiliotoA,etal.Fullyworkswithsequentialinformationforrobustcropandweeddetectioninprecision farming.IEEERobotAutomLett,2018,3:2870–287791SaI,Popović
M,KhannaR,etal.Weedmap:Alarge-scalesemanticweedmappingframeworkusingaerialmultispectralimaginganddeep workforprecisionfarming.RemoteSens,2018,10:1423–144592MohantySP,HughesDP,Salathé
M.Usingdeeplearningforimage-basedplantdiseasedetection.FrontPlantSci,2016,7:1–1093BrahimiM,BoukhalfaK,MoussaouiA.Deeplearningfortomatodiseases:Classificationandsymptomsvisualization.ApplArtifIntel,2017, 31:299–31594AmaraJ,BouazizB,AlgergawyA.Adeeplearning-basedapproachforbananaleafdiseasesclassification.In:MitschangB,NicklasD,eds.The 17thConferenceonDatabaseSystemsforBusiness,Technology,andWeb.Stuttgart:GesellschaftfürInformatike.V.,2017.79–8895OppenheimD,ShaniG.Potatodiseaseclassificationusingconvolutionworks.AdvAnimBiosci,2017,8:244–249 714/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 96TooEC,YujianL,NjukiS,etal.parativestudyoffine-tuningdeeplearningmodelsforplantdiseaseidentification.ComputElectronAgric,2018,doi:10.1016/pag.2018.03.032 97LiuB,ZhangY,HeDJ,etal.Identificationofappleleafdiseasesbasedondeepconvolutionalworks.Symmetry,2018,10:1198KawasakiY,UgaH,KagiwadaS,etal.Basicstudyofautomateddiagnosisofviralplantdiseasesusingconvolutionalworks.In:Bebis
G,BoyleR,eds.AdvancesinVisualComputing.Cham:SpringerInternationalPublishing,2015.638–64599FujitaE,KawasakiY,UgaH,etal.Basicinvestigationonarobustandpracticalplantdiagnosticsystem.In:15thIEEEInternationalConference onMachineLearningandApplications(ICMLA).NewYork:IEEE,2016.989–992100FuentesA,YoonS,KimSC,etal.Arobustdeep-learning-baseddetectorforreal-timetomatoplantdiseasesandpestsrecognition.Sensors, 2017,17:2022–2042101WangG,SunY,WangJ.Automaticimage-basedplantdiseaseseverityestimationusingdeeplearning.ComputIntellNeurosci,2017,2017:1–8102RamcharanA,McCloskeyP,BaranowskiK,etal.Assessingamobile-baseddeeplearningmodelforplantdiseasesurveillance.ComputSci, 2018,1–13103PiconA,Alvarez-GilaA,SeitzM,etal.Deepconvolutionalworksformobilecapturedevice-basedcropdiseaseclassificationinthe wild.ComputElectronAgri,2018,doi:10.1016/pag.2018.04.002104JohannesA,PiconA,Alvarez-GilaA,etal.Automaticplantdiseasediagnosisusingmobilecapturedevices,appliedonawheatusecase. ComputElectronAgri,2017,138:200–209105LiY,CuiZ,NiY,etal.Plantdensityeffectongrainnumberandweightoftwowinterwheatcultivarsatdifferentspikeletandgrainpositions. PLoSONE,2016,11:e0155351106PoundMP,AtkinsonJA,WellsDM,etal.Deeplearningformulti-taskplantphenotyping.In:16thIEEEInternationalConferenceon ComputerVision(ICCV)Venice.NewYork:IEEE,2017.2055–2063107MadecS,JinX,LuH,etal.Eardensityestimationfromhighresolutionrgbimageryusingdeeplearningtechnique.AgricForMeteorol,2019, 264:225–234108LuH,CaoZ,XiaoY,etal.:Countingmaizetasselsinthewildvialocalcountswork.PlantMethod,2017,13:79–92109KuwataK,ShibasakiR.Estimatingcropyieldswithdeeplearningandremotelysenseddata.In:IEEEInternationalGeoscienceandRemote SensingSymposium(IGARSS).NewYork:IEEE,2015.858–861110YouJ,LiX,LowM,etal.Deepgaussianprocessforcropyieldpredictionbasedonremotesensingdata.In:ProceedingsoftheThirty-First AAAIConferenceonArtificialIntelligence.PaloAlto:AAAIPress,2017.4559–4566111ChenSW,ShivakumarSS,DcunhaS,etal.Countingapplesandorangeswithdeeplearning:Adata-drivenapproach.IEEERobotAutomLett, 2017,2:781–788112PothenZS,NuskeS.Texture-basedfruitdetectionviaimagesusingthesmoothpatternsonthefruit.In:OkamuraA,MenciassiA,eds.2016 IEEEInternationalConferenceonRoboticsandAutomation(ICRA).NewYork:IEEE,2016.5171–5176113RahnemoonfarM,SheppardC.Deepcount:Fruitcountingbasedondeepsimulatedlearning.Sensors,2017,17:905–916114SzegedyC,IoffeS,VanhouckeV,etal.Inception-v4,andtheimpactofresidualconnectionsonlearning.In:Proceedingsofthe Thirty-FirstAAAIConferenceonArtificialIntelligence.SanFrancisco,AAAI,2017.12–18115BargotiS,UnderwoodJP.Imagesegmentationforfruitdetectionandyieldestimationinappleorchards.JFieldRobotics,2017,34:1039–1060116HungC,UnderwoodJ,NietoJ,etal.Afeaturelearningbasedapproachforautomatedfruityieldestimation.In:MejiasL,CorkeP,eds.The9th ConferenceonFieldandServiceRobotics.Cham:SpringerInternationalPublishing,2015.485–498117RoerdinkJB,MeijsterA.Thewatershedtransform:Definitions,algorithmsandparallelizationstrategies.FundInform,2000,41:187–228118AthertonTJ,KerbysonDJ.Sizeinvariantcircledetection.ImageVisionComput,1999,17:795–803 715/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 Asurveyondeep-learning-basedplantphenotyperesearchinagriculture WEN
1,曾睿
1,吴陈铭
1,王猛
2,王秀杰2*,刘永进1,3*
1.清华大学计算机科学与技术系,北京100084;
2.中国科学院遗传与发育生物学研究所,北京100101;
3.普适计算教育部重点实验室,北京100084*联系人,E-mail:xjwang@;liuyongjin@ 收稿日期:2019-03-05;接受日期:2019-04-19;网络版发表日期:2019-05-17国家自然科学基金(批准号:61725204,31471198)和中国科学院遗传资源研发中心(南方)建设项目(批准号:BM2016034)资助 摘要植物表型是指植物可测量的特征和性状,是植物受自身基因表达、环境影响相互作用的结果,也是决定农作物产量、品质和抗逆性等性状的重要因素.大多数植物表型信息可通过数字图像处理的方法获取和分析.随着基因组学研究的快速发展,传统植物表型研究方法在诸多方面已无法满足进一步研究的需要,高精度、高通量的植物表型获取技术成为植物表型研究的新兴热点方向.近年来深度学习在数字图像处理领域取得了突破性进展,在物体识别、分割等应用上,基于深度学习的图像处理在技术表现上远好于传统方法.在植物表型研究领域,如何使用深度学习技术研究植物表型已成为研究人员十分关注的一项研究问题.本综述从植物株型与生理参数获取、植物识别与杂草检测、病虫害检测以及产量预测四个方面,对近几年基于深度学习的植物表型检测方法进行概述,同时还分析了这些方法和传统机器学习方法的优劣,最后对基于深度学习的植物表型研究的未来趋势进行分析和展望. 关键词植物表型,深度学习,卷积神经网络 表型(phenotype)、表型组(phenome)和表型组学(phenomics)是生命科学领域重要的三个概念.表型指生物个体或群体在基因与环境的相互作用下所表现出的可观察的形态特征;表型组指某一生物的全部性状特征;表型组学则是研究在基因组水平上某一生物或细胞所有表型的学科.表型组学随着基因、基因表达产物及各类遗传关联分析研究的开展而逐渐受到人们关注[1],并发展成生物学中的一个重要分支,尤其在近几年得到了蓬勃发展[2,3].具体而言,植物表型是由基因与环境相互作用产生的部分或全部可辨识的物理、 生理和生化特征及性状,包括植物的结构、组成以及生长发育过程[4].利用这些特征和性状,应该能够将不同植物基因型和环境的决定作用或影响区分开来.总的来说,植物表型不仅体现了分子水平上的表达调控,也可以反映植物的生理生化、形态解剖、胁迫抗性等复杂性状. 全球粮食安全问题仍是人类发展面临的一个重要问题.联合国粮食与农业组织预测在2050年全球人口将达到91亿,这意味着农业生产至少需要在现有基础上增加70%才能满足不断增长的粮食需求(联合国粮 引用格式: 翁杨,曾睿,吴陈铭,等.基于深度学习的农业植物表型研究综述.中国科学:生命科学,2019,49:698–716WengY,ZengR,WuCM,etal.Asurveyondeep-learning-basedplantphenotyperesearchinagriculture(inChinese).SciSinVitae,2019,49:698–716,doi:10.1360/SSV-2019-0020 ©2019《中国科学》杂志社 /doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 食及农业组织,世界粮食安全首脑会议宣言,http:///wsfs/zh/).但目前全球粮食产量的增长速度远低于人口增长速度,并且还伴随着气候变化和资源枯竭等复杂艰巨的问题.中国人均耕地少,粮食产量对保障人民生活水平、国民经济发展和国家粮食安全的意义尤为重要.因此,急需利用现代科学技术实现农业生产的突破.基于图像识别的作物表型检测技术可以实现高通量的优质作物品种筛选、精确的产量预测、田间杂草自动检测和病虫害早期自动诊断等功能,对于作物性状调控的分子机制研究、品种选育和产量提升等具有重要意义. 传统的植物表型研究主要依靠人工观察和测量得到植物外部物理性的描述,进而得到基因和表型的关系.这种方法往往依赖于从小样本植物中手动检测个别性状,因此能够得到的数据量非常有限,效率非常低,并且难以对植物的多种性状进行综合分析,也容易引入人为因素导致的测量数据误差.随着植物功能基因组学和作物分子育种的快速深入发展,研究人员急需高精度、高通量和低成本的技术来获取与植物生长、产量、品质和对生物、非生物胁迫的耐受性等的相关表型数据,这需要生物科学、计算机科学、数学和工程学等多领域知识的融合.目前已有多种成像技术用来收集与生物或非生物胁迫(如疾病、昆虫、干旱和盐度)的生长、产量和适应性有关的复杂性状,这些成像技术包括可见光成像(如机器视觉)、成像光谱学(如多光谱和高光谱遥感)、热红外成像、荧光成像、3D成像和层析成像(如正电子发射计算机断层显像和电子计算机断层扫描).国际上有很多机构和组织已经开展表型组分析工作,如澳洲植物表型组学设施(Australianplantphenomicsfacility).同时也有一些部署在田间或室内的高通量表型检测平台,如LemnaTec. 尽管基于光学成像的植物表型解析具有多种优势,但也面临一些困难.如机器视觉的方法对可见光图像进行处理以获得植物种类、果实数量、病虫害类别等表型信息时,难以解决相邻叶片、穗与果实造成的重叠、遮挡等问题.实验室环境采集的图像往往背景纯净,光照均匀且图像中包含的植株或器官数量较少,而解决田间实际问题常受背景复杂、光照差异以及遮挡物阴影的干扰. 深度学习由大数据集驱动,不需要领域专家设定目标数据特征,就可以提取到更高维度的特征判别依 据,已展示出强大的数据处理优势.特别是卷积神经网络(convolutionalworks,CNN)、循环神经网络(recurrentworks,RNN)和长短期记忆模型(long-shorttermmemory,LSTM)等深度学习方法,已经在图像分类、物体识别与序列特征提取等方面取得了巨大成功.本文主要从植物株型与生理参数获取、植物识别与杂草检测、病虫害检测以及产量预测四个方面,对传统的农业植物表型研究与基于深度学习的植物表型研究进行系统介绍,并对深度学习技术在农业植物表型研究中的应用前景进行了展望. 1传统植物表型研究 1.1植物株型与生理参数信息获取 株型主要是对植物的形态特征与茎叶空间排列方式的描述,传统株型信息的获取常通过手工测量的方式,如用直尺测量株高、叶宽等.这不仅费时费力,而且提取到的特征种类有限,精度也不高.因此利用图像处理技术来准确、高效地获取植株株型信息非常必要.李少昆和张弦[5]通过照相机获取植株图像材料后,人工在图像中的各器官上标记点,由这些点拟合出曲线来获取玉米和部分麦类作物的株高、叶长等30种指标的信息.此外,作者还基于多媒体图像处理技术的特点,定义了一些新指标,如茎叶距、茎叶角等.Constantino等人[6]开发了水稻株高和分蘖数的自动测量系统,他们在HSV颜色空间上进行阈值过滤后,用Canny边缘检测和Zhang-Suen细化算法提取植株结构并估算高度,通过计算ROI区域的像素簇来统计分蘖数.由于二维图像无法提供足够的空间信息以获取植株的三维特征,研究人员尝试通过多幅二维图像重建植株的三维模型来解决.方伟等人[7]对图像采集系统得到的图像进行分割,分离前景和背景,得到植株轮廓,标定相机后进行体素重建得到植株的三维模型.Paproki等人[8]在采集了多幅高分辨率的棉花植株图像后,用建模软件3DSOM重建植物三维模型,并对该模型使用一种新的混合网格分割算法进行分割,用以解决棉花植株的形态差异以及叶柄被叶片遮挡等问题.在分割得到主茎、叶柄和叶片信息后计算了主茎高度和倾斜度、叶柄长度和起始角、叶宽和长度等参数. 基于图像的植物生理参数分析作为一种非破坏性的方法,在优化肥料投入、提高资源利用效率等方面 699/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 比传统的土壤和植物分析方法更具优势.Yao等人[9]对植物叶片的形态特征与营养状况(尤其是含氮量)之间的关联,从生物特征建模、图像采集和图像处理三个方面综述了基于图像的植物营养状况分析的研究进展,对各方面的技术方案进行了回顾和比较,并指出未来对影响植物健康的重要元素进行定量分析的重要性.Singh等人[10]对植物的生物与非生物胁迫表型研究中常用的机器学习算法进行了梳理,并指出未来将机器学习方法用于植物胁迫的定量分析具有很大的研究前景.崔日鲜等人[11]采集了田间冬小麦图像,用随机森林算法分割冠层图像后,提取了冠层覆盖度和颜色信息,采用人工神经网络、支持向量回归和随机森林三种机器学习方法估算了冬小麦的氮积累量.张玉荣等人[12]采集了小麦单籽粒和整批籽粒图像,分别提取了形态、颜色和纹理特征,建立BP神经网络模型对小麦不同水分含量的检测识别.总体而言,在植物株型信息与生理参数检测方面,机器学习方法和深度学习方法应用较少. 1.2传统植物识别与杂草控制 人类通常基于积累的经验对植物种类进行识别和分类,通过观察植物根、茎、叶、花和果的特点,从颜色、形状、味道等角度来识别植物种类.田间杂草与农作物争夺养分、阳光和生长空间,影响农作物产量,因此需要及时去除.在农业生产中,农民可以轻松辨认田间杂草,但随着农业现代化进程的不断深入,基于计算机技术的自动化杂草识别和清除是未来农业发展的必然趋势.另一方面,通过杂草识别实现除草剂的定点喷洒,对于降低作物栽培成本、减少除草剂的环境危害、提升农产品的安全性均具有重要意义.因此,开发作物幼苗和杂草的可视化鉴别方法,实现农业中非化学杂草控制系统自动化,通过点喷的方法减少化学除草剂势在必行. 早期应用机器学习方法解决杂草识别问题一般使用共生矩阵(colorurrencematrix,CCM)从色调、颜色饱和度和强度等方面提取特征,或以形态和颜色特征作为分类器的输入.如Burks等人[13]使用CCM纹理统计作为误差反向传播网络的输入来解决杂草分类.Hussin等人[14]利用尺度不变转换特征(scaleinvariantfeaturetransform,SIFT)和基于网格的颜色矩,通过比较测试图像的提取特征和标注之间的欧氏距 离,可以达到87.5%的准确率.Wang等人[15]通过形态学方法将叶片分割,并提取形状特征送入移动中心超球分类器中推断植物种类,来解决复杂背景下的叶片分类问题. 1.3传统病虫害检测方法 农作物病虫害不仅影响果蔬品质,也经常会造成全球农作物大幅减产,是全球粮食安全的重要威胁[16].大量使用诸如杀菌剂和杀虫剂等化学物质来控制病虫害已经在农业生态系统中造成了不良影响[17].对病虫害威胁的早期发现与防治对于农业生产至关重要.在这一方面,使用机器学习方法对作物照片进行分析,可以比人眼观察更早地发现病虫害.传统机器学习方法检测病虫害往往先通过预处理技术移除背景并将感染部分分割,然后提取具有区分性的特征做进一步分析,最后用监督分类算法或无监督聚类算法对特征进行分类[18~26].此类方法关注的作物种类有限,通常只在小数据集上进行分析.如Clément等人[27]设计了一个用来检测由方翅网蝽造成的叶片发白的工具,该工具先将叶片的原始RGB图像转变为HIS和L*a*b*颜色空间,利用颜色的差异将感染叶片与健康叶片分离,用Otsu方法将叶片与背景分离,再利用叶绿素直方图来检测由虫害造成的变色.Al-Hiary等人[21]利用基于颜色的方法来识别早期叶焦病、棉腐病、晚期叶焦病等五种叶片病害,作者首先通过Otsu获得全局阈值来分割绿色像素,移除非绿色像素,再对感染区域进行Kmeans聚类,用纹理特征来提取共生矩阵作为神经网络的输入来识别病害.Mohan等人[28]提出了识别稻田植物病害的方法,针对褐斑病、叶瘟病和白叶枯病提取SIFT特征,然后用K近邻算法(K-nearestneighbors,KNN)和支持向量机(supportvectormachine,SVM)来分类.在LemnaTec官网上的案例分析部分(https:///applications/case-studies/)介绍了使用颜色阈值分割方法判断作物感病的严重程度.对于上述方法而言,如果背景包含其他叶片和植物等干扰,则分割会变得困难,并且难以识别与周围健康部分没有特别明显边界的病害斑点[29].此外,设计人工特征如颜色直方图、纹理特征和SIFT特征需要专业知识,较难普遍应用,并且对于大样本存在较大差异的情况效果也较差. 近年来,研究人员开始通过使用高光谱数据和神 700/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 经网络模型在早期阶段检测和诊断植物疾病.Liu等人[30]利用径向基函数网络(radialbasisfunction,RBF)和主成分分析(ponentanalysis,PCA)对水稻褐斑病的严重程度进行判断.作者使用光谱仪获得水稻植物健康和病态叶片的光谱,通过三种不同的预处理技术对水稻叶片的光谱进行转换,再对转换结果进行PCA分析得到主成分光谱(ponents,PCs),最后将PCS送入RBF网络进行训练.Liu等人[31]利用PCA和学习矢量量化(learningvectorquantization,LVQ)神经网络分类器来检测水稻颖枯病,提供了PCA分析感染颖枯病的穗部光谱,然后用LVQ神经网络分类器对这些光谱进行感染程度的区分.高光谱数据包含丰富的细节信息,神经网络具有很强的识别与分类能力,将二者结合具有广阔的研究前景.但高维度的高光谱数据对训练样本数量有很大的需求,且浅层神经网络提取特征的能力不强,与理想的分类效果还有差距. 1.4传统产量预测方法 传统农业部门常根据穗数、粒数等测产方法进行经验式的产量预测,如通过目测估计、测数预测和割取预测等方法预测玉米的产量.目测法是根据作物品种的特点、长势、株型、气候条件、病虫害状况等影响作物产量的因素来预估作物的单位面积产量,是一种凭经验的粗略估产法.测数预测法则通过科学选点来测算亩收获穗数和平均穗粒数,进而计算作物的单位面积产量.割取法指的是将样点的作物割取、脱粒、扬净并干燥至一定标准后称重,求出各取样点的平均产量,再求得每亩产量.对于苹果、梨等主要果树也常用取样测产法[32,33],但这种人工抽样估产费时费力,而且不准确. 随着图像处理技术的发展,研究人员已将其应用到农业生产方面以实现产量预测的自动化.最先在该领域探索的Germain等人[34]根据灰度值分布上的差异,区分图像中的麦穗区域和非麦穗区域.该方法取得了不错的结果,但作者只是在小规模数据集上做了测试,也没有考虑麦田的实际情况.后续许多研究基于颜色特征[35~39]、纹理特征[36~41]来分割麦穗图像,往往还需要结合形态学算法以消除麦穗黏连与空洞、再通过骨架分析和角点检测得到麦穗数目估计结果,如Cointault等人[39]通过将多种颜色和纹理特征融合,实现半 自动麦穗计数.虽然准确率可以达到85%,但他们进行实验的数据库非常有限,并且整个流程无法完全自动化.另外一些研究没有依赖颜色、纹理信息,而是直接使用滤波器解决问题,如Journaux等人[42]搭建了图像获取装置,使用高通傅里叶滤波估算麦穗数.该方法表现良好,其估算结果与人工计数结果相比误差约为4%,相较于Cointault等人[39]的颜色纹理融合特征空间的方法误判更少、速度更快,但仍无法解决数据量小的问题,且无法识别靠近地面的麦穗.FernandezGallego等人[43]通过拉普拉斯滤波和中值滤波后求极大值的方法估算田间环境下麦穗数量.同样针对大田环境中的小麦麦穗群体数目估计,范梦扬等人[37]使用SVM学习颜色和纹理特征提取麦穗轮廓,经过形态学处理和提取骨架后计算麦穗数量.Sadeghi-Tehran等人[44]提出了一种通过麦穗识别小麦生长阶段的方法,作者提取SIFT特征,并用视觉词袋(bagofvisualwords,BoVW)的方法聚类生成码本,随后训练SVM分类器对小麦抽穗期和开花期进行区分.该方法不限定于特定的小麦品种,且具备对田间自然环境和光照差异的鲁棒性.针对麦穗中的小穗与籽粒计数问题,杜世伟等人[45]首先通过抛物线分割方法分割小穗,再通过阈值法确定各小穗面积值与其籽粒数间的关系,最终实现了小穗数及籽粒数的同步识别计数. 在水果产量预测方面,研究人员通过设计水果独特的特征属性,如颜色[46~54]、纹理[46,51,52,54,55]、形状[46,48,50,56,57]以及空间方向[52],从背景树叶中分离出水果,然后采用基于区域和计数的方法对产量进行估计.Wang等人[58]用基于区域的方法开发了基于立体摄像机的自动苹果产量估计系统,他们通过在夜间人工光照下获取图像来避免自然光线的差异,使用色调、饱和度和HSV颜色参数来检测红苹果,用色调、饱和度和强度轮廓来检测绿色苹果,通过样本确定阈值.该算法对于480棵红苹果树,产量的估计误差为−3.2%,对于大约670棵绿色苹果数,产量的估计误差为1.2%.Linker等人[59]用基于计数的方法来预测果园中绿苹果的数量,首先通过颜色和纹理特征确定具有很高概率属于苹果的像素,将这些像素聚合为种子区域,再将种子区域的边缘分割成弧,最后将这些圆弧分组合并为圆,每个圆代表一个苹果,并启发式地衡量分割结果与苹果的相似性.但上述方法普遍需要人工设计识别特征,其缺点在于其难以处理遮挡情况,且方法具 701/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 有种类和环境限制. 2深度学习技术 深度学习是机器学习的一种,近年来已成为图像处理、语音识别、机器翻译等各种领域的热门技术.其深度之名,是相对于传统的机器学习方法(如支持向量机)而言的.传统的机器学习方法多为不包含或仅有一两层隐藏层的神经网络,而深度学习网络则包含更多隐藏层,多者甚至可达成百上千层.深度学习本质是一种自发性的特征学习方法,经过训练学习的参数优化过程后,深度学习网络对输入的数据进行多层的非线性变换操作,不断耦合低层特征,层层往上,最后得到高层的语义表达.传统机器学习方法中,多见流水线多步骤式的操作,比如常常需要手工设计并提取特征,再借由机器学习模型得到最终结果;或者是对输入数据进行预处理,过滤掉不需要的冗余干扰数据后,对机器学习模型输出进行后处理,得到目标输出.而深度学习的出现则可以简化流程,由输入数据通过更深的神经网络模型直接得到最后结果,这种“端到端”(end-to-end)的系统更容易被实现.由于植物表型的处理常常与图像处理、图像识别等工作挂钩,受人脑视觉结构启发的卷积神经网络CNN在植物表型处理领域大有用武之地.事实上,在植物表型处理领域,运用最多的也是CNN(图1). 早在1959年,Hubel和Wiesel[60]进行了猫脑部神经视觉中枢的实验,发现其视觉神经处理图像的方式是先识别简单图形,再将其组合以识别整个图案.1962年,他们基于此研究提出了“感受野”的概念.而人工智能领域的专家之后也由此得到灵感,建立逐层处理、由局部到整体的卷积神经网络结构.1984年,Fukushima[61]提出神经认知机(Neocognitron)模型,即CNN的前身.1998年,Lecun等人[62]提出著名的LeNet5网络模型,该卷积神经网络被成功地运用于手写数字的识别.由于当时计算能力的限制,网络逐渐加深后会导致训练变得十分困难,因此深度学习发展的步伐被放缓.2012年,Hinton和他的学生AlexKrizhevsky设计出经典的AlexNet[63],在基于图像数据集ImageNet[64]的图像竞赛ImageNetlargescalevisualrecognitionchallenge(ILSVRC)的分类任务中夺冠,同时分类准确率得以大幅度提升,展现了深度学习网络在图像处理任务 上的潜力.2014年VGGNet[65]展示了网络层级的深度是深度学习网络性能提升的重要因素,并分别在ILSVRC比赛的定位和分类问题上获得第一和第二名.同年GoogleNet[66]在ILSVRC比赛的检测任务上用超过20层的网络结构夺冠.2015年,ResNet[67]引入残差的技术来解决随着网络深度增加而性能下降的问题,用深达152层的网络模型获得分类、定位以及检测三个任务的冠军,使得深度学习的发展再上新台阶.针对各种不同的任务,近年来各种各样的优秀网络模型也在不断涌现,如解决像素级分割问题的FCN[68]和SegNet[69],解决目标检测问题的R-CNN[70]、FastR-CNN[71]和FasterR-CNN[72]系列框架等.CNN的技术日益成熟,其在物体识别、图像分类、姿态估计等领域都展现出巨大的潜能. 一个典型的CNN如图1所示,通常由卷积层、池化层、全连接层等部分组成.在卷积层中,神经元成矩阵排列形成多通道特征图.每个通道的一个神经元只与上一层的部分特征图相连,通过一个卷积核进行卷积操作后,再使用激活函数得到该神经元的最后输入.这一设计符合“感受野”的原则,利用图像信息中的局部相关性,减少了参数数目,使得训练所需的空间和时间代价大幅降低.另外,权值共享是CNN的一个重要特点.位于同一层卷积层中同一通道特征图上的神经元,都是由同一个卷积核对上一层的特征图处理而得到的.因为同一个图形如果在图像的某个局部出现,则其在其他部分出现的概率也不会低,不同通道的特征图对应的卷积核则不同,这一仿生设计又使得模型再一次得到简化,既减少了参数数目,也减小了过拟合的可能性.卷积层的作用是探测上层特征图的局部特征所呈现出的联系信息,而池化层则是将相同涵义的信息融合起来.因为相邻位置形成的图形信息可能有略微抖动,而池化操作可以从上层特征图中提取出主要的信息.较为常见的池化操作为最大池化或者平均池化.通过池化采样,可以降低特征图的分辨率,增大感受野,保留特征的同时使得模型具有平移、旋转、放缩等不变性.而在卷积和池化交替之后,出现的往往是全连接层.全连接层的每个神经元都与上层所有神经元相连,综合所有信息,将多维的特征化为一维特征,交给最后的回归器、分类器等来得出最后结果. 目前,常用的深度学习框架有TensorFlow,Caffe, 702/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 图1卷积神经网络结构(网络版彩图) Figure1Architectureofconvolutionalworks(coloronline) Keras,Torch,PyTorch,Theano等.这些框架各有特色:TensorFlow和Theano偏向底层,Caffe运行速度快,Keras文法简洁,Torch基于Lua,而PyTorch基于Python.虽然各有偏重,但都完成了神经网络的底层实现,提供了简易的接口,让编程人员能较为快速地搭建起一个需要的神经网络模型. 3基于深度学习的植物表型研究 3.1植物识别与杂草检测 植物识别的准确性对生态监测任务至关重要,尤其是对于生物多样性的保护[73,74].研究一个地区的生物多样性、监测濒危物种种群大小、确定气候变化对物种分布的影响都取决于植物识别的准确程度[73,75].植物识别不仅仅是植物学家和生态学者的工作,它对于农业生产和日常生活也同样很有帮助.随着智能手机设备的普及,许多软件被开发出来帮助用户识别植物种类,为人们提供了很多便利,常见的软件与工具见表
1.在农业生产中,自动化清除田间杂草的设备同样十分依赖于杂草和作物的准确识别. 无论是一年生的落叶植物还是多年生的常绿植物,它们的叶片所载有的性状信息在一年四季皆可被采集用来进行植物识别工作.但不同植物的叶片往往有着相同的颜色和形状,通过叶片特征的不同来识别区分植物种类有一定的挑战性.传统的方法常选定提取特定特征来进行识别分类,往往只能在特定的数据集上有较好的表现.Lee等人[78]在一个包含44类植物的叶片的MalayaKew数据集上,训练出一个微调的AlexNet模型来自动提取叶片特征,解决人为设计特征所带来的数据集表现偏差问题.结果表明,在同样使用 多层感知机(multi-layerperceptron,MLP)作为分类器时,通过局部叶片数据集训练出来的模型准确率可达99.6%,高于完整叶片数据集上表现出的准确率97.7%.无论使用SVM还是MLP做分类器,上述结果都远超各种人为设计特征的方法所能达到的准确率.已有部分工作通过解卷积[79,80]来可视化每一层提取的特征.研究发现基于完整叶片数据集的模型对叶片的形状边缘特征敏感,而基于局部叶片数据集的模型则更重视叶片的纹理特征,由此可推测使用叶片的纹理特征能获得更有鲁棒性的识别分类模型.此类工作中CNN仅用作植物特征提取,而非设计一个满足“端到端”要求的深度网络. Grinblat等人[81]同样也证明通过深度神经网络提取叶片特征可优于人为设计特征,该工作针对白豆、红豆和大豆三种同属豆科的植物的识别分类任务,直接通过预处理去除叶片的颜色和形状信息,只留下不同尺度的叶片纹理信息送入CNN模型,作者同样使用了解卷积[80]的方法来高亮输入图片中对结果影响最大的区域,通过分析三种豆科植物识别率的升降变化,可以更细致地观察到CNN网络识别三种植物主要使用的叶片脉络信息.随着网络深度从两层增加至五层,发现识别率不断增高,这一现象说明网络深度对结果准确度至关重要.使用5层网络的识别率(单一纹理数据集上为92.6%±0.2%,复合纹理数据集上为96.9%±0.2%)超过了所有基于传统特征分类方法的识别率. 除了使用特定背景下植物的特定器官(如花、叶)图片来进行植物识别,深度网络模型还可以在更复杂的条件下实现植物识别.PlantCLEF植物识别挑战赛即是完成这样一个任务.该挑战赛的目标是在真实场景下,完成大规模的植物识别,以实现生物多样性监 703/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 表1常用的植物识别软件和工具 Table1Commonlyusedplantdetectionsoftwareandtools 名称 下载地址 输入 LeafSnap[76] 树叶图像 Pl@ntNet[77] 植物图像 Microsoftgarage’sflowerrecognition 花伴侣 /en-us/garage/profiles/flower- recognition/ 花卉图像 植物的花、果、叶等特征部位图像 看图识花 /web 花卉图像 形色Gardenanswers 植物照片植物照片 输出树木种类植物种类 特点 树木种类仅来自美国东北部、加拿大和英国;发布了LeafSnap数据集,该数据集采集于实验室环境和真实场景,包含185种树木的 30000多图像 除APP外,可在网页上使用;可以根据不同地区来识别;上传图片后,用户可选择是植物的哪个器官以提高准确率;图像数据集主要由 用户拍照上传构建 花卉种类 仅支持IOS系统的离线应用,仅支持中文 植物种类 花卉种类花名、寓意和 比对图等植物种类 基于中国植物图像库海量植物分类图像:涵盖常见的中国野生及栽培植物3000属,近5000种;附有植物百科 基于中国植物图像库;生活中1000多种常见的植物;通过网页在线使用 可快速识别4000种植物;为用户搭建了一个社交平台;有识花专家帮忙鉴定植物;有特色 植物景点攻略;有开放的API 快速识别超过2万种植物;帮助判断是否感染病虫害;向后台专家提问咨询建议 测.2016年的比赛提供了包含1000种草、树和蕨类植物的各种视角(水果、花、整棵植物等)的110K张图像作为训练集[82].2017年的比赛更是将植物种类扩充到10000种,1.1MB张图像,并且提供了两种类型的训练集,一是基于在线协作的生活百科全书(encyclopediaoflife,EoL)的“可信”数据集,另一个是由搜索引擎得到的“噪声”数据集[83].2016年参赛人员使用了包含VGG,ResNet,AlexNet在内的多种深度网络模型解决植物识别问题,实验结果表明基于CNN的深度学习方法非常有效,普遍优于人为特征设定的方法.在2017年的比赛中,参赛人员全部使用了深度学习方法.如Lasseck[84]集成使用了GoogLeNet,ResNet和ResNeXT三个预训练网络模型,取得了2017年PlantCLEF挑战赛第一名的成绩. 随着智能移动设备的普及,移动设备端的植物自动识别技术在生态环境监督、生态科学普及、异域植物入侵监视等领域发挥着越来越重要的作用.Sun等人[85]在北京林业大学使用移动智能手机采集了10000张源自100种景观植物的高精度照片,构建了BJFU100数据集(下载地址/s/1jILsypS),弥补了此前基于移动设备的植物图像数据集的空白.该文 章构建ResNet网络模型在上述数据集上进行分类识别任务,对比试验下发现网络层数为26时识别率最佳. 在农业生产中,杂草的自动清除依赖于对杂草和农作物的准确识别与分类.实验表明通过有效地掌控杂草的长势情况能减少~40%除草剂的用量[86],为发展环境友好型农业的一个关键环节.为实现这一目标,Dyrmann等人[87]构建了带有残差支路模块的CNN网络模型,在一个包含有22种作物及杂草种类的10413张图片数据集上训练测试,达到了86.2%的准确率.这些图片来源于6个不同的数据集,相比此前的工作,实现了种类更为广泛、背景更为复杂的植物图片识别分类,能为控制杂草并减少除草剂用量的任务提供更为有效的信息.从准确率来看,该方法对于拟南芥、甜菜和大麦几种占数据集主体的植物有97%以上的识别率,另外在数据集更庞大、植物生长阶段更多样、背景更复杂的情况下,该方法的总体识别率还能与之前的工作大致持平. 在具体实施喷洒农药或执行机械除草方案时,自主机器人的应用通常可以大大提升效率.Potena等人[88]提出了一种农业机器人感知系统,该系统以搭载多光谱相机的无人地面车辆(unmannedgroundvehi- 704/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 cles,UGV)获取的近红外光谱四通道图像(RGB+NIR)作为输入,使用两种深浅结构不同的CNN网络,以流水线形式实现像素级作物和杂草的分割.该流水线首先将植被从土壤中分割出来.对于RGB+NIR图片,归一化植被指数(normalizeddifferencevegetationindex,NDVI)常被用来进行像素级绿植与土壤分割.但由于需要根据不同的光照及土壤情况设置阈值来进行分割,该方法鲁棒性不强.为了克服这一缺点,作者先设置较为保守的NDVI阈值,再通过一个轻量级CNN网络进行修正,最终得到绿植的分割结果.实验表明选用精度和效率兼顾的网络,改进方法能够达到96.7%的平均准确率,超过以往任何基于阈值的NDVI方法的准确率.流水线随后使用一个层数稍深的CNN网络进行像素级分类,得到作物、杂草、土壤的最终三分类结果.实验结果表明,同在均值平均精度达到96%以上时,深浅网络结合的流水线方法只需3s左右即可完成像素级作物杂草分类,而单一网络实现全过程则需要23s.作者同时提出在网络不变的情况下,结合基于连通域的投票方法,可进一步将区域级的作物杂草分类时间缩减至0.99s,均值平均精度提升至98.3%. 针对同样的机械化除杂草应用,Milioto等人[89]提出一种不依赖于近红外信息或预处理、仅需RGB图像便可实施的“端到端”实时作物杂草分类检测方法.该方法首先通过RGB信息计算出11种辅助特征通道,连同RGB通道一起组成14通道送入由结构启发而来的语义分割网络来完成像素分类.结果表明在各项指标上,叠加辅助特征通道的网络无论在效率上还是精度上与仅用RGB作为输入的网络和RGB+NIR作为输入的网络相比均表现更佳.通过将设计的已训练收敛的分割网络作为特征提取器,该方法在新数据集上同样有良好的表现,证明其泛化特性良好.在实际农业机器人上该方法的实验运行速率能够达到20Hz,完全适合实时的检测任务. 对于作物杂草分类任务,杂草密度、杂草种类、土壤情况、作物生长时期等诸多因素都会影响分类器的结果.所以构建一个适应于不同环境的、具有鲁棒性的分类系统,对于机械除杂草这一目标有着举足轻重的意义.为了达到这一目的,Lottes等人[90]提出了一种基于FCN的作物杂草分类系统,该系统考虑到作物通常为间隔均一的成排播种,而杂草总是随机出现,且该几何特征受环境改变较小,因此提出将采集位置 连续的RGB-NIR图片作为输入,构建编码解码结构的深度网络,通过一系列卷积和池化操作,在获取到更高维度语义特征的同时缩小了特征图的尺寸,随后作者引入序列化支路模块来获取序列图片的几何位置特征,并将该位置特征与一系列的反卷积操作得到的视觉特征相结合计算出最终的分割分类结果.多组以甜菜根为实验对象的对照实验都证实了该文章所提出的方法在测试集生长阶段、采集地点改变的情况下依然有良好的表现.作者通过合成仅包含几何特征的输入进行实验,进一步验证了所提出的方法在截取几何特征上的良好表现. 与无人车相比,无人机可以在较短的时间内覆盖较大面积,并且不会造成地面车辆车轮压实土壤、影响农田质量的问题.Sa等人[91]提出了一种利用深层神经网络来处理无人机多光谱图像的杂草分割框架,该框架首先将多个无人机获取的带有GPS标定的多光谱图像辐射定标,然后将多通道和对齐的正交图像平铺、分割成小块,便于后层修改后的SegNet网络进行分割.作者还公布了甜菜地最大的可用数据集,包含多光谱图像及其标注. 实现成千上万种植物的正确识别和分类属于细粒度图像问题,相对来说,作物和田间杂草的种类有限,但农业生产中对于准确率和实时性的要求不可忽视.当前,研究人员通过自行构建数据集,或者使用公开数据集,利用经典网络或者构建浅层网络提取特征,在包含多种植物图像的数据集上实现了较高的分类准确率. 3.2病虫害检测 基于图像处理技术的植物病虫害自动识别和检测对与作物早期病害检疫治疗具有重要意义,通过该技术能够极大地便利植物育种工作,更好地帮助农民监管田地.而实现植物病虫害的自动识别和检测主要面临如下几个难点[29].(ⅰ)图像背景复杂.除了染病叶片外,图像可能包含其他元素,如作物茎秆、土壤等,尤其是在田间环境下拍摄的照片,背景杂乱的同时还存在光照、角度差异等因素.(ⅱ)染病区域和健康区域可能没有明确的边界.(ⅲ)同一种病害在不同的发展阶段有不同的特征表现,甚至长在不同位置的病害也会有不同的特征.(ⅳ)不同种类的病害特征表现可能相同或差异微小,且同一位置可能同时存在多种病 705/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 害.(ⅴ)难以区分染病区域和其他死亡的植物组织.近年来(尤其是自2015年以来),基于深度学习技 术的方法在植物病理学中得到广泛运用.在基于深度学习的植物病虫害识别检测领域,许多研究是利用迁移学习的方法,在染病的叶片图像数据集上微调经典网络模型来解决病虫害分类问题.Mohanty等人[92]使用PlantVillage数据库中14个作物品种、26种病虫害的训练集,测试了经典网络模型AlexNet和GoogLeNet,为植物叶片图像预测“作物-病虫害”类别.Brahimi等人[93]同样使用AlexNet和GoogleNet,实现了对包含9种病害的番茄叶片图像分类.除此之外,Amara等人[94]使用LeNet在真实场景和复杂条件(如照明、杂乱背景、不同图像分辨率、大小、姿态和方位等)下,实现了对两种著名香蕉病害(叶斑病、条纹病)以及健康状态的三分类.Oppenheim和Shani[95]在自然光照下采集了不同大小、色调和形状的染病土豆图像,通过微调VGG网络对其进行识别分类.这些研究普遍对比了迁移学习和训练全新网络两种方法,同时还分析了训练测试集的分布比例对分类效果的影响.实验结果表明,与传统机器学习方法相比,用深度学习方法识别植物病虫害可以大幅提升结果的准确率,同时还发现预训练模型和较大的训练测试集分布比例会有更好的效果.Too等人[96]微调和对比评估了VGG-16,InceptionV4,DenseNets-121和ResNet-50等多种经典网络,作者使用的数据来源于PlantVillage数据集中的14种植物,38类病虫害.实验结果表明,随着迭代次数的增加,DenseNets的精度在不过拟合的前提下不断提高.此外,DenseNets仅需很少的参数就能在较短的训练时间内实现99.75%的测试精度,优于其他网络结构. 除了使用经典网络模型,研究人员也在尝试改进经典网络或自己构建浅层网络来解决问题.Liu等人[97]在AlexNet和GoogLeNet的基础上构建了网络,该网络头部是AlexNet的前五个卷积层,由于病斑面积相对较小,作者采用了较小的卷积核,网络尾部由两个pooling层和两个Inception级联在一起.相比经典的AlexNet,该网络参数较少,收敛速度很快.Kawasaki等人[98]构建了一个包含三个卷积层和一个全连接层的CNN网络来实现两种黄瓜病害和健康状态的三分类,该网络可以达到平均94.5%的分类准确率,但该数据集来源单
一、黄瓜病害种类少,且没有考虑到诸如光照等环境的干扰.Fujita等人[99]进一步完善上述工 作,用自己搭建的四层卷积网络实现了对黄瓜叶片健康状态和感染七种病毒性病害状态的八分类,这七种病害涵盖了黄瓜可能感染的所有病毒.相对于Mohanty等人[92]使用的PlantVillage数据集,作者在图像采集过程中限制较少,能够保证该诊断系统在实际使用中的稳定性. 在对感病叶片图像分类取得不错成绩的基础上,还有一些研究解决了病斑定位和感染程度判断的问题.Fuentes等人[100]提出了一种番茄植株病虫害种类识别和定位的实时系统.作者对比了三种网络结构,即FasterR-CNN,SSD和R-FCN,每一种网络结构又与不同的特征提取网络(如VGG,ResNet)相结合.该系统有如下优点:
(1)系统使用的图像是实地采集的;
(2)考虑了一株作物可能同时被多种病虫害感染的情况;
(3)使用不同的设备采集数据,数据集有不同的分辨率;
(4)可以有效处理不同光照环境、不同的作物尺寸、以及复杂背景的数据;
(5)系统鲁棒性强,可以在大田实际环境下实现检测.这个系统还可以解决复杂的任务,如感染状态(早期、晚期)、感染位置(叶片、茎秆、果实)和叶片的两面(正面、反面).同样可以对感染程度做出判断的还有Wang等人[101]提出的基于VGG-16对苹果黑腹病感染程度的判断的模型. 移动设备采集的图像数据具有光照、角度和相机规格难以统一等问题,因此利用移动设备获取的图像进行植物病虫害识别有更大的难度.Ramcharan等人[102]训练了MobileNet-SSD物体检测模型来识别木薯叶片表面病虫害症状,他们将模型部署在智能手机上,用真实场景下获取的叶片图像和视频进行测试,发现得到的准确率明显下降.Picon等人[103]使用深度残差网络ResNet-50实现了自然条件下麦田中多种病虫害的自动识别,作者给图像中的叶片添加了人工背景,这些随机背景来自ILSVRC15数据库,以增加数据集背景的多样性.该算法可以识别三种小麦疾病,即叶枯病、锈病和黄斑病,并且该算法已经部署在智能手机上. 当前基于深度学习的植物病虫害研究涉及的作物种类广泛,包含各种蔬菜水果和粮食作物,完成的任务不仅包括病虫害分类与检测等基本任务,也包含感染程度的判断等更为复杂的任务.由于深度学习依赖于大规模数据集,而当前植物病虫害方面公开数据集很少.研究者通常通过对比不同的训练集和测试集比 706/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 例、不同的网络模型来找到最优的解决方案,但由于这些感病图像在复杂度上与真实田间场景相比还有一定的差距,距离真正解决基于移动设备的实时田间病虫害检测问题还存在一定差距,关于上述研究的详细对比见表
2. 3.3产量预测 产量预测具有十分重要的宏观和微观意义,科学准确地预测主要农产品产量有助于政府做好国民经济规划、及时调整宏观政策,有效应对粮食短缺和供给冲击,确保国家粮食安全.对于育种工作者来说,对作物产量和品质的评估有利于提高单产、改进品质.对于农户来说,准确地预测产量分布,可以高效地进行诸如施肥、喷药等田间管理作业;准确地预测产量大小也能够帮助农民提前计划收割、仓储和销售所需要的包装、运输等资源,同时也对农产品经营者具有重要参考意义. 谷类作物的产量可以由作物穗内部的谷粒数量来衡量,对穗及其包含的小穗进行计数是产量预测的重要方法[105].考虑到穗及其包含的小穗构成了类似于人体关节的节点结构,Pound等人[106]借鉴了人体姿势检测领域中常用的热度图回归方法,提出了一种使用堆叠沙漏网络对麦穗和小穗进行定位和冠层表型图像级分类的方法.他们在温室内采集了二倍体春小麦的520张图像构建数据集,该数据集背景纯净,分辨率较高,有丰富的冠层和穗表型,并且已由专业人员准确标注了穗尖部、基部和小穗的位置,以及有芒和无芒性状,弥补了小麦公开数据集的不足.由于数据集包含的穗和小穗在形态方面极其相似,作者没有提前处理图像准备训练集,而是在训练阶段加载完数据后,随机选取麦穗并以其为中心进行裁剪和数据增强操作,来尽可能增加不同迭代之间的多样性.作者堆叠了四个沙漏网络,最终输出两个热度图分别表征穗尖和小穗的特征,再通过非极大值抑制算法得到二维坐标,同时在最后一个沙漏添加了一条支路完成有芒和无芒的分类.整个网络实现了穗和小穗的定位计数及有芒和无芒分类的多表型任务.作者以距离阈值作为判定成功的标准,实验结果表明,该网络可以达到95.91%和99.66%的麦穗与小穗检测准确率,可以有效应对遮挡、光照等干扰因素. 与Pound等人[106]用温室环境下采集的盆栽小麦图 像计算穗数不同的是,Madec等人[107]用深度学习技术估算了田间小麦群体的穗密度.小麦的穗密度与植物种群大小和单株分蘖数等因素相关,是评估作物产量的重要指标,但对于作物育种工作者来说,对其准确测算是一项困难和繁琐的工作.此外,当采样区域很小时,容易产生较大的估算偏差.作者以俯视角度获取田间的小麦图像构建数据集,该数据集分辨率高、包含多种基因型、单张图像包含较多的麦穗,且麦穗重叠、光照差异明显.作者对比使用了Faster-RCNN和TasselNet[108]两种卷积网络来估计麦穗密度.两种方法都有很好的效果,相对均方根误差(relativerootmean-squarederror,rRMSE)约为6%,但Faster-RCNN对于晚期小麦植株的估算效果更加稳定.作者通过实验对比确定了麦穗检测效果最好的图像分辨率,为以后使用无人机获取高通量图像,估算大面积麦田的麦穗密度提供了新的思路. 除了在实验室与田间环境采集的数据外,遥感数据也常被用来预测粮食产量.遥感图像数据丰富且易得,包含颜色、空间和时间信息,同时还包含丰富的植被生长信息.然而,由于遥感图像数据是高维和非结构化的,较难提取到有用的特征.Kuwata和Shibasaki[109]利用深度学习技术和遥感数据实现了国家层面的玉米产量回归预测.作者从气候研究机构下载了美国伊利诺伊州2001~2010年的玉米产量、增强植被指数(enhancedvegetationindex,EVI)以及包括每月气温范围、潜在蒸发和气压等气候数据.在Caffe框架下分别使用了含有一层和两层全连接层的自定义网络,同时与SVM进行了对比.实验结果表明,含有两层全连接的卷积网络产生更好的回归结果,相关系数可以达到0.81.但该网络仅仅使用了全连接层,层数较浅,而且仅考虑了有限的气候数据,忽略了土壤类型、施肥量等因素对产量的影响.与Kuwata和Shibasaki提出的方法不同,You等人[110]以图像序列作为输入,使用整个区域图像的像素值直方图作为输入,用CNN和LSTM预测美国的县级大豆产量.像素值直方图作为特征的方法可以降低数据维数,解决训练集较小的问题.此外,与以往的研究假设作物产量在区域间是相互独立的且在空间和时间上呈均匀分布不同,作者将网络的输出送入一个深度高斯过程,以解释县域之间产量的时空相关性. 除了谷类作物以外,深度学习技术在水果产量预 707/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 708/doi/10.1360/SSV-2019-0020 表2病虫害自动诊断中深度学习方法的对比 Table2Comparisonofdeeplearningmethodsinautomaticdiagnosisofcropdiseases 任务描述 数据库 数据预处理 数据增强 深度学习模型 对比实验 效果 参考文献 PlantVillage数据库包含标注“作物-病虫害”对; 14种作物,26种病虫害剔除属于同一张叶子 病虫害识别的54306张叶片图像;的不同角度的图像;缩 无 来自网络的121+119张小到统一大小;灰度化; 图像 叶片分割 AlexNet和GoogLeNet AlexNet和GoogLeNet;迁移学习和从头训练; 不同类型的数据集:RGB图像、灰度图和叶片分割图;不同的训练集和测试集的分布 比例 PlantVillage数据库F1score:99.34%;在线数据库1和2:整体准确率 31.4%和31.69% Mohanty等人[92] 番茄病害分类与症PlantVillage中9种、 状检测和可视化14828张番茄染病叶片 无 图像 无 AlexNet和GoogLeNet预训练与从头训练; 准确率99.18% Brahimi等人[93] SVM与随机森林 土豆病害分类 作者采集的400张土豆裁剪有症状的矩形区 图像 域,灰度化,统一大小 水平镜像与裁剪成不同尺寸 添加了dropout层的VGG 不同的训练集和测试集的分布比例 96%的分类准确率Oppenheim和Shani[95] PlantVillage中3700张包 香蕉叶片病害分类含两种病害和健康香灰度化、调整大小 无 蕉叶片图像 LeNet 不同的训练集和测试集的分布比例;RGB与 灰度图 99.72%的分类准确率 Amara等人[94] 作者自己采集的800张中心裁剪、旋转、调 黄瓜叶片病害检测黄瓜叶片图像,包含两 整大小 种病害和健康叶片 多次旋转 作者自定义的网络,包不同训练策略;不同的含三个卷积层调整大小方法;有无数据增强 94.9%的分类准确率 Kawasaki等人[98] 检测网络:FasterR- 调整大小、裁剪、旋CNN,SSD和R-FCN不同的检测网络与特 实时番茄植株病虫作者构建的数据集: 害识别 5000张包含9种病虫害 无 转、水平翻转、对比特征提取网络:Alex-征提取网络;有无数据F1a6st,emrRea-nCNANP0+.V83G0G6-Fuentes等人[100] 度、亮度增强、噪音Net,ZFNet,VGG-16, 增强 GoogLeNet和ResNet等 PlantVillage中健康的和调整大小、像素值归病害感染程度估计感染黑腹病的苹果叶一化、样本归一化 片,共2086张 随机旋转、剪切、缩放、翻转 VGG16,VGG19,Inception-v3和ResNet ANN VGG16准确率90.4% Wang等人[101] 苹果叶片病害识别1053张,4种常见苹果病害 数据标注 角度、光照、对比基于AlexNet和Goog-标准的AlexNet和Re- 度、高斯噪音和PCA sNet,GoogLeNet,VGG, 抖动 LeNet SVM,BP 识别准确率97.62% Liu等人[97] 可部署在移动设备田地采集的2415张木 上的木薯病虫害检薯叶片图像,包含三种 测系统 病害、两种虫害以及 营养不良 三种标注方式 F1score:测试数据集 无 MobileNet-SSD 测试数据集和真实世0.79,真实世界图像Ramcharan等人[102] 界的图像与视频0.26/0.54,真实世界视 频0.25/0.48 田间小麦病害分类包含三种小麦病害的8178张图像 大小调整、叶片区域和感病区域分割 随机的线性几何变化:变焦、透视、旋转和位移,以及人工 背景 ResNet-50 Johannes等人[104] BAC0.87 Picon等人[103] 中国科学:生命科学2019年第49卷第6期 测方面的应用也越来越多.Chen等人[111]利用深度学习技术提出了水果技术框架.作者开发了label.ag在线标注平台构建所需的数据集,该平台以众包的形式快速收集专业人士的标注.作者分两步实现从输入图像到果实计数的映射,首先用文献[68]中的全卷积网络FCN来实现水果候选区域分割. 为了解决水果重叠对计数产生的干扰,作者采用另外一个卷积网络来实现对上一步分割得到的候选区域中水果数量的估计.该网络与候选区域分割网络有着相同的结构,但损失函数不同而且没有反卷积层,它的输出是一个参数,该参数通过线性回归模型映射为最终的水果数目.实验结果表明,该算法流程可以适应包括遮挡、深度变化以及自然光照等非结构化环境,与Pothen和Nuske[112]基于纹理的方法相比误差更小. Rahnemoonfar和Sheppard[113]提出采用合成图像的方法应对大数据集的缺失和繁杂的人工标注.作者用绿色和棕色的实心圆形填充空白图像来模拟背景和番茄植株,再用高斯滤波器模糊.在图像上的随机位置绘制若干随机大小的圆表示番茄.作者修改了Inception-ResNet-A[114]最后一个卷积层,同时对reduction模块做了修改,将中线和右线的特征数减少,在此基础上构建了卷积网络.网络采用了Xavier初始化方法,在虚拟数据上进行训练,在真实数据上进行测试.实验结果表明,该系统在真实图像和合成图像上均可以达到90%以上的准确率,可有效降低遮挡、光照和果实大小的干扰.该系统的平均处理时间少于1s,满足了实时性要求.然而该方法受合成图像数据集的限制,不仅不易检测形态差异较大的番茄,也很难拓展可检测的水果种类. Bargoti和Underwood[115]通过搭载单目相机的无人车在果园内逐排移动获取苹果树图像,构建了包含不同品种苹果的8000张高分辨图像数据集.数据集构建完毕后,作者对部分图像进行了标注.元数据是描述数据获取方式的背景信息,包括苹果树的位置和太阳相对于车身框架的位置等,它们用来提高模型的分类效果.作者采用了与[116]相似的多尺度多层感知机模型和CNN网络,将苹果图像进行像素级的“水果”和“非水果”二分类.上述图像分割方法的输出是二值掩码,还需要进一步进行单个水果的检测.由于存在水果之间的遮挡和叶片对水果的遮挡,分别使用了分水岭算 法[117]与霍夫变换圆形检测[118].作者假设平均可见水果与被遮挡的水果有一定的比率,因此可以在水果检测结果与产量之间得到映射关系.实验结果表明,用不考虑元数据的CNN网络与分水岭算法相结合有着最好的水果检测效果,与收获后的计数结果相比较,相关系数可以达到0.826. 目前,用深度学习技术预测三大粮食作物水稻、小麦和玉米产量的研究较少,更多的是集中于果园中的水果分割计数(详细对比见表3).并且相关公开数据库缺乏,研究人员往往需要花费大量时间自己采集数据或者通过合成模拟图像等方式构建数据集.在粮食作物产量预测方面,研究者解决了微观上小麦穗和小穗的定位与计数问题,以及田间小麦群体的穗密度问题,并且宏观层面预测国家级、县级玉米、大豆产量的工作也不断涌现.研究者也提出了大量基于深度学习的水果分割、计数解决方案. 4研究趋势与展望 近几年来,深度学习技术在计算机科学与工程领域取得了巨大成功,其应用也已经渗透到植物表型研究的方方面面,尤其在植物识别与杂草检测、病虫害检测、产量预测这四个与农业生产息息相关的领域取得了不错的成绩.着眼未来,在基于深度学习的植物表型研究这一课题上还有许多工作值得期待. 深度网络性能非常依赖训练数据集的大小与丰富度,因此由各个国家、各个领域的专家、学者构建覆盖更多种植物类型、更多种植物表型、更大差异性的大型公开数据集,对于研究人员更多更好地解决表型问题非常重要.其次,扩大深度学习解决表型问题的场景,提高深度学习解决田间、果园等实际场景中的应用效果可以切实提高农业生产自动化程度. 部分研究领域结合深度学习的工作还比较少,比如种子鉴定、叶片含氮量测定、差别灌溉、污染物识别等诸多问题,将深度学习更多地应用于目前其尚未涉足的生物与农业领域可能会产生更丰硕的成果.随着深度学习技术在物体三维重建中的研究逐步深入,未来可通过构建植物模型弥补二维图像提供的空间信息不足,获取诸如植株密度、分蘖数、叶夹角等全面的株型信息以了解作物生长状况具有重要意义.深度学习技术也为综合分析众多环境参数(温度、湿度、 709/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 表3产量预测中深度学习方法的对比 Table3Comparisonofdeeplearningmethodsinyieldprediction 任务描述 数据库 数据预处理 数据增强深度学习模型 效果 对比算法 参考文献 温室条件下采集 对小麦的穗、小穗的520张春小麦 穗准确率为 进行定位和计数,同图像,标注了图训练阶段在原图裁剪、调整大作者使用四个堆95.91%,小穗的 时对图像中的小麦像中每个穗的基随机选取麦穗,小、旋转、水平叠沙漏网络构造准确率为 无 是否有芒进行了部和尖部的位置以其为中心裁剪 翻转 编码解码结构 分类 坐标以及图中小 99.66% 麦是否有芒 Pound等人[106] 从气候研究机构 (CRU)下载的气 候数据,MODIShardthreshold算 从国家层面估计获取的增强植被法平滑增强植被 无 作者自定义的卷RMSE达到6.298 高斯核函数的 Kuwata和Shiba- [109] 美国玉米产量指数(EVI)美国指数(EVI) 积网络 SVR saki 伊利诺伊州2001 至2010年的玉米 产量 水果计数 区域分割网络和 71张橙子日间图 计数网络对橙子 像,21张苹果夜将以SVG格式存 两个修改后的全和苹果数据的 间图像由label.储的标注转化为随机截取和翻转卷积网络分别用 IoU分别为 基于纹理的水果 [112] ag在线众包平台神经网络可用的 于区域分割和数 检测算法 标注以SVG格式 形式 量估计0.813,0.838,L2 存储 范数分别为13.8 和10.5 Chen等人[111] 番茄计数 24000张合成图像用于训练, 2400张合成图像用于测试,100张网上随机选取的 真实图像 高斯模糊 在虚拟图像上基于面积的计数 虚拟番茄在大 方法、浅层神经 小、光照等方面修改后的Incep-RMSE为1.16,在 网络、原始的 Rahnemoonfar和 [113] 存在差异tion-ResNet-A真实图像上Inception-Re-Sheppard RMSE为2.52 sNet-
A 无人车在果园内 采集的8000张图 像以及相应的元 水果检测和计数数据,对每张图 无 像分割并从中随 机选出1100张进 行标注 没有使用元数据 作者自定义的卷的CNN得到较 Bargoti和Under- 无 积网络 好的分割效果,多尺度MLP wood[115] 其F1分数为 0.791 气压等)和生理参数(水分含量、光合效率、叶绿素含量、植物体内养分等)以全面充分地了解作物生长速率与外界环境因素的关系提供了可能. 本文提到的深度学习应用方案,大多应用的是卷积神经网络模型,或是在经典网络模型基础上微调,或是自行构建了浅层网络.在未来,其他深度学习模型例如循环神经网络RNN、长短期记忆网络LSTM等,在植物表型获取方面的应用潜力也值得研究者关注.RNN,LSTM等模型更适用于处理序列数据,如果将时间维度考虑在植物表型上的预测、判定研究上,可能会得到更加精准的结果,未来可能的结合方向有预测植物的生长趋向、植物的需水量、植物遭受病害的趋向等.环境的变化如水质的变化趋势、气候的变化趋 势、土壤的变化趋势也值得进一步使用深度学习的方法进行分析和研究. 当前还需要进一步研究基于无人车、无人机等机器人的多种图像采集平台,构建自动化的高通量和高精度、适用于更多种类作物、更多种表型的通用研究平台,进而将获取的数据转化为有意义的生物学知识.此外,开发界面友好、方便易用的手机、电脑软件,对于农业生产活动和提高农业工作人员的生物农业知识也具有较为重要的现实意义. 展望未来,拓宽深度模型的应用领域,尝试更多的深度学习框架,提高深度学习应用效果,增强解决实际生产生活问题的能力,对于植物表型研究都可能产生显著影响. 710/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 5结论 本文首先介绍了农业植物表型研究的意义,回顾了传统的农业植物表型的研究方法,介绍了深度学习模型尤其是CNN模型的基本原理.重点从与农业生产息息相关的三个方面,即植物识别与杂草检测、病虫害检测和产量预测,介绍了深度学习技术的应用成果,并对每篇文章中涉及的数据集建立、数据预处理与增强技术、神经网络模型以及实验结果进行了对比总 结.现阶段基于深度学习的农业植物表型分析方法与基于传统机器学习的方法相对有更优的性能,但是目前对于深度学习的原理理解依然尚未透彻明晰,深度学习与植物表型的交叉研究之路也才刚刚开始.随着深度学习技术研究的推进,可以肯定的是,未来与植物表型各种具体问题相结合的解决方案会不断增多,将会出现更多具有影响力的基于深度学习的植物表型工作和成果,助力未来更智慧、可持续的农业与更安全的粮食保障. 参考文献 1SiebnerHR,CallicottJH,SommerT,etal.Fromthegenometothephenomeandback:Linkinggeneswithhumanbrainfunctionandstructureusingicallyinformedneuroimaging.Neuroscience,2009,164:1–6 2BilderRM,SabbFW,CannonTD,etal.Phenomics:Thesystematicstudyofphenotypesonagenome-widescale.Neuroscience,2009,164:30–42 3HouleD,GovindarajuDR,OmholtS.Phenomics:Thenextchallenge.NatRev,2010,11:855–8664PanYH.Analysisofconceptsandcategoriesofplantphenomeandphenomics(inChinese).ActaAgronomicaSin,2015,41:175–186[潘映红. 论植物表型组和植物表型组学的概念与范畴.作物学报.2015,41:175–186]5LiSK,ZhangX.Informationanalysisofcropbasedonmultimediaimageprocessingtechnology(inChinese).ActaAgronomicaSin,1998,24: 265–271[李少昆,张弦.作物株型信息多媒体图像处理技术的研究.作物学报.1998,24:265–271]6ConstantinoKP,GonzalesEJ,LazaroLM,etal.Towardsanautomatedplantheightmeasurementandtillersegmentationofricecropsusing imageprocessing.In:MechatronicsandMachineVisioninPractice3.Cham:SpringerInternationalPublishing,2018.155–1687FangW,FengH,YangWN,etal.Phenotypicdetectionofwheatbasedonrapidthree-dimensionalreconstruction(inChinese).JAgricSciTech China,2016,18:95–101[方伟,冯慧,杨万能,等.表型检测中用于小麦株型研究的快速三维重建方法.中国农业科技导报.2016,18:95–101]8PaprokiA,SiraultX,BerryS,etal.Anovelmeshprocessingbasedtechniquefor3dplantanalysis.BMCPlantBiol,2012,12:63–759YaoX,DuW,FengS,etal.Image-basedplantnutrientstatusanalysis:Anoverview.In:IEEEInternationalConferenceonIntelligentComputingandIntelligentSystems.Xiamen,2010.460–46410SinghA,GanapathysubramanianB,SinghAK,etal.Machinelearningforhigh-throughputstressphenotypinginplants.TrendsPlantSci,2016,21:110–12411CuiRX,LiuYD,FuJD.Estimationofnitrogenumulationinwinterwheatleavesbasedonmachinelearningandvisiblespectrum(inChinese).SpectroscSpectAnal,2016,36:1837–1842[崔日鲜,刘亚东,付金东.基于机器学习和可见光光谱的冬小麦叶片氮积累量估算.光谱学与光谱分析,2016,36:1837–1842]12ZhangYR,ChenSS,ZhouXQ.Wheatmoisturecontentidentificationbasedonimageprocessingtechnology(inChinese).JHenanUnivTech-NatSciEd,2014,35:101–106[张玉荣,陈赛赛,周显青.基于图像处理的小麦水分含量识别方法研究.河南工业大学学报(自然科学版),2014,35:101–106]13BurksTF,ShearerSA,GatesRS,etal.Backpropagationworkdesignandevaluationforclassifyingweedspeciesusingcolorimagetexture.TransASAE,2000,43:1029–103714HussinNAC,JamilN,NordinS,etal.Plantspeciesidentificationbyusingscaleinvariantfeaturetransform(sift)andgridbasedcolourmoment(gbcm).In:2013IEEEConferenceonOpenSystems(ICOS).NewYork:IEEE,2013.226–23015WangXF,HuangDS,DuJX,etal.Classificationofplantleafimagesplicatedbackground.ApplMathComput,2008,205:916–92616StrangeRN,ScottPR.Plantdisease:Athreattoglobalfoodsecurity.AnnuRevathol,2005,43:83–11617GeigerF,BengtssonJ,BerendseF,etal.Persistentnegativeeffectsofpesticidesonbiodiversityandbiologicalcontrolpotentialoneuropean 711/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 farmland.BasicApplEcol,2010,11:97–10518BarbedoJGA.Anautomaticmethodtodetectandmeasureleafdiseasesymptomsusingdigitalimageprocessing.PlantDis,2014,98:1709– 171619AtoumY,AfridiMJ,LiuX,etal.Ondevelopingandenhancingplant-leveldiseaseratingsystemsinrealfields.PatternRecognit,2016,53: 287–29920QinF,LiuD,SunB,etal.Identificationofalfalfaleafdiseasesusingimagerecognitiontechnology.PLoSONE,2016,11:e016827421Al-HiaryH,Bani-AhmadS,ReyalatM,etal.Fastanduratedetectionandclassificationofplantdiseases.IntJComputAppl,2011,17:31– 3822OmraniE,KhoshnevisanB,ShamshirbandS,etal.Potentialofradialbasisfunction-basedsupportvectorregressionforapplediseasedetection. Measurement,2014,55:512–51923HernándezRabadánDL,RamosQuintanaF,GuerreroJukJ.Integratingsomsandabayesianclassifierforsegmentingdiseasedplantsin uncontrolledenvironments.SciWorldJ,2014,21467424Correa-TomeFE,Sanchez-YanezRE,Ayala-RamirezV.Comparisonofperceptualcolorspacesfornaturalimagesegmentationtasks.OptEng, 2011,50:11720325SchikoraM,SchikoraA,KogelKH,etal.ProbabilisticclassificationofdiseasesymptomscausedbysalmonellaonArabidopsisplants.GI Jahrestagung,2010,176:874–87926BarbedoJGA.Anewautomaticmethodfordiseasesymptomsegmentationindigitalphotographsofplantleaves.EurJPlantPathol,2017, 147:349–36427ClémentA,VerfailleT,LormelC,etal.Anewcolourvisionsystemtoquantifyautomaticallyfoliardiscolourationcausedbyinsectpests feedingonleafcells.BiosystEng,2015,133:128–14028MohanKJ,BalasubramanianM,PalanivelS.Detectionandrecognitionofdiseasesfrompaddyplantleafimages.InJComputAppl,2016,144: 34–4129BarbedoJGA.Areviewonthemainchallengesinautomaticplantdiseaseidentificationbasedonvisiblerangeimages.BiosystEng,2016, 144:52–6030LiuZ,HuangJ,TaoR,etal.Estimatingtheseverityofricebrownspotdiseasebasedonponentanalysisandradialbasisfunction work.SpectroSpectAnal,2008,28:2156–216031LiuZY,WuHF,HuangJF.Applicationofworkstodiscriminatefungalinfectionlevelsinricepaniclesusinghyperspectral reflectanceandponentsanalysis.ComputElectronAgric,2010,72:99–10632WangQP.Methodsformeasuringyieldofseveralmainfruitspecies’streesinorchard(inChinese).KexueZhongyang,2014,2014:23[王秋 萍.几种主要果树的果园测产方法.科学种养,2014,2014:23]33ElkindA,Ablimit,SunZM,etal.MeasurementoffruittreeyieldinKashgarArea(inChinese).ForXinjiang,2013,2013:30–31[艾尔肯·亚 生,阿不力米提,孙芝梅,等.喀什地区果树测产方法.新疆林业,2013,2013:30–31]34GermainC,RousseaudR,GrenierG.Nondestructivecountingofwheatearwithpictureanalysis.In:FifthInternationalConferenceonImage ProcessinganditsApplications,London:IEE,1995.435–43935DuanL,HuangC,ChenG,etal.Determinationofricepaniclenumbersduringheadingbymulti-angleimaging.CropJ,2015,3:211–21936GuérinD,CointaultF,GéeC,etal.Feasibilitystudyofawheatearscountingvisionsystem.CSIMTA.2004,5:658–66437FanMY,MaQ,LiuJM,etal.Wheatearcountingmethodinfieldenvironmentbasedputervision(inChinese).TransChinSocAgric Mach,2015,46:234–239[范梦扬,马钦,刘峻明,等.基于机器视觉的大田环境小麦麦穗计数方法.农业机械学报.2015,46:234–239]38LiuT,SunCM,WangLJ,etal.Wheatearcountingmethodbasedonimageprocessingtechnology(inChinese).TransChinSocAgricMach, 2014,45:282–290[刘涛,孙成明,王力坚,等.基于图像处理技术的大田麦穗计数.农业机械学报.2014,45:282-–290]39CointaultF,GuerinD,GuilleminJ,etal.In-fieldTriticumaestivumearcountingusingcolour-textureimageanalysis.NewZealJCropHortic Sci,2008,36:117–13040CointaultF,JournauxL,MiteranJ,etal.Improvementsofimageprocessingforwheatearcounting.In:InternationalConferenceonAgricultural Engineering.Silsoe,UK:EuropeanSocietyofAgriculturalEngineers(AgEng),2008.1–1141FrédéricC,LudovicJ,GillesR,etal.Texture,colorandfrequentialproxy-detectionimageprocessingforcropcharacterizationinacontextof precisionagriculture.AgricSci,2012,1:49–70 712/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 42JournauxL,MarinA,CointaultF,etal.Fourierfilteringforwheatdetectioninacontextofyieldprediction.In:17thWorldCongressoftheInternationalCommissionofAgriculturalandBiosystemsEngineering(CIGR).Quebec,2010.1–19 43Fernandez-GallegoJA,KefauverSC,GutiérrezNA,etal.Wheatearcountingin-fieldconditions:Highthroughputandlow-costapproachusingrgbimages.PlantMethod,2018,14:22–33 44Sadeghi-TehranP,SabermaneshK,VirletN,etal.Automatedmethodtodeterminetwocriticalgrowthstagesofwheat:Headingandflowering.FrontPlantSci,2017,8:252–265 45DuSW,LiYN,YaoM,etal.Graincountingmethodbasedonimagesegmentationofwheatspikelets(inChinese).JNanjingAgricUniv,2018,41:742–751[杜世伟,李毅念,姚敏,等.基于小麦穗部小穗图像分割的籽粒计数方法.南京农业大学学报.2018,41:742–751] 46ZhaoJ,TowJ,KatupitiyaJ.On-treefruitrecognitionusingtexturepropertiesandcolordata.In:IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway:IEEE,2005.263–268 47HayashiS,OtaT,KubotaK,etal.Roboticharvestingtechnologyforfruitvegetablesinprotectedhorticulturalproduction.In:Antonyed..InformationandTechnologyforSustainableFruitandVegetableProduction.Montpellier:Cemagref,2005.227–236 48HannanM,BurksT,BulanonDM.Amachinevisionbiningadaptivesegmentationandshapeanalysisfororangefruitdetection.AgricEngInter:CIGRJ,2010,14:1–17 49SengWC,MirisaeeSH.Anewmethodforfruitsrecognitionsystem.In:NordinMJ,JumariK,eds.InternationalConferenceonElectricalEngineeringandInformatics.NewYork:IEEE,2009.130–134 50LakMB,MinaeiS,AmiriparianJ,etal.Applefruitsrecognitionundernaturalluminanceusingmachinevision.AdvJFoodSciTech,2010,2:325–327 51ArivazhaganS,ShebiahRN,NidhyanandhanSS,etal.Fruitrecognitionusingcolorandtexturefeatures.JEmergTrendsComputInfSci,2010,1:90–94 52PatelHN,JainR,JoshiMV.Fruitdetectionusingimprovedmultiplefeaturesbasedalgorithm.IntJComputAppl,2011,13:1–553DorjUO,LeeK,LeeM.putervisionalgorithmfortangerineyieldestimation.IntJBio-SciBio-Tech,2013,5:101–11054GuoW,PotgieterA,JordanD,etal.AutomaticdetectingandcountingofhumheadsinbreedingfieldusingrgbimageryfromUAV.In: ClausGrønS,Gerrit-JanC,eds.CIGR-AgEng.Aarhus,2016.1–555GuoW,RageUK,NinomiyaS.Illuminationinvariantsegmentationofvegetationfortimeserieswheatimagesbasedondecisiontreemodel. ComputElectronAgric,2013,96:58–6656PatelH,JainR,JoshiM.Automaticsegmentationandyieldmeasurementoffruitusingshapeanalysis.IntJComputAppl,2012,45:19–2457ParrishE,GokselA.Pictorialpatternrecognitionappliedtofruitharvesting.TransASAE,1977,20:822–82758WangQ,NuskeS,BergermanM,etal.Automatedcropyieldestimationforappleorchards.In:DesaiJP,DudekG,eds.The13thInternational SymposiumonExperimentalRobotics.Québec,2013.Heidelberg:Springer,2013.745–75859LinkerR,CohenO,NaorA.Determinationofthenumberofgreenapplesinrgbimagesrecordedinorchards.ComputElectronAgric,2012,81: 45–5760HubelDH,WieselTN.Receptivefields,binocularinteractionandfunctionalarchitectureinthecat’svisualcortex.JPhysiol,1962,160:106– 15461FukushimaK.Ahierarchicalworkmodelforassociativememory.BiolCybern,1984,50:105–11362LecunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition.ProcIEEE,1998,86:2278–232463KrizhevskyA,SutskeverI,HintonGE.classificationwithdeepconvolutionalworks.CommunACM,2017,60:84–9064DengJ,DongW,SocherR,etal.:Alarge-scalehierarchicalimagedatabase.In:IEEE.IEEE-Computer-SocietyConferenceon ComputerVisionandPatternRecognitionWorkshops.NewYork:IEEE,2009.248–25565SimonyanK,ZissermanA.Verydeepworksforlarge-scaleimagerecognition.ComputSci,201466SzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions.In:ProceedingsoftheIEEEConferenceonComputerVisionandPattern Recognition.NewYork:IEEE,2015.1–967HeK,ZhangX,RenS,etal.Deepresiduallearningforimagerecognition.In:ProceedingsoftheIEEEConferenceonComputerVisionand PatternRecognition.NewYork:IEEE,2016.770–77868ShelhamerE,LongJ,DarrellT.Fullyworksforsemanticsegmentation.IEEETransPatternAnalMachIntell,2017,39:640– 651 713/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 69BadrinarayananV,KendallA,CipollaR.:Adeepconvolutionalencoder-decoderarchitectureforimagesegmentation.In:IEEETransactionsonPatternAnalysisandMachineIntelligence.2017,39:2481–2495 70GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforurateobjectdetectionandsemanticsegmentation.In:27thIEEEConferenceonComputerVisionandPatternRecognition(CVPR).NewYork:IEEE,2014.580–587 71GirshickR.FastR-CNN.In:ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork:IEEE,2015.1440–144872RenS,HeK,GirshickR,etal.FasterR-CNN:Towardsreal-timeobjectdetectionwithregionworks.IEEETransPatternAnal MachIntell,2017,39:1137–114973FarnsworthEJ,ChuM,KressWJ,etal.Next-generationfieldguides.Bioscience,2013,63:891–89974ElphickCS.Howyoucountcounts:Theimportanceofmethodsresearchinappliedecology.JApplEcol,2008,45:1313–132075AustenGE,BindemannM,GriffithsRA,etal.Speciesidentificationbyexpertsandnon-experts:Comparingimagesfromfieldguides.Sci Rep,2016,6:3363476KumarN,BelhumeurPN,BiswasA,etal.Leafsnap:putervisionsystemforautomaticplantspeciesidentification.In:FitzgibbonA, LazebnikS,eds.12thEuropeanConferenceonComputerVision(ECCV),Berlin,2012.Berlin:SpringerBerlinHeidelberg,2012.502–51677JolyA,GoëauH,P,etal.Interactiveplantidentificationbasedonsocialimagedata.EcolInf,2014,23:22–3478LeeSH,ChanCS,WilkinP,etal.Deep-plant:Plantidentificationwithconvolutionalworks.In:IEEEInternationalConferenceon ImageProcessing(ICIP).NewYork:IEEE,2015.452–45679ZeilerMD,TaylorGW,FergusR.Adaptiveworksformidandhighlevelfeaturelearning.In:InternationalConferenceon ComputerVision.NewYork:IEEE,2011.2018–202580ZeilerMD,FergusR.Visualizingandunderstandingworks.In:FleetD,PajdlaT,eds.13thEuropeanConferenceon ComputerVision(ECCV).Cham:SpringerInternationalPublishing,2014.818–83381GrinblatGL,UzalLC,LareseMG,etal.Deeplearningforplantidentificationusingveinmorphologicalpatterns.ComputElectronAgric, 2016,127:418–42482JolyA,GoëauH,GlotinH,etal.Lifeclef2016:Multimedialifespeciesidentificationchallenges.In:FuhrN,QuaresmaP,eds.7thInternational ConferenceoftheCLEF-Association(CLEF).Cham:Springer,2016.286–31083GoeauH,
P,JolyA.Plantidentificationbasedonnoisywebdata:Theamazingperformanceofdeeplearning(lifeclef2017).In:GarethJ FJ,SéamusL,eds.CLEF2017-ConferenceandLabsoftheEvaluationForum.Cham:SpringerInternationalPublishing,2017.1–1384LasseckM.Image-basedplantspeciesidentificationwithdeepconvolutionalworks.In:CappellatoL,FerroN,eds.Conferenceand LabsoftheEvaluationForum(CLEF)(WorkingNotes).Aachen:CEUR-WS,2017.1–1185SunY,LiuY,WangG,etal.Deeplearningforplantidentificationinnaturalenvironment.ComputIntellNeurosci,2017,2017:1–686JørgensenLN,NoeE,LangvadAM,etal.Vurderingafplanteværnonlinesøkonomiskeogmiljømæssigeeffekt.København:Forlag Miljøstyrelsen,2007.1–24687DyrmannM,KarstoftH,MidtibyHS.Plantspeciesclassificationusingdeepconvolutionalwork.BiosystEng,2016,151:72–8088PotenaC,NardiD,PrettoA.Fastanduratecropandweedidentificationwithsummarizedtrainsetsforprecisionagriculture.In:ChenW, HosodaK,eds.IntelligentAutonomousSystems14.Cham:SpringerInternationalPublishing,2017.105–12189MiliotoA,LottesP,StachnissC.Real-timesemanticsegmentationofcropandweedforprecisionagriculturerobotsleveragingbackground knowledgeinCNNS.In:IEEEInternationalConferenceonRoboticsandAutomation(ICRA).LosAlamitos:IEEE,2018.2229–223590LottesP,BehleyJ,MiliotoA,etal.Fullyworkswithsequentialinformationforrobustcropandweeddetectioninprecision farming.IEEERobotAutomLett,2018,3:2870–287791SaI,Popović
M,KhannaR,etal.Weedmap:Alarge-scalesemanticweedmappingframeworkusingaerialmultispectralimaginganddeep workforprecisionfarming.RemoteSens,2018,10:1423–144592MohantySP,HughesDP,Salathé
M.Usingdeeplearningforimage-basedplantdiseasedetection.FrontPlantSci,2016,7:1–1093BrahimiM,BoukhalfaK,MoussaouiA.Deeplearningfortomatodiseases:Classificationandsymptomsvisualization.ApplArtifIntel,2017, 31:299–31594AmaraJ,BouazizB,AlgergawyA.Adeeplearning-basedapproachforbananaleafdiseasesclassification.In:MitschangB,NicklasD,eds.The 17thConferenceonDatabaseSystemsforBusiness,Technology,andWeb.Stuttgart:GesellschaftfürInformatike.V.,2017.79–8895OppenheimD,ShaniG.Potatodiseaseclassificationusingconvolutionworks.AdvAnimBiosci,2017,8:244–249 714/doi/10.1360/SSV-2019-0020 中国科学:生命科学2019年第49卷第6期 96TooEC,YujianL,NjukiS,etal.parativestudyoffine-tuningdeeplearningmodelsforplantdiseaseidentification.ComputElectronAgric,2018,doi:10.1016/pag.2018.03.032 97LiuB,ZhangY,HeDJ,etal.Identificationofappleleafdiseasesbasedondeepconvolutionalworks.Symmetry,2018,10:1198KawasakiY,UgaH,KagiwadaS,etal.Basicstudyofautomateddiagnosisofviralplantdiseasesusingconvolutionalworks.In:Bebis
G,BoyleR,eds.AdvancesinVisualComputing.Cham:SpringerInternationalPublishing,2015.638–64599FujitaE,KawasakiY,UgaH,etal.Basicinvestigationonarobustandpracticalplantdiagnosticsystem.In:15thIEEEInternationalConference onMachineLearningandApplications(ICMLA).NewYork:IEEE,2016.989–992100FuentesA,YoonS,KimSC,etal.Arobustdeep-learning-baseddetectorforreal-timetomatoplantdiseasesandpestsrecognition.Sensors, 2017,17:2022–2042101WangG,SunY,WangJ.Automaticimage-basedplantdiseaseseverityestimationusingdeeplearning.ComputIntellNeurosci,2017,2017:1–8102RamcharanA,McCloskeyP,BaranowskiK,etal.Assessingamobile-baseddeeplearningmodelforplantdiseasesurveillance.ComputSci, 2018,1–13103PiconA,Alvarez-GilaA,SeitzM,etal.Deepconvolutionalworksformobilecapturedevice-basedcropdiseaseclassificationinthe wild.ComputElectronAgri,2018,doi:10.1016/pag.2018.04.002104JohannesA,PiconA,Alvarez-GilaA,etal.Automaticplantdiseasediagnosisusingmobilecapturedevices,appliedonawheatusecase. ComputElectronAgri,2017,138:200–209105LiY,CuiZ,NiY,etal.Plantdensityeffectongrainnumberandweightoftwowinterwheatcultivarsatdifferentspikeletandgrainpositions. PLoSONE,2016,11:e0155351106PoundMP,AtkinsonJA,WellsDM,etal.Deeplearningformulti-taskplantphenotyping.In:16thIEEEInternationalConferenceon ComputerVision(ICCV)Venice.NewYork:IEEE,2017.2055–2063107MadecS,JinX,LuH,etal.Eardensityestimationfromhighresolutionrgbimageryusingdeeplearningtechnique.AgricForMeteorol,2019, 264:225–234108LuH,CaoZ,XiaoY,etal.:Countingmaizetasselsinthewildvialocalcountswork.PlantMethod,2017,13:79–92109KuwataK,ShibasakiR.Estimatingcropyieldswithdeeplearningandremotelysenseddata.In:IEEEInternationalGeoscienceandRemote SensingSymposium(IGARSS).NewYork:IEEE,2015.858–861110YouJ,LiX,LowM,etal.Deepgaussianprocessforcropyieldpredictionbasedonremotesensingdata.In:ProceedingsoftheThirty-First AAAIConferenceonArtificialIntelligence.PaloAlto:AAAIPress,2017.4559–4566111ChenSW,ShivakumarSS,DcunhaS,etal.Countingapplesandorangeswithdeeplearning:Adata-drivenapproach.IEEERobotAutomLett, 2017,2:781–788112PothenZS,NuskeS.Texture-basedfruitdetectionviaimagesusingthesmoothpatternsonthefruit.In:OkamuraA,MenciassiA,eds.2016 IEEEInternationalConferenceonRoboticsandAutomation(ICRA).NewYork:IEEE,2016.5171–5176113RahnemoonfarM,SheppardC.Deepcount:Fruitcountingbasedondeepsimulatedlearning.Sensors,2017,17:905–916114SzegedyC,IoffeS,VanhouckeV,etal.Inception-v4,andtheimpactofresidualconnectionsonlearning.In:Proceedingsofthe Thirty-FirstAAAIConferenceonArtificialIntelligence.SanFrancisco,AAAI,2017.12–18115BargotiS,UnderwoodJP.Imagesegmentationforfruitdetectionandyieldestimationinappleorchards.JFieldRobotics,2017,34:1039–1060116HungC,UnderwoodJ,NietoJ,etal.Afeaturelearningbasedapproachforautomatedfruityieldestimation.In:MejiasL,CorkeP,eds.The9th ConferenceonFieldandServiceRobotics.Cham:SpringerInternationalPublishing,2015.485–498117RoerdinkJB,MeijsterA.Thewatershedtransform:Definitions,algorithmsandparallelizationstrategies.FundInform,2000,41:187–228118AthertonTJ,KerbysonDJ.Sizeinvariantcircledetection.ImageVisionComput,1999,17:795–803 715/doi/10.1360/SSV-2019-0020 翁杨等:基于深度学习的农业植物表型研究综述 Asurveyondeep-learning-basedplantphenotyperesearchinagriculture WEN
声明：
该资讯来自于互联网网友发布，如有侵犯您的权益请联系我们。
