番茄（Solanumlycopersicum）是全世界溫帶地區(qū)種植的一種主要園藝作物，估計(jì)全球產(chǎn)量超過(guò)1.7億噸。番茄需求的跨界擴(kuò)張為農(nóng)業(yè)和營(yíng)銷(xiāo)業(yè)提供了新的機(jī)會(huì)。然而，這種農(nóng)業(yè)生產(chǎn)的全球化對(duì)農(nóng)業(yè)害蟲(chóng)的全球化有重大影響。世界貿(mào)易體系的發(fā)展導(dǎo)致入侵新地區(qū)的害蟲(chóng)種類(lèi)急劇增加，造成蔬菜作物生產(chǎn)力下降，產(chǎn)品收獲后的保質(zhì)期受到威脅。茄科植物的兩個(gè)主要害蟲(chóng)是番茄潛葉蟲(chóng)Tutaabsoluta（TA）和白粉病Leveillulataurica（LT），也被稱(chēng)為Oidium。

       TA（Meyrick）（鱗翅目：Gelechiidae）原產(chǎn)于南美洲，由于其高繁殖率和損害潛力，被認(rèn)為是迅速擴(kuò)張和破壞性強(qiáng)的番茄作物害蟲(chóng)之一，如果不采取積極措施，會(huì)造成作物的完全和不可逆轉(zhuǎn)的破壞。該昆蟲(chóng)的生長(zhǎng)周期取決于栽培期的普遍溫度。雌性TA在植物的面積上產(chǎn)下多達(dá)250個(gè)卵，年輕的幼蟲(chóng)（蒼蠅的蟲(chóng)子/后代在葉子上取食）開(kāi)始從植物的冠層取食，在葉子上留下特征性的不規(guī)則的病變，形成長(zhǎng)廊（圖1），只要有食物，就會(huì)移動(dòng)到新的取食地點(diǎn)。在蟲(chóng)害開(kāi)始時(shí)，1st和2nd幼蟲(chóng)在葉子上形成小的白色長(zhǎng)廊，而在3rd和4th長(zhǎng)廊擴(kuò)展到新葉，癥狀變成深褐色和壞死。這些病變由深色的排泄物組成，廣泛的侵?jǐn)_會(huì)導(dǎo)致葉片完全壞死和落葉。如果氣候條件有利，幼蟲(chóng)幾乎連續(xù)進(jìn)食，一般不進(jìn)入休眠期。當(dāng)蟲(chóng)害發(fā)生時(shí)，TA幼蟲(chóng)可以造成50%-100%的產(chǎn)量損失，因此在早期階段的控制是必須的。

        白粉病是一種內(nèi)生性寄生蟲(chóng)，形成內(nèi)生性和附生性菌絲體，最初在亞洲、地中海和非洲的溫暖干旱到半干旱的氣候區(qū)發(fā)現(xiàn)。在番茄中，白粉病通常只感染完全發(fā)育成熟的葉片，嚴(yán)重的感染可能導(dǎo)致相當(dāng)大的損害。主要的癥狀是在葉子的背面有不規(guī)則的黃色斑點(diǎn)（直徑約10-15毫米）（圖1），在正面，由于共生孢子通過(guò)氣孔冒出，形成薄薄的淺褐色菌絲體。一些研究報(bào)告稱(chēng)，溫室和大田番茄的產(chǎn)量損失高達(dá)40%[。Desneux等人的報(bào)告中介紹，除非采取有效的控制措施，否則在相鄰地區(qū)，該病可使番茄作物的產(chǎn)量損失高達(dá)80-100%，并可能對(duì)溫室和露地的番茄作物構(gòu)成威脅。此外，作物冠層上的病害嚴(yán)重程度會(huì)導(dǎo)致罐頭番茄的果實(shí)質(zhì)量顯著下降。

圖1.(a)：番茄潛葉蛾2nd齡幼蟲(chóng)在番茄葉片的間葉細(xì)胞中取食。

(b):番茄葉片背面的黃斑，處于白粉病感染的早期階段。

      隨著農(nóng)作物病蟲(chóng)害發(fā)生率的增加，必須采用新穎、準(zhǔn)確、及時(shí)的方法來(lái)識(shí)別早期癥狀。到目前為止，檢測(cè)病蟲(chóng)害的普遍方法嚴(yán)重依賴(lài)農(nóng)民的知識(shí)和經(jīng)驗(yàn)，往往導(dǎo)致對(duì)風(fēng)險(xiǎn)的管理不及時(shí)、不準(zhǔn)確和效果差。此外，盡管針對(duì)害蟲(chóng)和植物疾病的替代風(fēng)險(xiǎn)管理方法進(jìn)行了深入研究，但直到今天，使用化學(xué)植物保護(hù)產(chǎn)品處理問(wèn)題的傳統(tǒng)方法仍是地中海種植區(qū)最常用的策略。不幸的是，如果病原體和害蟲(chóng)在種植中已經(jīng)很成熟，殺蟲(chóng)劑和殺菌劑的功效可能會(huì)受到影響，并導(dǎo)致各種抗真菌和殺蟲(chóng)劑化合物的抗性發(fā)展。由于這個(gè)原因，殺蟲(chóng)劑和殺菌劑的應(yīng)用往往是預(yù)防性的，從而引入了額外的固定成本，達(dá)到經(jīng)營(yíng)成本的15%以上，而且沒(méi)有考慮到相關(guān)的勞動(dòng)力、環(huán)境和健康危害成本。

       基于機(jī)器學(xué)習(xí)的視覺(jué)方法的發(fā)展，以及RGB和多光譜視覺(jué)傳感器的商業(yè)可用性促進(jìn)了開(kāi)發(fā)和發(fā)展。部署疾病檢測(cè)的自動(dòng)化系統(tǒng)。這類(lèi)系統(tǒng)可通過(guò)減少對(duì)勞動(dòng)力和農(nóng)用化學(xué)品的依賴(lài)來(lái)實(shí)現(xiàn)溫室栽培的現(xiàn)代化。它們有可能允許對(duì)植物進(jìn)行個(gè)性化管理，而不是像現(xiàn)在這樣不加區(qū)分地在整個(gè)種植園進(jìn)行干預(yù)，這導(dǎo)致了資源的浪費(fèi)，并經(jīng)常過(guò)度使用農(nóng)用化學(xué)品。此外，它們可以減少對(duì)人的存在和人工干預(yù)的需求，并允許溫室的全天候運(yùn)行。

      在這種情況下，我們介紹了一個(gè)新的公開(kāi)可用的多光譜圖像數(shù)據(jù)集：3個(gè)RGB通道和2個(gè)近紅外（NIR）通道的番茄植物，在被TA和LT感染的不同階段。此外，我們應(yīng)用一個(gè)適合檢測(cè)由TA和LT引起的病變的系統(tǒng)。該系統(tǒng)框架采用了一個(gè)深度物體檢測(cè)架構(gòu)。最后，我們運(yùn)行了一個(gè)基線模型Faster-RCNN，該模型已經(jīng)在PASCALVOC2007[25]（73.2%的mAP）和2012（70.4%的mAP）的挑戰(zhàn)中使用。

相關(guān)工作

對(duì)象檢測(cè)

      由于由TA和LT產(chǎn)生的病變具有明顯的可見(jiàn)特征，我們可以將它們視為可以在圖像上定位的物體。在文獻(xiàn)中，這個(gè)問(wèn)題被稱(chēng)為對(duì)象檢測(cè)，并得到了廣泛的研究。正如Wand等人所述，深度神經(jīng)網(wǎng)絡(luò)（DNN）時(shí)代的突出對(duì)象檢測(cè)從基于多線感知器（MLP）的架構(gòu)開(kāi)始，直到最近使用全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的工作。

     框架使用基于區(qū)域的CNNs（RCNNs），它包含一個(gè)區(qū)域提議網(wǎng)絡(luò)（RPN），同時(shí)允許通過(guò)使用特征金字塔網(wǎng)絡(luò)（FPNs）進(jìn)行規(guī)模不變的檢測(cè)。

     一個(gè)物體檢測(cè)器的基本設(shè)置是由一個(gè)特征提取模塊組成的--在深度架構(gòu)的情況下，這是一個(gè)經(jīng)典的深度架構(gòu)，如ResNet或VGG，已經(jīng)被證明是有效的，不需要預(yù)先應(yīng)用任何其他啟發(fā)式規(guī)則。這些特征接下來(lái)會(huì)被其他模塊用于分類(lèi)、分割或突出圖的生成等任務(wù)，根據(jù)應(yīng)用情況而定。

      突出的FCN框架之一是Faster-RCNN：這是一個(gè)兩階段的物體檢測(cè)器，使用一個(gè)帶有數(shù)據(jù)驅(qū)動(dòng)錨的RPN和一個(gè)負(fù)責(zé)微調(diào)和分類(lèi)感興趣區(qū)域（RoI）建議的"頭"模塊。RPN的使用擺脫了前面的工作如RCNN和Fast-RCNN中使用的選擇性搜索的耗時(shí)過(guò)程。主要的區(qū)別可以在測(cè)試時(shí)發(fā)現(xiàn)，CNN的前饋程序比用選擇性搜索形成同質(zhì)區(qū)域的過(guò)程更省力。

    R-FCN在本質(zhì)上與Faster-RCNN相同，唯一的區(qū)別是它有分?jǐn)?shù)圖來(lái)評(píng)估所提出的RoIs。SSD是一個(gè)單階段的物體檢測(cè)器，它使用多個(gè)卷積層來(lái)實(shí)現(xiàn)多尺度的檢測(cè)。Yolo框架也是如此，該框架的多個(gè)模型已經(jīng)發(fā)布：Yolo9000,Yolov3和Yolov4，專(zhuān)注于或?qū)崟r(shí)的物體檢測(cè)。另一個(gè)單階段檢測(cè)器，RetinaNet2018，在結(jié)構(gòu)上與Faster-RCNN相似，但特征圖是由最近的鄰居采樣產(chǎn)生的，而不是使用RPN。最后，CornerNet[39]和RepPoints嘗試用不同的方式來(lái)表示地面真實(shí)區(qū)域，使用點(diǎn)而不是邊界框。另外，F(xiàn)COS提出了一個(gè)單階段全卷積檢測(cè)器，避免了使用RPN。DeNet也使用corners來(lái)作為其RoI協(xié)議的基礎(chǔ)。

用于檢測(cè)植物病蟲(chóng)害的深度學(xué)習(xí)

    最近的研究提出了新的檢測(cè)方法，基于深度神經(jīng)網(wǎng)絡(luò)和物體檢測(cè)模型來(lái)解決早期檢測(cè)植物病蟲(chóng)害癥狀的難題。Raza等人展示了通過(guò)電子鼻（EN）結(jié)合神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)受感染（白粉病）的番茄和健康番茄作物進(jìn)行分析和分類(lèi)的數(shù)據(jù)收集，準(zhǔn)確率高達(dá)98%。此外，Xu等人研究了近紅外光譜的應(yīng)用，利用葉片反射特性檢測(cè)番茄葉片上的潛葉蛾害蟲(chóng)，并分析了不同波長(zhǎng)的反射率，可以區(qū)分感染階段。發(fā)現(xiàn)具有相關(guān)系數(shù)的波長(zhǎng)是1450納米和1900納米。最近的研究項(xiàng)目?SOUP：無(wú)土栽培升級(jí)，旨在通過(guò)傳感器網(wǎng)絡(luò)自動(dòng)監(jiān)測(cè)植物生長(zhǎng)，并引入機(jī)器人技術(shù)用于害蟲(chóng)管理。

     表1中一些研究專(zhuān)門(mén)針對(duì)番茄植物，提供了一個(gè)關(guān)于溫室條件下的Tutaabsoluta的數(shù)據(jù)集。他們比較了預(yù)先訓(xùn)練好的完全卷積網(wǎng)絡(luò)來(lái)識(shí)別圖像中存在的疾病。與我們的數(shù)據(jù)集的主要區(qū)別是，標(biāo)簽是在整個(gè)圖像上完成的，而不是在RoI上，這導(dǎo)致了分類(lèi)，而不是檢測(cè)任務(wù)。另外，每張圖像一次只拍攝一片葉子，通常是葉子面向相機(jī)。在我們的案例中，整個(gè)植物都被框住了，葉子可能朝向各個(gè)方向，完全改變了病變的模式。這使得檢測(cè)任務(wù)成為檢測(cè)器要解決的更復(fù)雜的問(wèn)題。

     另一方面，旨在對(duì)圖像中的疾病進(jìn)行定位。然而，他們使用的數(shù)據(jù)集的分辨率不一致，來(lái)自異質(zhì)來(lái)源，這可能也是不同光譜響應(yīng)的原因。然而，每張圖像的內(nèi)容大多是單葉。另外，他們提供的注釋僅限于一個(gè)邊界框，而我們提供的位圖掩碼可用于更廣泛的架構(gòu)，如Mask-RCNN。

     為了增加我們的貢獻(xiàn)，上述所有的數(shù)據(jù)集都在。而我們的數(shù)據(jù)集不僅包括兩個(gè)紅外通道，還包括可見(jiàn)光譜中的三個(gè)通道，具有更多的窄帶響應(yīng)。Xu等人使用了一個(gè)類(lèi)似的設(shè)置，其中包括遠(yuǎn)紅外線譜段（7μm～12μm和），但他們使用的裝置為獲取圖像只提供了圖像的俯視圖。

從上面我們可以推斷出，利用深度學(xué)習(xí)進(jìn)行植物病害檢測(cè)的關(guān)注度在文獻(xiàn)中是很明顯的。

植物病蟲(chóng)害的數(shù)據(jù)集

      在文獻(xiàn)中，有各種研究圖像中植物疾病檢測(cè)的工作。其中很多人采用DNN架構(gòu)來(lái)實(shí)現(xiàn)高效的病害檢測(cè)，而另一些人則引入了新的數(shù)據(jù)集，以便對(duì)該主題進(jìn)行進(jìn)一步研究。相關(guān)數(shù)據(jù)集的屬性是所考慮的植物、疾病、捕獲的光譜、圖像的內(nèi)容和它的獲取環(huán)境。為了使事情與我們的貢獻(xiàn)保持一致，一些數(shù)據(jù)集也考慮到了番茄植物，而一些數(shù)據(jù)集則使用多光譜成像技術(shù)來(lái)進(jìn)行分析。檢測(cè)一種疾病。例如，像表1包括了他們的數(shù)據(jù)集中有患病番茄植株的案例。其中包括番茄植物上的TA和LT，以及其他植物疾病。此外，他們使用的數(shù)據(jù)集中還使用了多光譜（MS）、高光譜（HS）或近紅外成像。然而、近紅外可能包括在MS或HS波段中。最后，只有三個(gè)數(shù)據(jù)集是公開(kāi)可用的：Cherry:PowderyMildew;Squash:Healthy,PowderyMildew;tomato:BacterialSpot,etc，tomato,cotton:Blacknightshade,Velvetleaf和apple:Rust,Scab。

  表1給出了相關(guān)數(shù)據(jù)集及其特點(diǎn)的摘要。很明顯，缺少一個(gè)包括近紅外通道的真實(shí)溫室環(huán)境的公共數(shù)據(jù)集。更有甚者，在這種情況下，根本就沒(méi)有TA和LT的多光譜數(shù)據(jù)。

 表1：數(shù)據(jù)集和文獻(xiàn)中的相關(guān)研究。番茄植物、Tutaabsoluta、Leveillulataurica和近紅外的出現(xiàn)以黑體表示。

S：光譜，D：數(shù)據(jù)集（u：未公開(kāi)，p：公開(kāi)），F(xiàn)：框架（l：葉片，p：植物），

E：環(huán)境（l：實(shí)驗(yàn)室，f：田野，g：溫室）。

數(shù)據(jù)集開(kāi)發(fā)

溫室設(shè)置

      番茄苗（Solanumlycopersicumvar.Elpida）在四片真葉的階段被移植到希臘地中海大學(xué)的實(shí)驗(yàn)溫室設(shè)施中的巖棉板中，該溫室為不加熱的馬鞍頂雙跨溫室，上面覆蓋有聚乙烯薄膜。為了避免害蟲(chóng)和真菌疾病的轉(zhuǎn)移，植物被種植在單獨(dú)的防蟲(chóng)室（12平方米）中，這些防蟲(chóng)室的設(shè)計(jì)可以容納六株發(fā)育完全的番茄植物。為了產(chǎn)生一個(gè)人造的潛葉蛾蟲(chóng)害，一個(gè)恒溫條件，從當(dāng)?shù)厣虡I(yè)溫室中收集的昆蟲(chóng)，在番茄植物（Solanumlycopersicumvar.Elpida）實(shí)驗(yàn)室中設(shè)定環(huán)境（溫度25?C，相對(duì)濕度75±5%，12小時(shí)光照，12小時(shí)黑暗）。八周后，成蟲(chóng)被轉(zhuǎn)移在實(shí)驗(yàn)溫室的兩個(gè)防蟲(chóng)室中，在9片完全發(fā)育的葉片階段的無(wú)感染番茄植株（n=12）上設(shè)定成蟲(chóng)數(shù)量（每平方3只成蟲(chóng)）。

      為了產(chǎn)生人工白粉病感染，從當(dāng)?shù)厣虡I(yè)溫室中種植的番茄植物的嫩葉中分離出Leveillulataurica（Erysiphaceae）。分生孢子，即該真菌的孢子，通過(guò)用水密集地清洗被感染的葉片來(lái)收集。在光學(xué)顯微鏡下用血細(xì)胞儀對(duì)沖洗懸浮液中的分生孢子進(jìn)行計(jì)數(shù)。在接種番茄葉片時(shí)，將懸浮液中的分生孢子濃度調(diào)整為每毫升1萬(wàn)個(gè)。轉(zhuǎn)移到實(shí)驗(yàn)溫室的兩個(gè)獨(dú)立的防蟲(chóng)室中。處理后，每天用按照計(jì)算的標(biāo)準(zhǔn)營(yíng)養(yǎng)液對(duì)番茄植株進(jìn)行施肥，使用IQ60自動(dòng)營(yíng)養(yǎng)液混合系統(tǒng)（Alagro，希臘）。

圖像采集

       人工（L.taurica）接種兩周后和接種西紅柿葉片時(shí)，將懸浮液中的分生孢子濃度調(diào)整為每毫升10個(gè)分生孢子。懸浮液噴灑在番茄植株上（n=12），在9個(gè)月的階段真葉展開(kāi)，每株體積為5毫升。接種的植物在生長(zhǎng)室中保持24小時(shí)，相對(duì)濕度為100%，溫度為21°C。

     每三天采集一次番茄植株的多光譜圖像。在這項(xiàng)研究中，我們使用了MUSES9-MS-PL多光譜相機(jī)（Spectricon，希臘），其特點(diǎn)是在370-1100納米的光譜范圍內(nèi)，具有4~6百萬(wàn)像素的C-MOS@25f/s。該攝像機(jī)實(shí)現(xiàn)了每臺(tái)攝像機(jī)捕獲總共8個(gè)通道，分辨率為1776x2368像素。前3個(gè)通道是用典型的RGB傳感器采集的，而其余的是通過(guò)多光譜傳感器采集的。后面的三個(gè)通道分別選擇在460納米（近藍(lán)）、540納米（近綠）和630納米（近紅）。這些波長(zhǎng)通常與RGB相機(jī)使用的波長(zhǎng)接近，但是多光譜傳感器在這些頻率周?chē)捻憫?yīng)比RGB相機(jī)的響應(yīng)更密集。          最后2個(gè)通道是在紅外光譜區(qū)域，波長(zhǎng)為850納米和980納米。表3顯示了每個(gè)波段的寬度。MUSES9的應(yīng)用包括非破壞性物體分析、生物醫(yī)學(xué)光學(xué)成像、繪畫(huà)中的顏料識(shí)別和繪圖，以及微塑料污染的多光譜顯微鏡。

      表2中該數(shù)據(jù)集共包含314張圖片，按植物、日期、癥狀和RoI標(biāo)記。在該數(shù)據(jù)集中，179張圖片顯示TA癥狀，103張顯示LT癥狀，32張顯示無(wú)癥狀。由于植物是在不同的發(fā)育階段被捕獲的，因此圖像同時(shí)描述了蟲(chóng)害或疾病癥狀的早期和晚期階段。此外，該數(shù)據(jù)集共獲得5個(gè)通道：460納米，540納米，630納米，850納米，980納米，相比之下，書(shū)目中的大多數(shù)數(shù)據(jù)集只用標(biāo)準(zhǔn)的RGB相機(jī)獲取。最后，由于圖像是在實(shí)驗(yàn)溫室內(nèi)拍攝的，因此在整個(gè)數(shù)據(jù)集中保持了一致和真實(shí)的環(huán)境條件。在假設(shè)LED光源在整個(gè)數(shù)據(jù)集中提供一致的照明的情況下，沒(méi)有進(jìn)行圖像校準(zhǔn)。光源被安裝在相機(jī)鏡頭周?chē)?，而圖像是在白天拍攝的。光源是一個(gè)在紫外線（UV）、可見(jiàn)光和近紅外光譜中發(fā)光的LED燈泡的圓形陣列。簡(jiǎn)單地說(shuō)，在紫外線下有一個(gè)單向的狹窄反應(yīng)，其模式在～375nm，可見(jiàn)光譜中具有更廣泛的響應(yīng)，模式在~550nm，在近紅外也有廣泛的反應(yīng)，模式在~900nm。該數(shù)據(jù)集是公開(kāi)的，可用于未來(lái)的發(fā)展。圖2中可以看到一個(gè)樣本立方體。

表2：數(shù)據(jù)集中每個(gè)病變類(lèi)型和進(jìn)展水平的樣本數(shù)。

圖2.數(shù)據(jù)集的多光譜立方體。頂部：850納米和980納米的近紅外通道。

底部：紅色、綠色和藍(lán)色波長(zhǎng)區(qū)域的可見(jiàn)光譜通道（見(jiàn)表3）

圖像注釋

每張圖片都由一位農(nóng)藝師專(zhuān)家使用VGG圖像注釋工具手動(dòng)注釋。每個(gè)病變都用一個(gè)邊界框進(jìn)行定位，結(jié)果用COCO對(duì)象檢測(cè)數(shù)據(jù)集的格式存儲(chǔ)在JSON文件中2。作為二級(jí)元數(shù)據(jù)集的數(shù)據(jù)，每個(gè)病變也根據(jù)其進(jìn)展程度進(jìn)行標(biāo)記，1表示1-5個(gè)病變，2表示到5-10個(gè)病變，3表示10-20個(gè)病變。在進(jìn)展程度較高的情況下，害蟲(chóng)和疾病癥狀已經(jīng)超過(guò)了病變檢測(cè)的臨界點(diǎn)，為了預(yù)防的目的，將沒(méi)有意義。沒(méi)有明顯癥狀的圖像被注釋為0級(jí)。

表3MUSES9-MS-PL相機(jī)支持的波長(zhǎng)區(qū)域和目前研究中使用的波長(zhǎng)區(qū)域。

圖3.多光譜圖像采樣安排的俯視圖（a）和側(cè)視圖（b）。相機(jī)設(shè)置在距離番茄植株1.00米處。

從三個(gè)高度（h=0.75、1.00、1.40米）和兩個(gè)方位角（A=15°，B=-15°）獲取圖像。

自動(dòng)檢測(cè)方法

前景分割

      為了計(jì)算病變與健康比率（LHR），我們必須對(duì)圖像的前景進(jìn)行分割，該前景由綠色植物生物量組成。為此，我們對(duì)NDVI圖像進(jìn)行了基于直方圖的閾值處理。根據(jù)綠色通道（540納米）和NDVI圖像來(lái)選擇較佳閾值。歸一化差異植被指數(shù)（NDVI）在文獻(xiàn)中被廣泛使用，用于區(qū)分與產(chǎn)量相關(guān)的生理特征，其計(jì)算方法如下：

其中近紅外是通道980納米，紅色是通道630納米。所用的閾值不是任意選擇的，而是計(jì)算出通道540納米（I540）和NDVI（INDVI）之間的歸一化相關(guān)系數(shù)（NCC）最大化的參數(shù)。這兩個(gè)圖像之間的NCC被定義為以下標(biāo)量：

     其中，符號(hào)是元素位乘積，H和W是圖像的高度和寬度。I540和INDVI是經(jīng)過(guò)閾值處理的通道540nm和NDVI各自的圖像，給定一組閾值旨在分離出其直方圖中有用裂片的支持。I540和INDVI是上述圖像的平均像素強(qiáng)度。這個(gè)過(guò)程在不同的閾值集上系統(tǒng)地重復(fù)。這對(duì)產(chǎn)生的NCC被保留。

      這個(gè)程序背后的想法是，在沒(méi)有正則器存在的情況下，單獨(dú)的NDVI不能被系統(tǒng)地閾值化。這就是在這里引入通道540納米的意義，作為一個(gè)正則器，因?yàn)樵谝粋€(gè)理想的情況下，它包含了圖像中較綠色的部分，很可能是葉子。最后，我們所說(shuō)的"閾值"實(shí)際上是一個(gè)強(qiáng)度的元組，意味著直方圖被裁剪，以準(zhǔn)確匹配與葉子相對(duì)應(yīng)的直方圖葉。在圖4中可以看到一個(gè)分割的例子。

     可獲得的多光譜相機(jī)的出現(xiàn)使NDVI在實(shí)驗(yàn)室范圍內(nèi)得到使用，最近在番茄樹(shù)冠和健康評(píng)估中得到應(yīng)用。然而，就我們所知，NDVI還沒(méi)有在機(jī)器學(xué)習(xí)框架內(nèi)實(shí)現(xiàn)對(duì)害蟲(chóng)或疾病檢測(cè)的研究。

圖4.從630納米和980納米通道計(jì)算的NDVI等圖像

Faster-RCNN和它的多通道變體

     一個(gè)物體檢測(cè)模型是Faster-RCNN。通過(guò)使用卷積層，RPN的輸出被評(píng)估為包含或不包含一個(gè)物體的概率。有可能包含物體的盒子被傳遞到非較大抑制模塊，該模塊會(huì)丟棄那些有極大重疊的盒子，只留一個(gè)。剩余的界線盒用另一個(gè)卷積層進(jìn)行分類(lèi)，產(chǎn)生界線盒的預(yù)測(cè)及其類(lèi)別。在訓(xùn)練過(guò)程中，RPN是與網(wǎng)絡(luò)的其他部分分開(kāi)訓(xùn)練的。也就是說(shuō)，建議被回歸到地面真相框。

     當(dāng)涉及到利用全部可用的波段時(shí)，我們使用了一個(gè)帶有FasterRCNN頭和兩個(gè)相同的預(yù)訓(xùn)練骨干的定制模型：一個(gè)用于RGB通道，一個(gè)用于850nm。更詳細(xì)地說(shuō)，如圖5所示，由兩個(gè)ResNet架構(gòu)產(chǎn)生的特征通過(guò)一個(gè)簡(jiǎn)單的2d卷積層合并在一起，并輸入Faster-RCNN頭。

圖5.多通道疾病檢測(cè)模塊的設(shè)計(jì)。它可以取代流程中的疾病檢測(cè)部分，以便使用3個(gè)以上的通道。

評(píng)估措施

評(píng)估物體檢測(cè)器的一個(gè)直接方法是計(jì)算輸出框和地面真實(shí)框之間的聯(lián)合交集（IoU）。圖6說(shuō)明了IoU。然而，這種天真的方法完全忽略了什么是好的檢測(cè)器，也就是通過(guò)一次檢測(cè)對(duì)地面真實(shí)箱進(jìn)行預(yù)先的預(yù)測(cè)。例如，一個(gè)檢測(cè)器在預(yù)測(cè)每個(gè)地面實(shí)況框的多個(gè)邊界框時(shí)達(dá)到了很高的IoU，就不被認(rèn)為是一個(gè)好檢測(cè)器。產(chǎn)生的問(wèn)題是如何對(duì)待重復(fù)的檢測(cè)。答案取決于應(yīng)用的決策規(guī)則。該過(guò)濾步驟可以基于IoU、分類(lèi)分?jǐn)?shù)或這兩者的混合。COCO算法所做的是在一個(gè)IoU曲線上進(jìn)行整合。在預(yù)測(cè)和地面真相之間保持較低的IoU閾值將允許較小的預(yù)測(cè)通過(guò)，而較高的閾值將只接受兩者之間的高度重疊。詳細(xì)地說(shuō)，COCO的閾值只在IoU上進(jìn)行重復(fù)檢測(cè)，并且對(duì)多個(gè)閾值都是如此、最終計(jì)算出一個(gè)平均精度。對(duì)所有的類(lèi)都這樣做，可以得到一個(gè)平均平均精度（mAP）。作為參考，我們使用了Pycocotools的執(zhí)行庫(kù)。在他們的執(zhí)行中，每個(gè)地面真實(shí)箱都與較佳預(yù)測(cè)相匹配（從分?jǐn)?shù)上看和從IoU上看）。在物體檢測(cè)文獻(xiàn)以及LSVRC和COCO等比賽中，平均精度已經(jīng)成為一個(gè)基準(zhǔn)指標(biāo)。

除了COCO指標(biāo)外，我們認(rèn)為從農(nóng)學(xué)家的角度來(lái)看，有價(jià)值的是以不同的方式評(píng)估我們的結(jié)果。基于這個(gè)原因，我們也將每張圖片作為一個(gè)整體進(jìn)行評(píng)估檢測(cè)。詳細(xì)來(lái)說(shuō)，如果有一個(gè)檢測(cè)與一個(gè)地面真實(shí)箱相匹配，則該圖像被認(rèn)為是真陽(yáng)性（TP）。如果沒(méi)有檢測(cè)到，但至少有一個(gè)地面真相框，則該圖像算作假陰性（FN）。相反，如果至少有一個(gè)檢測(cè)，但沒(méi)有地面真相框，則算作假陽(yáng)性（FP）。

圖6.閉合曲線之間的交集（IoU），這里是兩個(gè)邊界盒。A和C是不相交部分的面積，B是相交部分。

所有的這些定義了聯(lián)合區(qū)域。

深度學(xué)習(xí)設(shè)計(jì)

該管道的擬議模塊顯示在圖7中。在圖像采集之后（見(jiàn)b），光譜立方體被歸一化為平均數(shù)和標(biāo)準(zhǔn)差，以便遵循數(shù)據(jù)集COCO引入的先驗(yàn)因素，我們用它來(lái)預(yù)訓(xùn)練我們的模型。在第三步，這些立方體被送入檢測(cè)管道深度神經(jīng)網(wǎng)絡(luò)，產(chǎn)生形式為(x,y,width,height)的邊界盒，以及它們各自的分類(lèi)分?jǐn)?shù)。每個(gè)邊界框定義了一個(gè)潛在病變的界限。在最后一步，由此產(chǎn)生的邊界盒根據(jù)網(wǎng)絡(luò)的置信度進(jìn)行過(guò)濾。剩下的檢測(cè)結(jié)果被用來(lái)計(jì)算兩個(gè)指數(shù)。第一個(gè)是用于性能評(píng)估，即我們計(jì)算平均精度（AP），如COCO評(píng)估程序中提出的。第二個(gè)是病害面積與健康葉片面積之比（見(jiàn)b節(jié)），這對(duì)農(nóng)學(xué)家來(lái)說(shuō)是一個(gè)有用的測(cè)量，可以估計(jì)疾病的階段。

圖7.深度學(xué)習(xí)管道的設(shè)計(jì)

實(shí)驗(yàn)設(shè)計(jì)和評(píng)估

在我們的實(shí)驗(yàn)中，我們旨在展示在真實(shí)條件下使用深度學(xué)習(xí)病變分割框架的可行性，以及使用近紅外通道來(lái)提高其效率的潛力。

我們使用的主要工具是PytorchFaster-RCNNimplementa-tion，其中ResNet50骨干特征提取器在Image-Net上進(jìn)行了預(yù)訓(xùn)練，而整個(gè)網(wǎng)絡(luò)則在COCO'17上進(jìn)行了預(yù)訓(xùn)練。從從這個(gè)模型的快照開(kāi)始，我們繼續(xù)使用"近似聯(lián)合訓(xùn)練法"進(jìn)行訓(xùn)練：即來(lái)自分類(lèi)器、bbox回歸器的損耗和RPN-bbox回歸器加在一起，形成一個(gè)損耗，這個(gè)損耗在整個(gè)模型參數(shù)中被反向傳播。最后，我們?yōu)樽约旱脑u(píng)估方法選擇了IoU和分類(lèi)分?jǐn)?shù)閾值，而對(duì)于COCO的評(píng)估，我們將其保持在默認(rèn)值（IoU閾值=0.5，得分閾值=0.5）。

為了清楚地展示近紅外通道的附加價(jià)值，我們?cè)O(shè)立了兩個(gè)實(shí)驗(yàn)。在第一個(gè)實(shí)驗(yàn)中，被稱(chēng)為A，我們使用通道630納米，540納米，460納米作為三個(gè)通道輸入到一個(gè)香草預(yù)訓(xùn)練的Faster-RCNN模型。

在第二個(gè)實(shí)驗(yàn)中，B，我們即興創(chuàng)作了一個(gè)兩個(gè)并行的骨干結(jié)構(gòu)，為我們的輸入增加了三個(gè)通道。這些通道是850納米、980納米和閾值化的NDVI。第三個(gè)基本上是立方體的葉子區(qū)域的掩碼。在這個(gè)實(shí)驗(yàn)中取得了較高的mAP分?jǐn)?shù)（見(jiàn)表4）。

表4使用Pycocotools庫(kù)的Faster-RCNN檢測(cè)器的評(píng)估結(jié)果。平均精度以黑體字出現(xiàn)。這兩個(gè)表格分別指的是實(shí)驗(yàn)A和B。對(duì)于每個(gè)指標(biāo)，還提供了每個(gè)輸出類(lèi)別的分?jǐn)?shù)。結(jié)果是五重交叉驗(yàn)證的平均值。

為了詳細(xì)說(shuō)明這些結(jié)果，我們需要澄清COCO評(píng)估的一些概念。當(dāng)把地面真實(shí)箱體與探測(cè)結(jié)果相匹配時(shí)，COCO考慮了一個(gè)較大的探測(cè)數(shù)量，即max?ets，超過(guò)這個(gè)數(shù)量的所有探測(cè)都會(huì)被丟棄。這個(gè)閾值默認(rèn)設(shè)置為1、10和100。bbox_sizes表示用于評(píng)估的盒子的類(lèi)型。檢測(cè)根據(jù)其大小被分為小、中、大。這設(shè)法顯示了系統(tǒng)是如何在這些情況下分別形成的。

圖4收集了這兩個(gè)實(shí)驗(yàn)。我們對(duì)A和B的mAP值分別為16.0%和20.2%；這可能看起來(lái)很低，但我們應(yīng)該牢記實(shí)際溫室的操作條件，而不是實(shí)驗(yàn)室，這些圖像是在這種條件下捕獲的。我們的推測(cè)是:由于地面真實(shí)邊界框的大小和長(zhǎng)寬比的不同，再加上圖像中出現(xiàn)的不均勻分布，由于平均化而產(chǎn)生了較低的mAP值，而平均化是與此類(lèi)參數(shù)無(wú)關(guān)的。

表5

使用提議的評(píng)估方法的檢測(cè)結(jié)果。每張圖像都構(gòu)成一次檢測(cè)，從農(nóng)學(xué)家的角度看，這是有意義的，因?yàn)閮H僅是植物上存在病害就足以讓專(zhuān)家采取行動(dòng)。這兩個(gè)表格分別指的是實(shí)驗(yàn)A和B。對(duì)于每個(gè)指標(biāo)，還分別提供了每個(gè)類(lèi)別的得分。結(jié)果是五重交叉驗(yàn)證的平均值

最后，在b節(jié)中討論的第二個(gè)性能測(cè)量技術(shù)的結(jié)果顯示在表5中。同樣，在我們的模型中增加額外的通道作為輸入，再加上所使用的第二條主干線，顯然可以改善結(jié)果。這個(gè)評(píng)估技術(shù)的目的是回答專(zhuān)家的問(wèn)題"這個(gè)植物上是否存在病變？"。這個(gè)問(wèn)題很容易用對(duì)象檢測(cè)器來(lái)回答，它產(chǎn)生的結(jié)果在數(shù)字上很高（>90%）。

從結(jié)果中也可以看出，無(wú)論哪種指標(biāo)，該模型對(duì)LT的整體表現(xiàn)都更好。這可能是由于LT在葉子上有一個(gè)微妙的外觀，長(zhǎng)寬比大致恒定。相反，TA在視覺(jué)上更清晰，成長(zhǎng)和改變形狀的速度更快。因此，我們推測(cè)，LT例子的一致性使其檢測(cè)比TA的檢測(cè)更容易。

討論和結(jié)論

為了進(jìn)一步解釋我們的結(jié)果，我們需要考慮所提出的方法所評(píng)估的虛假檢測(cè)的類(lèi)型。一方面，假陽(yáng)性（FP）情況通常發(fā)生在模型將葉子形態(tài)（例如一個(gè)洞）解釋為病變，或者當(dāng)多次檢測(cè)包含地面時(shí)。這兩種情況的例子顯示在圖8a中。根據(jù)受FP影響的mAP的結(jié)果，在Faster-RCNN結(jié)構(gòu)中使用FPN模塊有助于克服檢測(cè)小病變的問(wèn)題，特別是在接種的早期階段出現(xiàn)。另一方面，影響mAR指標(biāo)的假陰性（FN）可能在兩種主要情況下出現(xiàn)。一種情況是，由于能見(jiàn)度低（圖8c），即使是專(zhuān)家也很難決定病變的存在與否。另一種情況是當(dāng)一個(gè)檢測(cè)占了多個(gè)相鄰的枯燥的地面真實(shí)箱（見(jiàn)圖8c，右）。COCO數(shù)據(jù)集格式支持這樣一個(gè)邊界盒的注釋屬性，稱(chēng)為"群"。然而，典型的使用情況是當(dāng)圖像中存在同一類(lèi)別的物體重疊的時(shí)候。在我們的案例中，即使有非常接近的病變實(shí)例，也不清楚在哪個(gè)界限之后它們應(yīng)該被稱(chēng)為"群"。這是由疾病的性質(zhì)決定的，它擴(kuò)展了迷宮式的模式。

使用后者的架構(gòu)，可以獲得更少的次級(jí)通道、需要一個(gè)額外的模塊將通道數(shù)量轉(zhuǎn)換為三個(gè)，以便將其送入主干網(wǎng)。這個(gè)K-to-Three通道的卷積層引入了一個(gè)問(wèn)題，即如何在已經(jīng)預(yù)訓(xùn)練過(guò)的骨干網(wǎng)旁邊訓(xùn)練額外的未訓(xùn)練過(guò)的模塊。即使近紅外提供了額外的輸入，也會(huì)導(dǎo)致更好的結(jié)果。我們嘗試著將其與其他預(yù)訓(xùn)練的骨干模塊一起進(jìn)行天真地訓(xùn)練，然而它產(chǎn)生的結(jié)果比預(yù)期的要低，這就是為什么我們把它放在未來(lái)的工作中。

最后，這項(xiàng)工作為T(mén)utaabsoluta和Leveillulataurica提供了一個(gè)公開(kāi)可用的多光譜數(shù)據(jù)集，并為它們?cè)诮臃N的早期階段的定位和分類(lèi)提供了一個(gè)基準(zhǔn)實(shí)驗(yàn)。據(jù)我們所知，這個(gè)數(shù)據(jù)集是獨(dú)一無(wú)二的。此外，我們還展示了多光譜數(shù)據(jù)的近紅外通道通過(guò)使用NDVI-630納米通道對(duì)在預(yù)處理過(guò)程中為背景提取提供了附加價(jià)值，并且可以通過(guò)在通常使用的RGB通道之上納入額外的通道來(lái)進(jìn)一步提高檢測(cè)結(jié)果。由此產(chǎn)生的數(shù)據(jù)集和方法可以很容易地應(yīng)用于溫室西紅柿栽培的圖像識(shí)別應(yīng)用，以達(dá)到疾病和寵物管理的目的。特別是在支持自動(dòng)圖像采集的系統(tǒng)中，如機(jī)器人和攝像設(shè)備的應(yīng)用。

圖8.(a)：由于對(duì)單一的地面實(shí)況進(jìn)行多次檢測(cè)而產(chǎn)生的假陽(yáng)性；(b)：由于能見(jiàn)度低，地面實(shí)況模糊不清。

(c):由于低能見(jiàn)度導(dǎo)致的假陰性例子和（d）："群"狀的病變?nèi)骸?/p>

圖9.使用Faster-RCNN

(a,b)：白粉病和（c,d）：番茄潛葉蛾。

摘自：A Multispectral Dataset for the Detection of Tuta Absoluta and Leveillula Taurica in Tomato Plants

P.S. Georgantopoulos, D. Papadimitriou , C. Constantinopoulos , T. Manios ,I.N. Daliakopoulos , D.Kosmopoulos