機(jī)器視覺農(nóng)業(yè)應(yīng)用 有助于釋放精準(zhǔn)農(nóng)業(yè)的全部潛力

許多不同的技術(shù)將使機(jī)器人技術(shù)向農(nóng)業(yè)領(lǐng)域過渡。有些技術(shù)需要專門為農(nóng)業(yè)開發(fā)，而其他領(lǐng)域已經(jīng)開發(fā)的技術(shù)可以適應(yīng)農(nóng)業(yè)領(lǐng)域，例如，自動(dòng)化車輛、人工智能和機(jī)器視覺。在這里我們會(huì)簡(jiǎn)要回顧從硬件到軟件、多機(jī)器人系統(tǒng)和人類機(jī)器人系統(tǒng)的各種使能技術(shù)的現(xiàn)狀、機(jī)會(huì)和益處。

機(jī)器人平臺(tái)

農(nóng)業(yè)平臺(tái)可以分為特定于領(lǐng)域（設(shè)計(jì)用于在預(yù)定義的領(lǐng)域中對(duì)給定作物執(zhí)行特定任務(wù)）和特定于任務(wù)（設(shè)計(jì)用于在不同領(lǐng)域執(zhí)行多個(gè)任務(wù)）的機(jī)器人和通用平臺(tái)。兩者都可能扮演重要角色。由于農(nóng)場(chǎng)通常有與眾不同的基礎(chǔ)設(shè)施，早期的機(jī)器人只能在一個(gè)特定的農(nóng)場(chǎng)上操作，而且只能在有限的范圍內(nèi)跨不同的農(nóng)場(chǎng)工作。

與當(dāng)前的農(nóng)用車輛類似，我們可能會(huì)看到適應(yīng)特定任務(wù)的機(jī)器人的組合，以及能夠執(zhí)行多種不同任務(wù)的多用途機(jī)器人的出現(xiàn)，類似于現(xiàn)代拖拉機(jī)的無(wú)數(shù)使用案例。一個(gè)常見的挑戰(zhàn)是，目前對(duì)于現(xiàn)實(shí)世界的條件，如泥漿、雨、霧、低溫和高溫，大多數(shù)機(jī)器人平臺(tái)都不夠穩(wěn)健。例如，目前大多數(shù)的機(jī)械手都不具備處理溫室濕度的能力。

機(jī)電一體化和電子產(chǎn)品

快速還原技術(shù)和低成本處理器的發(fā)展導(dǎo)致3D打印和“創(chuàng)客”技術(shù)的使用激增，提高了低成本機(jī)器人平臺(tái)在各種應(yīng)用中的潛力。嵌入式軟件的使用，使高度可配置和特定于應(yīng)用程序的平臺(tái)成為可能，這些平臺(tái)可以使用通用的硬件模塊并適應(yīng)各種角色。

雖然這類方法已廣泛應(yīng)用于無(wú)人機(jī)和小型機(jī)器人，但在更大范圍內(nèi)，機(jī)器人技術(shù)在農(nóng)業(yè)食品領(lǐng)域仍有很大的發(fā)展空間。從原型遷移到成熟的商業(yè)平臺(tái)需要解決的問題包括穩(wěn)健性和可靠性、電源管理（在某些情況下，平臺(tái)需要能夠全天候長(zhǎng)時(shí)間運(yùn)行）、可用性（平臺(tái)必須能夠被非專業(yè)人員有效使用）、維護(hù)（例如自我診斷）以及與移動(dòng)通信的集成。

進(jìn)一步的挑戰(zhàn)包括更好地描述與這些機(jī)器人相關(guān)的土壤的機(jī)械特性，能夠在惡劣天氣下操作的加固平臺(tái)，實(shí)時(shí)傳感和控制算法，以使運(yùn)動(dòng)策略適應(yīng)不斷變化的環(huán)境，以及與其他性能共同設(shè)計(jì)運(yùn)動(dòng)方式。例如，農(nóng)作物/水果收集是如何影響機(jī)器人移動(dòng)的？我們需要什么樣的運(yùn)動(dòng)能力才能有效地感知農(nóng)作物？

運(yùn)動(dòng)方式

農(nóng)業(yè)機(jī)器人需要在充滿挑戰(zhàn)的動(dòng)態(tài)和半結(jié)構(gòu)化環(huán)境中移動(dòng)。地面機(jī)器人需要在不平坦、不均勻、泥濘的土壤上行走，而飛行器需要在不同的天氣條件下長(zhǎng)時(shí)間運(yùn)行。目前的農(nóng)業(yè)機(jī)器人主要是通過借用其他部門的技術(shù)（如無(wú)人駕駛飛機(jī)）或作為現(xiàn)有平臺(tái)（如自主產(chǎn)業(yè)者）的附件來(lái)設(shè)計(jì)的。因此，它們可能沒有針對(duì)其任務(wù)進(jìn)行充分優(yōu)化，或者可能保留了現(xiàn)有平臺(tái)的一些限制。

無(wú)人機(jī)可以使用多旋翼或固定翼平臺(tái)飛行（前者具有精確的位置，后者具有延長(zhǎng)的飛行時(shí)間），而地面平臺(tái)需要能夠在溫室中的鐵軌和混凝土地板上、多通道中的礫石或草地上以及露天場(chǎng)地中極其泥濘和困難的地形上移動(dòng)。

因此，我們將看到各種各樣的機(jī)器人以不同的方式發(fā)展起來(lái)。與拖拉機(jī)相比，這些機(jī)器人重量極輕，但由于機(jī)器人（或自主拖拉機(jī)）要執(zhí)行更多的能源需求任務(wù)，機(jī)器人的尺寸和重量也會(huì)增加。今天，大多數(shù)農(nóng)業(yè)機(jī)器人依靠電池和電動(dòng)機(jī)運(yùn)行。

未來(lái)的發(fā)展將取決于電池技術(shù)的發(fā)展，但在可預(yù)見的未來(lái)，我們可能會(huì)看到電動(dòng)和內(nèi)燃機(jī)在這一領(lǐng)域的發(fā)展。任何機(jī)器人平臺(tái)的一個(gè)關(guān)鍵方面是重量和運(yùn)動(dòng)系統(tǒng)對(duì)地面和作物的影響，因此使用了不同的平臺(tái)，包括履帶式和多輪機(jī)器人。

平臺(tái)還取決于所需的任務(wù)，例如，重型作物收割（如大量可耕地或塊根蔬菜）需要比軟水果采摘更重的平臺(tái)。腿式機(jī)器人有潛力最小化它們的足跡，同時(shí)最大化運(yùn)動(dòng)的靈活性（例如側(cè)向移動(dòng)或在作物之間的狹窄空間內(nèi)移動(dòng)等）。它們的靈活性，加上攜帶專業(yè)的傳感器，將有助于釋放精準(zhǔn)農(nóng)業(yè)的全部潛力。

操縱器

未來(lái)農(nóng)業(yè)的一系列任務(wù)將需要機(jī)械手，取代靈巧的人工勞動(dòng)，降低成本和提高質(zhì)量，或者比目前更大的機(jī)械如屠宰收割機(jī)，其能更有選擇性地進(jìn)行操作。這方面的工作正在進(jìn)行中，軟抓具用于選擇性收獲蘑菇、甜椒、番茄、覆盆子和草莓的實(shí)驗(yàn)工作。其他應(yīng)用，如花椰菜收獲可以用切割工具來(lái)完成，但也需要溫和地處理和儲(chǔ)存采摘的作物。在開闊的土地上，對(duì)于受保護(hù)的作物，有一些與收割互補(bǔ)的任務(wù)，機(jī)械手也可以發(fā)揮重要作用。這包括機(jī)械除草、精確噴灑和其他形式的檢查和處理。在食品處理應(yīng)用中，如大型自動(dòng)化倉(cāng)庫(kù)，自動(dòng)化程度的提高也需要機(jī)械手。

感覺和知覺系統(tǒng)

自動(dòng)機(jī)器人系統(tǒng)中傳感器系統(tǒng)的集成，為新的測(cè)量提供了潛在可能，否則這些測(cè)量是無(wú)法獲得的。例如，目前的工作是通過應(yīng)用宇宙射線傳感器，來(lái)解決移動(dòng)機(jī)器人對(duì)大量水分的大范圍實(shí)地測(cè)繪?；谛l(wèi)星或無(wú)人駕駛飛機(jī)的遙感能力的重大進(jìn)步為以前所未有的時(shí)間和空間分辨率監(jiān)測(cè)作物生長(zhǎng)狀況提供了機(jī)會(huì)，同時(shí)成本低廉。農(nóng)民可以免費(fèi)獲得許多開源衛(wèi)星數(shù)據(jù)集（例如來(lái)自歐洲航天局的數(shù)據(jù)）。

機(jī)器人平臺(tái)還提供了利用地理標(biāo)記和采樣傳感器的即時(shí)結(jié)果（如激光誘導(dǎo)擊穿光譜）對(duì)土壤進(jìn)行鑒定，或以系統(tǒng)和無(wú)污染的方式安全收集樣本供以后分析。使用小型機(jī)器人和車載安全收集系統(tǒng)，將進(jìn)一步提高使用機(jī)器人土地管理系統(tǒng)的監(jiān)管效率和可靠性。

本土化繪圖

隨著實(shí)時(shí)運(yùn)動(dòng)學(xué)（RTK）的部署，全球定位系統(tǒng)導(dǎo)航在農(nóng)業(yè)中的應(yīng)用變得幾乎無(wú)處不在，實(shí)時(shí)運(yùn)動(dòng)學(xué)允許拖拉機(jī)和聯(lián)合收割機(jī)等大型農(nóng)業(yè)機(jī)械的自動(dòng)定位精確到厘米。最近，僅使用全球定位系統(tǒng)信號(hào)數(shù)據(jù)處理的方法已經(jīng)顯示出在不需要額外無(wú)線電信標(biāo)的情況下提供同等精度的前景。準(zhǔn)確的定位數(shù)據(jù)并不局限于使用GPS的無(wú)人駕駛車輛，根據(jù)所需的速度和精度，可以使用視覺基準(zhǔn)標(biāo)記或光學(xué)、聲學(xué)、無(wú)線電信標(biāo)來(lái)提供精確的定位系統(tǒng)。

為了確保機(jī)器人車輛的安全運(yùn)行，在現(xiàn)場(chǎng)檢測(cè)物體和風(fēng)險(xiǎn)時(shí)也需要傳感器信息。為了盡量減少對(duì)作物的損害，在許多應(yīng)用中，在許多應(yīng)用中，相對(duì)定位和導(dǎo)航的準(zhǔn)確性比RTK 、GPS提供的絕對(duì)導(dǎo)航和位置的準(zhǔn)確性更重要，以盡量減少對(duì)農(nóng)作物的損害。例如，希望駕駛機(jī)器人車輛以厘米的精度跟隨作物線或跟隨先前拖拉機(jī)操作留下的軌跡。基于全球定位系統(tǒng)、慣性導(dǎo)航系統(tǒng)、激光雷達(dá)、視覺等組合的多模態(tài)系統(tǒng)在提供精確和魯棒的解決方案方面具有進(jìn)一步的潛力，而不需要信標(biāo)等現(xiàn)場(chǎng)基礎(chǔ)設(shè)施。

例如，人們希望駕駛機(jī)器人車輛以厘米的精度沿著作物線行駛，或沿著以前拖拉機(jī)作業(yè)留下的軌跡行駛?；贕PS、INS、激光雷達(dá)、視覺等組合的多模態(tài)系統(tǒng)在提供精確和穩(wěn)健的解決方案方面有提升空間，而不需要信標(biāo)等現(xiàn)場(chǎng)基礎(chǔ)設(shè)施。通過使用RTK全球定位系統(tǒng)被動(dòng)記錄種子和雜草的地理空間位置，已經(jīng)進(jìn)行了幾次嘗試來(lái)利用種子和雜草測(cè)繪概念。農(nóng)業(yè)機(jī)器人可以進(jìn)一步裝備模式分類技術(shù)，利用計(jì)算機(jī)視覺預(yù)測(cè)不同雜草的密度和種類。其他方法側(cè)重于無(wú)人機(jī)［28］捕獲的多光譜圖像中密集的語(yǔ)義雜草分類。

隨著先進(jìn)視覺系統(tǒng)（包括深度感知、激光雷達(dá)等掃描傳感器以及用于決策和分類的人工智能）的加入，精度的概念可以提升到另一個(gè)層次。地面機(jī)器人提供的精確控制激光雷達(dá)等掃描傳感器位置的能力，通過使用同步定位和制圖（SLAM）技術(shù)將精確定位數(shù)據(jù)與測(cè)距儀掃描相結(jié)合，為恢復(fù)整個(gè)作物的定量生物量估計(jì)值，以及相關(guān)表型數(shù)據(jù)（如生長(zhǎng)率和形態(tài)學(xué)）開辟了可能性。

同樣，機(jī)器人傳感平臺(tái)提供了對(duì)昆蟲害蟲或傳粉昆蟲運(yùn)動(dòng)、及其物種形成進(jìn)行大面積分析的潛力，單獨(dú)使用3D麥克風(fēng)或與光反向散射測(cè)量相結(jié)合，以實(shí)現(xiàn)特征飛行軌跡的日光測(cè)量?？梢詾榧膊　⒑οx或雜草建立專題地圖，從而實(shí)現(xiàn)可變速率處理，這是精準(zhǔn)農(nóng)業(yè)的一個(gè)關(guān)鍵概念。

作物監(jiān)測(cè)

陸地和空中平臺(tái)的使用，可以用數(shù)據(jù)融合和SLAM技術(shù)將第三維精確地添加到作物管理中。這可以與虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)（VR/AR）系統(tǒng)相結(jié)合，為單個(gè)工廠規(guī)模提供監(jiān)控和干預(yù)的可能性。

長(zhǎng)期數(shù)據(jù)收集將進(jìn)一步使作物建模成為可能，例如，跟蹤作物冠層的發(fā)展，從而改進(jìn)對(duì)未來(lái)生長(zhǎng)模式的預(yù)測(cè)。這種地面和空中機(jī)器人平臺(tái)為實(shí)現(xiàn)局部極高信噪比、高分辨率感測(cè)提供了額外的前景，而這種高分辨率感測(cè)可能無(wú)法通過被動(dòng)遠(yuǎn)程（衛(wèi)星）或半遠(yuǎn)程（旋轉(zhuǎn)翼或固定翼無(wú)人機(jī)）感測(cè)技術(shù)來(lái)實(shí)現(xiàn)。從最簡(jiǎn)單的層面來(lái)說，這些機(jī)器人平臺(tái)提供了提取非常接近（10毫米以內(nèi)）反射和透射的潛力。

多光譜成像（MSI）數(shù)據(jù)有助于彌補(bǔ)由于單個(gè)作物組織的表面拓?fù)浣Y(jié)構(gòu)和方向而導(dǎo)致的錯(cuò)誤測(cè)量。在更高級(jí)別的水平上，使用機(jī)器人操縱器來(lái)定位農(nóng)作物或牲畜周圍的傳感器，可以通過施加人工刺激來(lái)測(cè)試和檢查反應(yīng)。例如，通過在作物組織的特定區(qū)域應(yīng)用聚焦光束，接著調(diào)節(jié)光譜和強(qiáng)度，有可能在植物的特定部分（例如莖、幼葉、衰老的老葉等）內(nèi)驅(qū)動(dòng)光化學(xué)。

通過這種方式，可以從植物中獲得比單獨(dú)使用被動(dòng)固定成像探測(cè)器所能獲得的更多的表型信息。同樣，水果、蔬菜和肉類中的細(xì)胞結(jié)構(gòu)和排列也可以用高分辨率進(jìn)行無(wú)損檢測(cè)，如繪制水果的皮下?lián)p傷或肉類的脂肪比例。通過將MSI數(shù)據(jù)與其他數(shù)據(jù)源進(jìn)行融合，可以對(duì)作物的養(yǎng)分和水分脅迫進(jìn)行評(píng)估。將這些評(píng)估與作物生長(zhǎng)模型相結(jié)合，可以更好地預(yù)測(cè)產(chǎn)量和損失，從而改進(jìn)農(nóng)業(yè)管理和更好的食品供應(yīng)鏈管理。

機(jī)器人視覺

機(jī)器視覺方法，為實(shí)現(xiàn)食品生產(chǎn)中機(jī)器人系統(tǒng)的自主性提供了重要的機(jī)會(huì)?；谝曈X的作物監(jiān)測(cè)任務(wù)包括表型、將待收割的單個(gè)作物進(jìn)行分類以及質(zhì)量分析，例如檢測(cè)疾病的發(fā)作，所有這些都具有高通量數(shù)據(jù)。視覺系統(tǒng)也需要對(duì)水果、植物、牲畜、人等對(duì)象進(jìn)行檢測(cè)、分割、分類和跟蹤，對(duì)農(nóng)作物和雜草進(jìn)行語(yǔ)義分割等，使現(xiàn)場(chǎng)的機(jī)器人系統(tǒng)能夠進(jìn)行場(chǎng)景分析（理解“是什么”“在哪里”“什么時(shí)候”）和安全操作。

應(yīng)用于農(nóng)業(yè)的機(jī)器人視覺需要對(duì)光照、天氣條件、圖像背景和物體外觀的變化具有穩(wěn)健性，例如當(dāng)植物生長(zhǎng)時(shí)，同時(shí)要確保足夠的精度和實(shí)時(shí)性能，以支持機(jī)器人系統(tǒng)的車載決策和視覺引導(dǎo)控制。需要有效的視覺方法，集成次優(yōu)視圖規(guī)劃，以確保所有相關(guān)信息可用于機(jī)器人決策和控制，例如當(dāng)作物的果實(shí)或可收割部分被葉子或雜草遮擋時(shí)?；?D點(diǎn)云分析的方法，例如從立體圖像或RGB-D相機(jī)獲得的方法，給機(jī)器人在具有挑戰(zhàn)性的農(nóng)業(yè)環(huán)境中實(shí)現(xiàn)穩(wěn)健的感知帶來(lái)了希望。

機(jī)器視覺已經(jīng)在動(dòng)物監(jiān)測(cè)方面產(chǎn)生了早期影響，例如用于豬、牛和家禽的體重估計(jì)、身體狀況監(jiān)測(cè)和疾病檢測(cè)。個(gè)體動(dòng)物識(shí)別，例如使用適應(yīng)于人類面部生物測(cè)定學(xué)工作的面部識(shí)別技術(shù)，將允許對(duì)個(gè)體動(dòng)物進(jìn)行更有針對(duì)性的精確護(hù)理和及時(shí)干預(yù)，從而確保它們的健康，并優(yōu)化農(nóng)場(chǎng)生產(chǎn)。

機(jī)器人視覺通常緊密依賴于從真實(shí)世界的數(shù)據(jù)資料進(jìn)行機(jī)器學(xué)習(xí)，深度神經(jīng)網(wǎng)絡(luò)等方法獲得了牽引力，進(jìn)一步提高了機(jī)器人通過從大數(shù)據(jù)中學(xué)習(xí)來(lái)共享知識(shí)的可能性。利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)作為牽引力，并進(jìn)一步提高機(jī)器人通過從大數(shù)據(jù)中學(xué)習(xí)來(lái)分享知識(shí)的可能性。

機(jī)器人農(nóng)業(yè)中機(jī)器人視覺和機(jī)器感知的一個(gè)公開挑戰(zhàn)是實(shí)現(xiàn)開放式學(xué)習(xí)，提高適應(yīng)季節(jié)變化、新出現(xiàn)的病蟲害、新作物品種等的能力。大多數(shù)現(xiàn)有工作只考慮機(jī)器人視覺系統(tǒng)部署前的初始訓(xùn)練階段，而不考慮在長(zhǎng)期運(yùn)行過程中學(xué)習(xí)模型的持續(xù)適應(yīng)。開發(fā)用于農(nóng)業(yè)機(jī)器人視覺系統(tǒng)的“地面真實(shí)感”和半監(jiān)督學(xué)習(xí)的用戶界面，也是一個(gè)開放性挑戰(zhàn)。