封面文章|盧榮勝，史艷瓊，胡海兵。機(jī)器人視覺三維成像技術(shù)綜述[J]。激光與光電子學(xué)進(jìn)展，2020,57（4）:040001。

在智能制造過程中，通過傳統(tǒng)的編程來執(zhí)行某一特定動作的機(jī)器人，越來越難以滿足制造業(yè)向前發(fā)展的需求。在很多應(yīng)用場合下，需要為工業(yè)機(jī)器人安裝一雙眼睛，即機(jī)器人視覺成像感知系統(tǒng)，使機(jī)器人具備識別、分析、處理等更高級的功能，可以正確對目標(biāo)場景的狀態(tài)進(jìn)行判斷與分析，做到靈活地自行解決發(fā)生的問題。

視覺成像的一個(gè)重要特點(diǎn)是從圖像中獲取目標(biāo)的信息，可分為二維和三維視覺成像兩種形式。

二維視覺技術(shù)主要根據(jù)灰度或彩色圖像中的像素灰度特征獲取目標(biāo)中的有用信息，以及基于輪廓的圖案匹配驅(qū)動，識別物體的紋理、形狀、位置、尺寸和方向等。但二維視覺技術(shù)難以實(shí)現(xiàn)三維高精度測量與定位，且二維形狀測量的一致性和穩(wěn)定性也較差，易受照明條件等影響，二維機(jī)器視覺技術(shù)的局限性已經(jīng)顯現(xiàn)，因此迫切需要發(fā)展三維視覺技術(shù)。

三維視覺技術(shù)能夠產(chǎn)生二維視覺不能產(chǎn)生的形狀或深度信息，且計(jì)算機(jī)技術(shù)、并行處理、人工智能、神經(jīng)元網(wǎng)絡(luò)和深度學(xué)習(xí)等學(xué)科的快速發(fā)展，也促進(jìn)了對機(jī)器人視覺成像系統(tǒng)與復(fù)雜視覺過程的深入研究，為三維視覺成像技術(shù)研究及應(yīng)用奠定了良好的基礎(chǔ)。

在智能制造領(lǐng)域，機(jī)器人視覺主要被用來代替人工視覺和拓展人工視覺的功能，高效、快速、準(zhǔn)確地完成測量、檢測、識別、定位等任務(wù)，而這些任務(wù)的實(shí)現(xiàn)都是基于二維或三維視覺成像完成的。合肥工業(yè)大學(xué)盧榮勝教授課題組針對智能制造領(lǐng)域機(jī)器人視覺感知中的三維視覺成像技術(shù)進(jìn)行了綜述，系統(tǒng)地總結(jié)了一些有代表性的機(jī)器人視覺成像方法的特點(diǎn)，探究了機(jī)器人三維視覺成像技術(shù)的發(fā)展趨勢。

機(jī)器人視覺成像的結(jié)構(gòu)形式

機(jī)器人視覺系統(tǒng)的主要功能是模擬人眼視覺成像與人腦智能判斷和決策功能，采用圖像傳感技術(shù)獲取目標(biāo)對象的信息，通過對圖像信息提取、處理并理解，最終用于機(jī)器人系統(tǒng)對目標(biāo)實(shí)施測量、檢測、識別與定位等任務(wù)，或用于機(jī)械人自身的伺服控制。

在工業(yè)應(yīng)用領(lǐng)域，最具有代表性的機(jī)器人視覺系統(tǒng)就是機(jī)器人手眼系統(tǒng)。

根據(jù)成像單元安裝方式不同，機(jī)器人手眼系統(tǒng)分為兩大類：固定成像眼看手系統(tǒng)（Eye-to-Hand）與隨動成像眼在手系統(tǒng)(Eye-in-Hand, or Hand-eye)，如下圖1所示。

圖 1   兩種機(jī)器人手眼系統(tǒng)的結(jié)構(gòu)形式，(a)眼在手機(jī)器人系統(tǒng)，（b）眼看手機(jī)器人系統(tǒng)

在固定成像眼看手系統(tǒng)中，視覺成像單元安裝在機(jī)器人本體外的固定位置，在機(jī)器人工作過程中不隨機(jī)器人一起運(yùn)動，當(dāng)機(jī)器人或目標(biāo)運(yùn)動到機(jī)械臂可操作的范圍時(shí)，機(jī)械臂在視覺感知信息的反饋控制下，向目標(biāo)移動，對目標(biāo)進(jìn)行精準(zhǔn)操控。固定成像眼看手系統(tǒng)的優(yōu)點(diǎn)是具有全局視場，標(biāo)定與控制簡單，抗震性能好，姿態(tài)估計(jì)穩(wěn)定等。但分辨率低，容易產(chǎn)生較大的定位誤差和遮擋問題。

在隨動成像眼在手系統(tǒng)中，成像單元安裝在機(jī)器人手臂末端，隨機(jī)器人一起運(yùn)動。隨動成像眼在手系統(tǒng)常用于在限視場內(nèi)操控目標(biāo)，優(yōu)點(diǎn)是空間分辨率高，不會像固定成像眼看手系統(tǒng)那樣產(chǎn)生機(jī)械臂遮擋成像視場問題，缺點(diǎn)是成像單元單次視場有限。

有些應(yīng)用場合，為了更好地發(fā)揮機(jī)器人手眼系統(tǒng)的性能，充分利用固定成像眼看手系統(tǒng)全局視場和隨動成像眼在手系統(tǒng)局部視場高分辨率和高精度的性能，可采用兩者混合協(xié)同模式，如用固定成像眼看手系統(tǒng)負(fù)責(zé)機(jī)器人的定位，使用隨動成像眼在手系統(tǒng)負(fù)責(zé)機(jī)器人的定向；或者利用固定成像眼看手系統(tǒng)估計(jì)機(jī)器人相對目標(biāo)的方位，利用隨動成像眼在手系統(tǒng)負(fù)責(zé)目標(biāo)姿態(tài)的高精度估計(jì)等，如圖2所示。

圖 2   機(jī)器人協(xié)同視覺系統(tǒng)原理圖

機(jī)器人視覺三維成像方法

3D視覺成像可分為光學(xué)和非光學(xué)成像方法。目前應(yīng)用最多的還是光學(xué)方法，其包括：飛行時(shí)間法、激光掃描法、激光投影成像、立體視覺成像等。

飛行時(shí)間3D成像

飛行時(shí)間（TOF）相機(jī)每個(gè)像素利用光飛行的時(shí)間差來獲取物體的深度。目前已經(jīng)有飛行時(shí)間面陣相機(jī)商業(yè)化產(chǎn)品，如Mesa Imaging AG SR-4000， PMD Technologies Cam Cube 3.0，微軟Kinect V2等。

TOF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集，其特點(diǎn)是：檢測速度快、視野范圍較大、工作距離遠(yuǎn)、價(jià)格便宜，但精度低，易受環(huán)境光的干擾。例如Camcueb3.0具有可靠的深度精度（<3mm @ 4m)，每個(gè)像素對應(yīng)一個(gè)3D數(shù)據(jù)。

掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法。掃描測距是利用一條準(zhǔn)直光束通過1D測距掃描整個(gè)目標(biāo)表面實(shí)現(xiàn)3D測量的。主動三角法是基于三角測量原理，利用準(zhǔn)直光束、一條或多條平面光束掃描目標(biāo)表面完成3D成像，如圖3所示。色散共焦通過分析反射光束的光譜，獲得對應(yīng)光譜光的聚集位置， 如圖4所示。

圖 3   線結(jié)構(gòu)光掃描三維點(diǎn)云生成示意圖

圖 4   色散共焦掃描三維成像示意圖

掃描3D成像的最大優(yōu)點(diǎn)是測量精度高。其中色散共焦法還有其它方法難以比擬的優(yōu)點(diǎn)，如非常適合測量透明物體、高反與光滑表面的物體。但缺點(diǎn)是速度慢、效率低；用于機(jī)械手臂末端時(shí)，可實(shí)現(xiàn)高精度3D測量，但不適合機(jī)械手臂實(shí)時(shí)3D引導(dǎo)與定位，因此應(yīng)用場合有限。另外主動三角掃描在測量復(fù)雜結(jié)構(gòu)面形時(shí)容易產(chǎn)生遮擋，需要通過合理規(guī)劃末端路徑與姿態(tài)來解決。

結(jié)構(gòu)光投影3D成像

結(jié)構(gòu)光投影三維成像目前是機(jī)器人3D視覺感知的主要方式。

結(jié)構(gòu)光成像系統(tǒng)是由若干個(gè)投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：單投影儀-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等。結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標(biāo)物體投射特定的結(jié)構(gòu)光照明圖案，由相機(jī)攝取被目標(biāo)調(diào)制后的圖像，再通過圖像處理和視覺模型求出目標(biāo)物體的三維信息。

根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。

單次投影3D主要采用空間復(fù)用編碼和頻率復(fù)用編碼形式實(shí)現(xiàn)。由于單次投影曝光和成像時(shí)間短，抗振動性能好，適合運(yùn)動物體的3D成像，如機(jī)器人實(shí)時(shí)運(yùn)動引導(dǎo)，手眼機(jī)器人對生產(chǎn)線上連續(xù)運(yùn)動產(chǎn)品進(jìn)行抓取等操作。但是深度垂直方向上的空間分辨率受到目標(biāo)視場、鏡頭倍率和相機(jī)像素等因素的影響，大視場情況下不容易提升。

多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問題。不足之處在于：1）對于連續(xù)相移投影方法，3D重構(gòu)的精度容易受到投影儀、相機(jī)的非線性和環(huán)境變化的影響；2）抗振動性能差，不合適測量連續(xù)運(yùn)動的物體；3）在Eye-in-Hand視覺導(dǎo)引系統(tǒng)中，機(jī)械臂不易在連續(xù)運(yùn)動時(shí)進(jìn)行3D成像和引導(dǎo)；4）實(shí)時(shí)性差，不過隨著投影儀投射頻率和CCD/CMOS圖像傳感器采集速度的提高，多次投影方法實(shí)時(shí)3D成像的性能也在逐步改進(jìn)。

對于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進(jìn)行視覺成像；但對于大反射率光滑表面和鏡面物體3D成像，結(jié)構(gòu)光投影不能直接投射到被成像表面，需要借助鏡面偏折法。

偏折法對于復(fù)雜面型的測量，通常需要借助多次投影方法，因此具有多次投影方法相同的缺點(diǎn)。另外偏折法對曲率變化大的表面測量有一定的難度，因?yàn)闂l紋偏折后反射角的變化率是被測表面曲率變化率的2倍，因此對被測物體表面的曲率變化比較敏感，很容易產(chǎn)生遮擋難題。

立體視覺3D成像

立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息，如圖5所示。

圖 5  立體視覺三維成像示意圖

立體視覺可分為被動和主動兩種形式。

被動視覺成像只依賴相機(jī)接收到的由目標(biāo)場景產(chǎn)生的光輻射信息，該輻射信息通過2D圖像像素灰度值進(jìn)行度量。被動視覺常用于特定條件下的3D成像場合，如室內(nèi)、目標(biāo)場景光輻射動態(tài)范圍不大和無遮擋；場景表面非光滑，且紋理清晰，容易通過立體匹配尋找匹配點(diǎn)；或者像大多數(shù)工業(yè)零部件，幾何規(guī)則明顯，控制點(diǎn)比較容易確定等。

主動立體視覺是利用光調(diào)制（如編碼結(jié)構(gòu)光、激光調(diào)制等）照射目標(biāo)場景，對目標(biāo)場景表面的點(diǎn)進(jìn)行編碼標(biāo)記，然后對獲取的場景圖像進(jìn)行解碼，以便可靠地求得圖像之間的匹配點(diǎn)，再通過三角法求解場景的3D結(jié)構(gòu)。主動立體視覺的優(yōu)點(diǎn)是抗干擾性能強(qiáng)、對環(huán)境要求不高（如通過帶通濾波消除環(huán)境光干擾），3D測量精度、重復(fù)性和可靠性高；缺點(diǎn)是對于結(jié)構(gòu)復(fù)雜的場景容易產(chǎn)生遮擋問題。

性能比較

1. 類似于飛行時(shí)間相機(jī)、光場相機(jī)這類的相機(jī)，可以歸類為單相機(jī)3D成像范圍，它們體積小，實(shí)時(shí)性好，適合隨動成像眼在手系統(tǒng)執(zhí)行3D測量、定位和實(shí)時(shí)引導(dǎo)。但是，飛行時(shí)間相機(jī)、光場相機(jī)短期內(nèi)還難以用來構(gòu)建普通的隨動成像眼在手系統(tǒng)，主要原因如下：

1）飛行時(shí)間相機(jī)空間分辨率和3D精度低，不適合高精度測量、定位與引導(dǎo)。

2）對于光場相機(jī)，目前商業(yè)化的工業(yè)級產(chǎn)品只有為數(shù)不多的幾家，如德國Raytrix，雖然性能較好，空間分率和精度適中，但價(jià)格貴，使用成本太高。

圖 6   隨動成像眼在手系統(tǒng)機(jī)器人3D視覺成像優(yōu)選方案

2. 結(jié)構(gòu)光投影3D系統(tǒng)，精度和成本適中，有相當(dāng)好的應(yīng)用市場前景。它由若干個(gè)相機(jī)-投影儀組成的，如果把投影儀當(dāng)作一個(gè)逆向的相機(jī)，可以認(rèn)為該系統(tǒng)是一個(gè)雙目或多目3D三角測量系統(tǒng)。

3. 被動立體視覺3D成像，目前在工業(yè)領(lǐng)域也得到較好應(yīng)用，但應(yīng)用場合有限。因?yàn)閱文苛Ⅲw視覺實(shí)現(xiàn)有難度，雙目和多目立體視覺要求目標(biāo)物體紋理或幾何特征清晰。

4. 結(jié)構(gòu)光投影3D、雙目立體視覺3D都存在下列缺點(diǎn)：體積較大，容易產(chǎn)生遮擋。針對這個(gè)問題雖然可以增加投影儀或相機(jī)覆蓋被遮擋的區(qū)域，但會增加成像系統(tǒng)的體積，減少在Eye-in-Hand系統(tǒng)中應(yīng)用的靈活性。

總結(jié)

雖然光學(xué)3D視覺成像測量方法種類繁多，但能夠安裝在工業(yè)機(jī)器人上，組成一種合適的隨動成像眼在手系統(tǒng)，對位置變動的目標(biāo)執(zhí)行3D成像測量、引導(dǎo)機(jī)器人手臂準(zhǔn)確定位和實(shí)施精準(zhǔn)操作的方法有限。因?yàn)閺墓I(yè)應(yīng)用的角度來說，我們更關(guān)心的是3D視覺傳感器的精度、速度、體積與重量。鑒于機(jī)器人末端能夠承受的端載荷有限，允許傳感器占用的空間有限，傳感器在滿足成像精度的條件下，重量越輕體積越小也就越實(shí)用。所以，對于隨動成像眼在手系統(tǒng)，最佳3D成像方法是采用被動單目（單相機(jī)）3D成像方法，這樣不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難題。

課題組介紹

  合肥工業(yè)大學(xué)盧榮勝教授科研團(tuán)隊(duì)20多年來主要從事機(jī)器視覺與光學(xué)測量技術(shù)研究，主要研究方向包括：三維機(jī)器視覺及其應(yīng)用、自動光學(xué)檢測技術(shù)、變形應(yīng)變光學(xué)全場測量技術(shù)、光學(xué)微納測量技術(shù)、數(shù)字圖像處理及應(yīng)用等。重點(diǎn)聚焦于機(jī)器視覺在人工智能、集成電路、機(jī)器人、平板顯示、手機(jī)、新能源、汽車等行業(yè)，開展機(jī)器視覺應(yīng)用基礎(chǔ)和工程技術(shù)應(yīng)用研究。

  主持承擔(dān)的主要科研項(xiàng)目有：國家重大科學(xué)儀器專項(xiàng)“平板顯示屏自動光學(xué)檢測儀器開發(fā)與應(yīng)用”，國家重點(diǎn)研發(fā)計(jì)劃“三維光學(xué)傳感器及圖像數(shù)據(jù)采集關(guān)鍵技術(shù)”，國家科技支撐項(xiàng)目“材料微納結(jié)構(gòu)機(jī)械力學(xué)性能測量技術(shù)的研究”、國家863專項(xiàng)“精密組裝生產(chǎn)線的高速高精度視覺在線檢測技術(shù)”，國家自然科學(xué)基金項(xiàng)目“提高相移條紋投影三維測量精度的主值相位反向誤差補(bǔ)償法”等國家級和省部級項(xiàng)目20余項(xiàng)，產(chǎn)學(xué)研合作項(xiàng)目幾十項(xiàng)，項(xiàng)目總經(jīng)費(fèi)1億多元。在機(jī)器視覺領(lǐng)域已經(jīng)培養(yǎng)博士和碩士研究生100余人。

課題組合影

原文下載：機(jī)器人視覺三維成像技術(shù)綜述

免責(zé)聲明：

網(wǎng)站內(nèi)容來源于互聯(lián)網(wǎng)，由網(wǎng)絡(luò)編輯負(fù)責(zé)審查，目的在于傳遞信息，提供專業(yè)服務(wù)，不代表本網(wǎng)站平臺贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。如因內(nèi)容、版權(quán)問題存在異議的，請與我們?nèi)〉寐?lián)系，我們將協(xié)調(diào)給予處理（按照法規(guī)支付稿費(fèi)或刪除），聯(lián)系方式：ahos@aiofm.ac.cn 。網(wǎng)站平臺將加強(qiáng)監(jiān)控與審核，一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容，按國家法規(guī)處理，處理時(shí)間不超過24小時(shí)。