一、研究背景
隨著探月技術(shù)、空間技術(shù)等的不斷發(fā)展，在太空探索、深海作業(yè)、核輻射等無氧、高溫、高壓、強輻射以及一些存在化學腐蝕、粉塵的極端環(huán)境或密閉作業(yè)環(huán)境中迫切地需要機器人的參與，而全自主工作的智能機器人的應用目前還很難實現(xiàn)。因此，需要人工干預和機器人的配合來完成任務，這種情況下遙操作技術(shù)便可以滿足我們的需求。目前，機器人遙操作技術(shù)的研究已經(jīng)成為機器人領域最受關注的研究方向之一。機器人遙操作技術(shù)可以實現(xiàn)讓操作者通過在操作端發(fā)送指令，來控制作業(yè)端機器人完成場景作業(yè)，這樣操作者不用到達和接觸危險環(huán)境就可以實施目標任務。遙操作技術(shù)通過與MR混合現(xiàn)實、雙目立體視覺、力反饋等技術(shù)相結(jié)合，能夠給操作者提供十分真實的臨場體驗，可以提高操作的精準程度、便捷程度和操作效率。
二、目前存在的問題
1、若是以傳統(tǒng)相機傳輸?shù)亩S視頻畫面作為視景，操作者通過觀看二維平面圖像進行操作，無法形成立體視覺（又叫距離知覺或深度知覺），這會導致操作者無法準確判斷作業(yè)端頭與作業(yè)目標之間的空間距離，影響操作準確度和操作效率。
2、操作者無法感覺到作業(yè)端機器人/機械臂與操作對象之間的接觸力學反饋，不能準確判斷是不是已經(jīng)有效接觸，同樣導致操作精度和操作效率不夠高，還有誤操作的風險。
圖3 無接觸觸感(圖片來自麻省理工)
三、設計思路
1、通過雙目立體視覺實現(xiàn)對作業(yè)端的空間關系判斷
我們在觀看3D電影時，能夠體驗到空間深度和物體之間的相對位置感。這種距離感是通過特殊的拍攝技術(shù)和放映設備實現(xiàn)的，使得畫面中的物體看起來具有真實的立體效果。
類似的技術(shù)可應用于遙操作領域，通過雙目深度相機獲取作業(yè)端圖像，并對其進行進一步處理后傳輸至操作端的頭顯設備。操作人員佩戴頭顯設備時，雙眼所見畫面能夠在其腦海中產(chǎn)生空間距離感，從而形成準確的空間認知。
（1）作業(yè)端的雙目圖像采集
為解決基于傳統(tǒng)視頻畫面進行遙操作時無法形成立體視覺而難以準確判斷與操作目標之間距離的問題，采用雙目深度相機提供立體視覺。通過在場景中安裝雙目相機，實時捕捉任務圖像，使操作者能夠以立體化的視角感知操作目標的距離，從而高效、準確地完成操控任務。
圖4 雙目立體視覺
（2）操作端的雙目立體成像
操作者佩戴MR設備，將雙目相機采集的圖像經(jīng)圖像增強算法增強后，通過MR頭顯顯示，在MR頭顯中人眼可形成雙目視差，從而使操作者產(chǎn)生立體視覺。操作者沉浸到作業(yè)場景，通過操作端控制器遠程控制作業(yè)端機器人/機械臂運動，作業(yè)端機器人/機械臂位于生產(chǎn)加工環(huán)境中，通過安裝在末端的端頭工具執(zhí)行操控任務。
2、通過力反饋實現(xiàn)對接觸狀態(tài)的準確感知
觸覺在人們的工作、生活中扮演著重要角色，在進行精細操作時，手指的觸覺反饋幫助人們調(diào)整力度與角度。在傳統(tǒng)無力反饋系統(tǒng)中，由于缺乏真實觸覺信息，操作者往往需要依賴視覺來判斷物體的位置和狀態(tài)，這可能導致誤判。如果在執(zhí)行遙操作任務時，將作業(yè)端受到的力矩，準確、實時地反饋給操作端的操作人員，讓操作人員手有所感，就能夠降低操作難度，降低錯誤率并節(jié)省時間，實現(xiàn)更精準的操作。
（1）作業(yè)端力矩獲取
通過選用帶有力矩反饋的前端機械臂及作業(yè)端頭，能夠獲取操作時產(chǎn)生的力度信息。應注意需要根據(jù)業(yè)務需求選擇相應靈敏度，這是因為在醫(yī)療、制造或服務等不同領域，對靈敏度的要求可能會有所不同。例如，在醫(yī)療領域，機械臂需要具備高靈敏度，以便于進行微創(chuàng)手術(shù)；而在制造行業(yè)，則可能更注重穩(wěn)定性與負載能力。因此，根據(jù)實際應用場景選擇相應的靈敏度，可以確保機械臂在特定任務中發(fā)揮最佳性能。
采用可以接收和傳遞力矩反饋的操作端設備，可以將被操控對象所受力的信息反饋給操作者，使其能夠感受到實際操作過程中的觸覺體驗。這一功能對于提高遙操作的精準度至關重要。
四、實踐案例
基于和遠科技某遠端視覺與遙操作項目業(yè)務需求，構(gòu)建一個由雙目深度相機、力反饋系統(tǒng)、MR混合現(xiàn)實頭顯設備以及人和機器人之間的交互回路組成的綜合系統(tǒng)，可以實現(xiàn)讓操作者身臨其境地進行精細的機器人遙操作。這一系統(tǒng)旨在解決當前一些遙操作平臺所面臨的問題，如缺乏真實感、交互性能不足以及操作效率低下等。
（1）雙目立體視覺：雙目相機圖像采集與傳輸；
（2）MR混合現(xiàn)實：通過MR頭顯實現(xiàn)雙目立體視覺、混合現(xiàn)實功能；
（3）力反饋：通過力反饋實現(xiàn)真實操作體感；
（4）機器人實時控制。
1、雙目立體視覺
將雙目相機安裝固定于機器人頂部云臺上，計算機接收其通過數(shù)據(jù)總線實時傳輸?shù)膱D像，計算機對圖像進行處理后，再將結(jié)果傳輸至MR頭顯中顯示。同時，操作人員的頭部和手部姿態(tài)通過MR設備實時檢測并反饋給計算機，由計算機程序進一步處理，操作人員在操作端發(fā)出指令以控制作業(yè)端的機器人隨動，并根據(jù)需要調(diào)整觀察與操縱角度。
2、MR混合現(xiàn)實
MR頭顯設備顯示由雙目深度相機采集的圖像，操作人員通過觀看MR頭顯顯示的內(nèi)容，可形成立體視覺；基于圖像處理和人工智能技術(shù)，可實現(xiàn)混合現(xiàn)實功能，包括繪制控制器輔助信息、顯示當前畫面幀率等，協(xié)助工人完成任務。
3、力反饋
操作端力反饋設備通過接收由作業(yè)端機器人/機械臂與操作對象接觸傳輸?shù)牧胤答仈?shù)據(jù)，使操作者實時感知接觸力矩反饋。具體而言，當作業(yè)端機器人或機械臂施加力量于某一物體時，力反饋設備會將這些信息轉(zhuǎn)化為可感知的數(shù)據(jù)，通過操作端制動、壓力等方式反饋給操作者，從而使其能夠及時調(diào)整施加的力度，以確保工作的準確性，避免損壞目標物體。
實現(xiàn)這一過程需要深入研究機器人的手眼協(xié)調(diào)方法。在基于MR混合現(xiàn)實技術(shù)進行遙操作的場景中，系統(tǒng)內(nèi)部存在多個不同的坐標系，這些坐標系包括機器人自身的坐標系、相機捕獲圖像時所使用的相機坐標系、MR全局坐標系以及佩戴者所用MR頭顯的坐標系等。為了確保操作者能夠有效地控制機器人并獲得真實感知，需要建立這些不同坐標系之間的轉(zhuǎn)換關系，進而使控制環(huán)路中的操作人員獲得接近于自身手眼控制的真實體感。?
4、機器人實時控制
通過MR混合現(xiàn)實設備提供的視景，操作人員能夠直觀地觀察到作業(yè)環(huán)境及其變化，從而更有效地控制作業(yè)端機械臂的運動。在這一過程中，操作人員以操作端設備的位姿為依據(jù)，通過實時反饋的信息來調(diào)整機械臂的位置和姿態(tài)。這種方法不僅提高了操作者對工作狀態(tài)的感知能力，還增強了其在復雜任務中的應變能力。
五、總結(jié)和展望
從以上內(nèi)容可以看出，本案對遠端視覺和遙操作系統(tǒng)的研究，可以解決無立體視覺、無接觸觸感等問題，提高遙操作的準確度和操作效率，降低操作難度。同時，為未來智能化遙控應用的發(fā)展提供了基礎，有助于推動相關行業(yè)向更安全、更高效的方向邁進。從技術(shù)的發(fā)展角度看，主要包含以下兩個方面：（1）深度學習技術(shù)將在遙操作中發(fā)揮更大作用，提高智能化水平。（2）5G通信技術(shù)將顯著降低網(wǎng)絡延遲，提升遙操作的實時性。（1）市場需求：遙操作技術(shù)在多個領域需求旺盛，市場前景廣闊。（2）投資機會：隨著技術(shù)的發(fā)展和應用的擴展，遙操作領域?qū)⑽嗤顿Y。
掃一掃，更多精彩
