關節機器人具備柔性高、定位準確及運行穩定等特點，因此在自動化物流領域得到廣泛應用。關節機器人的引入，極大地推動了物流自動化的發展，提高了物流效率，降低了人力成本。關節機器人在物流行業的應用，包括拆碼垛、分揀、上下料等。關節機器人實現貨物單元的準確抓取有兩種解決方案，一種是人為的初始化設定，通過夾具等其它輔助工具，使得工件每次到達指定的位置。另一種是搭載視覺系統，通過視覺精確定位，實現機器手準確抓取。隨著科技的進展以及生產環境的復雜化，要求機器人完成更高精度、更復雜環境的任務。商超行業貨物單元種類繁多，貨物單元的外形、外貌等均存在較大差異。現有的物流設備無法針對不同的垛形、不同的貨物單元等實現精確定位，導致現有的自動化設備無法作業。目前，學術界和工業界正在大力探索人工智能技術在不同領域的應用，而視覺技術亦是目前國內外研究的熱點。近年來在ECCV、 CVPR 等國外計算機視覺頂級會議和雜志，不斷有新的“深度學習”網絡模型被提出。本項目基于回歸思想搭建深度學習網絡，實現了商超貨物單元的圖像分割。同時結合雙目視覺系統，實現對貨物單元的空間坐標精確定位。

一、視覺系統在物流行業應用的優勢

視覺系統解決方案是一項綜合工程，包括圖像處理、光學成像、傳感器技術、計算機軟硬件技術等。一個典型的視覺應用系統，包括圖像捕捉、光源系統、圖像算法模塊、智能判斷決策模塊和機械控制執行模塊等。本項目的視覺系統結合了雙目視覺技術及深度學習技術，大大提高了視覺系統的普適性、精確度及穩定性。

1.雙目視覺的應用

雙目視覺識別技術的應用可以更加便捷地獲取三維空間中的物體距離信息，提高信息獲取的效率與準確性。雙目視覺技術避免了對外界特殊光源的依賴，同時能夠準確獲取物體的距離信息。另外，利用計算機技術對獲取到的三維空間物體距離信息進行分析以及處理，可以較好的獲得更加深層次的語義信息。傳統的視覺技術在進行信息獲取時必須要借助外界特殊光源，通過光的反射信息達到語義理解的目的。因此傳統的視覺技術普適性不高，對于復雜的場景無法準確理解。同時雙目視覺技術可以解決三維空間的識別問題，將視覺技術的應用范圍大大擴展。

雙目視覺識別系統不需要大型設備，識別系統只有簡單的硬件組成，因此，雙目視覺系統柔性高，可擴展性強。同時，計算機技術的優勢也可以在系統中得到充分的應用，從而提高雙目視覺識別技術運行的可靠性。雙目視覺識別技術的應用可以解決傳統機器人信息獲取困難等問題，提高機器人應用的適用范圍，推動機器人的智能化發展。

2.“深度學習”技術的應用

“深度學習”是機器學習中的一個分支，也是一類模式識別方法的統稱。深度學習結構包含多個隱藏層的多層感知器結構，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，從而達到識別、判斷及分析等功能。基于卷積運算的神經網絡系統是深度學習研究的重要方向，該研究方法在瑕疵檢測、圖像識別、文字識別（OCR）、人臉識別、指紋識別、醫學診斷等領域均取得了很好的研究成果。深度學習技術使得視覺系統能夠像人腦一樣識別物體特征，大大提高了視覺系統的普適性。傳統的視覺技術借助算法工具包，可以快速方便地對圖像信號進行預處理，獲取圖像的特征信息。因此，深度學習技術的引入，可以有效解決識別種類多，特征復雜等應用場景。

二、物流方案

1.整體物流流程

商超周轉倉貨物單元種類繁多，吞吐量大，響應節拍快。

圖1為該項目部分物流布局圖。該部分物流線實現的功能是將緩存在庫區的貨物單元，拆垛、輸送到指定出庫區域。其作業流程為：上位系統下達出庫指令，AGV接收指令后前往暫存庫區取貨，隨后AGV將貨物單元由A處運送到B處，然后退出作業工位；貨物單元在B處就位后觸發拆垛系統，視覺系統開始對來料進行識別定位，隨后關節機器手對貨物進行準確抓取、搬運到輸送線；最后貨物單元跟隨輸送線到達指定出庫區域。整個作業過程無需人工干預，實現全自動化，信息化作業。

2.視覺拆垛作業流程

該項目采用雙目結構光相機進行圖像采集。相機安裝在相機支架上，拾取裝置不得進入相機視野。托盤貨物尺寸為1000×1200×1600（mm），為了保證圖像采集視野，要求相機距離托盤貨物最大尺寸不小于1140mm。為了保證系統的穩定性及準確性，相機安裝必須牢固可靠，機器手運動及物流設備帶來的震動對相機不應產生任何影響。另外，相機必須在機器手運動半徑以外，確保相機與機器手不發生任何干涉。相機安裝示意圖如圖2。

本項目采用的結構光雙目視覺系統采集的數據流包括RGB彩色圖像及點云數據。雙目相機的精度為1mm@1m（在1米高度處，精度為1mm）。在商超拆垛作業場景下，通過該圖像設備采集的點云數據噪音較多，通過單一的機器學習算法很難達到去噪音的目的。因此，在處理三維點云數據時，需要結合二維圖像的特征提取，實現點云數據去噪。該任務環境要求實現1000種紙箱的自動精確抓取，傳統的視覺技術難以滿足如此多種類的圖像處理要求，因此，該項目基于深度學習模型，建立了圖像分割的神經網絡模型。該模型能夠對圖像中的紙箱進行實例分割，得到每個紙箱獨立的掩模（mask）。將實例分割得到的掩模映射到點云數據上，可以去除點云數據中的噪聲點。當獲取每個紙箱去噪的點云數據后，通過機器學習算法可以計算出每個紙箱的中心坐標，最后將中心坐標位置反饋給機器手的PLC實現精確定位。

雙目視覺系統與機器人配合，實現自動拆垛的作業流程為：當系統就位后，上位系統向視覺系統發送指令，視覺系統被觸發后，開始圖像采集。雙目視覺系統自動識別出垛形以及計算出目標物的空間位置信息、并發送給機器人。機器人根據收到的目標物的位置信息，去拾取該目標紙箱，隨后雙目視覺系統再次進行圖像采集和數據計算。機器人運動到輸送線上方，并且將目標紙箱放置到輸送線上。機器人返回到垛形上方，根據視覺系統的指令拾取目標紙箱。系統不斷的循環上述步驟，直到完成任務。機器視覺系統流程圖，如圖3。

三、總結

視覺引導關節機器人拆垛系統的成功運行，實現了商超行業多種類貨物自動拆垛的功能，推進了物流業由勞動密集型行業轉向技術密集型行業發展，推動了物流機器人的智能化發展，提高了物流機器人的工作效率與工作質量，大量節約了人力成本。另外，該項目的成功落地，也為深度學習此類前沿的人工智能技術提供了較好的應用場景，擴展了人工智能技術的應用范圍。