智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
智能控制
機器人
儀器儀表
物聯網
3D打印
工業軟件
回放
品牌
其他品牌
據清華大學深圳國際研究生院消息報道，清華大學丁文伯副教授的智能感知與機器人(Smart Sensing and Robotics, SSR)課題組與合作者提出了一個基于視觸融合的透明物體抓取框架，該框架模仿了人在低可見度情況下抓取物體的動作，并利用視觸融合來實現透明物體的檢測和抓取。
透明物體在生活中十分常見，但需要使用機器人來識別并操作它卻非常困難，如何解決復雜場景下的透明物體抓取問題已經成為了機器人領域公認的非常重要且具有挑戰的課題。
透明物體存在較少的紋理信息，所產生的紋理大都是由于光線折射、反射造成的，這就給透明物體的檢測帶來了很大的困難。其次透明物體表面光滑，即使抓取位置存在較小偏差，也可能導致抓取任務的失敗。
丁文伯副教授的課題組針對該問題設計了具有針對性的解決辦法，該方法不僅具有極高的抓取成功率，還可以實現玻璃碎片、堆積、重疊、起伏、沙子和水下場景下的物體抓取。首先，團隊提出了一個名為SimTrans12 K的多場景合成抓取數據集以及高斯掩模注釋方法，基于TaTa抓手，團隊提出了一種名為透明物體抓取卷積神經網絡的抓取網絡，用于抓取位置檢測，該網絡在合成和真實場景中都表現出良好的性能。
受人類抓握的啟發，團隊設計了一種觸覺校準方法和一種視覺與觸覺融合分類方法，和直接抓取相比，抓握成功率提高了36.7%，分類準確率提高了39.1%。此外，該系統還增加了觸覺高度傳感模塊和觸覺位置探索模塊，解決了在不規則和視覺上無法檢測到的場景中抓取透明物體的問題，實驗結果驗證了該框架的有效性。
目前，該成果以“利用視觸融合解決復雜背景下的透明物體抓取問題”(Visual-Tactile Fusion for Transparent Object Grasping in Complex Backgrounds)為題，在《IEEE機器人匯刊》(IEEE Transactions on Robotics，TRO)上發表。 清華大學深圳國際研究生院數據與信息研究院丁文伯副教授為論文的通訊作者，劉厚德研究員為共同通訊作者，清華大學深圳國際研究生院2023級博士研究生李壽杰、2021級碩士研究生于海鑫為論文的共同第一作者。論文作者還包括上海大學人工智能研究院副研究員葉林奇，清華大學博士后夏崇坤，清華大學深圳國際研究生院王學謙教授、張曉平教授。
同時，該項目得到了國家自然科學基金、清華大學深圳國際研究生院鵬瑞青年教師啟航計劃、清華大學深圳國際研究生院交叉科研創新基金、廣東省基礎與應用基礎研究基金、清華大學國強研究院等項目的資助。
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
