国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

北大智元聯合發布OmniManip:視覺語言模型賦能機器人高精度操作

   時間:2025-01-23 13:49 來源:ITBEAR作者:唐云澤

在探索具身智能領域的道路上,如何將視覺語言基礎模型(VLMs)應用于機器人以實現通用操作,一直是科研人員關注的焦點。這一目標的實現面臨兩大核心挑戰:VLMs缺乏精確的3D理解能力,以及難以輸出低層次的機器人動作。

傳統的VLMs主要通過對比學習范式訓練,以2D圖像和文本作為輸入,這限制了它們在3D空間中的理解和應用能力。同時,盡管將VLMs在機器人數據上進行微調以構建視覺-語言-動作(VLA)模型被視為一種有潛力的解決方案,但高昂的數據收集成本和模型的泛化能力限制,使得這一方案仍面臨諸多挑戰。

為了克服這些難題,北京大學與智元機器人團隊攜手提出了OmniManip架構。這一架構基于以對象為中心的3D交互基元,成功地將VLMs的高層次推理能力轉化為機器人的低層次高精度動作。OmniManip通過引入VLM規劃和機器人執行的雙閉環系統設計,有效解決了大模型幻覺問題和真實環境操作的不確定性,實現了操作性能的顯著提升。

OmniManip的關鍵設計包括基于VLMs的任務解析、以物體為中心的交互基元作為空間約束、閉環VLM規劃和閉環機器人執行。利用VLMs強大的常識推理能力,OmniManip能夠將任務分解為多個結構化階段,每個階段都明確指定了主動物體、被動物體和動作類型。通過3D基座模型生成任務相關物體的3D模型和規范化空間,OmniManip使得VLMs能夠直接在該空間中采樣3D交互基元,作為動作的空間約束,從而優化求解出主動物體在被動物體規范坐標系下的目標交互姿態。

在閉環VLM規劃階段,OmniManip將目標交互姿態下的主動/被動物體渲染成圖像,由VLMs進行評估與重采樣,實現VLMs對自身規劃結果的閉環調整。而在閉環機器人執行階段,通過物體6D姿態跟蹤器實時更新主動/被動物體的位姿,并將其轉換為機械臂末端執行器的操作軌跡,實現閉環執行。

OmniManip具備通用泛化能力,不受特定場景和物體的限制。這一特性使得OmniManip能夠被廣泛應用于數字資產自動標注/合成管道等領域,實現大規模的機器人軌跡自動采集。目前,研究團隊已經開源了泛化操作大規模數據集和對應的仿真評測基準,為相關領域的進一步研究提供了有力支持。

在智元機器人方面,其量產的第1000臺通用具身機器人已于本月正式下線。這批機器人中包括731臺雙足人形機器人(遠征A2/靈犀X1)和269臺輪式通用機器人(遠征A2-D/A2-W)。這一成果不僅展示了智元機器人在機器人量產方面的實力,也進一步驗證了OmniManip架構的有效性和實用性。

智元機器人的發展也備受關注。據悉,以“天才少年”身份加入華為的稚暉君已于2022年底宣布離職,并創業成立了智元機器人。2024年9月3日,智元機器人完成了A++++++輪融資,估值已超過70億元。這一輪融資得到了包括北汽、上汽、比亞迪在內的國內汽車巨頭的支持,為智元機器人的未來發展注入了強勁動力。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 成人精品视频在线观看完整版 | 日韩欧美亚洲综合一区二区 | 久久精品国产免费看久久精品 | 欧美日韩精品一区二区视频在线观看 | 丁香花在线高清免费观看 | 日本精品久久久久久久 | 亚洲欧洲自拍偷拍 | 精品视频网 | 亚洲自拍小视频 | 五月综合色婷婷影院在线观看 | 亚州男人的天堂 | 国产福利区一区二在线观看 | 亚洲精品综合网 | 制服丝袜天堂 | 国产黄色小视频 | 午夜视频在线观看按摩女 | 日日av| 免费日韩视频 | 99视频网址 | 日本免费一级片 | 亚洲xxxxx | 色婷婷亚洲十月十月色天 | 国产精品99一区二区三区 | 男人天堂v | 亚洲综合网站 | 亚洲国产成人综合精品2020 | 久久精品视频网站 | 最近中文字幕资源 | 黄色在线网站视频 | 在线国产片 | 女男羞羞视频网站免费 | 欧美乱妇高清无乱码在线观看 | 性天堂网| 日韩欧美色视频在线观看 | 久久99精品久久久久久噜噜 | 日韩视频专区 | 日韩欧美一区二区在线观看 | 国产不卡在线 | 欧美精品久久久久久久久大尺度 | 免费免费啪视频在线观播放 | 五月天婷婷网址 |