版權歸原作者所有，如有侵權，請聯系我們

ChatGPT、Midjourney 和 Sora 等人工智能（AI）工具將人類天馬行空的想法轉化為了海量的數字內容。

然而，由于訓練數據等限制，這些模型仍難以掌握現實世界的真正物理規(guī)律，也難以達到機器人在現實世界中有效自主交互所需的準確性、精確性和可靠性。

今天，強化學習大牛 Pieter Abbeel 團隊研發(fā)的“機器人大腦”，則將數字數據中的內容成功帶入了現實世界——

由 Abbeel 和他的學生創(chuàng)建的強化學習機器人平臺公司 Covariant，基于自己的真實、復雜機器人數據集與海量的互聯網數據，推出了一個機器人基礎模型（RFM-1）。

據介紹，在識別了圖像、感官數據和文本的模式后，該技術讓機器人有能力處理物理世界中的突發(fā)狀況。即使機器人從未見過香蕉，它也知道如何拿起香蕉。

它還能用簡單的英語做出反應，就像聊天機器人一樣。如果你告訴它“拿起香蕉”，它就知道是什么意思。如果你告訴它“拿起一個黃色的水果”，它也能理解。

它甚至還能生成視頻，預測當它試圖拿起香蕉時可能會發(fā)生什么。這些視頻在倉庫中沒有實際用途，但它們顯示了機器人對周圍事物的理解。

此外，該模型不僅可以通過一般的互聯網數據進行訓練，還可以通過豐富的物理現實世界交互數據進行訓練。

對此，Covariant 的首席執(zhí)行官 Peter Chen 表示：“數字數據中的內容可以轉移到現實世界中。”

模擬現實世界的“機器人大腦”

OpenAI、Midjourney 等公司開發(fā)了聊天機器人、圖像生成器和其他在數字世界中運行的人工智能工具。
在這項工作中，Pieter Abbeel（總裁和首席科學家）與兩位華人科學家——Rocky Duan（CTO）、Peter Chen（CEO），利用 ChatGPT 等聊天機器人背后的技術打造了可以在物理世界中導航的人工智能系統——RFM-1。

圖｜三位 Covariant 創(chuàng)始人。Rocky Duan、Pieter Abbeel 和 Peter Chen（從左到右）。

據官方博客介紹，RFM-1 可以幫助分類機器人與物理世界交互，通過視頻或文本輸入（用戶可以像聊天機器人一樣與它們對話），機器人可以“學習”如何在工廠中行動，而無需一長串指令。

RFM-1 是一個多模態(tài)任意序列（multimodal any-to-any sequence）模型，擁有 80 億參數，可對文本、圖像、視頻、機器人動作和一系列數字傳感器讀數進行訓練。

RFM-1 將所有 token 化（tokenizing）到一個共同空間，并執(zhí)行自回歸下一個 token 預測，從而利用其廣泛的輸入和輸出模態(tài)實現多樣化應用。

例如，它可以為場景分析任務（如分割和識別）執(zhí)行圖像到圖像學習；可以將文本指令與圖像觀察相結合，生成所需的抓取動作或運動序列；也可以將場景圖像與目標抓取圖像配對，以視頻形式預測結果，或模擬過程中可能出現的數字傳感器讀數。

值得關注的是，RFM-1 在物理和語言理解方面具有強大的功能。?學習世界模型是物理學模擬的未來。

RFM-1 對物理的理解來自于對視頻生成的學習：通過輸入初始圖像和機器人動作的 token，它可以作為物理世界模型來預測未來的視頻 token。

動作條件視頻預測任務允許 RFM-1 學習低層次的世界模型，模擬世界每幾分之一秒的變化情況。有時，預測機器人動作的高級結果更為有效。當然，由于使用了結構化多模態(tài)數據集等，RFM-1 也能提供高級世界模型。

圖｜RFM-1 生成的圖像顯示，如果從起始手提箱（左圖）中挑選了特定物品（中圖），它可以預測手提箱會是什么樣子（右圖）。

以上案例表明，RFM-1 能夠理解機器人的規(guī)定動作，并能推理出這些動作是否會成功，以及垃圾箱的內容將如何變化，而這完全是通過對下一個 token 的預測來實現的。 同時，從這些世界建模任務中產生的物理理解力還能直接增強 RFM-1 的其他能力，如將圖像映射到機器人行動的能力。 另外一點，有了 RFM-1，人們可以通過語言與機器人協作。 據介紹，RFM-1 能夠將文本 token 作為輸入進行處理，并將文本 token 作為輸出進行預測，這使得任何人都可以在數分鐘內（而不是數周或數月內）快速編程新的機器人行為，降低了機器人新行為編程的門檻。 例如，RFM-1 允許機器人操作員和工程師使用英語指導機器人執(zhí)行特定的分揀操作。

此外，RFM-1 不僅可以通過理解自然語言指令讓機器人更容易完成任務，還能讓機器人向人類尋求幫助。 例如，如果機器人在拾取某個物品時遇到困難，它可以將這一情況告知機器人操作員或工程師。此外，它還能提出為何在挑選物品時遇到困難。然后，操作員可以向機器人提供新的行動策略（如通過移動或撞擊物體來擾動物體），從而找到更好的抓取點。在這之后，機器人就可以將這種新策略應用到未來的行動中。

開啟機器人基礎模型新紀元

盡管 RFM-1 在物理和語言理解方面具有強大的功能。然而，RFM-1 本身還具有一些局限性。

首先，盡管在真實生產數據上的離線測試結果很有希望，但 RFM-1 還沒有部署給真實客戶。Covariant 表示，他們知道如何為現有客戶帶來價值的第一手經驗，預計將在未來數月內向他們推出 RFM-1。通過將 RFM-1 部署到生產中，他們希望收集到的數據能幫助發(fā)現 RFM-1 當前的故障模式，并加速 RFM-1 的學習。

另外，受限于模型的上下文長度，RFM-1 作為一個世界模型的運行分辨率（約 512x512 像素）和幀速率（約 5 fps）都相對較低。雖然 RFM-1 已經可以開始捕捉大型物體的變形，但還不能很好地模擬小型物體/快速運動。他們還觀察到，世界模型的預測質量與可用數據量之間存在密切聯系。未來，他們希望通過即將投入生產的機器人，將數據收集速度至少提高 10 倍。

最后，雖然 RFM-1 可以開始理解基本的語言命令，從而對其行為進行局部調整，但整體協調邏輯在很大程度上仍然是用 Python 和 C++ 等傳統編程語言編寫的。隨著通過擴展數據來擴大機器人控制的粒度和任務的多樣性，他們對未來人們可以使用語言來編寫整個機器人程序感到興奮，這將進一步降低部署新機器人站的門檻。

紐約大學心理學和神經科學名譽教授 Gary Marcus 認為，這種技術在倉庫和其他可以接受錯誤的情況下可能很有用。但“在制造工廠和其他潛在危險的環(huán)境中部署這種技術會更加困難，風險也更大”。

盡管如此，Abbeel 團隊依然認為，RFM-1 是機器人基礎模型新紀元的開端——

通過賦予機器人類似人類的快速推理能力，RFM-1 向提供所需的自主性邁出了一大步，以解決愿意從事高度重復性和危險任務的工人日益短缺的問題，最終在未來幾十年內提高生產力和經濟增長。

“如果它能預測視頻中的下一幀畫面，就能確定正確的后續(xù)策略，” Abbeel 說。

參考鏈接：

https://covariant.ai/insights/introducing-rfm-1-giving-robots-human-like-reasoning-capabilities/https://www.nytimes.com/2024/03/11/technology/ai-robots-technology.html

歡迎掃碼關注深i科普！

我們將定期推出

公益、免費、優(yōu)惠的科普活動和科普好物！