每經記者｜鄭(zheng)雨(yu)航    每經編輯｜蘭素英    

圖片(pian)來源(yuan)：視覺中(zhong)國-VCG41N1188747468

“你有沒有想過，你只需告訴你的家庭助理機器人：‘請加熱我的午餐’，它就會自己找到微波爐。這是不是很神奇？”

近日(ri)，微軟在(zai)(zai)其官網發表了(le)一篇名為《機(ji)器(qi)(qi)人 ChatGPT：設計原則和模型(xing)能力（ChatGPT for Robotics: Design Principles and Model Abilities）》論(lun)文，公布(bu)了(le)他們正在(zai)(zai)把(ba)ChatGPT應用于機(ji)器(qi)(qi)人上(shang)的(de)研究成(cheng)果。

文中稱(cheng)，這(zhe)項研究的目標是(shi)觀察ChatGPT是(shi)否(fou)可以(yi)超(chao)越文本思考(kao)，并(bing)對物理世界進行推理來(lai)幫助完成機器人(ren)任務。人(ren)類目前(qian)仍然嚴(yan)重(zhong)依賴手寫代碼來(lai)控(kong)制(zhi)機器人(ren)。該(gai)團(tuan)隊(dui)一直在探索如何改變這(zhe)一現實，并(bing)使用OpenAI的新人(ren)工智能語言模型ChatGPT實現自然的人(ren)機交互。

研究人(ren)員希望ChatGPT能(neng)夠幫助人(ren)們更輕松地與機器(qi)人(ren)互動(dong)，而無(wu)需學習復(fu)雜的(de)編程(cheng)語言或有關(guan)機器(qi)人(ren)系統的(de)詳細(xi)信息。其中的(de)關(guan)鍵(jian)難題就是教ChatGPT如何使用物(wu)理定律、操作環境的(de)背景(jing)以及了解(jie)機器(qi)人(ren)的(de)物(wu)理行為如何改(gai)變世界狀態，并(bing)以此來解(jie)決指定的(de)任(ren)務(wu)。

針對微軟的此項研究，倫敦大學學院（UCL）名譽教授和計算機科學家彼得·本特利博士（Dr. Peter John Bentley）在接受《每日經濟新聞》記者采訪時表示，人類在未來用AI工具如ChatGPT來控制(zhi)機器人(ren)是完(wan)全可(ke)行的路徑。

但他同(tong)時強調，就目前(qian)而言，ChatGPT還存在很(hen)多漏(lou)洞，在功能性(xing)(xing)、保障性(xing)(xing)，以及(ji)安全性(xing)(xing)上(shang)缺乏基本(ben)的能力。

ChatGPT如何控制機器人？

ChatGPT是一種基(ji)于大量文本和人類交互語(yu)料(liao)庫而(er)訓練(lian)的(de)語(yu)言模型(xing)，使其(qi)能夠對各種提示和問(wen)題生(sheng)成(cheng)連貫且語(yu)法正確的(de)響應。

研究人員在該文章中表示，當前的機器人運轉始于工程師或技術用戶，他們需要將任務的要求轉換為系統代碼。工程師在機器人運轉的循環中，需要編寫新的代碼和規范來糾正機器人的行為。總的來說，這個過程緩慢、昂貴且低效，因為不僅需要具有深厚機器人知識的(de)高(gao)技能用戶，而且(qie)需要用戶參與(yu)多次(ci)交互才能使機器人(ren)正常工作。

圖片來源：論文截圖

而(er)ChatGPT解鎖(suo)了一種新的機器(qi)人范式，并允(yun)許潛在(zai)的非技術用(yong)戶在(zai)循環中，在(zai)監控機器(qi)人性能的同時向(xiang)大型語言模型 （LLM） 提供高級反饋。

通過遵(zun)循(xun)設(she)計者的(de)設(she)計原(yuan)則(ze)，ChatGPT 可以(yi)(yi)為(wei)機器人(ren)(ren)場景生(sheng)成代碼。在(zai)無需(xu)任何微(wei)調的(de)情況(kuang)下(xia)，人(ren)(ren)們(men)就可以(yi)(yi)利用LLM的(de)知識來(lai)控制各種任務(wu)的(de)不同機器人(ren)(ren)外形。通過反(fan)復試驗，微(wei)軟的(de)研(yan)究(jiu)人(ren)(ren)員(yuan)構建了一種方法和設(she)計原(yuan)則(ze)，專門(men)為(wei)機器人(ren)(ren)任務(wu)編寫提示：

1. 首先，定義一組高級機器人 API 或函數庫。該(gai)庫可(ke)以針對特定的(de)(de)機(ji)器人(ren)(ren)類型進(jin)行設(she)計(ji)，并且應該(gai)從機(ji)器人(ren)(ren)的(de)(de)控制(zhi)棧或(huo)感知庫映射到現有的(de)(de)低層次具體實(shi)現。為高級 API 使用描述性(xing)名稱(cheng)非常重要，這樣(yang) ChatGPT 就可(ke)以推理它(ta)們的(de)(de)行為。

2. 接下來，為 ChatGPT 編寫一個文本提示，描述任務目標，同時明確說明高級庫中的哪些函數可用。提示還可以包(bao)含有(you)關任(ren)務約束的信息，或者 ChatGPT 應該如何組織它的答案，包(bao)括使用特定(ding)的編程語言，或使用輔助解析組件(jian)等。

3. 用戶通過直接檢查或使用模擬器來評估 ChatGPT 的代碼輸出。如果(guo)需要，用(yong)戶(hu)使用(yong)自(zi)然語言(yan)向 ChatGPT 提供有關答案(an)質量和安(an)全(quan)性(xing)的反(fan)饋。

4.當用戶對解決方案感到滿意時，就可以將最終的代碼部署到機器人上。

ChatGPT+機器人，將帶來什么？

文章中，微軟(ruan)的研究團隊展示了在人(ren)們的工作中，ChatGPT解決(jue)機器(qi)人(ren)難題的多個示例(li)，以及(ji)在操(cao)縱無人(ren)機和導航領域(yu)的復雜機器(qi)人(ren)部署(shu)。

研究人(ren)員讓 ChatGPT 訪問控制一臺(tai)真正的無人(ren)機(ji)的全部(bu)功能(neng)，事實證明(ming)，非(fei)技術(shu)用戶和機(ji)器人(ren)之間(jian)可(ke)以(yi)用非(fei)常直觀(guan)且基(ji)于自然語(yu)言的交流。

當(dang)用戶(hu)的指(zhi)令模(mo)棱兩可時，ChatGPT 會提出澄清問題，并為無人(ren)機編寫(xie)復雜(za)的代碼(ma)結構，例如飛行之字（zig-zag）圖案(an)，以(yi)便(bian)可視化地檢查貨架；甚(shen)至還能給用戶(hu)來一張自拍(pai)。

圖片來源：論文截圖

研(yan)(yan)究(jiu)人(ren)員要(yao)求(qiu) ChatGPT 編寫一(yi)個算法(fa)(fa)，讓無人(ren)機(ji)在(zai)不撞(zhuang)上(shang)障礙物的情況下，在(zai)空中(zhong)達到(dao)目(mu)標。研(yan)(yan)究(jiu)人(ren)員告訴該模型，這架無人(ren)機(ji)有一(yi)個前向距離傳感器，ChatGPT 立即為算法(fa)(fa)編碼了(le)大部分關(guan)鍵構建塊(kuai)。

研究人員表示，這項(xiang)任務需(xu)要人類進(jin)行(xing)(xing)一些對話，但(dan)ChatGPT 僅使用(yong)自然語言反(fan)饋進(jin)行(xing)(xing)本(ben)地(di)化代碼改進(jin)的能(neng)力給他們留下(xia)了深刻的印象(xiang)。

微軟的研究人員還在模(mo)擬(ni)的工(gong)業檢測場景中使用(yong)了ChatGPT，并使用(yong)了Microsoft AirSim模(mo)擬(ni)器，該模(mo)型能(neng)夠有效(xiao)地解析用(yong)戶的高級意圖和(he)幾何線(xian)索，以(yi)準確(que)控制(zhi)無人機(ji)。

圖(tu)片(pian)來源(yuan)：論(lun)文截圖(tu)

當把ChatGPT用(yong)于機(ji)械(xie)臂(bei)的(de)(de)操(cao)作場景時，研究者使用(yong)對話反饋(kui)來教模型如何將最初提(ti)供的(de)(de) API 組合成更(geng)復雜的(de)(de)高級函數，即，ChatGPT自己內部編(bian)碼的(de)(de)函數。使用(yong)基于課程的(de)(de)策略，該模型能夠將這些(xie)學到的(de)(de)技能邏輯地鏈接(jie)在一起，以執行堆疊塊等(deng)操(cao)作。

此外，該模型還(huan)展示了一個有(you)趣的(de)示例，即在用木(mu)塊構建微軟logo時橋(qiao)接文(wen)本域和(he)物(wu)理域。ChatGPT不僅能夠(gou)從其內部知識(shi)庫中(zhong)調用微軟的(de)logo，還(huan)能夠(gou)用SVG的(de)代碼“繪制”這個logo，然(ran)后利用上面學到的(de)技(ji)能來(lai)確定現有(you)的(de)機器(qi)人動作和(he)可以組成它的(de)物(wu)理形式。

圖片來源：論文截圖

談及微軟在論文中的演示示例，本特利博士告訴每經記者，“微軟已經展示了一些簡單的操作，ChatGPT可以用來生成計算機代碼，這些代碼可以控制機器人，所以用ChatGPT來控制機器人是完全可行的方案。”。

但本特利博士認為，在現階段來說，ChatGPT雖然能夠生成計算機代碼，但機器人控制的問題在于，計算機代碼可能需要為特定的硬件量身定制才能正常工作。ChatGPT目前使用的是它已(yi)經學習(xi)到(dao)的代碼(ma)示例，它（ChatGPT）或許并不(bu)兼容最新的硬件。

“所以，ChatGPT不太可能與人類開發人員相提并論。它只是提供了一個簡單的捷徑，可以幫助人們學習基礎知識，但它缺乏作為開發人員的基本能力。”

ChatGPT輸出仍需評估

研(yan)究人員在(zai)該文中表示，在(zai)做某事（行(xing)動）之前能夠感知世界(jie)是打造(zao)機器人系統的(de)基礎。因此，他們決定測試 ChatGPT 對(dui)這個概念的(de)理解(jie)，并(bing)要求它(ta)探索(suo)一(yi)個環境，直到找(zhao)到用戶指定的(de)對(dui)象(xiang)。研(yan)究者允許模型訪問對(dui)象(xiang)檢測和對(dui)象(xiang)距離 API 等(deng)功能，并(bing)驗證它(ta)生成(cheng)的(de)代(dai)碼是否成(cheng)功實現了感知-操作循(xun)環（Perception-action loops）。

在實驗(yan)角色中，研究者進行了(le)額(e)外的實驗(yan)，以評估ChatGPT是(shi)(shi)否能夠根據(ju)傳感器(qi)(qi)實時反饋(kui)決(jue)定(ding)機器(qi)(qi)人應該去哪里(li)，而(er)不是(shi)(shi)讓ChatGPT生成一(yi)個(ge)代碼(ma)循環來做出這些決(jue)定(ding)。有趣的是(shi)(shi)，結果(guo)驗(yan)證了(le)人們可(ke)以在聊天的每一(yi)步提供相機圖像的文本描(miao)述，并且ChatGPT模型能夠弄(nong)清楚(chu)如何在機器(qi)(qi)人到達特定(ding)物體之前控制它。

該文稱，微(wei)軟發(fa)布這些技(ji)術的(de)目的(de)是將機(ji)器人技(ji)術推廣到(dao)更廣泛的(de)受(shou)眾，研究人員相(xiang)信，基(ji)于語言的(de)機(ji)器人控制(zhi)系(xi)統是把(ba)機(ji)器人從科學實驗室帶到(dao)日常(chang)用(yong)戶手中的(de)基(ji)礎。

但是(shi)，微(wei)軟的(de)研(yan)究者也表(biao)示，ChatGPT 的(de)輸出(chu)不(bu)應該(gai)在(zai)(zai)沒有仔(zi)細分析的(de)情況下直接部署在(zai)(zai)機器人(ren)上。通過在(zai)(zai)模擬環境中(zhong)獲得實驗(yan)結果，能夠在(zai)(zai)未來現實部署之前對算法進行評估，并采取必要的(de)安全預防措施(shi)。

本特利博士對此表示認同，他向每經記者進一步解釋稱，就目前而言，ChatGPT還存在很多漏洞，在功能性、保障性，以及安全性上缺乏基本的能力。

“例如，ChatGPT可(ke)以編(bian)寫計算(suan)機(ji)代碼(ma)，但(dan)它不能(neng)做任何測試(shi)，也(ye)不知道它輸出的(de)代碼(ma)運行起(qi)來是否(fou)有效。研究人員需要更好的(de)反饋循環，以便測試(shi)結果在(zai)改進的(de)代碼(ma)中，否(fou)則ChatGPT的(de)輸出可(ke)能(neng)仍然是不合適的(de)(不安全、或不能(neng)工作)。”

封面圖(tu)片來源：視覺中國-VCG41N1188747468