OpenAI的研究人員在即將發(fā)表的一篇論文《靈巧的手工操作》中描述了一個(gè)系統(tǒng)，該系統(tǒng)使用了一個(gè)強(qiáng)化模型，在這個(gè)模型中，人工智能通過嘗試和錯(cuò)誤來學(xué)習(xí)，指導(dǎo)機(jī)器人用最先進(jìn)的精度抓取和操作物體。更讓人印象深刻的是，它是完全數(shù)字化的，在一個(gè)計(jì)算機(jī)模擬中訓(xùn)練的，沒有提供任何人類演示來學(xué)習(xí)。
研究小組寫道:“雖然靈巧地操縱物體對人類來說是一項(xiàng)基本的日常任務(wù)，但對于自主機(jī)器人來說，這仍是一項(xiàng)挑戰(zhàn)。”“現(xiàn)代機(jī)器人通常是為特定任務(wù)而設(shè)計(jì)的，在受限的環(huán)境中，它們在很大程度上無法使用復(fù)雜的末端執(zhí)行器……在這項(xiàng)工作中，我們演示了訓(xùn)練控制策略的方法，這些策略執(zhí)行手控操作，并將它們部署在一個(gè)物理機(jī)器人上。”
那么他們是怎么做到的呢？
研究人員使用MuJoCo物理引擎模擬一個(gè)真實(shí)的機(jī)器人可能在其中工作的物理環(huán)境，并用Unity渲染圖像，訓(xùn)練計(jì)算機(jī)視覺模型識別姿勢。但是這個(gè)方法有它的局限性，團(tuán)隊(duì)寫道——這個(gè)模擬僅僅是物理設(shè)置的一個(gè)“粗略的近似”，這使得它“不太可能”產(chǎn)生能夠很好地轉(zhuǎn)化為現(xiàn)實(shí)世界的系統(tǒng)。
他們的解決方案是隨機(jī)化環(huán)境的各個(gè)方面，比如物理(摩擦、重力、關(guān)節(jié)極限、物體尺寸等等)和視覺外觀(燈光條件、手和物體的姿態(tài)、材料和紋理)。這既降低了過度擬合的可能性——當(dāng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的噪聲，對其性能產(chǎn)生負(fù)面影響時(shí)，就會出現(xiàn)這種現(xiàn)象——也增加了產(chǎn)生一種算法的機(jī)會，該算法可以根據(jù)真實(shí)世界的指尖位置和目標(biāo)姿態(tài)成功地選擇動作。
接下來，研究人員用384臺機(jī)器(每個(gè)機(jī)器有16個(gè)CPU內(nèi)核)訓(xùn)練了這個(gè)模型——一個(gè)周期性的神經(jīng)網(wǎng)絡(luò)，讓它們每小時(shí)產(chǎn)生大約兩年的模擬體驗(yàn)。在8臺GPU電腦上進(jìn)行優(yōu)化后，他們進(jìn)入了下一個(gè)步驟：訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)可以從三個(gè)模擬相機(jī)圖像中預(yù)測機(jī)器人“手”中的物體位置和方向。
一旦模型被訓(xùn)練，它就進(jìn)入了驗(yàn)證測試。研究人員使用了一只“影子靈巧手”，這是一只機(jī)械手，有五個(gè)手指，總共有24個(gè)自由度。與此同時(shí)，兩套相機(jī)——運(yùn)動捕捉相機(jī)和RGB相機(jī)——作為系統(tǒng)的眼睛，允許它跟蹤物體的旋轉(zhuǎn)和方向。(雖然這只“影子靈巧手”有觸覺傳感器，但研究小組只選擇了它的關(guān)節(jié)感應(yīng)能力，用于控制手指的位置。)
在兩個(gè)測試中的第一個(gè)，算法的任務(wù)是重新定位一個(gè)標(biāo)有字母的塊。團(tuán)隊(duì)選擇了一個(gè)隨機(jī)的目標(biāo)，每次人工智能完成時(shí)，他們都選擇了一個(gè)新的目標(biāo)，直到機(jī)器人(1)放棄了塊，(2)花了一分鐘多的時(shí)間來操作塊，或者(3)達(dá)到了50個(gè)成功的旋轉(zhuǎn)。在第二次測試中，該塊用八角形棱鏡交換。
結(jié)果呢？這些模型不僅展示了“前所未有”的表現(xiàn)，而且還自然地發(fā)現(xiàn)了在人類身上觀察到的各種抓握類型，如三腳架(用拇指、食指和中指的一種抓握)、棱柱式抓握(用拇指和手指相對的一種抓握)和指尖夾握。他們還學(xué)習(xí)了如何旋轉(zhuǎn)和滑動機(jī)器人的手指，以及如何利用重力、平移和扭轉(zhuǎn)力將物體放置到想要的位置。
他們寫道:“我們的系統(tǒng)不僅能重新發(fā)現(xiàn)人類身上已經(jīng)發(fā)現(xiàn)的，還能讓它們更好地適應(yīng)自身的局限和能力。”
這并不是說這是一個(gè)完美的系統(tǒng)。它沒有被明確訓(xùn)練來處理多個(gè)對象——它很難旋轉(zhuǎn)一個(gè)球形的第三個(gè)物體。在第二次測試中，仿真與真實(shí)機(jī)器人之間存在可測量的性能差異。
但最終，研究結(jié)果證明了當(dāng)代深度學(xué)習(xí)算法的潛力，研究人員總結(jié)道:“(這些)算法可以應(yīng)用于解決復(fù)雜的現(xiàn)實(shí)世界機(jī)器人問題，而這些問題是現(xiàn)有的非基于學(xué)習(xí)的方法無法解決的。”
