QQ在線
企業(yè)微信
資訊
251機器人學習目前已經被廣泛應用于現(xiàn)實世界，并可以完成精密的手部、腿部動作。但在動態(tài)且高速的人機互動中，機器人學習并不常見。谷歌選擇開發(fā)乒乓球機器人，正是為了探索這類情況下人工智能的可能性。
·使用i-Sim2Real這種方式，在模擬環(huán)境下可以讓數(shù)年的實時訓練在幾分鐘或幾小時內完成。
谷歌i-Sim2Real項目乒乓球機器人與人類訓練。本文圖片來源：谷歌
似乎現(xiàn)存的每一種桌上運動中，人工智能都立于不敗之地。乒乓球競技中，谷歌AI同樣難逢敵手。10月18日，谷歌公布其正在研究的“乒乓球機器人”項目，在與人類對打時一回合可接球340次。目前，谷歌強調這只是人類與AI的“合作”，并非擊敗人類，但以AI成長的速度，它將很快成為專業(yè)選手。
機器人學習目前已經被廣泛應用于現(xiàn)實世界，并可以完成精密的手部、腿部動作。但在動態(tài)且高速的人機互動中，機器人學習并不常見。谷歌選擇開發(fā)乒乓球機器人，正是為了探索這類情況下人工智能的可能性。
解決“先有雞還是先有蛋”
在這個名為i-Sim2Real的項目中，谷歌的乒乓球機器人在模擬環(huán)境中不斷學習，并將學習成果運用于現(xiàn)實世界，最終可以在一個與人類的乒乓球接發(fā)回合中，接球超過三百次。它還能把球送回不同的區(qū)域，雖然不能精確到數(shù)字上，但已經足夠精確到讓機器人規(guī)劃策略，來控制乒乓球的最終目的地。
i-Sim2Real也不僅僅是關于乒乓球機器人，更是一種人工智能創(chuàng)造過程的方式，在這個過程中，機器學習模型被教會在虛擬環(huán)境或模擬中做什么，然后再應用這些知識，目標是盡可能長時間地與人類進行接球回合而不失誤。在現(xiàn)實世界中直接與人類玩家進行訓練既繁瑣又耗時，當需要數(shù)年的試驗和錯誤才能建立一個工作模型時，使用i-Sim2Real這種方式顯得十分有效，它在模擬環(huán)境下可以讓數(shù)年的實時訓練在幾分鐘或幾小時內完成。
這種方式聽起來簡單高效，但在模擬中機器人并不是萬能的。人類的活動具有一定的不可預測性，并不容易模擬，需要先有人類的行為模型作為支撐。而人類的行為模型，又需要與機器人互動獲得。這就陷入了一個“是先有雞還是先有蛋”的死循環(huán)。
i-Sim2Real解決這一雞和蛋問題的方法，是使用一個簡單的人類行為模型作為近似起點，并讓機器人在模擬訓練和現(xiàn)實訓練之間交替學習。在每次迭代中，都會細化人類行為模型和策略。在機器人接近人類行為的過程中，初期的不理想是可以接受的，因為機器人也只是剛剛開始學習，之后每一場比賽都會收集更多真實的人類數(shù)據(jù)，提高準確性，讓AI學到更多。
i-Sim2Real的訓練方法。
GoalsEye：通過自我監(jiān)督來自主練習
除了i-Sim2Real這種模擬與現(xiàn)實交替進行的方法，研究人員也在探索只使用現(xiàn)實的數(shù)據(jù)學習的方法，即GoalsEye項目。
一開始，模仿學習（IL）為研究人員提供了一種簡單而穩(wěn)定的思路，但它需要人類行為進行演示，并且機器人的技術無法超過演示者的水平。同時，當演示者擁有在高速環(huán)境下精確接球的能力時，收集其數(shù)據(jù)具有一定挑戰(zhàn)性，而且在剛開始時可能非常低效。因此研究人員嘗試了一種結合最近行為進行重復的方法，從一個小的、結構薄弱的、非目標數(shù)據(jù)集開始，不斷學習精確定位目標的策略。
這種方法使得在訓練的過程中，機器人的自主學習能力顯得至關重要。研究人員設置了一個強調精度的乒乓球任務，要求機器人將球返回到桌子上的任意目標位置。機器人可以通過自我監(jiān)督來實現(xiàn)自主練習。例如，機器人可以設置隨機目標，“擊中左后角”或“將球從右側過網(wǎng)”，并嘗試使用當前掌握的策略來實現(xiàn)這些目標，從而不斷改進。所有嘗試都會記錄并添加到不斷擴展的數(shù)據(jù)集中。這種自主練習是反復進行的，機器人通過不斷的設置隨機目標并嘗試目標，從而擴展訓練數(shù)據(jù)，調整策略。
GoalsEye策略旨在實現(xiàn)直徑20厘米的目標（左）。人類玩家瞄準同一個目標（右）。
GoalsEye的訓練方法。
其效果也是顯而易見的，在進行最初的2480次人類行為演示后，機器人只在9%的情況下能準確地達到距離目標30厘米以內的目標。然而，當機器人又自主練習了大約13500次后，達到目標的準確率上升到43%。同時，演示數(shù)量的提升提高了后續(xù)自我練習的效率，這說明，計算時間、成本等因素后，演示可以適當替換自我練習，從而更高效的進行訓練。
在這兩個使用機器人乒乓球研究平臺的互補項目中，i-Sim2Real可以在模擬與現(xiàn)實中交替學習策略，而GoalsEye則證明，從現(xiàn)實世界的非結構化數(shù)據(jù)中學習，結合自我訓練，對于在精確且動態(tài)的要求中學習目標條件策略是有效的。
