在人工智能與機器人技術(shù)的交匯點上，浙江大學(xué)控制學(xué)院的副教授朱秋國與云深處科技的創(chuàng)始人，分享了他在人形機器人與四足機器人研究領(lǐng)域的深厚積累。自2019年起，他與國外學(xué)者合作，將強化學(xué)習(xí)（RL）引入到傳統(tǒng)控制方法中，為機器人研究帶來了新的突破。
在近期的一次討論中，來自不同領(lǐng)域的專家圍繞“RL + Control”的主題展開了深入探討。王建明老師作為主持人，首先提出了一個引人深思的問題：為何眾多學(xué)者早在AI與機器人結(jié)合的浪潮到來之前，就選擇在這個領(lǐng)域深耕？
石冠亞教授分享了他的觀點。他認(rèn)為，機器人研究之所以吸引他，是因為它是一個綜合性的系統(tǒng)工程，涵蓋了從“大腦”算法到“小腦”控制，再到硬件設(shè)計的各個方面。他引用了導(dǎo)師Joel W. Burdick的觀點，即每次機器人領(lǐng)域成為風(fēng)口時，都會留下對領(lǐng)域發(fā)展有重大貢獻(xiàn)的成果，為下一次浪潮奠定基礎(chǔ)。
朱秋國教授則講述了自己從雙足人形機器人到四足機器人的研究歷程。他指出，人形機器人是一個極佳的研究平臺，但要讓機器人走出實驗室，適應(yīng)復(fù)雜環(huán)境并實現(xiàn)實際應(yīng)用，需要經(jīng)歷長時間的探索與迭代。他強調(diào)了熱愛與堅持對于機器人研究的重要性。
羅劍嵐博士從控制理論的角度出發(fā)，分享了他對強化學(xué)習(xí)的看法。他提到，在傳統(tǒng)的控制方法中，狀態(tài)估計與控制往往是分離的，這在處理復(fù)雜操作時面臨很大挑戰(zhàn)。而強化學(xué)習(xí)通過端到端的方法，直接從感知到控制進行優(yōu)化，為操作任務(wù)提供了新的解決思路。
盧宗青教授則從強化學(xué)習(xí)算法的角度，分享了他對機器人研究的見解。他認(rèn)為，雖然現(xiàn)有的強化學(xué)習(xí)算法在實踐中表現(xiàn)良好，但針對機器人學(xué)習(xí)的特性進行定制化設(shè)計，仍有很大的探索空間。他強調(diào)了與物理世界交互的重要性，并指出這是提升機器人智能的關(guān)鍵。
在討論RL和Control在機器人移動能力（Locomotion）上的應(yīng)用時，石冠亞教授提出了一個有趣的觀點：他認(rèn)為RL和Control本質(zhì)上都是解決同一個問題的方法，而非獨立的方法論。他詳細(xì)解釋了Sim2Real RL與基于模型的控制（MBC）在算力運用和狀態(tài)估計方面的差異，并強調(diào)了將RL與Control相結(jié)合的重要性。
朱秋國教授則從產(chǎn)業(yè)化的角度，分享了他在四足機器人控制方面的經(jīng)驗。他提到，雖然傳統(tǒng)控制方法在某些場景下表現(xiàn)穩(wěn)定，但RL在展現(xiàn)機器人全身運動能力方面更具優(yōu)勢。他強調(diào)了在實際應(yīng)用中，需要根據(jù)具體場景選擇合適的控制方法，并逐步將RL與傳統(tǒng)控制方法相結(jié)合。
在探討操作（Manipulation）方面時，羅劍嵐博士強調(diào)了強化學(xué)習(xí)在處理外部世界不確定性方面的優(yōu)勢。他指出，與Locomotion不同，Manipulation面臨的主要挑戰(zhàn)來自外部世界的不確定性，而強化學(xué)習(xí)通過與環(huán)境的交互，能夠更好地適應(yīng)這種不確定性。
關(guān)于商用機器人的可靠性問題，專家們一致認(rèn)為，要達(dá)到99%以上的可靠性是一個巨大的挑戰(zhàn)。他們提出，除了技術(shù)層面的突破外，還需要結(jié)合場景需求進行定制化設(shè)計，并逐步通過真實世界的數(shù)據(jù)進行驗證與優(yōu)化。
最后，關(guān)于RL算法本身的創(chuàng)新空間，專家們認(rèn)為雖然現(xiàn)有的PPO、SAC等算法在實踐中表現(xiàn)良好，但針對機器人學(xué)習(xí)的特性進行定制化設(shè)計仍有很大的探索空間。他們強調(diào)了持續(xù)創(chuàng)新的重要性，并期待未來能有更多針對機器人領(lǐng)域的強化學(xué)習(xí)算法出現(xiàn)。
整場討論中，專家們不僅分享了各自的研究成果和經(jīng)驗，還就RL與Control在機器人研究中的應(yīng)用、挑戰(zhàn)與未來方向進行了深入交流。這次討論不僅為機器人領(lǐng)域的研究者提供了寶貴的啟示，也為未來機器人技術(shù)的發(fā)展指明了方向。
