【資料圖】
機器人學(xué)習技術(shù)能夠概括廣泛的任務(wù)、設置和對象。不幸的是，這些策略需要廣泛、多樣化的數據集，而在實(shí)際的機器人環(huán)境中獲取這些數據集既困難又昂貴。機器人學(xué)習的普遍性需要訪(fǎng)問(wèn)機器人直接環(huán)境之外的先驗或數據。
數據擴充是增強模型泛化能力的有用工具。但大多數方法在低級視覺(jué)空間中運行，以顏色抖動(dòng)、高斯模糊和裁剪等方式改變數據。然而，它們仍然無(wú)法處理圖片中顯著(zhù)的語(yǔ)義差異，例如分散注意力的元素、不同的背景或不同對象的外觀(guān)。
GenAug 是由華盛頓大學(xué)和 Meta AI 開(kāi)發(fā)的語(yǔ)義數據增強框架，它使用預訓練的文本到圖像生成模型來(lái)促進(jìn)實(shí)際機器人中基于模仿的學(xué)習。與機器人數據相比，預訓練的生成模型可以訪(fǎng)問(wèn)更大、更多樣化的數據集。這項研究使用這些生成模型來(lái)補充數據，以訓練現實(shí)世界中的實(shí)際機器人。這項研究基于這樣一種直覺(jué)信念，即盡管場(chǎng)景、背景和項目外觀(guān)存在差異，但在一個(gè)環(huán)境中完成任務(wù)的方法通常應該可以轉移到不同情況下的相同任務(wù)。
生成模型可以生成截然不同的視覺(jué)情況，具有不同的背景和項目外觀(guān)，在這些情況下，相同的行為仍然有效。同時(shí)，有限的機器人體驗提供了所需行為的演示。此外，這些生成模型是根據真實(shí)數據訓練的，因此生成的場(chǎng)景看起來(lái)逼真且多變。通過(guò)這樣做，可以從有限數量的演示中輕松且經(jīng)濟地生成大量語(yǔ)義，從而使學(xué)習代理可以訪(fǎng)問(wèn)比僅在機器人上演示數據更多樣化的設置。
GenAug 可以為全新的真實(shí)環(huán)境生成“增強的”RGBD 圖像，展示機器人在現實(shí)世界中可能體驗到的場(chǎng)景的視覺(jué)真實(shí)性和復雜性，給定真實(shí)機器人系統上提供的圖像動(dòng)作示例數據集。具體來(lái)說(shuō)，對于在桌面上執行操作任務(wù)的機器人，GenAug 結合使用語(yǔ)言提示和生成模型來(lái)改變項目的紋理和形狀，并添加新的分散注意力的元素和與原始場(chǎng)景在物理上保持一致的背景場(chǎng)景。
Meta 的研究論文表明，GenAug 可用于從單一、簡(jiǎn)單的環(huán)境創(chuàng )建10個(gè)真實(shí)世界的復雜演示。根據研究結果，與傳統方法相比，GenAug 可以將機器人訓練提高40%，讓機器人可以在從未見(jiàn)過(guò)的地方和物品上進(jìn)行訓練。
該團隊計劃將 GenAug 應用于機器人學(xué)習的其他領(lǐng)域，例如行為克隆和強化學(xué)習，并超越更困難的操作問(wèn)題。研究人員認為，研究語(yǔ)言和視覺(jué)語(yǔ)言模型的混合是否或是否可以提供出色的場(chǎng)景生成器，這將是一種引人入勝的方法。
責任編輯：李楠
分享到：版權聲明：凡注明來(lái)源“流媒體網(wǎng)”的文章，版權均屬流媒體網(wǎng)所有，轉載需注明出處。非本站出處的文章為轉載，觀(guān)點(diǎn)供業(yè)內參考，不代表本站觀(guān)點(diǎn)。文中圖片均來(lái)源于網(wǎng)絡(luò )收集整理，僅供學(xué)習交流，版權歸原作者所有。如涉及侵權，請及時(shí)聯(lián)系我們刪除!關(guān)鍵詞： 分散注意力 視覺(jué)空間 無(wú)法處理
