一種是合成視頻+3D 重建,基于像素流驅(qū)動(dòng),先生成視頻或圖像,再重建為點(diǎn)云或 mesh 等非結(jié)構(gòu)化 3D 數(shù)據(jù),最終轉(zhuǎn)為結(jié)構(gòu)化語(yǔ)義模型,以群核科技、李飛飛 World Models 為代表。
另一種是 AIGC 直接合成 3D 數(shù)據(jù),利用圖神經(jīng)網(wǎng)絡(luò)、擴(kuò)散模型、注意力機(jī)制等方法,直接合成結(jié)構(gòu)化空間數(shù)據(jù)以 ATISS、LEGO-NET 等為代表。
現(xiàn)在 3D 圈正在探索新的數(shù)據(jù)獲取方式和呈現(xiàn)方式。其中,3D Gaussian Splatting 技術(shù)是其中的熱點(diǎn),它能夠快速地從多視角圖像重建出高真實(shí)感、具備基礎(chǔ)物理屬性的動(dòng)態(tài) 3D 場(chǎng)景,其高效的數(shù)據(jù)生成能力和逼真的渲染效果為三維數(shù)據(jù)生產(chǎn)提供了新范式。
3D Gaussian Splatting 場(chǎng)景數(shù)據(jù)給機(jī)器人訓(xùn)練提供了新思路。這相當(dāng)于將前沿圖形學(xué)技術(shù)生成的高質(zhì)量、低成本、可編輯的三維動(dòng)態(tài)環(huán)境數(shù)據(jù),直接「喂」給機(jī)器人學(xué)習(xí)算法,能大幅降低仿真環(huán)境構(gòu)建門檻,并提升訓(xùn)練數(shù)據(jù)的豐富性與真實(shí)性。
作為「杭州六小龍」之一的群核科技,正在進(jìn)行這條技術(shù)路線的探索。
3D 高斯語(yǔ)義數(shù)據(jù)集,為機(jī)器人裝上「空間大腦」
WAIC 開(kāi)幕前夕,群核科技旗下的空間智能平臺(tái) SpatialVerse 發(fā)布最新高質(zhì)量 3D 高斯語(yǔ)義數(shù)據(jù)集 InteriorGS,旨在為機(jī)器人和 AI 智能體提升空間感知能力。
InteriorGS 數(shù)據(jù)集包含 1000 個(gè) 3D 高斯語(yǔ)義場(chǎng)景,涵蓋超 80 種室內(nèi)環(huán)境,賦予智能體「空間大腦」,以提高其環(huán)境理解和交互能力,是全球首個(gè)適用于智能體自由運(yùn)動(dòng)的大規(guī)模 3D 數(shù)據(jù)集。
近年來(lái),3D 高斯濺射憑借「掃描即可重建場(chǎng)景」的優(yōu)勢(shì),已在文物保護(hù)、空間設(shè)計(jì)等領(lǐng)域落地使用。此次發(fā)布的 InteriorGS 數(shù)據(jù)集,首次將這一技術(shù)引入 AI 空間訓(xùn)練領(lǐng)域。
而 SpatialVerse 區(qū)別于傳統(tǒng) 3D 技術(shù)廠商的關(guān)鍵分水嶺,是稀缺的「重建-語(yǔ)義-仿真」全鏈路閉環(huán)能力。絕大多數(shù)廠商聚焦于單點(diǎn)突破,或精于 3D 重建算法,產(chǎn)出精美但無(wú)生命的靜態(tài)模型;或?qū)9ノ锢矸抡嬉妫瑓s缺乏高質(zhì)量、帶語(yǔ)義的輸入場(chǎng)景。
其次是現(xiàn)有三維數(shù)據(jù),包括時(shí)下熱門的 3D 高斯場(chǎng)景,普遍存在物理屬性的系統(tǒng)性缺失這個(gè)缺點(diǎn)。無(wú)論是靜態(tài)模型還是渲染模型,如果缺乏對(duì)重力、碰撞、材質(zhì)摩擦、物體運(yùn)動(dòng)狀態(tài)等物理規(guī)律的編碼,智能體便無(wú)法在其中學(xué)習(xí)推門、避障、抓取等依賴物理交互的基礎(chǔ)能力,訓(xùn)練價(jià)值會(huì)大打折扣。
針對(duì) AIGC 領(lǐng)域,傳統(tǒng) 3D 內(nèi)容創(chuàng)作高度依賴專業(yè)人才與工具,而且存在效率低、成本高的情況。SpatialVerse 的海量高質(zhì)量空間數(shù)據(jù)與結(jié)構(gòu)化信息,可為生成式 AI 模型提供訓(xùn)練素材。
將其與 AIGC 技術(shù)結(jié)合,可實(shí)現(xiàn)自動(dòng)化 3D 場(chǎng)景、物體生成,物理可信的內(nèi)容仿真以及多模態(tài)內(nèi)容聯(lián)動(dòng)。
空間智能讓智能體「看見(jiàn)」并理解世界的幾何結(jié)構(gòu);物理 AI 讓智能體「懂得」世界的運(yùn)行規(guī)則;具身智能讓智能體能夠利用對(duì)世界結(jié)構(gòu)和規(guī)則的理解,通過(guò)一個(gè)身體在真實(shí)環(huán)境中主動(dòng)交互、學(xué)習(xí)和完成任務(wù)。
其次,持續(xù)提升仿真精度、探索多智能體協(xié)同仿真、強(qiáng)化 AI 在仿真環(huán)境中的主動(dòng)探索與元學(xué)習(xí)能力、優(yōu)化 Sim2Real 遷移效率,攻克技術(shù)深水區(qū)。在構(gòu)建龐大空間數(shù)據(jù)庫(kù)的同時(shí),建立嚴(yán)格的數(shù)據(jù)隱私保護(hù)機(jī)制和空間數(shù)據(jù)使用的倫理規(guī)范。
其最終目標(biāo)是讓「理解物理世界」成為每一個(gè)智能體的基本能力。
無(wú)論是家中的服務(wù)機(jī)器人、工廠的物流機(jī)械臂、虛擬世界的數(shù)字人,還是手機(jī)里的 AR 助手,都能基于對(duì)空間結(jié)構(gòu)的精準(zhǔn)感知、對(duì)物理規(guī)則的深刻理解,實(shí)現(xiàn)從「感知環(huán)境-理解規(guī)則-創(chuàng)造價(jià)值」的閉環(huán)。