但用 AI 構建一個支持兩個人實時互動、視角一致、邏輯同步的游戲世界?這事兒,今天才第一次發生。
以色列 Enigma Labs 團隊今天在 X 平臺宣稱發布全球首款由 AI 生成的多人游戲—— Multiverse(多重宇宙)。名字聽起來就像漫威出品,玩法也確實夠科幻。
漂移、撞車,全都同步,操作互相響應,細節還能對上幀數。
游戲里的一切,不再靠預設劇本或物理引擎控制,而是由一個 AI 模型實時生成,確保兩名玩家看到的是同一個邏輯統一的世界。
Hugging Face CEO Cl é ment Delangue 也在 X 平臺在線打 call:
車輛在賽道上不斷變換位置,超車、漂移、加速,然后再次在某個路段匯合。
在此之前,我們得先介紹一下傳統 AI 世界模型:你操作一下,它預測一下畫面需要怎樣生成。模型看你的操作、看前幾幀,然后生成下一幀。原理嘛,說起來也不難理解:
動作嵌入器:把玩家操作(比如你按了哪個鍵)轉成嵌入向量
去噪網絡:使用擴散模型,結合操作和前幾幀畫面,預測下一幀
上采樣器(可選):對生成畫面進行分辨率和細節增強處理
最典型的 bug 是,你這邊賽車剛撞上護欄,對手那邊卻還在風馳電掣;你甩出賽道,對方卻根本沒看見你在哪。整個游戲體驗就像卡了兩幀,還不同步。
而 Multiverse,正是第一款能同步兩個玩家視角的 AI 世界模型,無論哪個玩家發生了什么,另一個人都能實時在自己畫面中看到,毫無延遲、無邏輯沖突。
這也是過去 AI 模擬很難搞定的一點:多視角一致性。
動作嵌入器:接收兩個玩家的動作,輸出一個整合了雙方操作的嵌入向量;
去噪網絡:擴散網絡,同時生成兩個玩家的畫面,確保它們作為一個整體一致;
上采樣器:與單人模式類似,但同時對兩個玩家的畫面進行處理和增強。
本來,處理雙人畫面,很多人第一反應是分屏:把兩幅畫分開,各自生成。
這思路簡單粗暴,但同步難、資源耗、效果差,但他們想到將兩個玩家的視角「縫合」成一個畫面,將他們的輸入合并為一個統一的動作向量,整體當作一個「統一場景」來處理。
具體做法是通道軸堆疊:把兩個畫面作為一張擁有雙倍顏色通道的圖像處理。
換句話說,這不是把兩個世界貼一起,而是讓模型從「神經元底層」就知道這兩個畫面是有關聯的,是要協同生成的。最終的畫面,不用手動對齊,天然同步。
但問題在于:超車等相對速度遠比絕對速度慢得多(約 100 km/h vs 5 km/h),幀數要是太近,模型根本感知不到變化。
于是他們設計了一個折中方案 —— 稀疏采樣:
提供最近連續的 4 幀(確保即時響應);
再額外提供 4 幀「隔 4 幀采樣」的歷史畫面;
最早一幀距離當前幀 20 幀,也就是約 0.666 秒前。
傳統單人任務(比如走路、打槍)只需要預測很短的時間窗口,比如 0.25 秒。但多人交互下,這么點時間變化微乎其微,根本體現不出「組隊感」。
Multiverse 的解法是:干脆讓模型預測長達 15 秒 的行為序列,以此捕捉長周期、多輪次的互動邏輯。
訓練方法也不是一下就上 15 秒,而是用了一套「課程式學習(curriculum learning)」策略:從 0.25 秒預測開始,逐步延長到 15 秒。這樣模型先學會汽車結構、賽道幾何這些底層特征,再慢慢掌握玩家策略、博弈動態這些高階概念。
訓練完之后,模型在物體持續性、幀間一致性方面表現明顯提升。簡而言之,不會突然車子消失,也不會前后邏輯崩壞。
如此出色的訓練表現,歸功于其背后精心挑選的數據集。沒錯,就是那款 2004 年 PS2 上的神作賽車模擬游戲:Gran Turismo 4。
他們的測試場景是筑波賽道上的 1 對 1 比賽,但問題是 GT4 并不原生支持「1v1 視角回放」。所以他們逆向工程了一把,硬生生把游戲改造出一個真實的 1v1 模式。
接著:
每場比賽錄兩次,一次看自己,一次看對手;
再通過同步處理,合并為一個完整視頻,展示雙方實時對戰畫面。
那按鍵數據怎么辦,畢竟游戲本身沒提供操作日志。
也就是說,全靠畫面信息就能還原操作,無需額外日志文件。
當然,這個流程效率偏低,總不可能每場比賽都得人工錄兩遍。
他們發現 GT4 有個隱藏功能叫 B-Spec 模式,可以讓 AI 自己開車。于是就寫了個腳本,給 AI 發隨機指令,讓它自己開比賽、自己撞車、從而批量生成數據集。
重點來了,談效果,不談成本,自然是耍流氓。
這么一個能跑多視角世界、畫面同步、穩定輸出的 AI 模型,模型、訓練、數據、推理全算上,全程只花了 1500 刀,跟買臺高端顯卡差不多。
我們只用了 1500 美元就構建了 Multiverse,關鍵不在算力,而在技術創新。
更重要的是,Jacobi 認為,多人世界模型不僅是 AI 玩游戲的新方式,更是模擬技術的下一步。它解鎖了一個全新的世界:由玩家、智能體和機器人共同進化、共同塑造的動態環境。
未來,世界模型可能就像是虛擬版的真實社會:你與 AI 共處其中,形成真實感極強的「動態宇宙」,同時也擁有接近現實社會的復雜互動邏輯。
所以,你說這事兒聽起來是不是有點上頭?
附上參考地址:
GitHub:https://github.com/EnigmaLabsAI/multiverse
Hugging Face 數據集:https://huggingface.co/datasets/Enigma-AI/multiplayer-racing-low-res
Hugging Face 模型:https://huggingface.co/Enigma-AI/multiverse
官方博客:https://enigma-labs.io/blog