visionOS 27的隱藏更新也太猛了：一文弄清蘋果沒說的那些重磅升級
雖然蘋果在WWDC 2026的主舞臺演講中幾乎沒怎么提到Vision Pro的操作系統，但其開發者文檔和技術講座顯示，visionOS 27 是迄今為止最重大的升級之一。新功能包括：預配置的手持物體追蹤、基于紅外LED的追蹤配件框架、無注視點屏幕錄制，以及多項底層技術改進。
據了解，visionOS 27 將于“今年秋季”面向 Apple Vision Pro 的 M2 和 M5 機型推出。首個測試版現已可用，但部分功能需等待穩定版。
一、AI 與智能交互
Siri AI 與視覺智能
雖然不會在初始版本中出現，但蘋果表示“今年晚些時候”，基于大語言模型重構的 Siri AI 將登陸 visionOS。Siri AI 由下一代 Apple Foundation Models 驅動，該模型與 Google 合作開發（據報道每年10億美元協議），部分任務在設備端運行，復雜任務則交由 Private Cloud Compute。
在 visionOS 中，Siri AI 表現為一個可固定在物理空間中的持久球體。你只需看著它直接說話即可，無需喚醒詞。同時支持視覺智能功能，可針對物理和虛擬環境進行搜索、提問和操作。其能力定位介于 Meta AI（Quest 3）和 Gemini（Samsung Galaxy XR）之間。
此外，visionOS 27 還新增了一個專用 Siri 應用，可以查看歷史對話，作為第三方AI聊天機器人的預裝替代方案。
評論：將AI助手以“可錨定的空間物體”呈現，比傳統的浮空面板或語音條更自然，也體現了眼動追蹤的優勢。
值得注意的是，下一代Foundation Models還帶來了：Image Playground 中更逼真的圖像生成、Safari 自動整理標簽頁、一鍵升級密碼強度以及信息中的智能回復。
二、空間環境與視覺體驗
空間全景環境
visionOS 2 能為2D圖片添加立體效果，visionOS 26 則能通過高斯潑濺將2D圖轉為具有深度感的“空間場景”。visionOS 27 將此功能擴展到了iPhone拍攝的全景照片。你可以將這些全景圖設為共享空間的主環境，讓窗口和虛擬內容以真實全景為背景。
新環境：Þórsmörk（索斯默克）
visionOS 27 將增加第10個虛擬環境——冰島的 Þórsmörk 山谷（意為“雷神之谷”），被認為是地球上最美的景觀之一。夜間版本帶有極光效果。
評論：至此，visionOS 環境庫已覆蓋月球、火山、沙漠、森林、極光等多種場景。
曲面窗口（僅限蘋果原生應用）
此前只有Mac虛擬顯示器的超寬模式是曲面。visionOS 27 在 Safari、Freeform 和 Apple TV 的多視圖中加入了曲面窗口支持。Safari 的標簽頁瀏覽體驗會略微環繞用戶。但此為私有API，第三方開發者無法在共享空間使用。
visionOS 27 上的 Safari 瀏覽器支持曲面窗口
評論：這可能是蘋果為了保持系統統一性而做的限制，但也讓人期待未來向第三方開放。
三、追蹤與配件生態
高幀率物體追蹤
visionOS 2 已支持追蹤預設的3D物體，但主要用于靜態物體，更新率約5Hz。visionOS 27 增加了高幀率模式（約30Hz），適用于移動和被手持的物體。為了追蹤手持物體，蘋果推薦使用“擴展訓練”模式，該模式大幅提升追蹤性能，但訓練時間顯著增加（例如一個魚形玩具需訓練約18小時）。
評論：30Hz 雖仍低于手部追蹤的幀率，但已足以支撐許多互動場景。
紅外LED追蹤配件開放
visionOS 26 硬編碼支持了PS VR2 Sense手柄和Muse數字筆。visionOS 27 通過新API，允許任何公司制造自己的紅外LED追蹤配件，就像SteamVR的Lighthouse生態。追蹤與IMU融合，達到90Hz光學追蹤質量。
visionOS 27 中的跟蹤式紅外 LED 配件
這種配件包含兩種集成方式：
配套應用：硬件商發布 visionOS 應用注冊設備，供其他應用調用（適合消費類）。
內置于應用：開發者將設備信息直接編入自己的應用（適合企業）。
此外，DFRobot 和 MikroE 將推出參考套件與開發板，降低入門門檻。
參考 visionOS 27，支持 DFRobot 和 MikroE 的跟蹤配件
評論：這是蘋果向開放配件生態邁出的重要一步，未來可能出現各種專用控制器、觸控筆甚至體感設備。
四、錄制與開發工具
無注視點屏幕錄制
由于 Vision Pro 始終使用注視點渲染，屏幕錄制中非注視區域是模糊的。visionOS 27 新增“高質量錄制”選項，可錄制最長3分鐘的無注視點4K畫面，完全在頭顯上完成，無需Mac。這是開發者和內容創作者最期待的功能之一。
Mac 3D 物體預覽 API
macOS 27 新增API，允許在 visionOS 27 中直接生成3D物體進行預覽。蘋果自帶的“預覽”應用已支持，開發者只需幾行代碼就能為自己的Mac應用加入此功能。支持雙向編輯（visionOS 側修改會同步回macOS），還支持SharePlay多人協作。
此外，Cinema 4D 和 SketchUp 正在集成。
評論：這大幅降低了Mac端3D創作工具適配Vision Pro的門檻。
設備中心（開發者）
Xcode 27 為開發者帶來“設備中心”應用，可遠程啟動 Vision Pro 上的體驗，無需再引導用戶操作。這填補了iPhone/iPad配套應用無法啟動App的空白。
Wi-Fi 初始化速度提高3倍
蘋果承認 Vision Pro 啟動后連接Wi-Fi較慢，visionOS 27 將連接速度提升至原來的3倍。
五、界面與交互改進
全新控制中心
分為三個面板，界面更寬敞：
左側：日期時間、電量、Wi-Fi、通知
中間：Wi-Fi/藍牙/AirPlay/飛行模式快捷開關、音量滑塊、Mac虛擬顯示器等快速控制
右側：環境控制（日間/夜間、透視程度）
配件小組件（超小型）
visionOS 26 引入了可固定的迷你窗口。visionOS 27 新增更小的“配件小組件”，可用于電池電量、計時器、股票價格、智能家居開關等。蘋果還提供了一個第一方的Mac虛擬顯示器小組件，即使Mac處于鎖定狀態也能一鍵連接。
評論：如果智能家居應用支持，你可以在家中每個物理設備旁邊“貼”一個虛擬開關，看著它捏合即可控制。
注視展開通知
只需看著通知，它就會自動展開，顯示更多信息和操作，無需捏合。
自動視頻字幕（輔助功能）
使用設備端語音識別模型，為任意視頻實時生成字幕。
車輛運動提示
此前出現在iOS上的功能——通過屏幕邊緣動畫點模擬車輛加減速和轉彎以減輕暈車——現登陸 visionOS。但具體在頭顯上的表現形式尚不明確。
眼控電動輪椅
visionOS 27 支持使用眼動追蹤原生控制特定電動輪椅。首批支持 Tolt 和 LUCI 驅動系統（美國），支持藍牙和有線連接。蘋果表示將繼續擴展兼容的輪椅驅動系統。
評論：這是空間計算在無障礙領域的杰出應用——用本來用于注視交互的傳感器，直接轉化為行動能力。
六、RealityKit 底層技術大升級
RealityKit 是 visionOS 共享空間和許多全空間應用的底層引擎。visionOS 27 為其帶來了以下關鍵升級：
1. 物理空間光照
應用不僅可以在物理環境中投射陰影，現在還可以投射光線（點光源和聚光燈）。支持投影紋理和動畫圖案，可實現彩色玻璃、水下焦散、星空投影等效果。底層利用LiDAR掃描的3D網格和環境光傳感器。
2. 原生高斯潑濺渲染
此前開發者需自己編寫高斯潑濺（Gaussian Splatting）的渲染代碼。現在 RealityKit 原生支持，大幅降低了實現高質量3D重建的門檻。蘋果已在“空間場景”和 Personas 中使用了該技術。
3. 實時布料模擬
集成可變形織物模擬：布料可在重力下懸垂、折疊、起皺、與物體碰撞，并可被拉動或交互。可調節剛度、摩擦力和材質參數。
4. 沉浸式音頻升級（混響網格API）
應用可描述虛擬環境的幾何形狀和聲學特性（為表面指定吸音、散射、反射等參數）。RealityKit 會模擬聲音在該空間中的傳播和混響，使音頻與視覺場景更加匹配。
評論：有趣的是，Meta 的 XR Audio SDK 已于今年早些時候“凍結”開發，而 Valve 的 Steam Audio SDK 仍在持續更新。蘋果此時推出類似功能，顯示出對專業XR音頻的重視。
七、其他值得注意的更新
Safari 網頁環境：開發者可為網頁指定一個3D環境（類似 favicon），用戶可選開啟，與 WebXR 無關。
Microsoft / Meta 類似功能未發貨：原文順便提到微軟和 Meta 在2024年曾宣布 Windows 11 與 Horizon OS 的類似功能，但至今未發布。
M5 Vision Pro 體驗：作者稱 M5 型號“非常快速”，只有 Wi-Fi 啟動慢的毛病已被修復。
小結
visionOS 27 并非一次小修小補，而是從 AI、追蹤生態、開發者工具到底層渲染引擎的全面進化。蘋果在主題演講中僅用數分鐘帶過，但文檔和開發者會議揭示的細節表明，這可能是 Vision Pro 自發布以來最具實質意義的一次系統更新。
無論是眼控輪椅、開放配件生態，還是高斯潑濺與實時布料模擬，都讓 Vision Pro 向著“空間計算的通用平臺”邁出了一大步。
注：本文原作者：David Heaney，原文發表于WWDC 2026之后，作者認為蘋果在主題演講中嚴重低估了visionOS 27的重要性。本文基于原文翻譯整理，所有信息均來自蘋果官方文檔及開發者報告。
文 / akua
文中未標注的圖片均來源于網絡
原文標題 : visionOS 27的隱藏更新也太猛了：一文弄清蘋果沒說的那些重磅升級
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
