在元宇宙概念火爆的當下，XR硬件設備作為進入元宇宙這一未來世界的重要“入場券”，在短時間內(nèi)受到了各大科技企業(yè)的關注。Rokid作為專注于人機交互技術與人工智能硬件研發(fā)的科技企業(yè)，在AR眼鏡的研發(fā)道路上深耕已久，并積累了大量的技術實踐經(jīng)驗。

在不久前由51CTO舉辦的MetaCon元宇宙技術大會上，Rokid產(chǎn)品技術總監(jiān)趙維奇帶來了《戴上AR眼鏡·與未來交互》專題演講，重點介紹了Rokid如何借助AI與5G技術的融合，對AR眼鏡進行賦能，以實現(xiàn)3D空間的虛實結(jié)合與沉浸感升級。51CTO將本次分享的核心內(nèi)容進行了整理，希望能給大家?guī)硪恍﹩l(fā)：

AR的使命是將真實世界與虛擬世界融合。利用AR技術創(chuàng)造場景下更自然的虛實結(jié)合交互，是Rokid一直的努力的方向。想要實現(xiàn)這一目標，則需要具備以下幾方面的能力：

1.感知力：利用硬件上的傳感器與模組以及軟件上的各種應用功能，使用戶能夠更好地去獲取環(huán)境和自身的相關信息。

2.理解力：借助AI技術，基于感知獲得信息，包括對人的理解、對物體的理解、對環(huán)境的理解、對行為意圖的理解，以及周邊信息的理解。

3.協(xié)同能力：人類脫離不開社交與協(xié)作，每天我們都需要與人溝通合作。如何更好地、更低成本、更高效地協(xié)同在目前環(huán)境下異常重要。

4.展現(xiàn)力：更多的形式、多模態(tài)的內(nèi)容呈現(xiàn)方式，例如2D音視頻、3D的模型等，空間讓更豐富的交互成為可能。

5.內(nèi)容生產(chǎn)及數(shù)字資產(chǎn)管理能力：AR使平面升維到空間，這帶來了大量的數(shù)字內(nèi)容需求與數(shù)字資產(chǎn)管理要求。此情景下，高效生產(chǎn)和管理數(shù)字資產(chǎn)的能力是不必可少的。

Rokid通過軟件、硬件能力的融合以實現(xiàn)這些的能力：

1.芯片：Rokid與國內(nèi)頭部企業(yè)海思共同開發(fā)了XR平臺，提供了芯片平臺等級的能力。

2.解決方案：Rokid在toC、toBtoC、toB與toG的各個行業(yè)，均有非常成熟的解決方案。

3.語音交互：Rokid深耕語音交互技術多年，在離線語音和精準識別上已經(jīng)達到99%的準確率。

4.硬件：硬件設計是Rokid的強項，Rokid會結(jié)合ID、ME以及供應鏈，提供完善的硬件能力，以保證硬件設備擁有更高的舒適度以及更強的基礎能力。

5.光學顯示：Rokid提供全球領先的光波導技術，也將這一技術應用在了大量產(chǎn)品之中。

6.視覺算法：AR眼鏡通過視覺算法了解、感知并理解環(huán)境，以此提供對應的內(nèi)容呈現(xiàn)方式。

通過上述基礎，Rokid能夠更好地將AR與AI的能力進行融合。

細節(jié)方面，Rokid軟件層提供了更加多模態(tài)的交互能力，包括兼容2D、3D生態(tài)的操作系統(tǒng)、功能豐富的SDK、便捷的開發(fā)工具，以及支持全球開發(fā)者的社區(qū)與應用發(fā)布平臺。

無論是合作伙伴還是開發(fā)者，都能夠方便快捷地應用這些能力。此外，在整體XR系統(tǒng)之中，Rokid始終堅持圍繞AI與AR打造面向未來的技術能力。包括主流芯片平臺、AR硬件平臺，AR頭環(huán)/頭盔、單目/雙目眼鏡、一體/分體設備設計、消費級/工業(yè)級設備的配置與設計等。

Rokid在基礎OS之上，擁有較為完善的感知系統(tǒng)與理解系統(tǒng)。感知系統(tǒng)目前已有多個引擎，包括平臺支持、AI服務、AR服務以及云存儲服務。同時，Rokid也為開發(fā)者提供了大量平臺SDK與基礎SDK，以便開發(fā)者在OS之上以及面向行業(yè)進行應用開發(fā)。

目前，Rokid已經(jīng)擁有大量的合作伙伴，無論對于應用開發(fā)者、應用制作者、解決方案商或是系統(tǒng)集成商，Rokid都能夠賦予其軟硬件能力。借助這些能力，無論是toB、toBtoC還是toC場景下的應用，都能夠輕松實現(xiàn)。Rokid打造了XR元宇宙的基礎能力，以幫助人們在元宇宙環(huán)境下釋放更多的創(chuàng)造力。

產(chǎn)品層面，Rokid也有著大量的積累與技術創(chuàng)新。

新發(fā)布的RokidAir，是面向toC市場的AR產(chǎn)品，擁有著輕巧便攜、視角廣闊、清晰度高等優(yōu)勢，兩個高品質(zhì)揚聲器所帶來的環(huán)繞立體聲能夠讓音效更加震撼。同時，RokidAir還擁有著強大的語音交互能力，通過非常簡單的語音指令就能夠完成大量操作，真正實現(xiàn)解放使用者雙手，讓用戶能夠沉浸式享受AR帶來的快樂。

除此之外，RokidAir支持500度以下的近視的調(diào)節(jié)，通過旋鈕調(diào)節(jié)，近視用戶也能夠輕松使用這款產(chǎn)品。即插即用，適配手機與各類娛樂硬件設備的特性，也為RokidAir的使用帶來了更高的靈活性與便捷性。

目前RokidAir的適用場景主要有以下幾類：

1.音視頻體驗：RokidAir能夠隨時收納，無論在家中、飛機上還是火車上，你都能夠使用RokidAir連接手機與其他娛樂設備。此時，一個120寸的高清屏幕、一個獨享私人版的巨幕影院就將呈現(xiàn)在你的面前。

2.游戲體驗：Rokid應用商店擁有大量游戲內(nèi)容，支持用戶在真實世界里通過創(chuàng)造3D空間來完成游戲體驗。此外，RokidAir也支持移動端游戲，包括連接游戲主機及游戲手柄。不但是手機，Switch、SteamDeck甚至PS，RokidAir都能夠“照單全收”，并為用戶帶來低延時、高畫質(zhì)的巨屏享受。

RokidAirPro是一款toBtoC的AR產(chǎn)品，其與Rokid最大的不同點在于交互。第一，RokidAirPro擁有定向出音設計，用戶自己所說的話只有自己能夠聽到，不會打擾到周邊的人。此外，RokidAirPro提供了更多的交互功能。除語音交互外，由于RokidAirPro擁有攝像頭，因此其能提供更加豐富的視覺識別功能。通過攝像頭，RokidAirPro能識別更多場景并感知到周遭環(huán)境，以呈現(xiàn)和提供更加定制化和場景化的應用與交互。

目前RokidAirPro已在許多toBtoC的場景下進行了應用，包括各大博物館與展覽，RokidAirPro能夠提供一種新的觀展打開方式，原有的知識壁壘會被打破，用戶的好奇心和求知欲將被充分調(diào)動。RokidAirPro能夠讓用戶完全通過AR和AI能力享受更多展館背后的知識的傳播和體驗。

Rokid與蘇州博物館和大英博物館合作的國際導覽項目，可以利用AR設備讓用戶方便、快捷地獲取到來自大英博物館展品背后的講解。這是原來的導覽員與講解員很難做到的。除語音介紹外，AR設備還能夠用視頻、圖文、3D模型的方式，將難以理解的部分海外文化講解得更加透徹，讓用戶能夠在短時間內(nèi)更好地能獲得所需知識，給用戶帶來更加優(yōu)質(zhì)的參觀體驗。

Rokid與騰訊及故宮合作的數(shù)字特展，讓用戶能夠通過AR設備參觀故宮中的知名的避暑的圣地——倦勤齋。通過AR的方式，用戶能夠環(huán)繞整個虛擬空間，一目了然地了解到故宮中建筑的外觀形狀、用料、顏色以及尺寸大小等以往難以觀測到的建筑細節(jié)。這在一定程度上可以使故宮文化得到更好的傳承和傳播。

Rokid與故宮合作的另一個項目是故宮書畫展。書畫觀賞的過程始終有一個痛點，就是人們只能看到表面，并不知道書畫背后的故事，也無法看到書畫所呈現(xiàn)的場景。通過AR的方式，我們能夠?qū)?D升維成3D，使用戶能夠看到書畫的真實形態(tài)，用最簡單和高效的方式去呈現(xiàn)書畫背后、文化背后的故事與淵源。

Rokid與騰訊游戲合作的AR觀影臺對《英雄聯(lián)盟》的游戲場景進行了復現(xiàn)，使用戶能夠通過AR眼鏡看到一條巨龍從東方明珠上盤旋而下。此外，AR也能將游戲中的許多元素，包括比賽的現(xiàn)場、比賽選手特寫以及一些重要的指標進行虛實結(jié)合，這也是目前AR主要的發(fā)展方向之一。

未來，Rokid希望能夠更多地探索元宇宙領域，通過軟件與硬件相結(jié)合的方式，將AR與AI兩種能力結(jié)合起來，創(chuàng)造更實用、更智能、更自然的內(nèi)容呈現(xiàn)解決方案與交互能力。為場景賦能、為場景下的用戶賦能、為合作伙伴及開發(fā)者賦能。使用大家夠在元宇宙的環(huán)境中獲得更多樣化、多模態(tài)的體驗。