隨著物聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，室內(nèi)定位與視頻融合技術(shù)在各行各業(yè)中得到了廣泛應(yīng)用。不僅能夠提供精確的位置信息，還能通過實時視頻監(jiān)控實現(xiàn)全方位數(shù)據(jù)的可視化。

與此同時，數(shù)字孿生等技術(shù)的興起為智慧城市、智慧工廠等應(yīng)用提供了強大支持，使得復(fù)雜系統(tǒng)的數(shù)字化管理成為可能。通過結(jié)合三維可視化及室內(nèi)定位，視頻融合、鷹眼 AR、視頻拼接等技術(shù)，為決策提供更直觀的數(shù)字化視角，推動了相關(guān)領(lǐng)域的快速發(fā)展。

圖撲軟件(Hightopo)的自主研發(fā)產(chǎn)品 HT for Web 能夠?qū)⒁曨l監(jiān)控與室內(nèi)定位技術(shù)融合，進行高效的可視化項目搭建，輕松實現(xiàn)視頻與定位數(shù)據(jù)的動態(tài)展示與交互，打造一個功能強大、直觀易用的視頻孿生可視化監(jiān)控系統(tǒng)。

• 系統(tǒng)分析

視頻融合

視頻融合的概念：視頻融合技術(shù)是虛擬現(xiàn)實技術(shù)的一個分支，也是虛擬現(xiàn)實技術(shù)發(fā)展的一個重要階段。它通過將來自不同視頻源的信息與 3D 場景進行整合，生成一個連貫、無縫、并且虛實結(jié)合的新場景。這種技術(shù)不僅增加了虛擬場景與現(xiàn)實的互動性，還減小了計算機模型中信息的不確定因素，提高了虛擬模型的信息承載量。

傳統(tǒng)的視頻監(jiān)控通常將所有視頻以網(wǎng)格化方式展示在大屏或網(wǎng)頁上，雖然可以讓監(jiān)控人員同時查看多個視頻源，但長時間觀看容易導(dǎo)致疲勞和注意力下降。此外，若監(jiān)控人員對攝像頭布局不熟悉，在突發(fā)事件（如發(fā)現(xiàn)可疑人員活動）中，可能無法快速感知現(xiàn)場情況，進而無法立即進行準(zhǔn)確定位和反應(yīng)。

圖撲軟件擁有獨立研發(fā)的 2D 和3D圖形引擎 HT for Web，充分利用其在3D渲染上的強大功能，結(jié)合自定義Shader，打造了處理視頻融合的插件，顯著提升了視頻的流暢性和視覺效果。該插件支持添加視頻到3D場景中，并通過顏色矯正、幾何校正、裁切、羽化、顏色剔除等手段將視頻完美融入周圍環(huán)境。在應(yīng)用過程中，利用視頻分布式布局的特點，結(jié)合視角位置，可在一個場景中支持超多路視頻。

視頻融合的基本流程

視頻融合技術(shù)一般可以分為三個層次：預(yù)處理、信息融合與應(yīng)用層。

■ 預(yù)處理層：對視頻圖像進行幾何校正、噪聲消除、色彩亮度調(diào)整和配準(zhǔn)。通過找到視頻與三維場景或相鄰視頻間的最大相關(guān)，消除圖像在空間、相位和分辨率等方面的差異，實現(xiàn)更準(zhǔn)確的信息融合。

■ 信息融合層：即視頻圖像的與 3D 場景的融合過程。這一層可以根據(jù)智能度的不同，分為像素級和特征級：

像素級融合：主要用于多視頻的像素拼接融合，使多個圖像成為一個整體。

特征級融合：主要用于視頻與 3D 場景的融合，以明顯特征（如線條、建筑）為基礎(chǔ)，實現(xiàn)圖像和三維場景的拼接。

■ 應(yīng)用層：對融合后的視頻進行綜合評估，并應(yīng)用于實際場景，如智慧城市的會議、監(jiān)控和輿情管理等

圖撲 HT視頻融合技術(shù)通過先進的圖形圖像處理，將視頻畫面與三維場景無縫疊加。利用虛擬攝像機的位置、角度和視野對視頻信號進行精確校準(zhǔn)，確保視頻與場景的視覺效果高度一致，實現(xiàn)了逼真的視頻融合效果。視頻融合可以提供更直觀、全面的視覺信息，幫助用戶更好地理解和分析場景中的實時監(jiān)控視頻。

視頻融合應(yīng)用場景

在現(xiàn)代地鐵站的管理中，視頻融合技術(shù)與圖撲3D 可視化的結(jié)合發(fā)揮了重要作用。

盡管三維建模和物聯(lián)網(wǎng)數(shù)據(jù)采集可以提供設(shè)備的運行狀態(tài)，但它們僅能展示系統(tǒng)的虛擬視圖，無法直觀呈現(xiàn)現(xiàn)場的真實情況。例如，當(dāng)某個設(shè)備出現(xiàn)故障導(dǎo)致人群擁堵時，僅靠虛擬數(shù)據(jù)無法反映出現(xiàn)場的緊張程度和具體布局。在這方面，視頻融合技術(shù)通過整合和呈現(xiàn)實時的現(xiàn)場視頻，為管理團隊提供了對地鐵站內(nèi)真實環(huán)境的清晰視角。

圖撲軟件通過將三維虛擬建模與實時視頻相結(jié)合，讓管理者不僅可以監(jiān)控設(shè)備的運行狀態(tài)，還可以迅速識別并解決因設(shè)備故障引發(fā)的問題，實現(xiàn)了虛擬與現(xiàn)實的最佳結(jié)合。這種技術(shù)應(yīng)用極大提升了決策的效率和現(xiàn)場響應(yīng)能力。

更多應(yīng)用場景

視頻融合技術(shù)在多個領(lǐng)域都有廣泛的應(yīng)用，包括但不限于：

■ 智慧城市：整合不同攝像頭和傳感器的數(shù)據(jù)，為城市管理提供全面、準(zhǔn)確的信息支持。

■ 工業(yè)生產(chǎn)：將多個攝像頭畫面合并，方便監(jiān)控人員實時了解生產(chǎn)線狀況，及時發(fā)現(xiàn)并處理問題。

■ 公共安全：在公共場所和交通樞紐，視頻融合技術(shù)提高監(jiān)控效率，快速響應(yīng)和處理異常行為。

■ 交通管理：視頻融合技術(shù)實時監(jiān)控交通流量和交叉口情況，提高道路通行效率和交通安全。

圖撲視頻融合技術(shù)通過整合不同視頻源的信息與 3D 場景，生成一個連貫、無縫的虛實結(jié)合的新場景，提高了監(jiān)控效率和反應(yīng)速度。盡管視頻融合技術(shù)具有直觀展現(xiàn)、增強視頻利用價值和提升態(tài)勢掌控能力等優(yōu)點，但也面臨技術(shù)復(fù)雜度高、設(shè)備成本高和實時性挑戰(zhàn)等問題。

圖撲將不斷創(chuàng)新研究，讓視頻融合技術(shù)朝著更高清晰度、更智能化和更實時化的方向發(fā)展，為各行各業(yè)提供更加高效、智能的解決方案。

• 室內(nèi)定位

在工業(yè)自動化和控制領(lǐng)域中，室內(nèi)定位技術(shù)作為一個重要的應(yīng)用擴展，可以幫助提升生產(chǎn)效率、安全性和管理水平。室內(nèi)定位技術(shù)用于在建筑物內(nèi)部或其他封閉環(huán)境中確定物體或人員的位置，實現(xiàn)全方位的智能管理。

利用圖撲先進的可視化技術(shù)以及結(jié)合各類室內(nèi)定位技術(shù)，管理者可以實時監(jiān)控人員和設(shè)備的位置，提高運營效率和安全性。

室內(nèi)定位的常見類型

室內(nèi)外定位技術(shù)通過多種傳感器和信號技術(shù)，實現(xiàn)對室內(nèi)外物體和人員的精確定位。常見的室內(nèi)外定位技術(shù)包括：無線射頻識別（RFID）、Wi-Fi定位、藍(lán)牙低功耗（BLE）、超寬帶（UWB）、圖像識別定位。

圖撲定位的應(yīng)用

圖撲自主研發(fā) HT for Web 2D 和 3D 圖形渲染引擎，為室內(nèi)外定位數(shù)據(jù)提供了豐富的可視化展示方式。

廠區(qū)人員定位

采用圖撲的 HT for Web 產(chǎn)品來構(gòu)造輕量化的 3D 可視化場景，該場景從正面展示了一個現(xiàn)代化工廠的現(xiàn)實場景，室內(nèi)定位包括工廠工人的實時位置、電子圍欄的范圍、現(xiàn)場的安全情況等等，幫助我們直觀的了解當(dāng)前工廠人員的安全狀況。

在工廠中，室內(nèi)定位技術(shù)的應(yīng)用顯著提升了運營效率和安全性。數(shù)據(jù)經(jīng)過圖撲可視化技術(shù)處理后，以數(shù)字孿生形式呈現(xiàn)，使得人員調(diào)度、設(shè)備維護和安全監(jiān)控更加精準(zhǔn)高效。

鋼廠人員安全定位

依托圖撲自研 HT for Web 產(chǎn)品，從數(shù)字孿生鋼廠出發(fā)，將鋼廠廠區(qū)、設(shè)備機械、作業(yè)人員高度集中。并基于UWB精準(zhǔn)定位技術(shù)，讓位置數(shù)據(jù)與可視化業(yè)務(wù)流程直接關(guān)聯(lián)，實現(xiàn) 3D 可視化監(jiān)控車間作業(yè)人員的精準(zhǔn)定位、歷史軌跡溯源、電子圍欄監(jiān)管及異常預(yù)警告警等業(yè)務(wù)功能。形成基于 UWB 精準(zhǔn)定位的調(diào)度一體化、數(shù)據(jù)透明化、運維智能化的監(jiān)管平臺。

異常報警一鍵定位

鋼廠環(huán)境錯中復(fù)雜，如有外來訪客或作業(yè)人員疏忽大意，導(dǎo)致錯入設(shè)備檢修區(qū)、高空作業(yè)區(qū)、大型設(shè)備作業(yè)區(qū)附近，后果不堪設(shè)想。

UWB 作為厘米級高精度人員定位技術(shù)，將其與圖撲可視化場景深度融合，依照 UWB 定位系統(tǒng)傳輸?shù)亩ㄎ蛔鴺?biāo)數(shù)據(jù)，在場景內(nèi)實時呈現(xiàn)人員SOS報警、微標(biāo)簽低電量報警、無陪同作業(yè)報警、電子圍欄越界報警等因素觸發(fā)的位置信息。確保作業(yè)人員定位坐標(biāo)精準(zhǔn)復(fù)現(xiàn)于虛擬場景之中，清晰查看人員的位置分布信息和人員數(shù)據(jù)統(tǒng)計。

室內(nèi)定位與視頻融合

可視化平臺聯(lián)合多種視覺圖像進行 7×24h 動態(tài)監(jiān)測。并且支持疊加圖撲軟件 HT 視頻融合技術(shù)，通過車間內(nèi)監(jiān)控視頻與三維場景疊加展示，可如臨其境查看現(xiàn)場情況。并實現(xiàn)關(guān)鍵路徑自動視頻巡檢，重點區(qū)域關(guān)注目標(biāo)快速鎖定等高級功能。

圖撲軟件視頻融合技術(shù)采用 WebGL 技術(shù)，利用 GPU 高性能計算能力對視頻圖像進行實時處理，圖像處理不占用 CPU 資源，整個方案畫面流暢。

倉儲物流園區(qū)設(shè)備定位

集合倉儲系統(tǒng)應(yīng)用物聯(lián)網(wǎng)、視頻監(jiān)控聯(lián)網(wǎng)技術(shù)、嵌入智能控制與通信模塊的物流機器人技術(shù)、RFID 托盤等技術(shù)。數(shù)字孿生物流全過程，讓物品出入庫信息可展現(xiàn)，可監(jiān)控，可管理。

通過融合 HT 可視化技術(shù)，園區(qū)內(nèi)的人、機、車、設(shè)備實現(xiàn)了一體互聯(lián)。這包括自動駕駛、自動分揀、自動巡檢和人機交互等整體調(diào)度及管理，進一步搭建起智能化室內(nèi)定位的應(yīng)用場景。

設(shè)備定位

AGV 通過無線網(wǎng)絡(luò)向上位機發(fā)送當(dāng)前位置和狀態(tài)，上位機根據(jù)當(dāng)前狀態(tài)更新數(shù)據(jù)庫，并同步接入 HT 可視化系統(tǒng)進行路徑的實時展示，也可根據(jù)項目需求設(shè)置 AVG 行走路徑。

數(shù)字化和智能化技術(shù)在全領(lǐng)域的覆蓋，使室內(nèi)定位應(yīng)用變得越來越普及。這些技術(shù)改變了傳統(tǒng)的人工讀取和記錄信息的方式，實現(xiàn)了信息的主動“感知”。

車輛定位管理

智慧停車場的車輛定位技術(shù)極大提升了管理效率和用戶體驗。通過使用藍(lán)牙、Wi-Fi、UWB 和物聯(lián)網(wǎng)等多種定位技術(shù)，停車場管理系統(tǒng)能夠?qū)崟r跟蹤每輛車的位置。通過HT 可視化使停車場管理更加智能化。

圖撲車輛定位可視化技術(shù)可以實時監(jiān)控車輛動向，優(yōu)化車位利用率，并在緊急情況下進行迅速處理。智慧停車場通過數(shù)字化技術(shù)顯著提升了用戶體驗，同時提高了管理效率和安全性。

SDF 自動矯正

SDF（Signed Distance Field），高度科技自動矯正算法是一種結(jié)合視頻融合和室內(nèi)定位技術(shù)的尖端工具，旨在提升三維空間數(shù)據(jù)的精準(zhǔn)度和可靠性。碰撞檢測中，通過查詢點在 SDF 中的值，可以判斷該點是否與物體發(fā)生碰撞。

對于 3D 場景中平面的物體的碰撞檢測矯正，具體步驟如下：

1、創(chuàng)建平面的二維圖， 模型、障礙物等不可進入?yún)^(qū)域用黑色填充，可自由移動區(qū)域用白色填充。

2、生成平面二維圖的圖片，并創(chuàng)建 SDF，黑色區(qū)域距離為負(fù)，白色區(qū)域距離為正。同時記錄指向最近距離方向的向量。

3、運行時根據(jù)模型當(dāng)前位置查詢 SDF 距離。如果距離為負(fù)，根據(jù)距離向量計算出模型的矯正位置。

SDF 在圖撲的應(yīng)用

SDF 是一種常用于計算機圖形學(xué)和圖像處理中的技術(shù)，用于表示和處理幾何形狀。SDF 能夠高效地描述一個形狀及其邊界，并且常用于邊界檢測、碰撞檢測、字體渲染等。

圖撲 HT 提供封裝好的插件，通過簡單配置和少量代碼即可實現(xiàn)碰撞檢測。

1、創(chuàng)建 3D 場景，將障礙物標(biāo)出來。

2、添加 HT 碰撞檢測插件。插件會根據(jù)場景中障礙物信息自動生成 SDF 黑白圖片，并保存在內(nèi)存中。

3、添加代碼處理碰撞。

結(jié)合視頻融合和室內(nèi)定位技術(shù)，圖撲軟件正在引領(lǐng)智能管理和監(jiān)控的創(chuàng)新方向。這種視頻孿生綜合解決方案不僅提升了數(shù)據(jù)的可操作性和決策的科學(xué)性，還為用戶提供了更為直觀和智能的監(jiān)控體驗。隨著技術(shù)的不斷進步，這一領(lǐng)域?qū)⒂瓉砀訌V闊的發(fā)展前景，為智慧城市、智能工廠、智能辦公等場景帶來更多創(chuàng)新與可能。

圖撲軟件(Hightopo)長期專注于 Web 可視化領(lǐng)域，自主研發(fā) HT for Web 2D 和 3D 圖形渲染引擎、低代碼數(shù)字孿生組態(tài)平臺及相關(guān)工具。目前產(chǎn)品已廣泛應(yīng)用于工業(yè)組態(tài)、電力能源、孿生工廠、電信機房、智慧交通、智慧城市、園區(qū)樓宇、智慧水務(wù)、航天軍工等行業(yè)領(lǐng)域，為客戶提供可靠的一站式數(shù)字孿生解決方案。