應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

實時感知!英偉達(dá)新VLM研究出爐 - 涉及機(jī)器人,結(jié)合激光雷達(dá)和視覺圖像

2024-12-12 16:35 芯傳感
關(guān)鍵詞:激光雷達(dá)

導(dǎo)讀:日前,加州大學(xué)研究人員和英偉達(dá)共同發(fā)布了新的視覺語言模型“NaVILA”。亮點在于,NaVILA模型為機(jī)器人導(dǎo)航提供了一種新方案。

日前,加州大學(xué)研究人員和英偉達(dá)共同發(fā)布了新的視覺語言模型“NaVILA”。

亮點在于,NaVILA模型為機(jī)器人導(dǎo)航提供了一種新方案。

無地圖可實時感知

視覺語言模型(VLM)是一種具備多模態(tài)生成能力的AI模型,它能夠?qū)ξ谋?、圖像以及視頻等多種提示進(jìn)行智能推理。通過將大型語言模型(LLM)與視覺編碼器進(jìn)行有機(jī)結(jié)合,VLM賦予了LLM“視覺感知”的能力。

以往,機(jī)器人在行動時通常需要依賴預(yù)先繪制的地圖以及復(fù)雜的傳感器系統(tǒng)。而NaVILA模型不需要預(yù)先的地圖,機(jī)器人只需“聽懂”人類的自然語言指令,結(jié)合實時的視覺圖像和激光雷達(dá)信息,實時感知環(huán)境中的路徑、障礙物和動態(tài)目標(biāo),就可以自主導(dǎo)航到指定位置。

不僅擺脫了對地圖的依賴,NaVILA還進(jìn)一步將導(dǎo)航技術(shù)從輪式擴(kuò)展到了足式機(jī)器人,希望讓機(jī)器人應(yīng)付更多復(fù)雜場景,使其具備跨越障礙和自適應(yīng)路徑規(guī)劃的能力。

微信截圖_20241212160134.png

在相關(guān)論文中,加州大學(xué)的研究人員采用了宇樹的Go2機(jī)器狗和G1人形機(jī)器人進(jìn)行了實際測試。根據(jù)團(tuán)隊的實測數(shù)據(jù),在家庭、戶外以及工作區(qū)等真實環(huán)境中,NaVILA的導(dǎo)航成功率高達(dá)88%,而在復(fù)雜任務(wù)中的成功率也達(dá)到了75%。

圖解機(jī)器人分類


11.jpg


來源:同花順

“機(jī)器人+行業(yè)應(yīng)用”場景不斷深化

在應(yīng)用上,“機(jī)器人+行業(yè)應(yīng)用”的場景不斷深化,已覆蓋65個行業(yè)大類、206個行業(yè)中類,制造業(yè)機(jī)器人密度已達(dá)到每萬名工人392臺。無論是傳統(tǒng)產(chǎn)業(yè)還是新興行業(yè),無論是民生領(lǐng)域還是重大工程,都有機(jī)器人大顯身手。

據(jù)央視新聞報道,在制造上,中國已經(jīng)連續(xù)多年都是全球工業(yè)機(jī)器人銷量最多的國家,2023年上半年工業(yè)機(jī)器人產(chǎn)量達(dá)到22.2萬套,同比增長5.4%。

根據(jù)工信部發(fā)布的數(shù)據(jù),我國機(jī)器人領(lǐng)域?qū)>匦隆靶【奕恕逼髽I(yè)達(dá)273家,10家機(jī)器人企業(yè)成長為制造業(yè)單項冠軍。

我國正在加緊布局,推動人形機(jī)器人產(chǎn)業(yè)占得先機(jī)并行穩(wěn)致遠(yuǎn)。目前,我國已創(chuàng)建了機(jī)器人智能傳感器、智能語音等國家制造業(yè)創(chuàng)新中心,組織揭榜掛帥攻關(guān),推進(jìn)關(guān)鍵軟硬件的適配。

據(jù)不完全統(tǒng)計,中國人形機(jī)器人本體制造企業(yè)已超過50家。中國的人形機(jī)器人本體企業(yè)既包括在該領(lǐng)域耕耘近十年的老牌企業(yè),如優(yōu)必選、理工華匯、鋼鐵俠科技等,也有剛剛成立不久的的初創(chuàng)公司,如智元、星動紀(jì)元、開普勒探索等。

22.jpg


來源:同花順

此外,近年來人形機(jī)器人領(lǐng)域跨界入局者增多,許多互聯(lián)網(wǎng)企業(yè)及汽車企業(yè)都瞄準(zhǔn)了這一新的經(jīng)濟(jì)增長點,如小米、小鵬、科大訊飛等,競爭態(tài)勢愈發(fā)激烈。

就在前幾天,12月10日消息,小米系首家大模型機(jī)器人公司——北京小雨智造科技有限公司完成億元A輪融資,小雨智造是小米集團(tuán)下專注開發(fā)適用工業(yè)領(lǐng)域的大模型機(jī)器人技術(shù)的科技公司,目前有自研的“Xiaoyu Brain”通用機(jī)器人大腦和機(jī)器人大模型解決方案,使得機(jī)器人能夠在工業(yè)環(huán)境中執(zhí)行各種任務(wù)。

10月,國家地方共建人形機(jī)器人創(chuàng)新中心聯(lián)合行業(yè)頭部企業(yè)和機(jī)構(gòu)發(fā)布了《人形機(jī)器人分類分級應(yīng)用指南》和《具身智能智能化等級分級指南》,定義了人形機(jī)器人相關(guān)術(shù)語,并進(jìn)行了分類和智能化等級劃分。

近期,多地發(fā)布促進(jìn)機(jī)器人產(chǎn)業(yè)發(fā)展的政策,如重慶、杭州等。南京、四川天府新區(qū)等地也發(fā)布了相關(guān)政策。深圳憑借制造業(yè)基礎(chǔ)和高科技企業(yè)優(yōu)勢,吸引大量投資,成為人形機(jī)器人融資熱點城市之一。市政府還制定了行動計劃,并設(shè)立100億元的產(chǎn)業(yè)基金,集中投資于人工智能和具身機(jī)器人領(lǐng)域。

今年的IOTE 2024第二十二屆國際物聯(lián)網(wǎng)展·深圳站特設(shè)了12號場館為人工智能專題展區(qū),其中人形機(jī)器人展區(qū)成為了整場展會的亮點之一。人形機(jī)器人作為人工智能展區(qū)的明星展品,受到了展會觀眾的極大關(guān)注和熱烈追捧,在為期三天的展覽中吸引了眾多科技愛好者和行業(yè)專家的目光與駐足留步。

微信圖片_20241212164139.jpg

值得一提的是,“2024‘物聯(lián)之星’”中國物聯(lián)網(wǎng)行業(yè)年度榜單評選活動也吸引了眾多人工智能與機(jī)器人相關(guān)領(lǐng)域企業(yè)的積極參與。

“2024‘物聯(lián)之星’”中國物聯(lián)網(wǎng)行業(yè)年度榜單評選活動已于2024.10月15日正式啟動,現(xiàn)已有超百家AIoT企業(yè)參與到活動中的申報中來。掃描下方二維碼或搜索網(wǎng)頁鏈接即可填寫資料進(jìn)行申報,“2024‘物聯(lián)之星’”期待您的加入!

微信圖片_20241212164147.jpg

現(xiàn)在,“2024‘物聯(lián)之星’”中國物聯(lián)網(wǎng)行業(yè)年度榜單評選的投票打榜環(huán)節(jié)也已開啟,掃描下方二維碼即可參與到投票環(huán)節(jié)中來。歡迎行業(yè)內(nèi)專業(yè)人士與愛好者們通過“物聯(lián)之星”評選活動來了解行業(yè)內(nèi)的前沿訊息,每個用戶每日可在官網(wǎng)與小程序為打榜的產(chǎn)品、案例、企業(yè)、人物各投上寶貴的一票。

5.png