導讀:據(jù)介紹,聆語、小聰背后,整合了 3D 數(shù)字人建模、語音識別、語義理解、機器翻譯和圖像渲染技術等。
近日,騰訊發(fā)文表示,在央視頻的比賽播放中,央視頻 AI 手語翻譯官聆語為武大靖奪金時刻帶來了手語解說。此外,騰訊 3D 手語數(shù)字人小聰也將上線騰訊體育。
▲ AI 手語翻譯官聆語
據(jù)了解,騰訊表示,小聰、聆語,均由騰訊的技術團隊打造,特點是:手語表達能力接近真人;能自行學習,快速補充海量新詞、熱詞。近期,聆語、小聰會為冰雪賽事的轉播采訪等環(huán)節(jié),提供手語解說服務。
據(jù)介紹,聆語、小聰背后,整合了 3D 數(shù)字人建模、語音識別、語義理解、機器翻譯和圖像渲染技術等。
騰訊開發(fā)出了一套手語翻譯系統(tǒng),只需輸入健聽人語言,即可通過機器翻譯低延遲生成高準確率的手語語言表征,比如:輸入“他是我的手語老師”,預處理為“他 是 我 的 手語 老師”,翻譯為“他 我 手語 老師 是”。
接著,驅動手語數(shù)字人準確表達,基于騰訊多模態(tài)端到端生成模型,進行聯(lián)合建模及預測生成高準確率的動作、表情、唇動等序列,實現(xiàn)自然專業(yè)、易懂度高的手語效果。通過這項技術,AI 手語可懂度達 90% 以上。