12 月 30 日消息，字節(jié)跳動(dòng)旗下豆包大模型對(duì)外公布了 2024 年全領(lǐng)域的技術(shù)進(jìn)展，宣稱自 5 月 15 日首次亮相的 7 個(gè)月以來(lái)，在通用語(yǔ)言、視頻生成、語(yǔ)音對(duì)話、視覺(jué)理解等方面模型能力已經(jīng)跨入國(guó)際第一梯隊(duì)。

　　據(jù)介紹，截至 2024 年 12 月，最新版豆包通用模型 Doubao-pro-1215 綜合能力較 5 月提升 32%，已全面對(duì)齊 GPT-4o，在數(shù)學(xué)、專業(yè)知識(shí)等部分復(fù)雜場(chǎng)景任務(wù)中，效果表現(xiàn)甚至更好，同時(shí)其推理服務(wù)價(jià)格僅為 GPT-4o 的八分之一。其經(jīng)過(guò)海量數(shù)據(jù)優(yōu)化及模型架構(gòu)的創(chuàng)新，包括提升模型稀疏度、引入強(qiáng)化學(xué)習(xí)等，從而使該模型理解精度、生成質(zhì)量大幅提升。

　　豆包還首次對(duì)外披露了其大模型300 萬(wàn)字窗口的長(zhǎng)文本能力。據(jù)介紹，其能夠一次輕松閱讀“上百篇”學(xué)術(shù)報(bào)告，每百萬(wàn) tokens 處理延遲僅 15 秒。據(jù)了解，其背后包括 STRING 等上下文關(guān)聯(lián)數(shù)據(jù)算法，能夠大幅提升 LLM 利用海量外部知識(shí)的能力，稀疏化及分布式方案將時(shí)延降到十秒級(jí)。