助力客戶輕松構(gòu)建現(xiàn)代生成式AI應(yīng)用

北京2023年8月1日 -- 亞馬遜云科技宣布推出Amazon OpenSearch Serverless向量引擎預(yù)覽版。該向量引擎在Amazon OpenSearch Serverless中提供了一種簡(jiǎn)單、可擴(kuò)展、高性能的相似性搜索功能，讓用戶能夠輕松構(gòu)建由現(xiàn)代化機(jī)器學(xué)習(xí)（ML）增強(qiáng)的搜索體驗(yàn)和生成式AI應(yīng)用程序，無(wú)需管理底層向量數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施。

向量嵌入助力機(jī)器學(xué)習(xí)增強(qiáng)的搜索和生成式AI的應(yīng)用

所有行業(yè)的企業(yè)都在迅速采用生成式AI，因?yàn)樗軌蛱幚睚嫶蟮臄?shù)據(jù)集、生成自動(dòng)化內(nèi)容，并提供媲美人類(lèi)的交互式響應(yīng)。通過(guò)集成聊天機(jī)器人、問(wèn)答系統(tǒng)和個(gè)性化推薦等先進(jìn)的對(duì)話生成式AI應(yīng)用程序，客戶正在想方設(shè)法徹底變革最終用戶體驗(yàn)以及與數(shù)字平臺(tái)的交互。這些對(duì)話應(yīng)用程序讓用戶能夠用自然語(yǔ)言進(jìn)行搜索和查詢，并通過(guò)理解語(yǔ)義、用戶意圖和查詢上下文，生成酷似人類(lèi)的響應(yīng)。

機(jī)器學(xué)習(xí)增強(qiáng)的搜索應(yīng)用和生成式AI的應(yīng)用程序都需要使用向量嵌入，向量嵌入作為文本、圖像、音頻和視頻數(shù)據(jù)的數(shù)字表示，可以用來(lái)生成動(dòng)態(tài)的相關(guān)內(nèi)容。向量嵌入基于用戶私有數(shù)據(jù)進(jìn)行訓(xùn)練，代表信息的語(yǔ)義和上下文屬性。理想情況下，這些嵌入可以就近存儲(chǔ)和管理，如接近現(xiàn)有的搜索引擎或數(shù)據(jù)庫(kù)等特定領(lǐng)域數(shù)據(jù)集。由此，企業(yè)能夠通過(guò)處理用戶查詢找到最近的向量，并將它們與其他元數(shù)據(jù)結(jié)合，從而集成搜索結(jié)果。這一過(guò)程完全無(wú)需依賴外部數(shù)據(jù)源或其它應(yīng)用程序?？蛻粝Ｍ蛄繑?shù)據(jù)庫(kù)是易于構(gòu)建的，且便于從原型設(shè)計(jì)快速進(jìn)入到生產(chǎn)環(huán)境，這樣他們就可以將精力集中在創(chuàng)建差異化應(yīng)用程序上。Amazon OpenSearch Serverless向量引擎擴(kuò)展了Amazon OpenSearch的搜索能力，使用戶能夠?qū)崟r(shí)存儲(chǔ)、搜索和追溯數(shù)十億向量嵌入，并精確進(jìn)行相似性匹配和語(yǔ)義搜索，無(wú)需考慮底層基礎(chǔ)設(shè)施。

探索向量引擎功能

構(gòu)建于Amazon OpenSearch Serverless的向量引擎天然具備魯棒性。使用向量引擎，用戶不必?fù)?dān)心后端基礎(chǔ)設(shè)施的選型、調(diào)優(yōu)和擴(kuò)展問(wèn)題。向量引擎可自動(dòng)調(diào)整資源，來(lái)適應(yīng)不斷變化的工作負(fù)載模式和需求，從而提供始終如一的快速性能和適當(dāng)規(guī)模。即便向量數(shù)量從原型設(shè)計(jì)期間的數(shù)千個(gè)猛增至生產(chǎn)環(huán)境中的數(shù)億個(gè)，向量引擎也可以無(wú)縫擴(kuò)展，無(wú)需重新索引或重新加載數(shù)據(jù)來(lái)擴(kuò)展基礎(chǔ)設(shè)施。此外，向量引擎為索引和工作負(fù)載搜索提供了單獨(dú)的計(jì)算資源，讓用戶可以實(shí)時(shí)無(wú)縫地獲取、更新和刪除向量，同時(shí)確保用戶查詢性能絲毫不受影響。所有數(shù)據(jù)都長(zhǎng)久地存儲(chǔ)在Amazon Simple Storage Service（Amazon S3）中，因此用戶可以獲得與Amazon S3相同的數(shù)據(jù)持久性保證（11個(gè)9，即99.999999999%）。盡管目前還處于預(yù)覽階段，但向量引擎是為生產(chǎn)環(huán)境工作負(fù)載設(shè)計(jì)的，具有應(yīng)對(duì)可用區(qū)中斷和基礎(chǔ)設(shè)施故障的冗余機(jī)制。

Amazon OpenSearch Serverless向量引擎由開(kāi)源OpenSearch項(xiàng)目中的k近鄰（kNN）搜索功能提供支持，該功能能夠提供可靠而精確的結(jié)果?，F(xiàn)今，許多客戶在托管集群中使用OpenSearch kNN搜索，以便在應(yīng)用程序中提供語(yǔ)義搜索和個(gè)性化推薦。向量引擎的用戶體驗(yàn)與Serverless環(huán)境一樣簡(jiǎn)單易用。向量引擎支持歐氏距離、余弦距離和點(diǎn)積等流行的距離指標(biāo)，可容納16000個(gè)維度，因而非常適合支持各種基礎(chǔ)模型及其他AI/ML模型。用戶還可以存儲(chǔ)各種數(shù)據(jù)的不同字段，例如元數(shù)據(jù)中的數(shù)字、布爾值、日期、關(guān)鍵字和地理位置，以及包含描述性信息的文本等，來(lái)為存儲(chǔ)的向量添加更多上下文信息。多種類(lèi)型數(shù)據(jù)的合并降低了復(fù)雜性，提升了可維護(hù)性，并且避免了數(shù)據(jù)重復(fù)、版本兼容性難題和許可問(wèn)題，有效地簡(jiǎn)化了應(yīng)用程序棧。向量引擎支持相同的OpenSearch開(kāi)源套件API，讓用戶可以充分利用其豐富的查詢功能，例如全文搜索、高級(jí)過(guò)濾、聚合、地理空間查詢、嵌套查詢，以加快數(shù)據(jù)檢索和增強(qiáng)搜索結(jié)果。以要求查找距離用戶15英里以內(nèi)的結(jié)果的用例為例，向量引擎可以在單個(gè)查詢中完成這項(xiàng)任務(wù)，而不需要維護(hù)兩個(gè)不同系統(tǒng)，并利用應(yīng)用邏輯將結(jié)果合并。通過(guò)集成LangChain、Amazon Bedrock和Amazon SageMaker，用戶可以輕松地將首選機(jī)器學(xué)習(xí)和AI系統(tǒng)與向量引擎集成。

向量引擎支持不同領(lǐng)域的廣泛用例，包括圖像搜索、文檔搜索、音樂(lè)檢索、產(chǎn)品推薦、視頻搜索、基于位置的搜索、欺詐檢測(cè)以及異常檢測(cè)。亞馬遜云科技預(yù)測(cè)，將詞匯搜索方法與先進(jìn)的機(jī)器學(xué)習(xí)和生成式AI功能結(jié)合的混合搜索將會(huì)日益流行。例如，當(dāng)用戶在電子商務(wù)網(wǎng)站上搜索“紅色襯衫”時(shí)，語(yǔ)義搜索通過(guò)檢索所有紅色來(lái)擴(kuò)大搜索范圍，同時(shí)在詞法（BM25算法）搜索上實(shí)現(xiàn)調(diào)優(yōu)和邏輯增強(qiáng)。利用Amazon OpenSearch過(guò)濾功能，企業(yè)可以為用戶提供基于尺寸、品牌、價(jià)格范圍和附近商店等信息來(lái)優(yōu)化搜索選項(xiàng)，從而進(jìn)一步增強(qiáng)搜索結(jié)果的相關(guān)性，以便打造更個(gè)性化、更精準(zhǔn)的體驗(yàn)。向量引擎支持的混合搜索使得用戶能夠在單個(gè)查詢調(diào)用中查詢向量嵌入、元數(shù)據(jù)和描述性信息，從而在不構(gòu)建復(fù)雜應(yīng)用程序代碼的情況下，輕松地提供更準(zhǔn)確的，與上下文相關(guān)的搜索結(jié)果。

從預(yù)覽到正式可用

亞馬遜云科技近日宣布推出向量引擎的預(yù)覽版，用戶可以立即開(kāi)始試用。

在向量引擎正式可用之前，亞馬遜云科技計(jì)劃提供兩項(xiàng)功能，降低客戶首個(gè)集合的成本。第一項(xiàng)功能是新的開(kāi)發(fā)-測(cè)試選項(xiàng)，它使用戶能夠在沒(méi)有備份或副本的情況下啟動(dòng)集合，從而將入門(mén)成本降低50%。向量引擎仍然提供持久性保證，因?yàn)樗鼘⑺袛?shù)據(jù)保存在Amazon S3中。第二項(xiàng)功能是在初始階段配置0.5 OCU（OpenSearch計(jì)算單位）資源，資源將根據(jù)用戶的實(shí)際工作負(fù)載來(lái)擴(kuò)展；如果初始工作負(fù)載的規(guī)模是數(shù)萬(wàn)到數(shù)十萬(wàn)個(gè)向量（取決于維度數(shù)量），用戶則可以進(jìn)一步降低成本。除了這兩項(xiàng)功能外，亞馬遜云科技將把支持用戶首個(gè)集合所需的最低OCU從每小時(shí)4個(gè)降至每小時(shí)1個(gè)。

亞馬遜云科技還在開(kāi)發(fā)一些新功能，在未來(lái)幾個(gè)月，將會(huì)幫助用戶實(shí)現(xiàn)工作負(fù)載暫停與恢復(fù)，這項(xiàng)新功能對(duì)向量引擎十分有用，因?yàn)槠渲性S多用例不需要持續(xù)索引數(shù)據(jù)。

最后，亞馬遜云科技持續(xù)致力于優(yōu)化向量圖的性能和內(nèi)存使用，包括改進(jìn)緩存和合并等功能。

在亞馬遜云科技致力于降低用戶成本的同時(shí)，亞馬遜云科技將提供1400 OCU小時(shí)/每月的免費(fèi)向量集合，直到開(kāi)發(fā)-測(cè)試選項(xiàng)宣布可用為止。

Amazon OpenSearch Serverless向量引擎預(yù)覽版現(xiàn)已在全球八個(gè)地區(qū)可用：美國(guó)東部（俄亥俄州）、美國(guó)東部（弗吉尼亞州北部）、美國(guó)西部（俄勒岡州）、亞太地區(qū)（新加坡）、亞太地區(qū)（悉尼）、亞太地區(qū)（東京）、歐洲（法蘭克福）和歐洲（愛(ài)爾蘭）。