導(dǎo)讀:云計算從 AWS 初創(chuàng)時的牛刀小試到如今巨大的行業(yè)和生態(tài),從新鮮詞匯變?yōu)榱餍姓Z,它的十年發(fā)展經(jīng)歷了哪些階段?每個階段分別創(chuàng)造和發(fā)展了什么?未來云計算又將朝著哪些方向繼續(xù)前行?
云計算從 AWS 初創(chuàng)時的牛刀小試到如今巨大的行業(yè)和生態(tài),從新鮮詞匯變?yōu)榱餍姓Z,它的十年發(fā)展經(jīng)歷了哪些階段?每個階段分別創(chuàng)造和發(fā)展了什么?未來云計算又將朝著哪些方向繼續(xù)前行?此文旨在通過回顧技術(shù)發(fā)展總結(jié)最佳實踐、為開發(fā)者啟發(fā)技術(shù)新思路。
科學(xué)技術(shù)的革新始終在推動時代巨輪轟鳴向前。
云計算,已經(jīng)走過十余年的風(fēng)雨歷程,從 AWS 初創(chuàng)立時的牛刀小試,到如今成長為一個巨大的行業(yè)和生態(tài),堪稱是新世紀(jì)以來最偉大的技術(shù)進(jìn)步之一?!霸朴嬎恪边@個術(shù)語,也早已從一個新鮮詞匯,成為了婦孺皆知的流行語。十年荏苒,風(fēng)云變幻,我們可以憶昔撫今,一起回顧和感受云計算領(lǐng)域的發(fā)展與變革。
任何事物的誕生和發(fā)展一定有其前提條件和土壤,云計算亦是如此。記得在世紀(jì)初的大學(xué)課堂上,教授們頗為推崇網(wǎng)格計算理論,該理論事實上已經(jīng)充分體現(xiàn)了計算資源分布式協(xié)作和統(tǒng)一管理的先進(jìn)思想??上ЬW(wǎng)格計算過于學(xué)術(shù)化,最終是更接地氣也更宏大的云計算橫空出世,震動了整個 IT 業(yè)界。
那么,云計算誕生及蓬勃發(fā)展的原因是什么呢?在筆者看來,主要有三大因素,分別是相關(guān)軟硬件技術(shù)的成熟、巨大的社會價值和偉大的商業(yè)模式。
01
所謂軟硬件技術(shù)的成熟
指的是在技術(shù)和工程層面,構(gòu)建云計算平臺的條件開始陸續(xù)具備,主要包括超大規(guī)模數(shù)據(jù)中心建設(shè)、高速互聯(lián)網(wǎng)絡(luò),以及計算資源虛擬化 (Hypervisor) 和軟件定義網(wǎng)絡(luò) (SDN) 技術(shù)的不斷發(fā)展和成熟——這些基礎(chǔ)能力構(gòu)成了云計算發(fā)展的技術(shù)前提
02
所謂巨大的社會價值
指的是從用戶角度出發(fā),云計算的采用使任意組織和個人得以站在巨人的肩膀上開展業(yè)務(wù),避免重復(fù)造輪,極大提高了軟件與服務(wù)構(gòu)建各環(huán)節(jié)效率,加速了各類應(yīng)用的架構(gòu)和落地,而云端按需啟用和隨意擴展的資源彈性,也能夠為企業(yè)節(jié)省巨大成本
03
所謂偉大的商業(yè)模式
指的是云計算的產(chǎn)品和服務(wù)形態(tài)非常適合新時代的 B 端需要,訂閱制和 Pay-as-you-go 的計費方式大幅降低了客戶的進(jìn)入門檻,而技術(shù)基礎(chǔ)設(shè)施架構(gòu)方面的穩(wěn)定性需要又帶來了較高的客戶粘性,再加上多租戶高密度數(shù)據(jù)中心所能帶來的規(guī)模效應(yīng),這些因素使得云計算能夠成為一門好的生意,對應(yīng)著一個極佳的 B 端商業(yè)模式
這三者缺一不可,共同促成了云計算的興起與繁榮,也吸引了不計其數(shù)的業(yè)界精英投入其中,是為云計算取之不竭的源動力。
當(dāng)然,同任何新生事物一樣,云計算行業(yè)的發(fā)展也并非一帆風(fēng)順。從早期被指責(zé)為“新瓶裝舊酒” 的概念炒作,到對云上數(shù)據(jù)隱私問題的擔(dān)憂,再到對各類公有云線上偶發(fā)事故的譏諷和嘲笑,云計算的成長亦伴隨著各種挑戰(zhàn)和質(zhì)疑。其中部分負(fù)面反饋實質(zhì)上還是由于使用不當(dāng)或偏離最佳實踐造成,也讓云計算背負(fù)了不少 “冤屈” 和罵名。所幸瑕不掩瑜,云計算的先進(jìn)性終究讓發(fā)展的主旋律蓋過了干擾與雜音,配合其本身持續(xù)的改進(jìn),越來越多地得到客戶的認(rèn)可,市場規(guī)模也不斷擴大。
本文會試圖從普通開發(fā)者及實踐者的視角來回顧云計算的偉大歷程。因篇幅所限,所討論的范疇將聚焦于公有云,以 IaaS 和 PaaS 層面的技術(shù)演進(jìn)為主。
萌芽時代 2008—2011
事實上,云計算行業(yè)的開端較難精準(zhǔn)定義。一般認(rèn)為,亞馬遜 AWS 在 2006 年公開發(fā)布 S3 存儲服務(wù)、SQS 消息隊列及 EC2 虛擬機服務(wù),正式宣告了現(xiàn)代云計算的到來。
而如果從行業(yè)視角來看,我們也不妨視 2008 年為另一個意義上的云計算元年。因為在這一年,當(dāng) AWS 證明了云是可行業(yè)務(wù)之后,越來越多的行業(yè)巨頭和玩家注意到這塊市場并開始入局:
◆微軟在 PDC2008 上宣布 Windows Azure 的技術(shù)社區(qū)預(yù)覽版,正式開始微軟眾多技術(shù)與服務(wù)托管化和線上化的嘗試;
◆Google 恰好也在 2008 年推出了 Google App Engine 預(yù)覽版本,通過專有 Web 框架允許開發(fā)者開發(fā) Web 應(yīng)用并部署在 Google 的基礎(chǔ)設(shè)施之上,這是一種更偏向 PaaS 層面的云計算進(jìn)入方式;
◆而眾所周知,國內(nèi)的云計算標(biāo)桿阿里云也是從 2008 年開始籌辦和起步——可見是從 2008 年起,云計算的時代大幕逐步拉開,開始形成一個真正的多元化市場,并隨著眾多巨頭的加入開始良性競爭。
在云計算興起之前,對于大多數(shù)企業(yè)而言,硬件的自行采購和 IDC 機房租用是主流的 IT 基礎(chǔ)設(shè)施構(gòu)建方式。除了服務(wù)器本身,機柜、帶寬、交換機、網(wǎng)絡(luò)配置、軟件安裝、虛擬化等底層諸多事項總體上需要相當(dāng)專業(yè)的人士來負(fù)責(zé),作調(diào)整時的反應(yīng)周期也比較長——相信許多研發(fā)負(fù)責(zé)人都有過等待服務(wù)器到位的經(jīng)歷。
云的到來,突然給出了另一種高效許多的方式:只需輕點指尖或通過腳本即可讓需求方自助搭建應(yīng)用所需的軟硬件環(huán)境,并且根據(jù)業(yè)務(wù)變化可隨時按需擴展和按量計費,再加上云上許多開箱即用的組件級服務(wù),這對許多企業(yè)來說有著莫大的吸引力。Netflix 就是早期云計算的擁抱者和受益者,該公司在 2010 年成功地全面遷移到 AWS,堪稱是云計算史上最著名的案例之一。
技術(shù)產(chǎn)品上看,早期的云上產(chǎn)品組合雖然還比較單薄,也存在一些限制,但計算和存儲分離的核心理念已經(jīng)得到初步確立,并深刻影響了基于云上應(yīng)用程序的架構(gòu)模式。具體來說,該理念一方面體現(xiàn)在云廠商紛紛將存儲服務(wù)開辟為獨立的產(chǎn)品類別,通過如 AWS S3、Azure Storage、阿里云 OSS 等服務(wù)清晰剝離了二進(jìn)制對象與文件的負(fù)載與管理,并且提供了豐富的接口和 API 以供應(yīng)用程序進(jìn)行集成;另一方面,在虛擬機層面基于網(wǎng)絡(luò)存儲的托管磁盤服務(wù)也得到了大力發(fā)展和推廣,如AWS的EBS、Azure的Page Blob(后封裝為 Managed Disk)以及阿里云的塊存儲(云盤),此類托管磁盤既很好地保障了數(shù)據(jù)可靠性,又提供了豐富的容量和性能級別選擇,使得云上虛擬機的計算和存儲充分解耦,在這兩方面都能夠獨立擴展和調(diào)節(jié)。
在云計算的萌芽時期,另一個有趣現(xiàn)象是當(dāng)時“云計算”和“大數(shù)據(jù)”糾纏不清的關(guān)系??赡苁怯捎诎l(fā)展歷程上幾乎同期興起,以及在大規(guī)模數(shù)據(jù)存儲與計算上的確存在能力交集,兩者的概念和定義一度容易互相混淆。早年筆者曾購買過一本很不錯的 Hadoop 技術(shù)書籍,其副標(biāo)題卻是“開啟通向云計算的捷徑”,可見早期云計算的定義曾有較為模糊的階段。
當(dāng)然,隨著后續(xù)的時代發(fā)展,這樣的歧義越來越少見了,云計算已多特指提供各類云端服務(wù)與組件的軟硬一體化技術(shù)資源平臺,是一個帶有明確商業(yè)模式的綜合性載體,而大數(shù)據(jù)則是技術(shù)上處理大體量數(shù)據(jù)的方法論和實現(xiàn),主要是一種技術(shù)體系——所以兩者各自獨立又可互相依存,比如各云計算廠商都陸續(xù)推出了云上大數(shù)據(jù)分析服務(wù),如 AWS 的 EMR、Azure 的 HDInsight、阿里云的 E-MapReduce,本質(zhì)上正是開源大數(shù)據(jù)技術(shù)在云上的實現(xiàn)和適配。
探索時代 2011—2014
當(dāng)云計算玩家們紛紛入場并確認(rèn)大舉投入的戰(zhàn)略后,行業(yè)進(jìn)入了精彩的探索時代。這一時期的各朵云在產(chǎn)品技術(shù)層面進(jìn)行了許多有益嘗試,雖然免不了在個別方向上走些彎路甚至經(jīng)受挫折,但總體而言云端服務(wù)的能力與質(zhì)量取得了相當(dāng)大的進(jìn)步和提升,也為云計算贏得了越來越多的關(guān)注和喝彩。
首先,IaaS 層面繼續(xù)圍繞虛擬機為核心得到穩(wěn)扎穩(wěn)打的推進(jìn)和增強。更強更新的 cpu 帶來了云上虛擬機計算能力的提升和換代自不必說,早期機型內(nèi)存相對偏小的問題也隨著新機型的推出逐步得到解決,新上云端的 SSD 磁盤更是讓機器性能如虎添翼。廠商們不約而同地形成了通用型、計算型、內(nèi)存型等多個虛擬機系列,通過將不同 CPU/ 內(nèi)存比例搭配的機型擺上貨架,給予不同應(yīng)用程序負(fù)載以更多選擇。當(dāng)筆者瀏覽這些琳瑯滿目的機型列表和參數(shù)時,恍惚間猶如來到了當(dāng)年熱鬧的中關(guān)村 IT 賣場,頗有在云端“攢機”的奇妙感覺。
同屬基礎(chǔ)設(shè)施的存儲類服務(wù)在初期得到了市場歡迎和認(rèn)可之后,也同樣迎來了大發(fā)展。原有功能得以細(xì)化,通過引入冷、熱乃至存檔的各級分層,進(jìn)一步凸顯成本優(yōu)勢。為了彌補托管磁盤在跨機器文件共享方面的不足,類似 NFS 的文件存儲類服務(wù)也逐步成為了云上標(biāo)配,如 AWS 的 EFS、Azure 的 Azure Files 及阿里云 NAS 等,進(jìn)一步把計算存儲分離架構(gòu)發(fā)揮到極致,大大方便了某些場景下的架構(gòu)與實現(xiàn)。
與 IaaS 的高歌猛進(jìn)相比,PaaS 的發(fā)展在這一時期則顯得多少有些落寞,尤其是從希望從頂層應(yīng)用框架入手來推廣云的方式一直不溫不火,沒有得到太多的關(guān)注。例如前面我們提到的 Google App Engine,經(jīng)過幾年發(fā)展后技術(shù)上其實頗為扎實,除 Python 外也添加了 JAVA/Go 等更多語言的支持,亦可與 Google 其他基礎(chǔ)設(shè)施無縫集成,但就市場而言總是處于叫好不叫座的狀態(tài);國內(nèi)率先實踐此模式的廠商是新浪 SAE,上線之初頗受關(guān)注,亮點在于支持 PHP 語言及集成 MySQL,可惜多年運營亦未達(dá)到火爆狀態(tài);阿里云也曾推出相似的 ACE 服務(wù)對此類產(chǎn)品形態(tài)進(jìn)行嘗試,后也于 2016 年下線——究其原因,恐怕還是因為 App Engine 類服務(wù)本質(zhì)上是相對受限的環(huán)境,平臺的技術(shù)約束和綁定較強,出問題時也較難進(jìn)行深入排查所致。
這揭示了云的用戶固然喜歡技術(shù)實現(xiàn)上的便利和平臺抽象,但也同樣渴求技術(shù)靈活性、可移植性和自我掌控。在后來的 Web 類 PaaS 服務(wù)中,我們看到業(yè)界調(diào)整了策略:更多地定位為通用運行平臺并著力于自動擴容和負(fù)載監(jiān)控等專業(yè)增值服務(wù),盡可能解除技術(shù)、語言和框架層面的限制,如 AWS 的 Elastic Beanstalk、Azure 的 App Service 等;另一種發(fā)展思路則徹底輕量化,主要面向中小客戶推廣較為經(jīng)濟(jì)的建站服務(wù),以滿足入門級托管需求。
所幸,PaaS 中的另一重要分支——泛數(shù)據(jù)庫類服務(wù)(亦稱 DBaaS)則得到了快速的發(fā)展。由于數(shù)據(jù)庫服務(wù)較為標(biāo)準(zhǔn)化,又是應(yīng)用程序中不可或缺的重要組成,因此很快得到了廣泛支持和采用。這里的典型代表有 Amazon RDS、阿里云 RDS、Azure SQL Databases和 Azure Database for MySQL/PostgreSQL等。
與自行使用虛擬機搭建相比,云上數(shù)據(jù)庫一鍵式的創(chuàng)建過程,自帶的高可用性和自動備份,可謂省心省力;豐富的性能等級選項更是可根據(jù)實際負(fù)載選擇和調(diào)節(jié),實現(xiàn)了成本的最優(yōu)化控制。除此之外,由于云上數(shù)據(jù)庫按時間及容量計費的輕量特點,也給予了一些優(yōu)質(zhì)企業(yè)級數(shù)據(jù)庫以重要的展示和售賣渠道,降低了企業(yè)的評估和嘗試成本:例如,原本只能以昂貴的一體機方式售賣的 MPP 數(shù)據(jù)庫 SQL Server Parallel Data Warehouse (PDW),微軟將其徹底云化之后以 Azure SQL Data Warehouse 的產(chǎn)品形態(tài)發(fā)布,改變了其養(yǎng)在深閨人未識的狀態(tài),使得相關(guān)技術(shù)讓普通開發(fā)人員觸手可及,也無疑大大增加了在整體數(shù)據(jù)架構(gòu)中的采用可能。
讓我們回到宏觀視角。在這一百家爭鳴的探索時期,令人可喜的是中國云計算真正如火如荼地發(fā)展了起來。除了早期入場的阿里云和盛大云,騰訊、百度及三大運營商等各路巨頭也都先后布局試水,并紛紛把“云”的品牌從一度紅火的個人網(wǎng)盤服務(wù)讓位于企業(yè)級云計算;微軟 Azure 也于 2014 年在中國正式商用,標(biāo)志著外資廠商開始參與國內(nèi)市場競爭。值得一提的是,這段時期獨立云計算企業(yè) UCloud、七牛云、青云等都相繼創(chuàng)立,分別以極具特色的產(chǎn)品服務(wù)和強大的自主研發(fā)能力,為中國云計算發(fā)展書寫了濃墨重彩的篇章,使得國內(nèi)云計算市場更加精彩紛呈。
發(fā)展時代 2014—2018
當(dāng)整個云計算行業(yè)一定程度走過蹣跚探索時期之后,開創(chuàng)者們積累了越來越多的經(jīng)驗,對市場反饋和客戶需求有了更清晰的了解與洞察,業(yè)務(wù)模式與商業(yè)運營也駕輕就熟起來——云計算行業(yè)終于進(jìn)入高速發(fā)展時代。在這一時期,不論是總體市場規(guī)模,還是云計算的產(chǎn)品與服務(wù),都得到了極大的增長和豐富。
首先,IaaS 方面的繼續(xù)進(jìn)步體現(xiàn)在服務(wù)的特異性和多樣性上,不斷推出細(xì)分領(lǐng)域和特定場景下適用的虛擬機實例:如基于物理隔離的專屬實例、可運行 SAP HANA 等大型負(fù)載的超高配實例、采用 CPU 積分制的性能突增實例、適用于機器學(xué)習(xí)與 AI 的 gpu 實例等。此類細(xì)分服務(wù)在云端出現(xiàn)的背后,是不少廠商針對性地研發(fā)和定制了適用于云的專屬配套硬件。這些新一代的服務(wù)器不僅是簡單的配置升級,而且在設(shè)計之初就是為云端負(fù)載而生,與云計算產(chǎn)品理念及底層軟件技術(shù)棧高度融合匹配。另外在虛擬機計費規(guī)則方面,除了經(jīng)典的按使用時長計費方式,各廠商也相繼推出更為靈活的計費模式:包年包月、預(yù)留實例、競價實例等,可有效幫助降低使用成本。這些 IaaS 方面的諸多進(jìn)展,進(jìn)一步滿足了各場景的細(xì)分需求,減少了許多客戶的上云阻礙。
在存儲服務(wù)方面,云計算的步伐也在加快,除立足于核心對象存儲服務(wù)的增強外,開始以一體化方式進(jìn)攻部分垂直市場,擠占傳統(tǒng)廠商的市場空間。最典型的例子莫過于 CDN:阿里云自 2015 年起在 CDN 領(lǐng)域大舉擴張,多次主動大幅降價搶占市場,其他云計算廠商也紛紛跟進(jìn),這是原本波瀾不驚的 CDN 領(lǐng)域的標(biāo)志性事件。面對云計算廠商的競爭,網(wǎng)宿、藍(lán)汛等老牌 CDN 廠商頓時立感壓力,市場份額也開始發(fā)生相應(yīng)變化。在國外,AWS CloudFront 和 Azure CDN 等云服務(wù)同樣與 Akamai 這樣的傳統(tǒng)巨頭進(jìn)行著激烈角逐。當(dāng)然,得益于 CDN 的架構(gòu)融合特性,傳統(tǒng)廠商也可選擇與云廠商合作,從上游的基礎(chǔ)設(shè)施方面作為云的供應(yīng)商存在,不失為合作共贏之道。但無論如何,事實說明云的參與和擠壓是相關(guān)市場發(fā)展的必然趨勢。而且從技術(shù)層面來看,服務(wù)之間的一體化協(xié)同效應(yīng)是云計算廠商進(jìn)入 CDN 這樣的單一領(lǐng)域的獨到優(yōu)勢。例如,云廠商的 CDN 可以與自家的對象存儲服務(wù)聯(lián)動,用戶只需要輕點鼠標(biāo),即可將對象存儲中的文件映射至云 CDN 的邊緣節(jié)點網(wǎng)絡(luò)來對外服務(wù),免去了搭建傳統(tǒng)回源站點的麻煩。
PaaS 方面在這個大發(fā)展時代也找到了崛起之道,不再尋求大一統(tǒng)的應(yīng)用程序框架,而是更多提供標(biāo)準(zhǔn)的可復(fù)用中間件,并與其他 IaaS/PaaS 設(shè)施進(jìn)行組合與聯(lián)動——這一思路迅速得到開發(fā)者和架構(gòu)師們的歡迎,隨著特性完善其采用率開始穩(wěn)步上升。典型的例子包括 API 網(wǎng)關(guān)、負(fù)載均衡器、消息隊列等。
更進(jìn)一步地,這一階段的 PaaS 服務(wù)在與 IaaS 虛擬網(wǎng)絡(luò)集成方面有了較大進(jìn)步——這是以往 PaaS 服務(wù)常為人詬病的短板,即只提供面向互聯(lián)網(wǎng)的公開端口,游離于 IaaS 的虛擬網(wǎng)絡(luò)和架構(gòu)體系之外——這一現(xiàn)狀也通過兩種方式得到了相當(dāng)程度的解決:一種可稱之為 PaaS-in-VNet,即允許 PaaS 服務(wù)直接部署到現(xiàn)成的虛擬網(wǎng)絡(luò)之上,例如 Azure 上的 App Service Environment (ASE),就是將 App Service 部署到私有虛擬網(wǎng)絡(luò)的服務(wù)形式;另一種方式則是所謂 PaaS-to-VNet,為 PaaS 與虛擬網(wǎng)絡(luò)之間提供私有通道,在不開放公開訪問的情況下允許雙向網(wǎng)絡(luò)互通,同樣以 Azure App Service 為例,用戶可通過開啟服務(wù)內(nèi)置的 VNet Integration 特性來配置與私有網(wǎng)絡(luò)的安全通信??梢钥吹?,無論是 PaaS-in-VNet 還是 PaaS-to-VNet,其本質(zhì)都是試圖解決 PaaS 和 IaaS 的融合問題,這無疑增加了 PaaS 在整體架構(gòu)中被采納的可能。
勢頭頗佳的 DBaaS 方面的進(jìn)展,主要體現(xiàn)為從經(jīng)典關(guān)系型數(shù)據(jù)庫拓展到新興的各類 NoSQL 數(shù)據(jù)庫及大數(shù)據(jù)領(lǐng)域的云服務(wù)。MongoDB、Redis、Kafka、ElasticSearch——這些耳熟能詳?shù)拈_源數(shù)據(jù)庫,我們幾乎能在每一個云上找到其對應(yīng)的托管服務(wù),輕松地一鍵搭建所需集群。云上數(shù)據(jù)庫的開箱即用是如此的便捷與誘人,不斷獲得市場,甚至引起了開源廠商的不滿:MongoDB 近期將開源協(xié)議從 AGPL 調(diào)整為新推出的 SSPL,是一時關(guān)注度頗高的社區(qū)新聞,其矛頭正是直指開源軟件被直接包裝為云服務(wù)牟利的狀況(部分網(wǎng)友戲稱此為“插管吸血”)。
在此,我們對各方抱有商業(yè)目的的行為不做傾向性評價,但從產(chǎn)品技術(shù)層面來講,實力雄厚的云廠商并不乏應(yīng)對之道:一是基于開源版本作分叉并開始自行維護(hù)和迭代,二是完全自行實現(xiàn)數(shù)據(jù)內(nèi)核和引擎,僅在客戶端協(xié)議方面與主流數(shù)據(jù)庫進(jìn)行兼容。目前,后者這類自研云數(shù)據(jù)庫越來越成為一種新趨勢:廠商可以放開手腳,充分利用云的特點進(jìn)行重新設(shè)計,同時又兼容流行協(xié)議,這一方式迅速取得了市場和開發(fā)者認(rèn)同,此類數(shù)據(jù)庫的杰出代表是 AWS Aurora 和 Azure CosmosDB。其中 AWS Aurora 完全兼容最流行的 MySQL,同時實現(xiàn)了計算存儲的高度分離和近乎無限的擴展,而 Azure CosmosDB 則是一款多模式數(shù)據(jù)庫服務(wù),提供 SQL、MongoDB、Cassandra、Gremlin 等多種開放協(xié)議或查詢語言的兼容,同時實現(xiàn)了全球分布、按需擴容、一致性保障等特性。
所以,無論是 Aurora 還是 CosmosDB,一經(jīng)推出都迅速攻城略地,取得了不俗的戰(zhàn)果。在國內(nèi),以阿里、騰訊為代表的大廠商也同樣在自研數(shù)據(jù)庫方面不斷加碼,陸續(xù)推出了阿里云 PolarDB、騰訊云 CynosDB 等重磅服務(wù)。
在這樣的局面下,也許開源軟件廠商可以參考同為創(chuàng)業(yè)公司的 DataBricks 的做法。DataBricks 作為大數(shù)據(jù)處理領(lǐng)域事實標(biāo)準(zhǔn) Spark 框架的實際掌舵者,一方面主導(dǎo)把控 Spark 開源版本不斷進(jìn)步,另一方面也開始推出性能更佳、交付節(jié)奏更快的商業(yè)版本 Databricks Runtime。更重要的是,Databricks 積極地同云廠商合作,將自身的解決方案融入到公有云平臺之中,成為了平臺上原生的 PaaS 服務(wù),例如與微軟深度合作推出的 Azure Databricks。盡管云上已有基于純開源方案的大數(shù)據(jù)服務(wù)如 AWS EMR 和Azure HDInsight,但基于 Databricks 商業(yè)級解決方案的 PaaS 服務(wù)有自己獨到的優(yōu)勢和特點,已初步獲得了不錯的發(fā)展勢頭。
我們由衷希望,出色的開源軟件公司能夠像 DataBricks 這樣尋找到一種與云合作共贏的商業(yè)模式,畢竟業(yè)界既需要一站式的整合平臺,又應(yīng)當(dāng)保護(hù)開源與創(chuàng)新的良性環(huán)境。
容器與微服務(wù),可以說是近年最重要的技術(shù)趨勢之一。作為新技術(shù)的擁抱者和試驗田,公有云自然不會袖手旁觀。事實上各大云在容器服務(wù)方面的嘗試由來已久,在早期廠商們就各自推出了如 AWS ECS、Azure ACS、阿里云容器服務(wù)等基礎(chǔ)設(shè)施,提供基于底層 IaaS 的容器運行環(huán)境,同時包含開源或自研的編排引擎。而當(dāng) Kubernetes 在編排大戰(zhàn)中逐步勝出并成為事實標(biāo)準(zhǔn)后,各大廠商又不約而同地對 Kubernetes 提供更加定向和深度的支持,紛紛推出 AWS Elastic Kubernetes Service (EKS)、Azure Kubernetes Service (AKS) 等新一代容器服務(wù)。另一類容器托管服務(wù)則進(jìn)一步屏蔽了底層細(xì)節(jié)和調(diào)度麻煩,讓容器作為獨立計算單元直接在共享基礎(chǔ)設(shè)施上運行,如 AWS Fargate、Azure Container Instance、阿里云 ECI 等,頗得無服務(wù)器計算思想之精髓。當(dāng)然,經(jīng)典的無服務(wù)器計算一般指 FaaS,例如也在同步發(fā)展的 AWS Lambda 和 Azure Functions,它們雖在編程框架和范式方面有所限制,但得益于更高層抽象,可讓開發(fā)者聚焦業(yè)務(wù)邏輯,在合適的場景中使用得當(dāng)可大幅提高研發(fā)效率。
讓我們的視角再從技術(shù)回到商業(yè)。隨著云計算行業(yè)體量越來越巨大,市場競爭也愈發(fā)激烈,價格戰(zhàn)屢見不鮮。雖然說云計算有著相當(dāng)不錯的商業(yè)模式,但這畢竟是一個重投入長周期的行業(yè),因此陸續(xù)有中小玩家力不從心、陷入困境。例如國外的 Rackspace,原本入場頗早也有相當(dāng)積累,一度曾在市場中占先,但當(dāng)巨頭紛紛入場后就顯得后勁不足,現(xiàn)已跌出市場占有率前五名。也許當(dāng)云計算進(jìn)入巨頭角力時代后,中小玩家還是需要著力發(fā)展自己特色,深耕細(xì)分市場,或是尋求聯(lián)姻以共享能力與資源。
客戶方面,云計算在這一時期開始明顯地從互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)行業(yè)進(jìn)行滲透。為了拿下更多傳統(tǒng)行業(yè)客戶,組織架構(gòu)和流程的匹配也是必做的功課。走在前面的云廠商相應(yīng)地完善了云上的多賬號管理、組織架構(gòu)映射、資源分組、細(xì)粒度權(quán)限管控等企業(yè)級功能。例如阿里云就在不斷地更新升級其企業(yè)控制臺,幫助用戶更好地管理人員、資源、權(quán)限及互相之間的關(guān)系。
至此,經(jīng)歷了大發(fā)展的云計算已然成長為幾乎承載一切、包容一切的巨大平臺,是一艘提供企業(yè)信息化和數(shù)字化整體解決方案的航空母艦。云計算無疑已經(jīng)全面走向成熟,成為了參與和推動 IT 業(yè)界向前發(fā)展的重要力量。
繁榮時代 2019—?
時間終于進(jìn)入 2019 年?;谶^去十年發(fā)展的良好態(tài)勢,我們沒有理由不相信云計算將進(jìn)入繁榮熱潮。來自 Gartner 的分析報告顯示,2019 年的全球公有云市場規(guī)模將超越 2 千億美元,并將繼續(xù)保持穩(wěn)定增速。而國內(nèi)由于起步相對較晚,市場滲透率還不高,將擁有更高的增速?!吧显啤睂⒊蔀楦黝惼髽I(yè)加快數(shù)字化轉(zhuǎn)型、鼓勵技術(shù)創(chuàng)新和促進(jìn)業(yè)務(wù)增長的第一選擇甚至前提條件。對于企業(yè)而言,更多的不會是上不上云的問題,而是要考慮上哪家云、怎么上云的問題,是如何遷移重構(gòu)以適配云端的問題,是如何讓云更好地服務(wù)生產(chǎn)的問題。因此,我們對云的未來理應(yīng)充滿信心,同時也抱有更高的期待。接下來,我們不妨結(jié)合企業(yè)的需求和云廠商的投入方向,大膽預(yù)測未來云計算發(fā)展的若干趨勢。
01
趨勢之一:
云計算將進(jìn)一步成為創(chuàng)新技術(shù)和最佳工程實踐的重要載體和試驗場,走在時代進(jìn)步的前沿。這是得益于云產(chǎn)品本身的 SaaS 屬性,非常適合快速交付與迭代,能夠較快地把新產(chǎn)品、新技術(shù)推向業(yè)界??梢钥吹?,當(dāng)下的熱點技術(shù),從 AI 與機器學(xué)習(xí)、IoT 與邊緣計算、區(qū)塊鏈到工程實踐領(lǐng)域的 DevOps、云原生和 Service Mesh,甚至未來感十足的量子計算,都有云計算廠商積極參與、投入和推廣的身影。以人工智能為例,不論是前面提到的 IaaS 中 GPU 計算資源的提供,還是面向特定領(lǐng)域成熟模型能力開放(如各類自然語言處理、圖像識別、語音合成的 API),再到幫助打造定制化 AI 模型的機器學(xué)習(xí)平臺(如 AWS SageMaker、Azure Machine Learning Service、阿里云 PAI 等),云事實上從各個層面都有力地支持和參與了 AI 相關(guān)技術(shù)的發(fā)展。就最終效果而言,云上的資源和產(chǎn)品讓人工智能等新興技術(shù)變得觸手可及,大大降低了客戶的探索成本,也加快了新技術(shù)的驗證和實際交付,具有極高的社會價值。
另外值得一提的是,云在新技術(shù)的發(fā)展過程中還保持了某種程度的中立性,對于技術(shù)趨勢持有普遍包容和適應(yīng)的態(tài)度——最典型的例子莫過于容器化和開源框架(如 Spring Cloud)支持下的云原生架構(gòu),它們事實上同部分云端 PaaS 服務(wù)存在競爭關(guān)系,甚至有助于用戶解除廠商鎖定,但云廠商并不會厚此薄彼,而是進(jìn)行不遺余力的支持與適配,更多地把選擇權(quán)留給客戶。
02
趨勢之二:
云計算將順應(yīng)產(chǎn)業(yè)互聯(lián)網(wǎng)大潮,下沉行業(yè)場景,向垂直化產(chǎn)業(yè)化縱深發(fā)展。隨著通用類架構(gòu)與功能的不斷完善和對行業(yè)客戶的不斷深耕,云計算自然地滲透進(jìn)入更多垂直領(lǐng)域,提供更貼近行業(yè)業(yè)務(wù)與典型場景的基礎(chǔ)能力。典型的垂直云代表有視頻云、金融云、游戲云、政務(wù)云、工業(yè)云等。以視頻云為例,它是將視頻采集、存儲、編碼轉(zhuǎn)換、推流、視頻識別等一系列以視頻為核心的技術(shù)能力整合為一站式垂直云服務(wù),不僅適用于消費互聯(lián)網(wǎng)視頻類應(yīng)用的構(gòu)建,更重要的是配合攝像頭硬件和邊緣計算節(jié)點進(jìn)軍廣闊的線下安防監(jiān)控市場。再如金融云,可針對金融保險機構(gòu)特殊的合規(guī)和安全需要,提供物理隔離的基礎(chǔ)設(shè)施,還可提供支付、結(jié)算、風(fēng)控、審計等業(yè)務(wù)組件??梢灶A(yù)計,隨著消費互聯(lián)網(wǎng)紅利耗盡,產(chǎn)業(yè)互聯(lián)網(wǎng)將逐步受到重視并興起,其規(guī)模之大、場景之多,將給予云計算廠商極大的發(fā)展空間;而云計算作為賦能業(yè)務(wù)的技術(shù)平臺和引擎,也非常適合承載產(chǎn)業(yè)互聯(lián)網(wǎng)的愿景,加快其落地與實現(xiàn)。
03
趨勢之三:
多云與混合云將成為大中企業(yè)剛需,得到更多重視與發(fā)展。當(dāng)企業(yè)大量的工作負(fù)載部署在云端、對于云的應(yīng)用進(jìn)入深水區(qū)之后,新的問題則會顯現(xiàn):雖然云端已經(jīng)能提供相當(dāng)高的可用性,但為了避免單一供應(yīng)商出現(xiàn)故障時的風(fēng)險,關(guān)鍵應(yīng)用仍須架設(shè)必要的技術(shù)冗余;另一方面,當(dāng)業(yè)務(wù)規(guī)模較大時,從商業(yè)策略上說也需要避免過于緊密的廠商綁定,以尋求某種層面的商業(yè)制衡和主動權(quán)。因此,越來越多的企業(yè)會考慮同時采購多個云廠商的服務(wù)并將它們結(jié)合起來使用——這將催生多云架構(gòu)和解決方案的興起,以幫助企業(yè)集中管理協(xié)調(diào)多個異構(gòu)環(huán)境,實現(xiàn)跨云容災(zāi)和統(tǒng)一監(jiān)控運維等需要。
例如華為云不久前發(fā)布了商用級的多云容器平臺 MCP,可對跨云跨區(qū)域的多個容器集群進(jìn)行統(tǒng)一資源與應(yīng)用管理,提供一站式的接入、管控和調(diào)度能力;在網(wǎng)絡(luò)基礎(chǔ)設(shè)施層面,也有如犀思云這樣專注于云交換服務(wù)的企業(yè),提供云與云、網(wǎng)與網(wǎng)之間的快速互聯(lián),幫助多云互聯(lián)在穩(wěn)定性延遲等方面達(dá)到生產(chǎn)要求。除同時使用多個公有云之外,合規(guī)和隔離性要求更高時的另一選擇是私有部署云基礎(chǔ)設(shè)施,并與相應(yīng)公有云專線連接形成混合云架構(gòu)。從目前市場態(tài)勢看,主要有公有云廠商主導(dǎo)的混合云方案和私有云廠商主導(dǎo)的方案兩類。筆者個人更看好前者的發(fā)展,是因為公有云廠商方案讓混合云的私有部分成為了公有云在自有數(shù)據(jù)中心的自然延伸,提供了與公有云端高度一致的能力和使用體驗。此類服務(wù)的代表有微軟的 Azure Stack,以及阿里云 Apsara Stack,包括之前只專注公有云的 AWS 終于在 re:Invent 2018 大會上推出了 AWS Outposts,也加入了混合架構(gòu)的行列。
04
趨勢之四:
云的生態(tài)建設(shè)重要性不斷凸顯,成為影響云間競爭的關(guān)鍵因素。當(dāng)某個云發(fā)展到了一定規(guī)模和階段后,恐怕不能僅僅考慮技術(shù)和產(chǎn)品,同樣重要的是建立和培育具有生命力的繁榮生態(tài)和社區(qū),此為長久發(fā)展之道。因為一朵云再大再豐富,也必有覆蓋不了的場景和完成不了的事情。這就需要大量的第三方服務(wù)提供商,以合作伙伴的身份基于云平臺提供各類解決方案。此舉既方便了用戶,又增加了云的粘性,也可保證應(yīng)用提供商的市場空間,可謂三方共贏。所以在當(dāng)下各大云平臺上,我們都能夠找到應(yīng)用市場和合作伙伴計劃,這正是廠商們著力建設(shè)的第三方解決方案平臺。例如,國內(nèi)大數(shù)據(jù)領(lǐng)域的明星創(chuàng)業(yè)公司 Kyligence 擁有以 Apache Kylin 為核心的企業(yè)級大數(shù)據(jù) OLAP 解決方案,通過其 Kyligence Cloud 套件深度適配了多個云端,先后登陸了包括 Azure、AWS 和阿里云在內(nèi)的多個云市場與平臺。
云生態(tài)的另一個重要方面是面向廣大開發(fā)者、架構(gòu)師和運維工程師的持續(xù)輸出、培養(yǎng)和影響。只有贏得廣大技術(shù)人員的關(guān)注和喜愛,才能贏得未來的云計算之仗。我們之所以敢下這個判斷,是因為以下幾點原因:
●其一,云的采購具有彈性特征,不論是 Pay-as-you-go 還是年單方式,都可隨實際項目效果和生產(chǎn)運行情況進(jìn)行調(diào)整,此時一線研發(fā)人員和架構(gòu)師會頗具發(fā)言權(quán),可將使用端的實際情況反推至商務(wù)決策層面并影響續(xù)約;
●其二,從歷史上來看,部分較為失敗的云上功能,往往是失之于理想化和簡單化,或是過多地從管理或宣傳視角考慮而忽略了落地細(xì)節(jié),最終導(dǎo)致了實操效果受限、口碑下滑甚至無人問津,因此從開發(fā)者的角度思考產(chǎn)品設(shè)計對于云而言至關(guān)重要;
●其三,如若能培養(yǎng)龐大的技術(shù)愛好者和粉絲群體,形成傳播效應(yīng),相信對應(yīng)的云服務(wù)自然不愁業(yè)務(wù)的增長,還能進(jìn)一步收集到更多產(chǎn)品反饋,形成良性循環(huán)。
由上種種,所以當(dāng)下各大廠商,都開始空前重視開發(fā)者關(guān)系,并視之為核心競爭力。云廠商們不但努力地建設(shè)豐富的文檔體系和在專業(yè)媒體頻繁發(fā)聲,還會積極舉辦各類論壇和參與業(yè)界開發(fā)者會議,并新增如 Developer Advocate 這樣的布道師職位,專注于在開發(fā)者群體中擴大影響力。這里我們不妨簡單分析一個例子:IBM Cloud(原 BlueMIx)??傮w上 IBM 云歷來相當(dāng)注重和依賴企業(yè)端的龐大銷售體系和客戶資源,但在贏得開發(fā)者和社區(qū)方面投入相對不足,所以在大多數(shù)人的印象中,IBM 云總顯得有些遙遠(yuǎn)和陌生。一旦“脫離了人民群眾”,久而久之就難免在市場競爭中處于頹勢。恐怕這也能夠解釋為什么 IBM 去年斥 340 億美元巨資收購紅帽:IBM 不僅僅是看重 Red Hat 深厚的開源技術(shù)積累及其 OpenShift 云平臺,也一定包含了對于其開發(fā)者人氣和社區(qū)基因的考量,可以很好地彌補自身短板。
綜上所述,“創(chuàng)新、垂直、混合、生態(tài)”這四大趨勢,將伴隨云計算走向繁榮。對于云計算的美好未來,我們已迫不及待。最后再作一個小小的預(yù)判:隨著云的高度復(fù)雜化和差異化,企業(yè)會愈發(fā)需要面向云端各個層面的解讀、判斷與幫助,除了第一方廠商支持團(tuán)隊的助力之外,獨立的云計算咨詢與托管服務(wù)會成為新的需求熱點——這將催生一個不小的云增值業(yè)務(wù)市場,即 Cloud MSP (Managed Service Provider)。在國外,Cloud MSP 已有一定的關(guān)注度,Gartner 也開始為此領(lǐng)域發(fā)布觀察報告及繪制魔力象限,目前埃森哲處于行業(yè)領(lǐng)先地位;在國內(nèi),我們也欣喜地看到如云角信息(已被神州數(shù)碼收購)、云宿科技、新鈦云服等廠商中立的云 MSP 不斷出現(xiàn),且發(fā)展勢頭頗為良好。能否為客戶持續(xù)創(chuàng)造價值,并形成合理的商業(yè)模式,將是決定 Cloud MSP 這一云衍生行業(yè)未來的關(guān)鍵。
寫在最后
云計算走過了激蕩十年,可謂勢不可擋,風(fēng)雨兼程。它如此巨大和豐富,雖萬字不足以道其一二。限于篇幅,本文無法覆蓋云計算的更多角度與話題,還請讀者見諒。另外,本文對于云計算發(fā)展的分代方式僅供參考,事實上技術(shù)的發(fā)展更迭總是互相交織和持續(xù)進(jìn)行的。
云計算歷史性地對 IT 硬件資源與軟件組件進(jìn)行了標(biāo)準(zhǔn)化、抽象化和規(guī)?;撤N意義上顛覆和重構(gòu)了 IT 業(yè)界的供應(yīng)鏈,這是一個巨大的革新與進(jìn)步。如今,云計算正迎來最好的時代,在中國這片廣闊熱土更是如此。我們由衷希望,云計算行業(yè)不僅取得商業(yè)上的成功,更能扎實服務(wù)各行各業(yè),為社會經(jīng)濟(jì)發(fā)展提供數(shù)字化引擎和強大動力。讓我們繼續(xù)與云計算同行,與偉大的數(shù)字時代同行。