FusionStorage 8.0是華為存儲近年來最重要的戰(zhàn)略級產(chǎn)品。它不僅是華為存儲產(chǎn)品線的一次重大升級，也承載著幫助用戶實現(xiàn)One Data Center One Storage（一個數(shù)據(jù)中心一套存儲）的愿望。

　　時光荏苒，時鐘不經(jīng)意間已經(jīng)來到5月15日。這一天，華為新一代智能分布式存儲產(chǎn)品FusionStorage 8.0正式對外發(fā)布。此刻，曹長斌如釋重負，連續(xù)奮戰(zhàn)多日帶來的疲憊并不能掩蓋住激動之情：“如果需要打分，我愿意給FusionStorage 8.0打十分，它不僅在整體架構(gòu)、性能、功能等方面遙遙領(lǐng)先，更是華為存儲研發(fā)以客戶需求為中心，通過全球化協(xié)作，率先克服業(yè)界眾多挑戰(zhàn)而打造出來的產(chǎn)品。”

　　FusionStorage 8.0實現(xiàn)了分布式存儲性能全球第一，單節(jié)點性能高達16.8萬 IOPS和1毫秒以內(nèi)時延，在業(yè)界標準SPC-1測試中排名第一；首次實現(xiàn)在一套存儲中同時支持塊、文件、對象、HDFS協(xié)議；并且，率先將人工智能技術(shù)融入到存儲全生命周期管理。

　　在這一系列靚麗數(shù)字的背后，其實是華為北京、上海、深圳等全球六個研發(fā)團隊，設(shè)計出一套全新的存儲架構(gòu)，進行了數(shù)千萬行代碼開發(fā)與移植，并先后進行了近十個版本的迭代，反復(fù)打磨、優(yōu)化的成果。

　　“客戶經(jīng)常跟我們的架構(gòu)師們反饋，存儲真的太復(fù)雜了。”身為研發(fā)的曹長斌會定期與架構(gòu)師交流，他介紹到，華為存儲架構(gòu)師們每年會花費30%的時間與一線客戶進行交流，從而將一線業(yè)務(wù)需求盡可能地反饋給研發(fā)人員，進而精準研發(fā)出符合客戶需求的產(chǎn)品和解決方案。

　　存儲的復(fù)雜性一直困擾著用戶的數(shù)據(jù)中心，這種復(fù)雜性主要體現(xiàn)為，經(jīng)過長期的信息化建設(shè)，用戶數(shù)據(jù)中心普遍面臨著多種類型的存儲，生產(chǎn)、備份、容災(zāi)通常采用了不同廠商的不同存儲產(chǎn)品，煙囪式的存儲環(huán)境帶來了巨大的管理復(fù)雜度，還無法讓數(shù)據(jù)之間很好地流動、共享和價值挖掘。曹長斌表示：“客戶希望更加聚焦在核心業(yè)務(wù)創(chuàng)新上，強烈渴望數(shù)據(jù)能夠流動起來，通過一套存儲來支撐數(shù)據(jù)中心業(yè)務(wù)，實現(xiàn)數(shù)據(jù)之間的生產(chǎn)、流動、共享和價值挖掘。”

　　另一方面，大量行業(yè)客戶都在加快數(shù)字化轉(zhuǎn)型的步伐，對于基于數(shù)據(jù)的數(shù)字化創(chuàng)新和業(yè)務(wù)敏捷性更加渴求，這也要求承載數(shù)據(jù)的存儲產(chǎn)品，除了需要簡化管理復(fù)雜度之外，還需要在性能、擴展性、功能、智能化等方面有著質(zhì)的提升。

　　曹長斌以電信行業(yè)為例：“4K/8K、AR/VR等新業(yè)務(wù)不斷涌現(xiàn)，并且充滿著不確定性，傳統(tǒng)存儲產(chǎn)品很難去滿足新業(yè)務(wù)從小到大的成長，用戶們希望不花費更多精力在存儲運維上，通過一套存儲來支撐業(yè)務(wù)的變化。”

　　事實上，F(xiàn)usionStorage 8.0研發(fā)之前，華為已經(jīng)對產(chǎn)品醞釀了很久。最終，華為將FusionStorage 8.0定位為一個戰(zhàn)略級的平臺產(chǎn)品，在保持分布式存儲的靈活性和高擴展性之時，可以長出其他豐富的功能，包括文件系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)分析、數(shù)據(jù)湖等。用戶可以通過FusionStorage 8.0來構(gòu)建起自身的智能數(shù)據(jù)基礎(chǔ)設(shè)施，以滿足智能時代下對于數(shù)據(jù)存儲、管理、分析的訴求。

　　分布式存儲最大的優(yōu)勢在于靈活性，可以幫助用戶擺脫昂貴的高端硬件，通過普通的服務(wù)器即可為用戶提供靈活、可擴展的存儲服務(wù)。但分布式存儲的性能通常很容易遇到瓶頸，與傳統(tǒng)存儲采用“專用堆棧”優(yōu)化性能相比，分布式存儲隨著節(jié)點數(shù)量的增加，性能達到一定量級之后，往往會因為硬件、網(wǎng)絡(luò)等原因，遇到各種意想不到的“瓶頸”。因此，分布式存儲單節(jié)點穩(wěn)定、出色的性能是考驗分布式存儲成色的重要因素。

　　在曹長斌看來，性能問題是FusionStorage 8.0研發(fā)過程中遇到的最大挑戰(zhàn)之一。“從立項設(shè)計時，我們就希望FusionStorage 8.0能夠達到企業(yè)級全閃存陣列的性能，單節(jié)點性能能夠達到14萬IOPS，并且時延控制在1毫秒之內(nèi)，可以承載企業(yè)級關(guān)鍵應(yīng)用。研發(fā)團隊為此做了很多預(yù)研究的工作。但是在實際研發(fā)過程中，的確是遇到了巨大的挑戰(zhàn)。”曹長斌所言的挑戰(zhàn)即是性能波動問題，分布式存儲節(jié)點的性能波動浮動范圍大且不穩(wěn)定，從而給整個分布式存儲性能提升帶來瓶頸。

　　FusionStorage 8.0在開發(fā)之初，單節(jié)點性能達到10萬IOPS之后，性能始終上不去。令研發(fā)團隊更加頭疼的是，產(chǎn)生性能波動的“隱形瓶頸”很多，需要研發(fā)人員去逐個發(fā)現(xiàn)和解決。曹長斌表示：“整個性能波動問題的解決前前后后花了4個月時間，幾乎每天都討論和研究到凌晨2、3點。”

　　華為存儲研發(fā)團隊探討研發(fā)中遇到的挑戰(zhàn)

　　為此，在這段時間里，華為存儲研發(fā)團隊聯(lián)系了華為全球研發(fā)體系中的操作系統(tǒng)調(diào)度專家、網(wǎng)絡(luò)專家等，從不同的角度去探索性能波動的問題所在。“我們首先發(fā)現(xiàn)中斷分配不均的問題，有些服務(wù)器中斷過度，使得服務(wù)器性能發(fā)揮不出來。因此，經(jīng)過多個方案探索之后，實現(xiàn)了中斷均攤化，將單節(jié)點性能提升了20%。解決這個優(yōu)化點之后，研發(fā)團隊再從業(yè)務(wù)干擾、軟件堆棧、分布式鎖等方面進行優(yōu)化，最終達到了最初設(shè)計的性能目標。”

　　經(jīng)過華為研發(fā)團隊優(yōu)化、落地、再優(yōu)化的螺旋上升式改進，F(xiàn)usionStorage 8.0打通了性能的任督二脈，對于服務(wù)器硬件、網(wǎng)絡(luò)等方面的控制越來越精準，實現(xiàn)了單節(jié)點16.8萬IOPS的穩(wěn)定性。

　　隨著FusionStorage 8.0性能不斷提升，華為存儲研發(fā)團隊又遇到了一個大挑戰(zhàn)：在高性能、大并發(fā)的數(shù)據(jù)讀寫情況下如何保持數(shù)據(jù)一致性。

　　一直以來，確保數(shù)據(jù)可靠和一致是存儲產(chǎn)品的生命線。“在存儲產(chǎn)品中，數(shù)據(jù)一致是核心中的核心。如果寫進去的數(shù)據(jù)和讀出來的數(shù)據(jù)不一樣，那將對用戶的業(yè)務(wù)產(chǎn)生巨大影響。”曹長斌表示。與傳統(tǒng)存儲不同，分布式存儲產(chǎn)品由于采用了普通的服務(wù)器硬件，必須采用不一樣的實現(xiàn)數(shù)據(jù)可靠和一致的方法；并且隨著集群節(jié)點的不斷擴展，分布式存儲系統(tǒng)的復(fù)雜性隨之提高，對于數(shù)據(jù)一致性也帶來更大的挑戰(zhàn)。

　　在FusionStorage 8.0的性能調(diào)優(yōu)期間，華為存儲研發(fā)團隊就遇到了較多數(shù)據(jù)不一致的情況。“當時為了提升性能，有些數(shù)據(jù)不一定馬上寫到盤中，而是寫入內(nèi)存，之前一些并發(fā)機制導(dǎo)致了老數(shù)據(jù)把新數(shù)據(jù)覆蓋了，出現(xiàn)數(shù)據(jù)不一致的情況。”經(jīng)過將近一個月時間的反復(fù)研究，華為存儲研發(fā)團隊決定設(shè)計和開發(fā)出一套新的日志機制與工具來解決數(shù)據(jù)不一致難題。“通過新的日志機制，在數(shù)據(jù)訪問入口和數(shù)據(jù)落盤前的出口，進行關(guān)鍵信息的打印，加上CRC校驗，來發(fā)現(xiàn)和解決數(shù)據(jù)不一致性的問題。”曹長斌表示，“通過對IO通道從頭到尾的追蹤，可以具體定位到整個IO通道哪個模塊、具體模塊中哪個具體函數(shù)導(dǎo)致的數(shù)據(jù)不一致，層層推進來解決問題。”

　　在解決數(shù)據(jù)不一致性的過程中，華為存儲研發(fā)團隊面臨最大的困難就是：在高性能、大并發(fā)的讀寫數(shù)據(jù)中去尋找哪個IO導(dǎo)致的數(shù)據(jù)不一致。“數(shù)據(jù)不一致之所以是存儲業(yè)界最難最大的挑戰(zhàn)，就是因為存在巨大的不確定性。在海量數(shù)據(jù)中去追蹤和查看IO異常，就像是大海撈針。”曹長斌回憶當時的場景依然歷歷在目，“整個團隊在那段時間經(jīng)常需要倒班，以跨夜、跨周的方式去跟蹤和查看一個IO異常。”

　　最終，華為存儲研發(fā)團隊完成FusionStorage 8.0在上百個節(jié)點、幾百個節(jié)點、上千個節(jié)點等不同場景下的數(shù)據(jù)不一致情況的檢驗，解決了將近30個業(yè)務(wù)IO異常的問題，完美地鑄就了FusionStorage 8.0強大的生命線。

　　當解決好FusionStorage 8.0性能、數(shù)據(jù)一致性等挑戰(zhàn)的同時，華為存儲研發(fā)團隊又聚焦到如何解決性能與功能的平衡難題上。如果用一個比喻來形容性能與功能之間的關(guān)系，那么魚和熊掌不可兼得就是最真實的寫照。比如，重復(fù)數(shù)據(jù)刪除和壓縮功能已經(jīng)誕生多時，但是業(yè)界依然沒有在分布式存儲上對重刪壓縮功能與存儲性能之間做好平衡。

　　“重刪壓縮功能其實是IO通道上的一個動作，對于存儲性能影響很大。像在線重刪，對于分布式存儲的性能要求很高，而離線重刪則對存儲產(chǎn)品中的存儲介質(zhì)壽命有著影響。”曹長斌表示。

　　為此，華為存儲研發(fā)團隊在FusionStorage 8.0中研發(fā)出一項在線和離線自適應(yīng)的重刪壓縮功能，根據(jù)存儲系統(tǒng)的CPU、內(nèi)存、存儲介質(zhì)等資源狀況，通過加權(quán)算法來實現(xiàn)重刪功能的自適應(yīng)調(diào)整。“團隊在開發(fā)這套加權(quán)算法時前后花費了將近兩個月時間，通過反復(fù)的理論推導(dǎo)和調(diào)整，讓FusionStorage 8.0的重刪壓縮功能可以與性能之間完美平衡。”據(jù)悉，在高負載情況下，業(yè)界的重刪壓縮功能打開對性能影響可達到30%-50%；而FusionStorage 8.0重刪壓縮功能的自適應(yīng)機制則可以將對主機性能的影響降到15%以內(nèi)，一旦達到15%就自動切換到后端重刪。

　　在海量數(shù)據(jù)成為常態(tài)的情況下，分布式存儲的數(shù)據(jù)可用性也變得至關(guān)重要。分布式存儲中的冗余功能可以提升數(shù)據(jù)可靠性和存儲系統(tǒng)的可用性。通常，業(yè)界采用多副本或者糾刪碼功能（Erasure Coding，簡稱EC）來實現(xiàn)數(shù)據(jù)冗余。相比于多副本對存儲空間的巨大消耗，糾刪碼技術(shù)可以在更小的存儲空間實現(xiàn)更優(yōu)的容錯和安全性，但是對于存儲系統(tǒng)的性能也有著較大影響。因此，分布式存儲中的糾刪碼功能如何做到存儲空間利用率與性能二者兼得就成為業(yè)界的難題。

　　“EC功能有兩大難題，一個是打開功能之后對主機性能的影響，有些存儲產(chǎn)品在該項功能打開之后對主機性能影響可以達到30%左右；另外一個就是，如何做到大比例的EC。”曹長斌表示。為此，華為存儲研發(fā)團隊設(shè)計出多套模型和備選方案來降低EC功能對主機性能的影響，經(jīng)過多次驗證之后，華為智能增強EC功能實現(xiàn)了性能和容量的完美平衡。

　　“在高并發(fā)和高負載的情況下，智能增強EC功能通過IO聚合，并利用存儲盤的特質(zhì)，將隨機讀寫改成順序讀寫，來解決性能問題。另外，對于大比例EC，我們采用了追加寫的方式，這意味著修改某個數(shù)據(jù)時，不需要讀老數(shù)據(jù)和校驗，從而大幅降低對性能的影響。”

　　存儲多年以來一直被人所詬病的就是復(fù)雜性，容量怎么規(guī)劃和分配、QoS優(yōu)先級如何劃分、資源利用情況如何、何時進行擴容、故障如何發(fā)現(xiàn)和處理等等，這一系列問題會牽扯到用戶大量的精力和時間。如何讓存儲智能起來，這是存儲未來的發(fā)展趨勢，也是FusionStorage 8.0正在全力前進的方向。

　　存儲智能化是智能時代下用戶的必然訴求。為此，華為率先在FusionStorage 8.0中將人工智能技術(shù)融入到存儲全生命周期管理，從資源規(guī)劃、業(yè)務(wù)發(fā)放、系統(tǒng)調(diào)優(yōu)、風險預(yù)測、故障定位等方面實現(xiàn)智能運維管理。

　　根據(jù)華為介紹，F(xiàn)usionStorage 8.0在存儲資源規(guī)劃方面可以對性能容量趨勢進行60天預(yù)判；還擁有超過1000個應(yīng)用模板，實現(xiàn)一鍵式的資源發(fā)放；并且可以進行個性化調(diào)優(yōu)，100%滿足SLA訴求；超過2000個故障模式庫，93%的問題發(fā)現(xiàn)即可給出方案。

　　事實上，存儲是一個利用人工智能技術(shù)非常理想的環(huán)境，擁有豐富的狀態(tài)數(shù)據(jù)和信息，以及固定的業(yè)務(wù)場景，很容易形成收集狀態(tài)數(shù)據(jù)、機器學習和訓練、預(yù)測預(yù)報、智能決策的閉環(huán)，通過不斷的學習和訓練，讓存儲的運維和管理愈發(fā)智能。

　　FusionStorage 8.0在智能化方面的突破還在于采用云上訓練+本地訓練的方式，云上擁有超過2PB的特征數(shù)據(jù)和1000個場景，通過云上和云下結(jié)合和協(xié)同，可以實現(xiàn)本地的增強訓練和提升個性化體驗。

　　“我們在新產(chǎn)品中需要盡一切可能防止數(shù)據(jù)丟失，進一步提升數(shù)據(jù)可靠性。”

　　事實上，在數(shù)字化時代下，數(shù)據(jù)已經(jīng)成為一種生產(chǎn)資料，數(shù)據(jù)正在成為企業(yè)與組織機構(gòu)賴以生存的基礎(chǔ)資源。并且，相比于信息化時代，用戶在數(shù)字化時代下需要面臨的數(shù)據(jù)類型更加豐富、應(yīng)用場景更加復(fù)雜化。比如，物聯(lián)網(wǎng)應(yīng)用場景開始逐漸豐富，業(yè)務(wù)與云之間的聯(lián)系日漸頻繁，這也導(dǎo)致數(shù)據(jù)丟失的潛在因素正在變多。

　　為此，華為的思路在于針對各種數(shù)據(jù)丟失時間的原因和背景進行深入分析，并且提煉和總結(jié)出相應(yīng)的場景可靠性方案，從根源上提供數(shù)據(jù)防丟失的保障。但是，新問題又出現(xiàn)了：如何在保存可靠性校驗的有限空間中容納這些場景的可靠性方案。

　　“這的確是一個非常具有挑戰(zhàn)性的難題。華為在FusionStorage 8.0中已經(jīng)包含了能夠支撐30多種數(shù)據(jù)丟失場景的可靠性方案，但是可靠性校驗的空間只有64個字節(jié)。要充分利用64個字節(jié)去容納30多個場景的預(yù)防方案，極具難度。”曹長斌如是說。整個過程就猶如一場精確無比的手術(shù)，研發(fā)人員將每一個預(yù)防方案“植入”到極為可靠性交易空間中，精確到每個比特位。

　　更加難得的是，數(shù)據(jù)丟失場景并不是一次性收集完，它是一個持續(xù)增加的過程，研發(fā)團隊在可靠性校驗空間中每增加一個預(yù)防方案都需要在確保方案可行的前提下，盡可能地節(jié)省空間。曹長斌直言：“這是一個無比精細化的處理過程。前前后后調(diào)整四、五次之后，整個數(shù)據(jù)防丟失的預(yù)防方案實現(xiàn)了完美存儲到可靠性校驗空間中。”

　　“我們希望在FusionStorage 8.0中做出業(yè)界競爭對手沒有的東西，形成自己的差異化優(yōu)勢。”作為華為存儲研發(fā)的一名老兵，曹長斌見證和參與了FusionStorage從1.0到8.0的全過程。

　　眾所周知，存儲是一個技術(shù)門檻較高、相對封閉的領(lǐng)域，國外存儲巨頭常年處于領(lǐng)先的位置，中國本土存儲品牌多年以來一直處于跟隨者的角色。曹長斌對此深有感觸：“在過去，競爭對手做什么，我們就跟著做什么，采用的是‘Me too, but cheaper’的策略；之后隨著自身不斷成長，在技術(shù)層面迎頭趕上，則變成了‘Me too, but Better’�，F(xiàn)在則是去尋求開發(fā)出別人沒有的功能和技術(shù)，確定自身的差異化優(yōu)勢。”

　　除此之外，華為在容災(zāi)、備份一體化方案方面進行了創(chuàng)新，并且利用自身在通信網(wǎng)絡(luò)領(lǐng)域的深厚積累，構(gòu)建存儲+智能AI網(wǎng)絡(luò)的一體化解決方案，大幅提升自身的競爭力。

　　“FusionStorage 8.0的成功研發(fā)，背后是整個公司傾注的大量心血，不僅僅是公司的成就，也是對包括我在內(nèi)的廣泛研發(fā)團隊成員個人能力的提升。為此，我感到無比驕傲。”曹長斌最后表示道。

　　華為FusionStorage誕生于2012年，源自于“用普通服務(wù)器硬件去構(gòu)建出企業(yè)級存儲系統(tǒng)”這個想法。一路走來，F(xiàn)usionStorage從1.0成長到8.0，是華為存儲人堅持不懈和精益求精的精神，也是華為存儲人解決一個個業(yè)界難題、逐步實現(xiàn)當初想法的過程，更是中國分布式存儲從無到有、從弱到強的真實寫照。

　　未來，隨著5G、聯(lián)網(wǎng)、人工智能等應(yīng)用的興起，一個更加豐富、更加智能的新數(shù)據(jù)時代也將到來。華為FusionStorage 8.0不僅讓One Data Center One Storage（一個數(shù)據(jù)中心一套存儲）在新數(shù)據(jù)時代走向落地，也將開啟華為智能數(shù)據(jù)戰(zhàn)略嶄新的一頁。