新聞資訊
行業(yè)資訊
RDMA是數(shù)據(jù)中心存儲結(jié)構(gòu)的未來嗎?
2015-12-10 00:00:00
摘要:像閃存,NVMe,以及英特爾公司Optane這樣的存儲級內(nèi)存正大幅提升存儲容量,非常適合推動存儲需求最大化的工作負(fù)載,如容器,大數(shù)據(jù),機器學(xué)習(xí),以及超融合基礎(chǔ)設(shè)施,所有這些技術(shù)與應(yīng)用都使用文件和對象存儲,而不是SAN的塊存儲。但是除了高速存儲之外,這些工作負(fù)載還需要低延遲網(wǎng)絡(luò),線程不會阻塞的CPU,尤其是使用軟件定義網(wǎng)絡(luò)的超融合系統(tǒng)。

像閃存,NVMe,以及英特爾公司Optane這樣的存儲級內(nèi)存正大幅提升存儲容量,非常適合推動存儲需求最大化的工作負(fù)載,如容器,大數(shù)據(jù),機器學(xué)習(xí),以及超融合基礎(chǔ)設(shè)施,所有這些技術(shù)與應(yīng)用都使用文件和對象存儲,而不是SAN的塊存儲。但是除了高速存儲之外,這些工作負(fù)載還需要低延遲網(wǎng)絡(luò),線程不會阻塞的CPU,尤其是使用軟件定義網(wǎng)絡(luò)的超融合系統(tǒng)。


以太網(wǎng)是一個眾所周知的協(xié)議,安裝以太網(wǎng)的網(wǎng)絡(luò)并沒有光纖通道那樣的復(fù)雜性和脆弱性,而在這種情況下,必須考慮到安裝時彎曲電纜的角度,以及限制電纜的長度,其網(wǎng)絡(luò)傳輸速度不限于10Gb/s,還可以移動到25Gb/s,40Gb/s或100GB/s。


數(shù)據(jù)中心存儲


但是TCP(傳輸控制協(xié)議)有很多開銷,這意味著CPU花費了大量的時間來管理網(wǎng)絡(luò)傳輸,用于寫入密集型工作負(fù)載(如數(shù)據(jù)庫),從而降低了這些工作負(fù)載的整體性能。這就是RDMA(遠(yuǎn)程直接內(nèi)存訪問)發(fā)揮重要作用的地方。


Windows Server的首席項目經(jīng)理Jeff Woolsey最近在微軟的Ignite技術(shù)大會上指出,“當(dāng)你對系統(tǒng)進行大量寫操作時,超融合系統(tǒng)的性能將會下降。如果你有一個單一的節(jié)點正在進行70%的寫入,并且必須盡可能快地復(fù)制到另一個節(jié)點,如果你沒有采用RDMA,CPU必須介入執(zhí)行操作,而在10Gb的以太網(wǎng)網(wǎng)絡(luò)接口卡(NIC)上寫入很容易完全占用一兩個CPU的資源?!?


RDMA的直接連接可以減少對CPU的影響,并且像NVMe或SCM這樣的快速存儲可以使得網(wǎng)絡(luò)延遲從毫秒降低到微秒。


“在存儲網(wǎng)絡(luò)開始采用RDMA(特別是面向NVMe的架構(gòu),因為這似乎是將成為這個領(lǐng)域的標(biāo)準(zhǔn)),是為了滿足日益嚴(yán)格的大數(shù)據(jù)分析存儲性能的要求,特別是那些實時工作負(fù)載,更大的數(shù)據(jù)庫和更密集的工作負(fù)載整合?!盜DC企業(yè)存儲研究總監(jiān)Eric Burgener說。


他補充道,雖然NVMe協(xié)議目前還不成熟,但是他預(yù)測說:“在未來三到四年內(nèi),外部存儲平臺將在協(xié)議棧NVMe方向發(fā)展,陣列背板,控制器和結(jié)構(gòu)?!?


今年早些時候,英特爾公司將RDMA技術(shù)直接應(yīng)用在至強服務(wù)器的主板上。DataON公司正在使用新型Lightning Trac System Windows Server2016超融合系統(tǒng),這些系統(tǒng)包括Optane固態(tài)硬盤,用于快速緩存層的NVMe,以及SMB3RDMA結(jié)構(gòu)。


現(xiàn)在,HPE公司在其新的Store FabricM系列存儲優(yōu)化交換機中使用了Mellanox基于RDMA的以太網(wǎng)存儲結(jié)構(gòu),為客戶提供了用于光纖通道的存儲管理工具。


同樣在今年召開的Ignite大會上,一家名為Chelsio的公司展示了運行速度為25Gbps使用RDMA網(wǎng)卡的SMB3的Windows Server 2016存儲副本,而光纖環(huán)路超過了50公里(不需要用于這種城域連接的擴展設(shè)備)。


在Windows10中甚至支持RMDA。好萊塢后期制作公司使用NVMe將大多數(shù)Mac工作站和六位數(shù)光纖通道SAN與Windows PC和Windows Server存儲空間直接進行替換,以便他們可以使用RDMA快速訪問4K文件以進行視頻編輯和VR的創(chuàng)建。


Storage Mojo公司的分析師Robin Harris表示,為了獲得高效的存儲系統(tǒng),企業(yè)必須做出權(quán)衡。“采用光纖通道是有意義的,因為存儲陣列非常昂貴,共享它們需要投資支付。


如今,企業(yè)可以擁有獨立的PCIe卡,與大多數(shù)存儲陣列一樣快,并提供了更大的帶寬,而其成本只有存儲陣列成本的一小部分。因此,在這種情況下,人們關(guān)注的重點已經(jīng)從如何共享昂貴的資源轉(zhuǎn)移到如何共享廉價資源。


“鑒于成本在這種情況下的首要地位,經(jīng)濟學(xué)家傾向于采用成本最低的網(wǎng)絡(luò)。以太網(wǎng)就是那個低成本的網(wǎng)絡(luò)嗎?是的。一旦這個協(xié)議和技術(shù)廣泛使用,我預(yù)計大多數(shù)新建的存儲網(wǎng)絡(luò)將將基于以太網(wǎng),RDMA是提供共享基于服務(wù)器存儲的一種經(jīng)濟和低延遲解決方案的關(guān)鍵因素。

Harris表示,HPE公司的交換機采用RDMA的事實證明了該技術(shù)的可行性。他說,“從市場的角度來看,更大的問題是其他廠商是否會效仿HPE公司的做法?!?


擴展光纖通道


盡管下一代架構(gòu)并不是在光纖通道的基礎(chǔ)上發(fā)展起來的,但這并不意味著它正在消失。Harris說,“我相信光纖通道的鼎盛時期已經(jīng)過去了。但是,至少在未來十年內(nèi),將有一個龐大的安裝基礎(chǔ)將繼續(xù)推動光纖通道市場發(fā)展?!?


Burgener對此表示認(rèn)同:“以太網(wǎng)在存儲領(lǐng)域的應(yīng)用顯然正在興起,但根據(jù)我們對市場的收入預(yù)測,2017年光纖通道市場規(guī)模更為顯著(以太網(wǎng)為9.6億美元,光纖通道為117億美元)。NVMe可以通過光纖或以太網(wǎng)運行,我認(rèn)為以太網(wǎng)將繼續(xù)慢慢占據(jù)光纖市場的收入,但是我們的預(yù)測2021年以太網(wǎng)和光纖通道的收入分別為9.8億美元和115億美元。


Burgener說,“企業(yè)數(shù)據(jù)中心往往更多地投資于光纖通道,并繼續(xù)購買,這樣他們就可以繼續(xù)利用現(xiàn)有的光纖通道網(wǎng)絡(luò)和管理專長。隨著以太網(wǎng)的發(fā)展,越來越多的企業(yè)開始使用這種方法?!?


“很少有客戶會從以太網(wǎng)轉(zhuǎn)向光纖通道,但人們會看到基于以太網(wǎng)的存儲網(wǎng)絡(luò)出現(xiàn)在已經(jīng)在光纖通道上投入大量資金用于新項目或部門項目的企業(yè)中。


對于網(wǎng)絡(luò)成本可能過高的小型系統(tǒng)來說(例如,對于分支機構(gòu)中的節(jié)點或其他任何希望用于邊緣計算的數(shù)TB存儲),Thunderbolt證明是RDMA的一個替代方案。英特爾Thunderbolt 3 USB-C適配器現(xiàn)已通過Windows Server 2016認(rèn)證,DataON公司推出雙節(jié)點超融合存儲系統(tǒng),為用戶提供40Gbps和200K IOPS,CPU占用率僅為20%,雖然不如RDMA好,但比以太網(wǎng)提高更多的CPU效率,其10TB的存儲成本只有9000美元。

海外服務(wù)器免費測試http://hbjsdrq.com/


USA-IDC為您提供免備案服務(wù)器 0元試用
立即聯(lián)系在線客服,即可申請免費產(chǎn)品試用服務(wù)
立即申請