人工智能和對象存儲,能擦出什么樣的火花?
NVIDIA收購SwiftStack用來做什么呢?
首先,我們來看一下做為事實上的標準的AWS S3,從骨子里說,它代表的對象存儲,是一種在線的海量數據較低成本的存儲方式,適合跨地域讀寫;因此,雖然備份歸檔是對象存儲的使用場景之一,但只是做備份歸檔,其實是委屈了對象存儲。
其次,對象存儲的高并發,特別適合前端呈現分布式負載的場景。AI場景的使用,包括AI訓練、AI推理,是由許許多多個任務并發進行的,任務與任務之間幾乎沒有數據的交互,因此很少考慮存儲通常要顧及的寫一致性。
因此,在我們看來,NVIDIA收購SwiftStack或許有如下幾個原因:
1)NVIDIA欲整合AI基礎架構
NVIDIA是一個非常注重生態的公司,它的版圖里應該不僅僅是計算以及衍生出來的各個組件,從近兩年的動作來看,NVIDIA想整合整個AI基礎架構。2019年3月11日NVIDIA以69億美元收購 Mellanox;2020年3月6日宣布收購SwiftStack。
2)SwiftStack具備數據跨云管理和高并發的優勢
據報道:"Manuvir Das表示,NVIDIA尤其喜歡SwiftStack的1space技術,該技術可以為忙于處理緩存和分層等任務的GPU助一臂之力。
SwiftStack V7于2019年發布,提供數PB的規模,可處理數千個worker節點同時訪問數據的任務。它提供了超過100GB /秒的吞吐速度,性能和容量都能實現線性擴展。
1space是NVIDIA收購Swiftstack的主要原因,這是一種文件連接件,使云原生應用程序可以通過S3或Swift對象API訪問本地數據或AWS數據,并可以確保不斷向數據提供計算資源”
我個人認為,AI訓練有個特點,它一次性將原始訓練集的數據加載到計算節點的內存或者SSD后,需要經過一段較長的時間(也即計算或說訓練),才會再次讀取存儲上的數據。因此,對象存儲的延遲可能不會構成障礙,這一點可以通過高并發來彌補。
請輸入評論內容...
請輸入評論/評論長度6~500個字


分享













