DataOps:破除智能數據管理困境,激發企業創新活力
作者:Hitachi Vantara首席產品官Radhika Krishnan

Hitachi Vantara首席產品官Radhika Krishnan
數據時代,每一家現代化企業均是數據型企業。他們不再需要更多數據,而是需要更高質量的數據,以及更智能的數據管理。
在一個萬物皆可被度量的時代,數據積累的速度超過大多數企業能夠跟上的速度,使得企業疲于應對海量數據帶來的壓力。這些數據填滿了大量的存儲,需要企業花費昂貴的資源進行維護。事實上,現在的企業環境平均容納八個以上的數據湖。
這些截然不同的數據源和數據湖往往造成額外的混亂和阻撓,而非增加價值。在這種情況下,為提升數據質量,企業IT主管不僅需要對數據進行概要分析、編目和存儲,還必須遵守一系列管理數據使用的法規。這意味著數據管理成為了一個人工的、緩慢的,且容易出錯的過程。
· 考慮到某一部門的信息可能為其他部門帶來價值,數據孤島卻妨礙部門之間共享有用的信息。
· 企業缺少對決策至關重要的數據文化和協作文化。
· 當多項計劃重疊或并行開始時,企業往往會獲得重復數據和來源不明的數據。如果企業無法確定數據質量,那么存儲數據時便只能收獲“無用輸入、無用輸出 (GIGO)”的效果,難以為任何類型的分析或洞察帶來價值。這將阻礙業務進程,因為數據質量是影響企業業務成果的基本因素。換言之,阻礙企業業務進程的是其擁有的信息來源的不確定性。
上述低效的數據管理將導致數據浪費,且無法變現。同時,即使企業繼續花費大量資金來嘗試管理這些數據,也將面臨極高的合規風險。Hitachi Vantara認為,部署DataOps是企業有效管理數據的明智手段。
DataOps是大勢所趨
在過去幾年間,DataOps(數據運營)已逐步進入主流視野,以至于許多企業正在采用或認真考慮采用敏捷的數據管理原則。

DataOps帶來的預期業務收益
DataOps是一種方法論,而不是一套工具或產品。這一概念從精益化生產 (Lean Manufacturing)、敏捷開發 (Agile) 和開發運營 (DevOps) 的實踐中汲取養分,幫助企業克服內部“官僚主義”造成的障礙和復雜性,并在不影響數據質量和數據治理的前提下,快速、敏捷地提供分析。
DataOps有助于激發企業業務的創新活力,縮短數據分析周期,并提高收益。更具體地說,它能為企業帶來以下優勢:
· 形成對企業數據普遍的商業理解,包括結合數據目錄以及與業務利益相關者的合作,來管理和維護數據。
· 自動化數據質量、數據治理及合規性任務,來確保數據已準備好被企業所使用。
· 在組織層面上強調敏捷和自動化的數據管理,其中人員、流程和技術等專注于管理面向業務成果和目標的數據,同時確保較低的治理風險和可控的成本。
· 到目前為止,DataOps最大的價值主張便是幫助企業打破數據孤島,使企業業務運行得更快,推動企業加速向市場交付新產品。能做到這一點的原因在于,有用的信息不再被鎖定在單一部門,可以在整個企業內共享。
人工智能、機器學習和自動化
元數據是踐行任何良好的DataOps方法的基礎。若企業在攝取數據時使用人工智能 (AI) 和機器學習 (ML) 算法自動創建元數據,便可以顯著地減少人工投入,進而加快團隊對數據管道的開發和采用,以及有效分析的產出。
通過自動化元數據的端到端管理,企業便可以如期推動良好的DataOps實踐。為實現這一點,企業需要借助數據集成技術來載入數據,以及通過有效的機制來對數據進行編目,并且需要對其應用規則,以建立數據血緣關系 (data lineage)。
而將數據從一種工具轉移至另一種工具這樣零敲碎打的做法,可能會阻礙上述操作。這就是我們建議引入AI和ML技術的原因,它們可以幫助企業更好地理解數據,并根據需要在語義上豐富數據。此外,AI和ML的集成可以幫助企業識別任何數據質量問題,同時支持向數據中添加治理規則。
數據轉型
事先界定成果,并有清晰的目標是成功進行數據轉型的關鍵。企業需要厘清數據的來源,選擇最佳方式存儲和管理數據,并確保自己可以利用數據快速地為終端客戶創造價值。
同時,文化因素也會影響企業采用DataOps。DataOps的成功實踐,取決于企業內部是否能夠形成諸如一勞永逸地結束孤島,鼓勵數據團隊和IT團隊之間展開更多合作,端到端的設計思維以及將數據視為共享資產等文化。

DataOps文化
本文探討的這些挑戰并非微不足道。當企業審查自身的數據狀況時,需要認真考慮將數據真正視為可以提高業務成果的資產。如此一來,DataOps方法論和實踐將幫助企業極大地優化數據治理并促進業務發展。
請輸入評論內容...
請輸入評論/評論長度6~500個字


分享













