一提到大數據，人們首先會想到在互聯網和商業等環境中，利用大量的行為數據來分析用戶行為和預測市場趨勢等應用。但是對工業大數據的定義和應用卻很難直觀地理解和想象。工業大數據的挑戰和目的則要通過“3B” 和 “3C” 來理解。

工業大數據應用的“3B”挑戰：

· Bad Quality——在工業大數據中，數據質量問題一直是許多企業所面臨的挑戰。

· Broken——工業對于數據的要求并不僅在于量的大小，更在于數據的全面性。

· Below the Surface——除了對數據所反映出來的表面統計特征進行分析以外，還應該關注數據中所隱藏的相關性。

工業大數據分析的“3C”目的：

· Comparison（比較性）——從比較過程中獲取洞察，既包括比較相似性，也包括比較差異性。

· Correlation （相關性）——如果說物聯網是可見世界的連接，那么所連接對象之間的相關性就是不可見世界的連接。

· Consequence （因果性）——數據分析的重要目的是進行決策支持，在制定一個特定的決策時，其所帶來的結果和影響應該被同等地分析和預測。

為此，我們發現Spark MLlib是一款非常優秀的工業大數據挖掘工具，擁有頂尖的數據處理、數據挖掘課數據可視化，是數據從業者必備的一把利器。Spark是一個開源集群運算框架，擅長迭代計算。最初是由加州大學柏克利分校AMPLab所開發。Spark使用了內存內運算技術，在內存上的運算速度比Hadoop MapReduce的運算速度快上100倍，即便是在磁盤上運行也能快10倍。Spark允許將數據加載至集群內存，并多次對其進行查詢，非常適合用于機器學習算法。

Spark MLlib 主要包括以下幾方面的內容：

學習算法：分類、回歸、聚類和協同過濾；

特征處理：特征提取、變換、降維和選擇；

管道（Pipeline）：用于構建、評估和調整機器學習管道的工具；

持久性：保存和加載算法，模型和管道；

實用工具：線性代數，統計，最優化，調參等工具。

上表總結了 Spark MLlib 支持的功能結構，可以看出Spark MLlib是一種高效、快速、可擴展的分布式計算框架；實現了常用的機器學習，如：聚類、分類、回歸等算法。

大數據能夠帶來巨大的商業價值已經毋庸置疑，各行各業均已開展了一場無形的較量，數據提供商、服務提供商都想在這片藍海強占先機。而目前，Spark已經成為了現在大數據領域最火的開源軟件，Spark也被許多企業尤其是互聯網企業廣泛應用到商業項目中，在國內包括阿里、百度、騰訊、網易、搜狐等。