隨著企業數字化轉型的不斷深入，企業積累的各種數據也越來越多，這些數據從分散到集中經歷了較長的時間，但數據本身并不直接創造價值。因此，企業需要思考如何利用工業大數據分析工具，深入挖掘蘊藏在數據中的業務價值。

一、工業大數據的內涵 

工業大數據是指在工業領域中，圍繞典型智能制造模式，從客戶需求到銷售、訂單、計劃、研發、設計、工藝、制造、采購、供應、庫存、發貨和交付、售后服務、運維、報廢或回收再制造等整個產品全生命周期各個環節所產生的各類數據及相關技術和應用的總稱。

美國國家科學基金會（NSF）智能維護系統（IMS）產學合作中心的創始人和主任李杰教授在他的《工業大數據》一書中曾指出，在自動化設備產生了大量未被充分挖掘價值的數據、獲取實時數據的成本不再高昂、設備的實時運算能力大幅提升以及依靠人的經驗已無法滿足復雜的管理和優化的需求的條件下，大數據技術在工業領域逐漸興起。

對制造企業而言，高效的處理和使用工業大數據將有利于企業在新一輪產業競爭中占據產業發展的制高點。工業大數據主要涵蓋三類數據，即企業信息化數據、工業物聯網數據以及外部跨界數據（見下圖）。

 工業大數據的類別（來源：王建民，清華大學軟件學院）

信息化數據是指傳統工業自動化控制與信息化系統中產生的數據， 如 ERP、MES 等 。工業物聯網數據是來源于工業生產線設備 、機器 、產品等方面的數據，多由傳感器、設備儀器儀表進行采集產生。外部數據是指來源于工廠外部的數據，主要包括來自互聯網的市場、環境、客戶、政府、供應鏈等外部環境的信息和數據。

工業大數據技術是使工業大數據中所蘊含的價值得以挖掘和展現的一系列技術與方法，包括數據規劃、采集、預處理、存儲、分析挖掘、可視化和智能控制等。歸納來說，主要包括數據采集技術、數據管理技術、數據分析技術。

1.數據采集技術

工業軟硬件系統本身具有較強的封閉性和復雜性，不同系統的數據格式、接口協議都不相同，甚至同一設備同一型號、不同時間出廠的產品所包含的字段數量與名稱也會有所差異，因此無論是采集系統對數據進行解析，還是后臺數據存儲系統對數據進行結構化分解都會存在巨大的挑戰。由于協議的封閉，甚至無法完成設備的數據采集；即使可以采集，在工業大數據項目實施過程中，通常也需要數月時間對數據格式與字段進行梳理。挑戰性更大的是多樣性的非結構化數據，由于工業軟件的封閉性，數據通常只有特定軟件才能打開，并且從中提取更多有意義的結構化信息工作通常很難完成，這也給數據采集帶來挑戰。因此，先進的數據采集技術需要滿足海量高速、支持采集的多樣性、保證采集過程安全等特點。

未來，先進的數據采集技術并不簡單的將數據通過傳感器進行采集，而是構建一個多數據融合的數據環境，使產品全生命周期的各類要素信息能實現同步采集、管理和調用。此外，需要盡可能全地采集設備全生命周期各類要素相關的數據和信息，打破以往設備獨立感知和信息孤島的壁壘，建立一個統一的數據環境，這些信息包括設備運行的狀態參數、工況數據、設備使用過程中的環境參數、設備維護保養記錄以及績效類數據等。最后，在先進的數據采集技術下，改變現有被動式的傳感與通信技術，實現按需進行數據的收集與傳送，即在相同的傳感與傳輸條件下針對日常監控、狀態變化、決策需求變化以及相關活動目標和分析需求，自主調整數據采集與傳輸的數量、頻次等屬性，從而實現主動式、應激式傳感與傳輸模式，提高數據感知的效率、質量、敏捷度，實現數據采集的自適應管理和控制。

2.數據管理技術

各種工業場景中存在大量多源異構數據，例如結構化與非結構化數據。每一類型數據都需要高效的存儲管理方法與異構的存儲引擎，但現有大數據技術難以滿足全部要求。以非結構化數據為例，特別是對海量設計文件、仿真文件、圖片、文檔等，需要按產品生命周期、項目、BOM結構等多種維度進行靈活有效的組織、查詢，同時需要對數據進行批量分析、建模，對于分布式文件系統和對象存儲系統均存在技術盲點。另外從使用角度上，異構數據需要從數據模型和查詢接口方面實現一體化的管理。例如在物聯網數據分析中，需要大量關聯傳感器部署信息等靜態數據，而此類操作通常需要將時間序列數據與結構化數據進行跨庫連接，因而先進的數據管理技術需要針對多模態工業大數據進行統一協同管理。

3.數據分析技術

工業大數據分析技術包括多種技術，最常用的有K均值、BP神經網絡、遺傳算法和貝葉斯理論等。其中K均值是最常用的主流聚類分析算法，BP神經網絡是較先進的數據挖掘分析方法。使用工業數據之前，許多用戶不知道期望的目標，并且無法獲取更多的數據應用背景知識，可以利用K均值算法構建一個自動聚類分析的大數據模式。比如通過分析后能夠自動將工業設計數據劃分為高、中、低等檔次，企業可以把高檔設計案例推薦給用戶，促進商務達成。BP神經網絡可以通過機器學習獲取相關指標關鍵特征，從而通過網絡算法構建一個分類的預測系統，這樣可以用于判斷日常運行趨勢，在設備的智能化健康維護中就較多的應用到這項技術。當前先進的數據分析技術包括以下幾個方面：

（1）強機理業務的分析技術。工業過程通常是基于“強機理”的可控過程，存在大量理論模型，刻畫了現實世界中的物理、化學、生化等動態過程。另外，也存在著很多的閉環控制、調節邏輯，讓過程朝著設計的目標逼近。在傳統的數據分析技術上，很少考慮機理模型（完全是數據驅動）、也很少考慮閉環控制邏輯的存在。

（2）低質量數據的處理技術。低質量數據會改變不同變量之間的函數關系，這給工業大數據分析帶來災難性的影響。現實中，制造業企業的低質量數據普遍存在，例如ERP系統中物料存在“一物多碼”問題，無效工況、重名工況、非實時等數據質量問題也大量存在。這些數據質量問題都大大限制了對數據的深入分析，因而需要在數據分析工作之前進行系統的數據治理。

工業應用中因為技術可行性、實施成本等原因，很多關鍵的量沒有被測量、或沒有被充分測量（時間/空間采樣不夠、存在缺失等）、或沒有被精確測量（數值精度低），這就要求分析算法能夠在“不完備”“不完美”“不精準”的數據條件下工作。在技術路線上，可大力發展基于工業大數據分析的“軟”測量技術，即通過大數據分析，建立指標間的關聯關系模型，通過易測的過程量去推斷難測的過程量，提升生產過程的整體可觀可控。

二、工業大數據發展趨勢 

隨著智能制造與工業互聯網概念的深入，工業產業進入了新一輪的全球性革命，互聯網、大數據與工業的融合發展成為了新型工業體系的核心，工業大數據的應用將帶來工業生產與管理環節的極大的升級和優化，其價值正在逐步體現和被認可。

工業大數據是推進工業數字化轉型的重要技術手段，需要“業務、技術、數據“的融合。這就要求從業務的角度去審視當前的改進方向，從IT、OT、管理技術角度去思考新的運作模式、新的數據平臺、應用和分析需求，從數據的角度審視如何通過信息的融合、流動、深度加工等手段，全面、及時、有效地構建反映物理世界的邏輯視圖，支撐決策與業務。因此，工業大數據的發展將呈現以下發展趨勢：

（1）數據大整合、數據規范統一。工業企業逐步加強工業大數據采集、交換與集成，打破數據孤島，實現數據跨層次、跨環節、跨系統的大整合，在宏觀上從多個維度建立切實可行的工業大數據標準體系，實現數據規范的統一。另一方面，在實際應用中逐步實現工業軟件、物聯設備的自主可控，實現高端設備的讀寫自由。

（2）機器學習，數據到模型的自動建模。在實現大數據采集、集成的基礎上，推進工業全鏈條的數字化建模和深化工業大數據分析，將各領域各環節的經驗、工藝參數和模型數字化，形成全生產流程、全生命周期的數字鏡像，并構造從經驗到模型的機器學習系統，以實現從數據到模型的自動建模。

（3）構建不同領域專業數據分析算法。在大數據技術領域通用算法的基礎上，不斷構建工業領域專業的算法，深度挖掘工業系統的物理化學原理、工藝、制造等知識，滿足企業對工業數據分析結果高置信度的要求。

（4）數據結果通過3D工業場景可視化呈現。進行數據和3D工業場景的可視化呈現，將數據結果直觀的展示給用戶，增加工業數據的可使用度。通過3D工業場景的可視化，實現制造過程的透明化，有利于過程協同。

三、工業大數據市場縱覽

目前，國內外做大數據的廠商主要分為兩類：一類是已經具有獲取大數據能力的公司，他們利用自身優勢地位沖擊著大數據領域，并占據著市場主導地位。主要包括IBM、SAP、HPE、Teradata、Oracle、Microsoft等老牌廠商，谷歌、亞馬遜、百度、騰訊、阿里巴巴等互聯網巨頭，以及華為、浪潮、中興等國內領軍企業，涵蓋了數據采集、數據存儲、數據分析、數據可視化以及數據安全等領域。

另一類是初創的大數據公司，他們針對市場需求，為市場帶來創新方案并推動技術發展。國外如專注Hadoop技術的三家公司Cloudera、Hortonworks（兩家公司已合并）和MapR（已被HPE收購），以及Palantir、Splunk、Tableau（已被Salesforce收購）等，其中Palantir被稱為硅谷最神秘獨角獸的大數據挖掘公司，Splunk從日志分析工具起家，當前已成為機器數據分析龍頭企業；國內有航天云網、樹根互聯、石化盈科等一批具有制造基因的企業，他們具有較強數據匯聚能力，還包括星環科技、天云大數據、昆侖智匯、美林數據、東方國信、Kyligence等技術型企業，他們在數據存儲、數據建模、分析處理等領域不斷突破核心技術。

四、工業大數據產業發展 

工業大數據技術及應用將成為未來提升制造業生產力、競爭力、創新能力的關鍵要素，是驅動產品智能化、生產過程智能化、管理智能化、服務智能化、新業態新模式智能化，以及支撐制造業轉型和構建開放、共享、協作的智能制造產業生態的重要基礎，對實施智能制造戰略具有十分重要地推動作用。

當前，我國的大數據產業增長迅速，產業規模持續放大。大數據產業主要涵蓋三個層次：基礎支撐、數據服務和融合應用相互交融，協力構建了完整的大數據產業鏈。

基礎支撐是整個大數據產業的核心，它提供了大數據產品和服務正常運轉所需的多樣化軟硬件資源，包括大數據存儲管理系統、大數據網絡和計算等系統資源管理平臺，大數據管理平臺，以及大數據相關硬件設備等。其中，大數據存儲、網絡和計算相關的軟硬件產品和服務，為海量數據的存儲、傳輸和分析挖掘奠定了堅實基礎，代表廠商有專注Hadoop發行版的星環科技、紅象云騰和天云大數據，傳統數據庫廠商人大金倉和南大通用，研發新型分布式數據庫的巨杉數據庫、PingCAP等，以及華為、聯想、浪潮、中興等硬件廠商。

數據服務是圍繞各類應用和市場需求，提供輔助性的服務，包括前端的數據采集、中端的流處理、批處理、即時查詢、數據分析和數據挖掘，末端的數據可視化，以及貫穿始終的數據安全。這一層通常與上層融合應用相伴，同時也可作為獨立的環節提供技術服務。由于數據服務層覆蓋了數據處理各個流程，積極布局各個細分領域的廠商也較多。例如在商業智能領域有阿里云，其Quick BI是第一個入選Gartner數據分析和商業智能領域的中國產品，還包括永洪科技、帆軟和亦策等；數據可視化領域的海智BDP、海云數據、數字冰雹相對領先；在數據安全領域有網智天元、安恒信息、明朝萬達等。

融合應用是大數據產業的發展重點，主要包含了通用性的營銷大數據，以及與行業緊密相關的各類細分領域整體解決方案。在大數據應用市場，一種廠商致力于為企業提供大數據驅動的數字營銷解決方案；另一種廠商則基于自身在數據技術的積累，結合不同行業的屬性和需求，向客戶提供具有行業特色的整體解決方案，在這一細分市場，布局的廠商眾多，例如以阿里巴巴、百度、騰訊、人大金倉、浪潮、曙光、南大通用為代表的互聯網企業、云計算和數據庫廠商紛紛加大應用推廣力度，在國際先進的開源大數據技術基礎上，形成各自的大數據平臺、和應用服務解決方案，以支撐不同行業不同領域的專業化應用；還包括昆侖數據、美林數據、百分點等廠商，也均形成了面向不同行業/領域的大數據應用，如百分點已推出了基于大數據的智能營銷、基于大數據的智能供應鏈、基于大數據的智能工廠、基于大數據的智能物聯網這四大智能場景解決方案。

隨著大數據技術與開源社區的不斷成熟，為數據技術向工業界滲透提供了必要的條件，同時也為高端制造企業提供了巨大的市場機會。近年來，國際知名工業企業、軟件公司和科研機構紛紛研發面向制造業轉型升級的大數據產品和系統。

美國通用電氣（GE）公司聯合Pivotal向全球開放工業互聯網云平臺Predix，將各種工業資產設備接入云端提供資產性能管理（APM）和運營優化服務；丹麥維斯塔斯（Vestas）公司聯合IBM基于Big Insights大數據平臺分析氣象、傳感器、衛星、地圖數據支持風場選址、運行評估等工作；德國西門子公司面向工業大數據應用，整合遠程維護、數據分析及網絡安全等一系列現有技術和新技術，推出Sinalytics數字化服務平臺，作為其實現工業4.0的重要抓手；德國SAP公司開發了面向物聯網應用和實時數據處理的HANA大數據平臺，并利用其在傳統企業信息化ERP系統上的優勢，推動HANA與信息化系統的集成；美國航空航天局（NASA）對外開放自身數據，幫助進行火星8生命探測和天文觀測等。此外，硅谷新興創業公司也在積極投入工業數據的技術和產品研發，典型代表有Uptake Tech公司，為建筑、航空、采礦行業提供分析與預測軟件服務。