本站小編為你精心準備了大數據技術在煤炭工業中的研究現狀參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：在總結煤炭大數據大容量、快速性、多樣性、真實性、可見性、價值等特征的基礎上，從煤炭大數據理論、煤炭大數據與物聯網和云計算的關系、煤炭大數據平臺建設方面介紹了煤炭大數據研究現狀；分析了煤炭大數據的多層面不均勻采樣性、多時間尺度特性、不真實數據混雜性等新特點及其對煤炭大數據分析帶來的挑戰；從大數據采集與管理、大數據分析、大數據共享方面對建設煤炭大數據平臺功能進行了展望，并從應用領域探討了大數據技術在煤炭工業中可能的發展方向。

關鍵詞：煤炭工業；大數據；物聯網；云計算；煤炭大數據平臺

0引言

隨著傳感器、計算機、通信、物聯網、數據存儲等技術的發展，以及企業信息管理系統的不斷普及，制造工業等行業產生并存儲了大容量數據，且隨時間呈指數級增長[1]，工業界已經進入了“大數據”時代[2-3]，煤炭工業就是其中的一個典型代表。煤炭是中國的主體能源，其產業的健康發展對經濟社會發展至關重要，甚至關系著國家能源安全。因此，迫切需要依托物聯網、云計算和大數據技術，采集、存儲和挖掘海量數據，從數據中探索解決煤炭“采掘機運通排”中若干問題，推動煤炭行業由生產自動化、信息自動化轉型升級為知識自動化。麥肯錫的報告顯示，就大數據的數量而言，諸如煤炭等領域的過程工業，其數據產出量及可被接入的設備數量遠遠超過移動互聯網等其他行業，而且增速是其他大數據領域的2倍[4]。然而，煤炭大數據的利用卻遠沒有在當前互聯網領域那樣普遍和深入，其中數據的價值還有待挖掘。本文闡述了煤炭大數據的特征及研究現狀，并在分析煤炭大數據新特點的基礎上，對煤炭大數據平臺的發展與應用進行了探討與展望。

1煤炭大數據特征

大數據分析手段主要是圍繞大數據的“4Vs”(Volume——大容量，Velocity——快速性，Variety——多樣性，Veracity——真實性)特性去發展與完善的[5-6]。除“4Vs”特性外，煤炭大數據還應該加上“2Vs”，即Visibility——可見性(通過大數據分析使以往隱匿的重要因素和信息可見)和Value——價值(通過大數據分析得到的信息應該被轉換成價值)。這“2Vs”代表了煤炭工業界對于大數據所追求的目的和意義。（1）大容量(Volume)體現在數據采樣率高(毫秒級)與采樣時間段長(24h不間斷運行)所帶來的大容量歷史數據。以單臺礦井通風機為例，其數據采樣頻率為50Hz，每秒產生225kB數據，按每年7000h工作時間計算，僅單臺通風機每年生成6TB數據。（2）快速性(Velocity)體現在高頻的數據采集。由于井下作業環境惡劣、24h不間斷生產，生產環境安全監測監控系統、各生產環節的自動化系統等的實時數據與信息需要安全、準確、實時地傳至數據處理中心，所以每秒鐘會記錄幾千兆甚至上萬兆字節的數據。（3）多樣性(Variety)體現在異構性、不同時間尺度和不均勻采樣。煤炭工業數據異構性是指非結構化類型煤炭數據，其數據存儲形式除“采掘機運通排”控制系統采集的結構化的生產過程數據外，還包括以生產環境在線監測為主的視頻圖像、語音，以及規章制度、應急案例文本等非結構化數據。此外，煤炭工業分層次運行，采集的時間序列數據既有高維且快速率動態采樣的壓力、流量等過程數據，又有低速不均勻采樣的灰分、硫分等指標數據。（4）真實性(Veracity)體現在真實數據與離群點數據的混雜。由于煤炭掘進、開采和洗選過程生產環境惡劣，測量儀表或變送器受到干擾嚴重，且故障頻發，使得測量數據中混雜不真實數據，具有離群點、缺失點等異常樣本。如重介質選煤過程中由于在線灰分儀運行不穩定經常導致灰分實際測量值出現大偏差，導致歷史數據中出現離群點。（5）可見性(Visibility)體現在對隱匿性問題的建模和預測。設備性能下降、健康衰退、零部件磨損等問題難以通過測量被量化，而大部分可見的問題都是這些不可見的因素積累到一定程度所造成的，因此需要通過大數據分析使以往隱匿的重要因素和信息可見，從而避免可見問題的發生。（6）價值(Value)體現在數據密度高、價值小。煤炭生產中，系統經常在某一特定且正常工況下運行，而故障等異常工況只是偶然發生，因此大量數據均是存在冗余的正常運行數據，而反映異常的數據非常少。

2煤炭大數據研究現狀

從20世紀90年代至今，煤礦自動化經歷了從單機自動化、綜合自動化到煤礦物聯網的發展[7]，且隨著煤炭企業信息化與自動化的不斷提高及兩化融合的快速發展，安全監控、人員定位、可視通信、數字化礦山、三維建模、企業資源計劃等系統的不斷應用，產生了海量、不同層次、不同類別的數據資源，為大數據在煤炭工業中的應用奠定了基礎[8]。由于缺少針對煤炭大數據特征的分析工具及高效的計算平臺來提取隱匿的知識，煤炭大數據還未充分利用，目前主要是將數據采集、壓縮存檔、恢復與少量預測分析。其中預測分析主要集中研究在煤炭安全生產領域，但尚處于理論研究和起步階段，沒有成功的模式和案例。鄭磊[9]分析了當前中國煤礦安全管理存在的問題，并提出大數據將對煤礦安全管理帶來變革。丁振等[10]討論了大數據在變革管理思維、增強系統安全觀念，提高設備運轉可靠度、監測設備健康運行，提供事故分析新視角、實現安全管理關口前移等方面的應用前景。大數據、物聯網與云計算是提升煤礦安全生產水平的3個重要技術手段。胡英[11]分析了安全生產大數據的特點與煤礦安全生產大數據當前面臨的主要問題，提出建設基于物聯網、云計算技術的煤礦安全綜合數據庫，建設基于專家系統的煤礦安全專家知識庫，建設三維虛擬礦井可視化平臺，研發煤礦安全動態分析系統的需求。孫繼平[12]分析了煤炭大數據和物聯網對煤礦事故分析的重要作用，討論了大數據在煤與瓦斯突出、沖擊地壓、水害、火災等事故預警，煤礦重大關鍵設備故障診斷，煤炭需求和價格預測等方面的應用。劉玉海[13]分析了現有的Hadoop云計算平臺及云計算技術用于實現煤炭井下人員定位系統、礦井瓦斯安全預警系統、煤礦安全生產應急系統的可行性。繆建華等[14]提出了基于大數據和云計算技術的智慧礦山計劃，并對淮南煤礦安全高效生產運用前景進行了展望。馬小平等[15]闡述了物聯網、大數據及云計算技術的研究現狀，并指出3種技術之間的關系，即物聯網產生大數據，大數據助力物聯網；大數據需要云計算，云計算增值大數據。當前，大數據已經成為國家的戰略資源和推動產業發展的重要引擎，煤炭工業的安全化、綠色化、智能化發展對煤炭大數據平臺的需求迫在眉睫。張茜[16]利用SWOT分析方法，從優勢、劣勢、機會和威脅4個方面對煤炭企業建立大數據平臺進行了分析。劉香蘭[17]搭建了煤礦安全生產大數據分析模型，研究并設計了煤礦安全生產大數據分析與管理平臺的功能架構與技術架構。申琢等[18]以數據集成、數據挖掘和可視化展現為主線，設計并開發了由設備層、網絡層、數據層、挖掘層和展示層組成的基于數據挖據的煤炭大數據可視化管理平臺。2016年7月19日，煤炭大數據平臺V2.0[19]在“2016夏季全國煤炭交易大會”上正式啟動，該平臺涵蓋煤炭GIS、圖解煤炭、煤炭物流、信用查詢、預測預警、數據分析、能源經濟七大功能模塊，但仍存在數據體系不完善、采集渠道不暢通、數據時效性不強等問題。

3煤炭大數據新特點及研究挑戰

隨著信息化發展和可編程邏輯控制器與集散控制系統的廣泛采用，以及安全生產過程管理、設備操作優化需求的不斷增加，煤炭生產向大規模、集成化發展，多單元、多產品生產、動態運行。煤炭大數據體現出與廣泛過程工業大數據[20]類似的多層面不均勻采樣性、多時間尺度特性、不真實數據混雜性的新特征，對已有研究方法帶來挑戰。（1）多層面不均勻采樣性。煤炭生產過程既有高維動態的過程數據，又有不均勻采樣的指標數據，比如灰分指標往往難以在線測量，通常通過人工化驗獲得，而人工化驗時間在一定范圍內具有隨機性，因此導致數據具有大延遲和不均勻采樣的特點。現有數據驅動方法多集中在對均勻采樣數據的分析與處理，無法對不均勻采樣的數據進行分析與處理。（2）多時間尺度特性。多時間尺度體現在不同系統根據需求進行分層采樣，進而進行優化決策與控制。其中，設備層是整個生產系統的最低層，為實時監測設備運行狀態，其通常以毫秒為單位采集設備數據(如重介質選煤過程的入料泵變頻電流等)；上一層為過程控制層，采集秒級的過程控制數據(如重介密度、合介筒液位等)，并實施控制，以保證過程的關鍵變量按照給定的設定值變化，并驅動設備狀態按指定邏輯順序變化，是穩定生產的關鍵；再上一層為運行優化層，采集從產品質量分析儀或人工化驗或統計得到的多種類且不均勻采樣的產品質量、產量、能耗的運行指標數據(如灰分、硫分，視頻監控帶式輸送機運煤表面圖像數據等)，由優化策略進行分析計算，產生新的過程設定值；最上層為生產經營管理層，采集來自市場營銷和售后服務與用戶的反饋數據(如市場對煤質的定量與定性評價數據)，進行市場分析，從而指導和協調生產。多時間尺度上的數據具有強自相關與互相關關系，以及時間序列相關關系[21]，但由于不同時間尺度的采樣，使得所獲取的數據具有不均勻稀疏性，對現有分析方法帶來挑戰。（3）不真實數據混雜性。高維動態歷史數據中夾雜與過程特性無關的干擾數據，這是因為受惡劣環境影響，煤炭實際生產過程數據易受采集、傳輸、存儲過程中的異常影響，從而混雜離群點、甚至缺失點。這在不同時間尺度采樣中均存在，如過程層的傳感器設備故障，以及指標層的化驗與人為誤讀數誤差等。現有數據分析方法需要無污染的數據，但不真實數據的存在不可避免。因此，如何從混雜數據中提取出反映過程特性本質的模型，建立魯棒數據分析方法，將是研究的重點和難點。

4煤炭大數據展望

4.1煤炭大數據平臺展望

近幾年，煤炭大數據技術發展較快，具備了一定基礎，但當前中國煤炭數據信息采集渠道仍不暢通，數據傳達相對滯后，時效性不強，缺少有效的分析工具及高效的分析方法實現煤炭大數據的價值。因此，煤炭大數據平臺必須重點實現大數據采集與管理、大數據分析、大數據共享的功能。（1）大數據采集與管理。大數據的基礎在于數據，因此需充分利用各類傳感器、無線網絡等加強對生產過程、監測監控、設備運行、經營管理等各類數據的采集與管理。此外，標準統一是大數據的基礎。沒有統一的行業信息標準，就無法整合來自不同領域、不同企業、不同類型的數據和信息。按照煤炭大數據建設的核心理念，建立全國煤炭數據實時在線采集系統，對各省市現有煤炭監測系統進行整合，形成基礎數據庫，并使各系統能夠以統一的接口進行數據傳輸，實現基層煤礦數據的實時更新。同時，依托物聯網、大數據技術，將煤炭行業數據全部納入采集系統，實現各煤炭數據種類的全國聯網，構建囊括煤炭生產、消費、交易等相關信息的全國煤炭數據庫。（2）大數據分析。對大容量數據中知識的挖掘是大數據技術的關鍵所在，然而，解決問題的知識通常具有隱匿性，其不是直接呈現在數據里，而是呈現在用于揭示數據的模型中。因此，煤炭大數據的核心在于采用降維技術、分類與聚類技術、時序數據模式挖掘技術、數據源融合處理技術及關聯關系分析技術等數據分析方法，快速獲取、分析、處理海量的工業生產過程監控數據，建立不同層次(過程監測、故障診斷、優化決策、控制等)的模型，從而推動煤炭安全管理思維變革，增強系統安全觀念，推動安全監察監管信息的共享，加快打通信息源壁壘，推動數據的深度發掘，為設備運行優化提供理論支撐。對于容量呈指數級增加的大數據，傳統數據分析方法無法處理或處理過慢，因此煤炭大數據分析需借鑒已有高速的大數據建模與優化算法，如面向大數據特征的深度學習算法[22-23]等。(3)大數據共享。依靠某個企業單一數據樣本很難實現大數據價值，需建立全國煤炭行業各類數據匯總的總平臺，與本行業各類信息平臺及電力等其他行業相關平臺進行數據接入與共享，充分發揮行業協會、煤炭企業、科研院所、信息技術廠商等各方力量。

4.2煤炭大數據應用展望

煤炭工業應根據自身大數據特點，結合工業大數據在建模、控制與優化技術方面研究成果，利用互聯網產業已建立的大數據管理平臺，推進煤炭行業各級部門間數據的共享，面向煤炭安全生產、過程優化與決策、控制、故障診斷進行應用實踐。（1）基于大數據的煤礦智能無人開采。通過積累各類地質構造、煤巖煤質、大型采掘設備等的大數據樣本，構建各類開采條件下的智能開采模型。（2）基于大數據的煤礦災害預警與防治。通過積累煤礦大量監測數據樣本，可探索基于大數據的煤礦事故預警方法，將大數據用于煤與瓦斯突出、沖擊地壓、水害、火災等煤礦事故預警。（3）基于大數據的煤礦設備故障診斷。通過監測煤礦設備振動、聲音、溫度、功率等設備運行狀態數據，研究關鍵設備狀態異常與設備故障的關系，實現基于大數據的煤礦設備故障診斷。（4）基于大數據的行業運行監測與預測。通過積累煤炭市場交易數據、供需企業經營數據、港口鐵路運輸數據、國際大宗商品市場數據、宏觀經濟及下游行業運行數據等，能夠進行煤炭需求與價格預測。（5）基于大數據的煤礦生產全流程一體化。通過不同時間尺度非均勻采樣，可充分挖掘設備層、過程控制層、運行優化層、生產經營管理層不同層級內與層級間的隱匿性知識，設計集全流程生產指標、運行指標、過程設定值與控制規律的優化控制方法，實現生產全流程一體化，從而降低煤炭生產的能耗與物耗，提高產品質量。

5結語

煤炭大數據還處于理論探索階段，已建立的煤炭大數據平臺尚未能挖掘大數據隱含的價值。同時，煤炭大數據的多層面不均勻采樣性、多時間尺度特性、不真實數據混雜性的新特點對大數據分析所帶來的挑戰性問題，是煤炭大數據技術進一步研究的重點和難點。在煤炭行業開展大數據應用，利用煤炭大數據平臺，探尋煤炭產業發展規律，探索煤炭行業科學管理方法，成為煤炭乃至整個能源行業發展的必然要求和必經之路。

參考文獻：

[3]李學龍,龔海剛.大數據系統綜述[J].中國科學:信息科學,2015,45(1):1-44.

[4]周興社.工業大數據特點、價值及其計算[EB/OL].

[6]蘇鑫,吳迎亞,裴華健,等.大數據技術在過程工業中的應用研究進展[J].化工進展,2016,35(6):1652-1659.

[7]丁恩杰,趙志凱.煤礦物聯網研究現狀及發展趨勢[J].工礦自動化,2015,41(5):1-5.

作者：馬小平；代偉 單位：中國礦業大學