本站小編為你精心準備了海量數據挖掘系統探討參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

當前，云計算是一種新型商業計算模型，他可以將計算任務分布在大量互聯的計算機上，使各種應用系統能夠按需獲取計算資源、存儲資源和其他服務資源。在云計算平臺的應用下，能夠為海量和復雜數據對象提供基礎設施，通過挖掘數據從而發現其中隱含的大規模數據，提升信息服務的質量。本文重點分析了數據挖掘系統中的關鍵技術，以及系統架構和各個功能框架的設計，通過快速部署應用程序，確保云服務基礎平臺規模，提升數據計算能力。

一、海量數據挖掘技術

海量數據挖掘的關鍵技術主要分為三種：(1)數據存儲方式，建立該數據系統中，一般采用關系型數據庫實現對用戶所需數據的存儲，基于云平臺下，由于云計算中涵蓋的數據量大，且具有一定的復雜性，無法建立科學的數據庫。另外云計算數據存儲中，部分應用要求非結構化進行存儲，并沒有一套完整的結構化存儲方式，因此這就給云計算帶來了嚴重的挑戰。云計算平臺針對非結構化的數據存儲具有一定的難度，因此，該平臺下，數據存儲技術主要包含開源的HDFS與非開源的CFS，而HDFS技術應用最廣泛。(2)數據預處理方式。為了實現數據預處理，云計算平臺提供了大量的數據并行加載方式以及相關的概念分層組織結構，在此基礎上，利用數據稀疏化技術以及高緯度約減技術，提高數據預處理的效率和質量，這就為數據挖掘以及數據的存儲等提供了更有效的技術支撐。(3)海量數據挖掘并行算法，海量數據挖掘的重要部分是并行算法。基于一些先進計算模型的使用下，沒有真正實現海量數據挖掘過程中的測量和并行化策略，無法對海量數據實施挖掘等，通過適用性的海量數據挖掘并行算法對大量數據進行分析和研究中，提高了云計算并行海量挖掘算法的效率，與此同時，該技術的應該還需要進一步分析和改造現有的云計算數據模型，不斷創新數據挖掘算法，為云計算模型完全適用于海量數據的挖掘提供針對性平臺。

二、云平臺的海量數據挖掘系統架構設計

云平臺下，為了解決海量數據的存儲以及挖掘，因此，建立海量數據挖掘系統結構的設計十分有必要。一方面，構建系統架構，基于微軟平臺構建海量數據挖掘系統，為數據挖掘系統的開放接口提供更大的方便。基于互聯網技術應用下，用戶可以通過網絡平臺直接訪問，同時還可以充分利用該平臺內其他應用程序對開放結構進行調用或者是滿足其他各項要求。在系統的構建過程中，用戶需要在深入了解系統的基礎上，根據自身的需要選擇不同的數據算法來處理數據存儲以及數據的計算等，同時，還可以將任務布置給系統，由系統自動解決用戶的數據問題。在系統架構中，任務模塊一般可以通過自主選擇使用算法，根據不同算法給出的數據挖掘結果，在可視化輸出過程中將數據提供給用戶。通常在海量數據挖掘系統中，其模塊主要分為：輸出模塊、輸入模塊開放接口，這些能夠為用戶提供更方便的數據服務。除此之外，開放接口所提供的服務中，還包含一些外部可見服務，在系統的調用中，為開放接口服務，實現內外互相調用的功能。

另一方面，海量數據挖掘系統功能框架的設計。根據數量挖掘系統的目標，將整個框架系統分為海量數據集層、算法層、任務層、用戶層、用戶界面層以及開放接口層五個層次。這些都是按照一定順序排列的，每一層都為其上一層服務。然而系統開放接口與用戶界面都處于整個系統的最高層。從最高層中用戶可以收集到大量數據，布置任務，并且將最終的數據結果可視化展現出來，用戶可以從計算結果中提取自己所需要的數據，體現了云計算平臺海量數據的開放性。具體的數據挖掘系統功能中由互聯網連接用戶終端和應用程序兩大部分，其中構建輸入模塊、開放接口、可視化輸出、數據集、任務模塊以及挖掘算法這六大模塊，最終構成云計算平臺。用戶通過開放接口向系統布置任務，選擇數據挖掘算法，最終得到的結果，可以通過可視化輸出，實現了接口的統一調用，以及數據的深層挖掘。

三、結束語

基于微軟云計算平臺，為海量數據挖掘提供了一種新型服務機制，該平臺通過可視化、虛擬化以及可用性功能，實現了數據的計算和存儲以及調用功能。云平臺的應用能夠更加方便的部署應用程序，提高計算能力，最終通過數據層將數據存儲，總之，微軟云平臺的海量數據挖掘系統不僅能夠擴大數據服務規模，而且具有強大的計算能力，為解決海量數據的存儲以及調用等提供了更便捷、更高效的平臺。

作者：吳悅 單位：淮陰工學院信息化建設與管理中心