本站小編為你精心準(zhǔn)備了物流數(shù)據(jù)動態(tài)挖掘模型研究參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

《圖書館學(xué)研究雜志》2015年第十三期

1云計算與動態(tài)數(shù)據(jù)挖掘概述

1.1云計算概述Amazon(亞馬遜)、ogle(谷歌)等公司于2006年8月提出了“云計算”的概念，自此以來，云計算就受理論界與企業(yè)界的追捧，并在各方面得到了廣泛的應(yīng)用。所謂云計算，是一種利用互聯(lián)網(wǎng)實現(xiàn)隨時隨地、按需、便捷地訪問共享資源池的計算模式，能為不同類型終端用戶提供計算和存儲功能的一個服務(wù)傳遞過程［8］。云計算是一種可變的、實時的、虛擬化的資源，將大量的海量數(shù)據(jù)的計算任務(wù)分割成眾多的微量計算任務(wù)，通過網(wǎng)絡(luò)化的、人人參與的并行計算形式，為互聯(lián)網(wǎng)上的用戶提供服務(wù)。云計算的關(guān)鍵技術(shù)包括:海量分布式存儲技術(shù)、數(shù)據(jù)管理技術(shù)、并行編程技術(shù)、虛擬化技術(shù)、云計算平臺管理技術(shù)、分布式資源管理技術(shù)［9］。云計算作為大數(shù)據(jù)時代的IT基礎(chǔ)，具備以下基本特征:按需自助服務(wù)、廣泛的網(wǎng)絡(luò)訪問、計算資源池化、快速的可伸縮性、可度量的服務(wù)。目前，云計算有三種典型服務(wù)模式:(1)軟件即服務(wù)(softwareasaservice，SaaS)、平臺即服務(wù)(platformasaservice，PaaS)、基礎(chǔ)即服務(wù)(infrastructureasaservice，IaaS)，如圖1所示［10］。作為一個動態(tài)的計算體系，云計算具備非常明顯的優(yōu)勢，云計算模式已成為眾多企業(yè)構(gòu)建信息系統(tǒng)的首選［11］。以云計算為基礎(chǔ)來構(gòu)建信息服務(wù)平臺，提供應(yīng)對多種服務(wù)要求的計算環(huán)境，數(shù)據(jù)信息存儲能力、數(shù)據(jù)安全性、數(shù)據(jù)資源利用率、用戶定制化需求等，均能得到有效保障和提升，通過網(wǎng)絡(luò)訪問其相應(yīng)的服務(wù)資源，能夠最大限度地實現(xiàn)資源共享和業(yè)務(wù)協(xié)同，真正體現(xiàn)按需服務(wù)的理念［12］。

1.2動態(tài)數(shù)據(jù)挖掘概述目前，越來越多的數(shù)據(jù)以時間序列的形式存在，動態(tài)性、實時性、海量性、高維性是這類數(shù)據(jù)的典型特征。原有的針對靜態(tài)數(shù)據(jù)的知識發(fā)現(xiàn)與獲取技術(shù)已難以有效處理和分析動態(tài)數(shù)據(jù)，無法很好地獲得新穎性知識，因此動態(tài)數(shù)據(jù)挖掘技術(shù)應(yīng)運而生。所謂動態(tài)數(shù)據(jù)挖掘，是指從海量時間序列數(shù)據(jù)中尋找規(guī)律和知識的數(shù)據(jù)挖掘方法，是集過去、現(xiàn)在與未來于一體的動態(tài)過程［13］。假設(shè)在一動態(tài)數(shù)據(jù)源(DynamicDataSource，DDS)中存在三類數(shù)據(jù):歷史數(shù)據(jù)(Dataold)、當(dāng)前數(shù)據(jù)(Datacurrent)和后續(xù)新數(shù)據(jù)(Datanew)，動態(tài)數(shù)據(jù)挖掘就是將經(jīng)過篩選的歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)同時結(jié)合后續(xù)新數(shù)據(jù)進(jìn)行分析，動態(tài)檢驗后續(xù)新數(shù)據(jù)的特性，從而提取出其中有意義的、新穎的、有價值的、關(guān)鍵的知識與信息。動態(tài)數(shù)據(jù)挖掘的過程基本上包括動態(tài)數(shù)據(jù)采集、動態(tài)數(shù)據(jù)處理、數(shù)據(jù)挖掘、挖掘評價等幾個階段［14］。其中，動態(tài)數(shù)據(jù)采集是從動態(tài)數(shù)據(jù)源中獲取歷史數(shù)據(jù)、當(dāng)前數(shù)據(jù)和后續(xù)新數(shù)據(jù);動態(tài)數(shù)據(jù)處理是動態(tài)處理動態(tài)數(shù)據(jù)采集過程傳來的動態(tài)實時數(shù)據(jù)，如消除數(shù)據(jù)噪聲、數(shù)據(jù)降維處理、數(shù)據(jù)缺失處理、數(shù)據(jù)類型轉(zhuǎn)換、提取數(shù)據(jù)特征等;動態(tài)數(shù)據(jù)挖掘是利用相應(yīng)的動態(tài)挖掘算法與技術(shù)，如數(shù)據(jù)流挖掘、分形數(shù)據(jù)挖掘、聯(lián)系發(fā)現(xiàn)技術(shù)等，得到這些數(shù)據(jù)中所隱含的必要知識;挖掘評價是采用后續(xù)新數(shù)據(jù)對挖掘結(jié)果進(jìn)行評價與檢測，如果不符合要求，則需要通過調(diào)整動態(tài)數(shù)據(jù)采集或動態(tài)數(shù)據(jù)處理來重新挖掘，以真正挖掘出用戶感興趣的知識。

2基于云計算的物流數(shù)據(jù)動態(tài)挖掘模型

隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)廣泛應(yīng)用于物流信息系統(tǒng)，在物流活動各環(huán)節(jié)產(chǎn)生的物流信息，多以時間序列的形式存在，保證了現(xiàn)代物流的實時交互性，既反映了當(dāng)前的物流業(yè)務(wù)活動，又能通過相應(yīng)的方法來預(yù)測將來物流業(yè)務(wù)活動的發(fā)展變化趨勢，具有顯著的動態(tài)性，是典型的動態(tài)數(shù)據(jù)。這些動態(tài)數(shù)據(jù)源既為物流企業(yè)作出合理經(jīng)營決策提供了可行支持，也增加了物流企業(yè)作出合理經(jīng)營決策的難度，如果不能對這些數(shù)據(jù)進(jìn)行深度挖掘，這些數(shù)據(jù)還有可能成為物流企業(yè)作出合理經(jīng)營決策的負(fù)擔(dān)與累贅，形成“數(shù)據(jù)恐懼”。動態(tài)數(shù)據(jù)挖掘技術(shù)的存在，為解決“數(shù)據(jù)恐懼”提供了可能性。通過對動態(tài)物流信息源中的歷史數(shù)據(jù)、當(dāng)前數(shù)據(jù)和后續(xù)新數(shù)據(jù)的動態(tài)挖掘，能夠發(fā)現(xiàn)后續(xù)新數(shù)據(jù)的規(guī)律與知識，這些所發(fā)掘的新規(guī)律與新知識，應(yīng)用于物流企業(yè)未來業(yè)務(wù)的維系、拓展與優(yōu)化，有利于物流企業(yè)提出針對性的業(yè)務(wù)規(guī)劃和商務(wù)計劃，促進(jìn)物流企業(yè)競爭力的提升。正如前文所言，如果只從一個企業(yè)內(nèi)部來建立物流數(shù)據(jù)動態(tài)挖掘系統(tǒng)，投資較大且需配置專業(yè)技術(shù)人員，將阻礙動態(tài)數(shù)據(jù)挖掘技術(shù)在物流企業(yè)的廣泛應(yīng)用。不過，令人鼓舞的是，目前已有很多物流企業(yè)搭建了基于云計算的信息服務(wù)平臺，并將物流信息分析工作轉(zhuǎn)移到網(wǎng)絡(luò)中的“云端”，對大規(guī)模物流數(shù)據(jù)進(jìn)行分布的、及時的處理與分析［15］。這就為建立基于云計算的物流數(shù)據(jù)動態(tài)挖掘平臺奠定了堅實的行業(yè)基礎(chǔ)。

2.1結(jié)構(gòu)框架基于云計算的物流數(shù)據(jù)動態(tài)挖掘模型架構(gòu)分為7層，分別是云計算環(huán)境層、動態(tài)物流數(shù)據(jù)采集層、動態(tài)物流數(shù)據(jù)處理層、動態(tài)物流數(shù)據(jù)挖掘?qū)印I(yè)務(wù)應(yīng)用層、交互層、用戶終端層，自底向上每層透明地為其上層服務(wù)，如圖2所示。(1)云計算環(huán)境層云計算環(huán)境層處于最底層，是整個系統(tǒng)的支撐平臺，包括并行編程環(huán)境、分布式文件系統(tǒng)、分布式系統(tǒng)管理，提供分布式并行數(shù)據(jù)處理、分布式數(shù)據(jù)海量存儲以及超強的分布式計算能力。云計算平臺采用分布式對數(shù)據(jù)進(jìn)行存儲，并以冗余存儲方式確保數(shù)據(jù)保存多份副本;同時利用分布式數(shù)據(jù)處理與虛擬化技術(shù)對動態(tài)數(shù)據(jù)挖掘算法進(jìn)行綜合處理，實現(xiàn)計算資源的自主分配，完成動態(tài)數(shù)據(jù)挖掘計算能力的并行實現(xiàn)，便于用戶對動態(tài)數(shù)據(jù)挖掘算法的調(diào)用，從而為服務(wù)的提供者與服務(wù)對象提供一個基礎(chǔ)的云環(huán)境。目前，常見的云計算數(shù)據(jù)存儲技術(shù)主要有Hadoop團(tuán)隊開發(fā)的開源HDFS(HadoopDistributedFileSystem)和ogle開發(fā)的非開源GFS(ogleFileSystem)，采用Map/Reduce編程模式，特別適用于產(chǎn)生和處理大規(guī)模的數(shù)據(jù)集［16］。分布式文件管理模塊利用分布式文件系統(tǒng)HDFS來實現(xiàn)物流數(shù)據(jù)的存儲，將海量物流數(shù)據(jù)文件先分塊，分布存儲在計算機集群上的不同節(jié)點，并提供高可靠的容錯功能。對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)，是基于一組特定節(jié)點構(gòu)建的，包括一個NameNode(主節(jié)點)和多個DataNode(數(shù)據(jù)節(jié)點)，前者提供元數(shù)據(jù)服務(wù)，后者提供存儲塊。HDFS可以創(chuàng)建、刪除、移動或重命名文件等等。HDFS發(fā)揮Map/Reduce可伸縮性的優(yōu)勢，既可為動態(tài)物流數(shù)據(jù)采集層提供各類動態(tài)數(shù)據(jù)，又可為業(yè)務(wù)應(yīng)用層存儲相應(yīng)的用戶數(shù)據(jù)，構(gòu)建出具有極高容錯性、可靠性、存儲量的分布式文件系統(tǒng)。(2)動態(tài)物流數(shù)據(jù)采集層該層主要是實現(xiàn)物流數(shù)據(jù)的動態(tài)采集。針對各物流節(jié)點企業(yè)產(chǎn)生的歷史數(shù)據(jù)、當(dāng)前數(shù)據(jù)和后續(xù)新數(shù)據(jù)，包括企業(yè)物流信息系統(tǒng)產(chǎn)生的運輸數(shù)據(jù)、搬運數(shù)據(jù)、裝卸數(shù)據(jù)、采購數(shù)據(jù)、加工數(shù)據(jù)、儲存數(shù)據(jù)、包裝數(shù)據(jù)、配送數(shù)據(jù)、客服數(shù)據(jù)和其他數(shù)據(jù)，同時也包括物流信息系統(tǒng)采集到其他系統(tǒng)或平臺的、與本企業(yè)業(yè)務(wù)有密切聯(lián)系的數(shù)據(jù)，如政策信息、市場信息、競爭對手信息等進(jìn)行采集。動態(tài)物流數(shù)據(jù)的采集方法是:①對于歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)，可以采用傳統(tǒng)的數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)移方式，一次性提取完成;②對于后續(xù)新數(shù)據(jù)，則應(yīng)采集數(shù)據(jù)源發(fā)生變動的那部分?jǐn)?shù)據(jù)，需要用到變動數(shù)據(jù)捕獲技術(shù)(ChangeDataCapture，CDC)［17］。變動數(shù)據(jù)捕獲方法只傳遞發(fā)生改變的數(shù)據(jù)，甚至用戶可以提出具體要求，對信息進(jìn)行有效地過濾，為用戶提供最及時準(zhǔn)確的信息數(shù)據(jù)。其可用技術(shù)既包括時間戳法、快照法、全文比對法等，即數(shù)據(jù)靜態(tài)捕獲技術(shù)，也包括觸發(fā)器法、變更軌跡表法、輔助程序法、DBMS日志法等數(shù)據(jù)動態(tài)捕獲技術(shù)［18］，從而實現(xiàn)動態(tài)物流數(shù)據(jù)的快速、全面、準(zhǔn)確的收集。(3)動態(tài)物流數(shù)據(jù)處理層該層主要是實現(xiàn)對采集到的動態(tài)物流數(shù)據(jù)進(jìn)行處理，為數(shù)據(jù)挖掘提供數(shù)據(jù)源。動態(tài)物流數(shù)據(jù)處理層的主要工作包括:對采集到的動態(tài)物流數(shù)據(jù)中的缺失值數(shù)據(jù)、冗余數(shù)據(jù)、噪聲數(shù)據(jù)等進(jìn)行處理，將非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行轉(zhuǎn)換;然后將結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行過濾，刪除無效的數(shù)據(jù)，以提煉出有價值、有意義、有時效的數(shù)據(jù);最后進(jìn)行動態(tài)物流數(shù)據(jù)抽取，通過對動態(tài)物流數(shù)據(jù)的相關(guān)性和關(guān)聯(lián)性檢測，從中抽取有意義的數(shù)據(jù)，將抽取結(jié)果存放到動態(tài)數(shù)據(jù)倉庫之中，供后續(xù)的動態(tài)物流數(shù)據(jù)挖掘模塊進(jìn)行數(shù)據(jù)挖掘。動態(tài)物流數(shù)據(jù)處理方法包括:①對于歷史的和當(dāng)前的物流數(shù)據(jù)，可以采用傳統(tǒng)的數(shù)據(jù)預(yù)處理技術(shù);②針對動態(tài)物流數(shù)據(jù)源中的后繼新數(shù)據(jù)，則需要利用實時ETL技術(shù)。實時ETL(ExtractTransformLoad，抽取、轉(zhuǎn)換、裝載)是指先實時抽取業(yè)務(wù)數(shù)據(jù)源中產(chǎn)生的數(shù)據(jù)，然后對其進(jìn)行清洗，最后基于預(yù)先定義好的數(shù)據(jù)倉庫模型，在保證數(shù)據(jù)的完備性和一致性的前提下，通過轉(zhuǎn)換，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去，為動態(tài)數(shù)據(jù)挖掘系統(tǒng)提供更有效的數(shù)據(jù)支持［19］。通過實時ETL模塊，可以實現(xiàn)數(shù)據(jù)的預(yù)處理，并保存在動態(tài)數(shù)據(jù)倉庫中，提供給動態(tài)物流數(shù)據(jù)挖掘?qū)印?4)動態(tài)物流數(shù)據(jù)挖掘?qū)幼鳛檎麄€構(gòu)架的核心，動態(tài)物流數(shù)據(jù)挖掘?qū)拥闹饕蝿?wù)是實現(xiàn)各種任務(wù)過程中算法的并行化，使用動態(tài)數(shù)據(jù)倉庫中已經(jīng)過預(yù)處理的數(shù)據(jù)集，選擇既定的算法進(jìn)行動態(tài)數(shù)據(jù)挖掘，并將任務(wù)提交到云計算環(huán)境層進(jìn)行運算，同時將動態(tài)挖掘結(jié)果返回給業(yè)務(wù)應(yīng)用層。(5)業(yè)務(wù)應(yīng)用層根據(jù)用戶提交的業(yè)務(wù)請求，基于決策知識庫，業(yè)務(wù)應(yīng)用層能夠?qū)ν瓿蓸I(yè)務(wù)所需的子業(yè)務(wù)進(jìn)行調(diào)用、管理，包括算法庫的創(chuàng)建、擴充以及算法的調(diào)用和注銷，為每一個算法創(chuàng)建控制塊和算法參數(shù)，并且對業(yè)務(wù)狀態(tài)進(jìn)行監(jiān)控、管理，以協(xié)調(diào)其他各功能模塊實現(xiàn)系統(tǒng)目標(biāo)。業(yè)務(wù)調(diào)度管理功能可自動選擇與任務(wù)關(guān)聯(lián)的算法，根據(jù)用戶需求自動調(diào)用動態(tài)物流數(shù)據(jù)挖掘?qū)拥亩鄠€模塊，實現(xiàn)對動態(tài)物流數(shù)據(jù)的挖掘，比較不同挖掘方法所得到的結(jié)果，并使用未來數(shù)據(jù)集中的數(shù)據(jù)驗證、評估相關(guān)結(jié)果，然后將挖掘結(jié)果返回給交互層。(6)交互層該層主要提供用戶管理、數(shù)據(jù)輸入、結(jié)果展示。用戶管理包括:用戶身份的識別與權(quán)限設(shè)置、用戶注冊、用戶登錄、用戶注銷、用戶費用、用戶需求提交管理等日常管理工作。此外，該模塊與云管理服務(wù)器連接，給用戶提供分布式云服務(wù)。

2.2基于云計算的動態(tài)挖掘算法完成動態(tài)物流數(shù)據(jù)的挖掘任務(wù)，需要通過動態(tài)數(shù)據(jù)挖掘算法模塊來實現(xiàn)。動態(tài)數(shù)據(jù)挖掘算法模塊的核心是建立基于MapReduce編程模型的并行數(shù)據(jù)挖掘算法庫，無論是傳統(tǒng)的挖掘算法，如回歸分析、聚類分析、判別分析、決策樹、關(guān)聯(lián)規(guī)則、人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊方法、粗集方法、可視化技術(shù)等，還是較新穎的挖掘算法，如聯(lián)系發(fā)現(xiàn)和經(jīng)驗?zāi)B(tài)分解技術(shù)、分形數(shù)據(jù)挖掘、聯(lián)機分析挖掘、數(shù)據(jù)流挖掘等，都可以實現(xiàn)優(yōu)化升級以及適當(dāng)擴充。基于各類算法的MapReduce并行化，挖掘隱含在動態(tài)物流數(shù)據(jù)流中的有價值信息，用于完成各種數(shù)據(jù)挖掘任務(wù)。例如，基于云計算的FP-Tree頻繁項集挖掘算法步驟如下:①通過FP-Tree對物流數(shù)據(jù)流進(jìn)行頻繁項集挖掘，要在Hadoop計算平臺上進(jìn)行分布式運算的時候，首先要將處理的海量數(shù)據(jù)上傳到Hadoop的分布式文件系統(tǒng)中;②用戶可以通過重寫Map和Reduce函數(shù)實現(xiàn)自己需要的功能。一般地，基于云計算的FP-Tree頻繁項集挖掘流程為:由Namenode將存儲在HDFS中的物流數(shù)據(jù)流劃分為N個不相交的數(shù)據(jù)分塊，然后將數(shù)據(jù)分塊分別發(fā)送到執(zhí)行挖掘操作的M(M＜=N)個Datanode中，Datanode接收到挖掘指令后，獨立地使用FP-Tree算法進(jìn)行頻繁項集的挖掘工作，從而獲得局部頻繁項集;③匯總各個Datanode獲得的局部頻繁項集，得到全局的候選頻繁項集;對物流數(shù)據(jù)流進(jìn)行再次掃描，獲取最終的頻繁項集。整個挖掘過程涉及到兩次Map/Reduece計算。

2.3運行模式基于云計算的物流數(shù)據(jù)動態(tài)挖掘模型運行模式為:(1)企業(yè)用戶通過用戶管理模塊進(jìn)行授權(quán)認(rèn)證，申請使用基于云計算的物流數(shù)據(jù)動態(tài)挖掘平臺;(2)云計算服務(wù)器通過用戶管理模塊進(jìn)行授權(quán)認(rèn)證，申請為基于云計算的物流數(shù)據(jù)動態(tài)挖掘平臺提供服務(wù);(3)用戶終端經(jīng)由用戶管理模塊登錄后，提交挖掘服務(wù)請求，經(jīng)業(yè)務(wù)調(diào)度控制模塊利用已有信息控制生成配置文件，調(diào)度適合用戶需求的動態(tài)數(shù)據(jù)挖掘算法和模式，并從動態(tài)數(shù)據(jù)倉庫中提取數(shù)據(jù)，做好數(shù)據(jù)準(zhǔn)備，從而進(jìn)行物流數(shù)據(jù)的動態(tài)挖掘;(4)按照用戶的要求將挖掘結(jié)果以可視化的方式提交給用戶;同時，將挖掘結(jié)果存入決策知識庫，然后保存在分布式文件系統(tǒng)，以用于日后挖掘結(jié)果的評價與分析。

3結(jié)語

依賴于云計算平臺提供的低成本、高擴展性、高性能的分布式并行計算環(huán)境，基于云計算的物流數(shù)據(jù)動態(tài)挖掘平臺可被用來開發(fā)高性能的應(yīng)用程序，既具有云計算的所有優(yōu)勢，又具有強大的動態(tài)數(shù)據(jù)挖掘能力，使得海量物流數(shù)據(jù)存儲和分布式動態(tài)挖掘成為現(xiàn)實。其價值在于:可以進(jìn)行分布式并行動態(tài)數(shù)據(jù)挖掘，實現(xiàn)高效實時挖掘;在很大程度上提高了大規(guī)模處理數(shù)據(jù)的能力;可以降低動態(tài)數(shù)據(jù)挖掘應(yīng)用的門檻，使海量物流數(shù)據(jù)挖掘需求得到了滿足;處理成本低廉，大量企業(yè)無需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，即可以注冊使用該平臺，并大大減少其應(yīng)用成本。基于云計算的物流數(shù)據(jù)動態(tài)挖掘平臺有明顯的優(yōu)勢，本文僅提出了相應(yīng)的模型架構(gòu)，具體的算法實現(xiàn)、工作機理等，還需留待下一步的深入研究。

作者：張玉峰 曾奕棠 單位：武漢大學(xué)信息管理學(xué)院教授 武漢大學(xué)信息管理學(xué)院博士生