本站小編為你精心準備了數據科學的統計學內涵探討參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

一、統計學視角下的數據科學

統計學研究的對象是數據，數據科學顧名思義也是以數據為研究對象，這產生一種直觀的錯覺，似乎數據科學與統計學之間存在某種與生俱來的淵源關系。Wu(1998)直言不諱，數據科學就是統計學的重命名，相應地，數據科學家替代了統計學家這個稱謂。若此，那是什么促成了這種名義上的替代?顯然僅僅因為數據量大本身并不足以促成“統計學”向“數據科學”的轉變，數據挖掘、機器學習這些概念似乎就已經足夠了。問題的關鍵在于，二者所指的“數據”并非同一概念，數據②本身是一個很寬泛的概念，只要是對客觀事物記錄下來的、可以鑒別的符號都可以稱之為數據，包括數字、文字、音頻、視頻等等。統計學研究的數據雖然類型豐富，如類別數據、有序數據等定性數據，定距數據、定比數據等定量數據，但這些都是結構化數據;數據科學所謂的數據則更為寬泛，不僅包括這些傳統的結構型數據，而且還包括文本、圖像、視頻、音頻、網絡日志等非結構型和半結構型數據，即，大數據。大數據(以半/非結構型數據為主)使基于關系型數據庫的傳統分析工具很難發揮作用，或者說傳統的數據庫和統計分析方法很難在可容忍的時間范圍內完成存儲、管理和分析等一系列數據處理過程，為了有效地處理這類數據，需要一種新的范式———數據科學。真正意義上的現代統計學是從處理小數據、不完美的實驗等這類現實問題發展起來的，而數據科學是因為處理大數據這類現實問題而興起的。因此數據科學的研究對象是大數據，而統計學以結構型數據為研究對象。退一步，單從數量級來講，也已發生了質變。對于結構化的大規模數據，傳統的方法只是理論上的(可行性)或不經濟的(有效性)，實踐中還需要借助數據挖掘、機器學習、并行處理技術等現代計算技術才能實現。

二、數據科學的統計學內涵

(一)理論基礎

數據科學中的數據處理和分析方法是在不同學科領域中分別發展起來的，譬如，統計學、統計學習或稱統計機器學習、數據挖掘、應用數學、數據密集型計算、密集計算方法等。在量化分析的浪潮下甚至出現了“metric+模式”，如計量經濟學、文獻計量學、網絡計量學、生物統計學等。因此，有學者將數據科學定義為計算機科學技術、數學與統計學知識、專業應用知識三者的交集，這意味著數據科學是一門新興的交叉學科。但是這種沒有側重的疊加似乎只是羅列了數據科學所涉及到的學科知識，并沒有進行實質性的分析，就好似任何現實活動都可以拆解為不同的細分學科，這是必然的。根據Naur(1960，1974)的觀點，數據科學或稱數據學是計算機科學的一個替代性稱謂。但是這種字面上的轉換，并沒有作為一個獨立的學科而形成。Cleveland(2001)首次將數據科學作為一個獨立的學科提出時，將數據科學表述為統計學加上它在計算技術方面的擴展。這種觀點表明，數據科學的理論基礎是統計學，數據科學可以看作是統計學在研究范圍(對象)和分析方法上不斷擴展的結果。一如統計學最初只是作為征兵、征稅等行政管理的附屬活動，而現在包括了范圍更廣泛的理論和方法。從研究范圍的擴展來看，是從最初的結構型大規模數據(登記數據)，到結構型的小規模數據(抽樣數據)、結構型的大規模數據(微觀數據)，再擴展到現在的非(半)結構型的大規模數據(大數據)和關系數據等類型更為豐富的數據。從分析方法的擴展來看，是從參數方法到非參數方法，從基于模型到基于算法，一方面傳統的統計模型需要向更一般的數據概念延伸;另一方面，算法(計算機實現)成為必要的“可行性分析”，而且在很多方面算法模型的優勢越來越突出。注意到，數據分析有驗證性的數據分析和探索性的數據分析兩個基本取向，但不論是哪一種取向，都有一個基本的前提假設，就是觀測數據是由背后的一個(隨機)模型生成，因此數據分析的基本問題就是找出這個(隨機)模型。Tukey(1980，2000)明確提到，EDA和CDA并不是替代關系，兩者皆必不可少，強調EDA是因為它被低估了。數據導向是計算機時代統計學發展的方向，這一觀點已被越來越多的統計學家所認同。但是數據導向仍然有基于模型與基于算法兩種聲音，其中，前文提到的EDA和CDA都屬于基于模型的方法，它們都假定數據背后存在某種生成機制;而算法模型則認為復雜的現實世界無法用數學公式來刻畫，即，不設置具體的數學模型，同時對數據也不做相應的限制性假定。算法模型自20世紀80年代中期以來隨著計算機技術的迅猛發展而得到快速成長，然而很大程度上是在統計學這個領域之外“悄然”進行的，比如人工神經網絡、支持向量機、決策樹、隨機森林等機器學習和數據挖掘方法。若響應變量記為y，預測變量記為x，擾動項和參數分別記為ε和β，則基于模型的基本形式是:y=f(x，β，ε)，其目的是要研究清楚y與x之間的關系并對y做出預測，其中，f是一個有顯式表達的函數形式(若f先驗假定，則對應CDA;若f是探索得到的，則對應EDA)，比如線性回歸、Logistic回歸、Cox回歸等。可見，傳統建模的基本觀點是，不僅要得到正確的模型———可解釋性強，而且要得到準確的模型———外推預測能力強。而對于現實中復雜的、高維的、非線性的數據集，更切合實際的做法是直接去尋找一個恰當的預測規則(算法模型)，不過代價是可解釋性較弱，但是算法模型的計算效率和可擴展性更強。基于算法的基本形式類似于非參數方法y=f(x，ε)，但是比非參數方法的要求更低y←x，因為非參數方法很多時候要求f或其一階導數是平滑的，而這里直接跳過了函數機制的探討，尋找的只是一個預測規則(后續的檢驗也是基于預測構造的)。在很多應用場合，算法模型得到的是針對具體問題的解(譬如某些參數是被當作一個確定的值通過優化算法得到的)，并不是統計意義上的推斷解。

(二)技術維度

數據科學是基于數據的決策，數據分析的本質既不是數學，也不是軟件程序，而是對數據的“閱讀”和“理解”。技術只是輔助數據理解的工具，一個毫無統計學知識的人應用統計軟件也可以得到統計結果，但無論其過程還是結果都是可疑的，對統計結果的解釋也無法令人信服。“從計算機科學自身來看，這些應用領域提供的主要研究對象就是數據。雖然計算機科學一貫重視數據的研究，但數據在其中的地位將會得到更進一步的加強”。不可否認，統計分析逐漸向計算機科學技術靠近的趨勢是明顯的。這一方面是因為，數據量快速膨脹，數據來源、類型和結構越來越復雜，迫切需要開發更高效率的存儲和分析工具，可以很好地適應數據量的快速膨脹;另一方面，計算機科學技術的迅猛發展為新方法的實現提供了重要的支撐。對于大數據而言，大數據分析丟不掉計算機科學這個屬性的一個重要原因還不單純是因為需要統計軟件來協助基本的統計分析和計算，而是大數據并不能像早先在關系型數據庫中的數據那樣可以直接用于統計分析。事實上，面對越來越龐雜的數據，核心的統計方法并沒有實質性的改變，改變的只是實現它的算法。因此，從某種程度上來講，大數據考驗的并不是統計學的方法論，而是計算機科學技術和算法的適應性。譬如大數據的存儲、管理以及分析架構，這些都是技術上的應對，是如何實現統計分析的輔助工具，核心的數據分析邏輯并沒有實質性的改變。因此，就目前而言，大數據分析的關鍵是計算機技術如何更新升級來適應這種變革，以便可以像從前一樣滿足統計分析的需要。

(三)應用維度

在商業應用領域，數據科學被定義為，將數據轉化為有價值的商業信息①的完整過程。數據科學家要同時具備數據分析技術和商業敏感性等綜合技能。換句話說，數據科學家不僅要了解數據的來源、類型和存儲調用方式，而且還要知曉如何選擇相應的分析方法，同時對分析結果也能做出切合實際的解釋②。這實際上提出了兩個層面的要求:①長期目標是數據科學家從一開始就應該熟悉整個數據分析流程，而不是數據庫、統計學、機器學習、經濟學、商業分析等片段化碎片化的知識。②短期目標實際上是一個“二級定義”，即，鼓勵已經在專業領域內有所成就的統計學家、程序員、商業分析師相互學習。在提及數據科學的相關文獻中，對應用領域有更多的傾向;數據科學與統計學、數學等其他學科的區別恰在于其更傾向于實際應用。甚至有觀點認為，數據科學是為應對大數據現象而專門設定的一個“職業”。其中，商業敏感性是數據科學家區別于一般統計人員的基本素質。對數據的簡單收集和報告不是數據科學的要義，數據科學強調對數據多角度的理解，以及如何就大數據提出相關的問題(很多重要的問題，我們非但不知道答案而且不知道問題何在以及如何發問)。同時數據科學家要有良好的表達能力，能將數據中所發現的事實清楚地表達給相關部門以便實現有效協作。從商業應用和服務社會的角度來看，強調應用這個維度無可厚非，因為此處是數據產生的土壤，符合數據科學數據導向的理念，數據分析的目的很大程度上也是為了增進商業理解，而且包括數據科學家、首席信息官這些提法也都肇始于實務部門。不過，早在20世紀90年代中期，已故圖靈獎得主格雷(JimGray)就已經意識到，數據庫技術的下一個“大數據”挑戰將會來自科學領域而非商業領域(科學研究領域成為產生大數據的重要土壤)。2008年9月4日刊出的《自然》以“bigdata”作為專題(封面)探討了環境科學、生物醫藥、互聯網技術等領域所面臨的大數據挑戰。2011年2月11日，《科學》攜其子刊《科學－信號傳導》、《科學－轉譯醫學》、《科學－職業》專門就日益增長的科學研究數據進行了廣泛的討論。格雷還進一步提出科學研究的“第四范式”是數據(數據密集型科學)，不同于實驗、理論、和計算這三種范式，在該范式下，需要“將計算用于數據，而非將數據用于計算”。這種觀點實際上是將數據從計算科學中單獨區別開來了。

三、數據科學范式對統計分析過程的直接影響

以前所謂的大規模數據都是封閉于一個機構內的(數據孤島)，而大數據注重的是數據集間的關聯關系，也可以說大數據讓孤立的數據形成了新的聯系，是一種整體的、系統的觀念。從這個層面來說，將大數據稱為“大融合數據”或許更為恰當。事實上，孤立的大數據，其價值十分有限，大數據的革新恰在于它與傳統數據的結合、線上和線下數據的結合，當放到更大的環境中所產生的“1+1＞2”的價值。譬如消費行為記錄與企業生產數據結合，移動通訊基站定位數據用于優化城市交通設計，微博和社交網絡數據用于購物推薦，搜索數據用于流感預測、利用社交媒體數據監測食品價等等。特別是數據集之間建立的均衡關系，一方面無形中增強了對數據質量的監督和約束;另一方面，為過去難以統計的指標和變量提供了另辟蹊徑的思路。從統計學的角度來看，數據科學(大數據)對統計分析過程的各個環節(數據收集、整理、分析、評價、等)都提出了挑戰，其中，集中表現在數據收集和數據分析這兩個方面。

(一)數據收集方面

在統計學被作為一個獨立的學科分離出來之前(1900年前)，統計學家們就已經開始處理大規模數據了，但是這個時期主要是全國范圍的普查登記造冊，至多是一些簡單的匯總和比較。之后(1920－1960年)的焦點逐漸縮聚在小規模數據(樣本)，大部分經典的統計方法(統計推斷)以及現代意義上的統計調查(抽樣調查)正是在這個時期產生。隨后的45年里，統計方法因廣泛的應用而得到快速發展。變革再次來自于統計分析的初始環節———數據收集方式的轉變:傳統的統計調查方法通常是經過設計的、系統收集的，而大數據是零散實錄的、有機的，這些數據通常是用戶使用電子數碼產品的副產品或用戶自行產生的內容，比如社交媒體數據、搜索記錄、網絡日志等數據流等，而且數據隨時都在增加(數據集是動態的)。與以往大規模數據不同的是，數據來源和類型更加豐富，數據庫間的關聯性也得到了前所未有的重視(大數據的組織形式是數據網絡)，問題也變得更加復雜。隨著移動電話和網絡的逐漸滲透，固定電話不再是識別住戶的有效工具變量，相應的無回答率也在增加(移動電話的拒訪率一般高于固定電話)，同時統計調查的成本在增加，人口的流動性在增加，隱私意識以及法律對隱私的保護日益趨緊，涉及個人信息的數據從常規調查中越來越難以取得(從各國的經驗來看，拒訪率或無回答率的趨勢是增加的)，對時效性的要求也越來越高。因此，官方統計的數據來源已經無法局限于傳統的統計調查，迫切需要整合部門行政記錄數據、商業記錄數據、個人行為記錄數據等多渠道數據源，與部門和搜索引擎服務商展開更廣泛的合作。

(二)數據分析方面

現代統計分析方法的核心是抽樣推斷(參數估計和假設檢驗)，然而數據收集方式的改變直接淡化了樣本的意義。比如基于瀏覽和偏好數據構建的推薦算法，誠然改進算法可以改善推薦效果，但是增加數據同樣可以達到相同的目的，甚至效果更好。即所謂的“大量的數據勝于好的算法”這與統計學的關鍵定律(大數定律和中心極限定理)是一致的。同樣，在大數據分析中，可以用數量來產生質量，而不再需要用樣本來推斷總體。事實上，在某些場合(比如社會網絡數據)，抽樣本身是困難的。數據導向的、基于算法的數據分析方法成為計算機時代統計學發展無法回避的一個重要趨勢。算法模型不僅對數據分布結構有更少的限制性假定，而且在計算效率上有很大的優勢。特別是一些積極的開源軟件的支撐，以及天生與計算機的相容性，使算法模型越來越受到學界的廣泛重視。大數據分析首先涉及到存儲、傳輸等大數據管理方面的問題。僅從數量上來看，信息爆炸、數據過剩、數據泛濫、數據墳墓、豐富的數據貧乏的知識……這些詞組表達的主要是我們匱乏的、捉襟見肘的存儲能力，同時，存儲數據中有利用價值的部分卻少之又少或塵封窖藏難以被發現。這除了對開采工具的渴求，當時的情緒主要還是遷怨于盲目的記錄，把過多精力放在捕捉和存儲外在信息。在這種情況下，開采有用的知識等價于拋棄無用的數據。然而，大數據時代的思路改變了，開始變本加厲巨細靡遺地記錄一切可以記錄的數據。因為:數據再怎么拋棄還是會越來越多。我們不能通過刪減數據來適應自己的無能，為自己不愿做出改變找借口，而是應該面對現實，提高處理海量數據的能力。退一步，該刪除哪些數據呢?當前無用的數據將來也無用嗎?顯然刪除數據的成本要大于存儲的成本。大數據存儲目前廣泛應用的是GFS、HDFS等基于計算機群組的文件系統，它可以通過簡單增加計算機來無限地擴充存儲能力。值得注意的是，分布式文件系統存儲的數據僅僅是整個架構中最基礎的描述，是為其他部件服務的(比如MapReduce)，并不能直接用于統計分析。而NoSQL這類分布式存儲系統可以實現高級查詢語言，事實上，有些RDBMS開始借鑒MapReduce的一些思路，而基于MapReduce的高級查詢語言也使MapReduce更接近傳統的數據庫編程，二者的差異將變得越來越模糊。大數據分析的可行性問題指的是，數據量可能大到已經超過了目前的存儲能力，或者盡管沒有大到無法存儲，但是如果算法對內存和處理器要求很高，那么數據相對也就“大”了。換句話說，可行性問題主要是，數據量太大了，或者算法的復雜度太高。大數據分析的有效性問題指的是，盡管目前的硬件條件允許，但是耗時太久，無法在可容忍的或者說可以接受的時間范圍內完成。目前對有效性的解決辦法是采用并行處理。注意到，高性能計算和網格計算也是并行處理，但是對于大數據而言，由于很多節點需要訪問大量數據，因此很多計算節點會因為網絡帶寬的限制而不得不空閑等待。而MapReduce會盡量在計算節點上存儲數據，以實現數據的本地快速訪問。因此，數據本地化是MapReduce的核心特征。

四、結論

（一）數據科學不能簡單地理解為統計學的重命名，二者所指“數據”并非同一概念，前者更為寬泛，不僅包括結構型數據，而且還包括文本、圖像、視頻、音頻、網絡日志等非結構型和半結構型數據;同時，數量級也是后者難以企及的(PB以上)。但是數據科學的理論基礎是統計學，數據科學可以看作是統計學在研究范圍(對象)和分析方法上不斷擴展的結果，特別是數據導向的、基于算法的數據分析方法越來越受到學界的廣泛重視。

（二）從某種程度上來講，大數據考驗的并不是統計學的方法論，而是計算機科學技術和算法的適應性。譬如大數據的存儲、管理以及分析架構，這些都是技術上的應對，核心的數據分析邏輯并沒有實質性的改變。因此，大數據分析的關鍵是計算機技術如何更新升級以適應這種變革，以便可以像從前一樣滿足統計分析的需要。

（三）大數據問題很大程度上來自于商業領域，受商業利益驅動，因此數據科學還被普遍定義為，將數據轉化為有價值的商業信息的完整過程。這種強調應用維度的觀點無可厚非，因為此處是數據產生的土壤，符合數據科學數據導向的理念。不過，早在20世紀90年代中期，已故圖靈獎得主格雷就已經意識到，數據庫技術的下一個“大數據”挑戰將會來自科學領域而非商業領域(科學研究領域成為產生大數據的重要土壤)。他提出科學研究的“第四范式”是數據，不同于實驗、理論、和計算這三種范式，在該范式下，需要“將計算用于數據，而非將數據用于計算”。這種觀點實際上將數據從計算科學中單獨區別開了。

（四）數據科學范式對統計分析過程的各個環節都提出了挑戰，集中表現在數據收集和數據分析這兩個方面。數據收集不再是刻意的、經過設計的，而更多的是用戶使用電子數碼產品的副產品或用戶自行產生的內容，這種改變的直接影響是淡化了樣本的意義，同時增進了數據的客觀性。事實上，在某些場合(比如社會網絡數據)，抽樣本身是困難的。數據的存儲和分析也不再一味地依賴于高性能計算機，而是轉向由中低端設備構成的大規模群組并行處理，采用橫向擴展的方式。

（五）目前關于大數據和數據科學的討論多集中于軟硬件架構(IT視角)和商業領域(應用視角)，統計學的視角似乎被邊緣化了，比如覆蓋面、代表性等問題。統計學以數據為研究對象，它對大數據分析的影響也是顯而易見的，特別是天然的或潛在的平衡或相關關系不僅約束了數據質量，而且為統計推斷和預測開辟了新的視野。

作者：魏瑾瑞蔣萍