本站小編為你精心準備了國土資源大數據存儲技術研究及實現參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：本文對國土資源數據結構、云存儲、海量空間數據管理等方面進行理論研究和關鍵技術分析，探索適合國土云環境下國土資源大數據存儲管理的結構模型、組織規范、存儲環境和安全體系，借助云計算、大數據的新技術、新理念為國土資源一張圖云存儲提供技術參考和實現推廣。

關鍵詞：國土資源；大數據；云存儲；地理信息

1緒論

隨著高精度、高頻度、大范圍的超海量地理空間數據呈爆炸式增長,如何有效的組織和管理這些海量異構的國土資源大數據，以便讓國土資源各業務部門能夠快捷高效的利用其數據信息，是目前急待解決的難題。與此同時，云計算和大數據技術的興起，給新一代空間信息基礎設施體系架構的發展帶來了希望，其分布式存儲及并行計算的特征非常適合應對海量數據存儲以及大規模數據處理等問題，這就為國土資源海量空間數據的存儲與處理提供了解決方案[1]。本文利用國土云環境，面向國土資源一張圖海量空間數據云存儲技術展開研究，以提升國土資源數據存儲的高效性、可靠性和擴展性，為解決超大規模海量國土資源數據存儲的難題，保障國土資源數據的及時更新、實現真正意義上的“一數一源”，為國土資源數據高效存儲與共享交換提供了思路。

2總體架構分析

通過GIS數據中心集成開發、網絡通信以及信息化技術，以國土資源的各類專題數據為基礎，以數據庫管理和數據提供利用為目標的信息化標準規范體系和各級互通、共建共享的綜合數據管理利用服務體系，建設國土資源云存儲管理系統。基于SOA架構的數據中心集成開發平臺，實現專題業務模塊的服務化、組件化、定制化管理；開發整合海量土地、礦產、地質災害專題數據和數據應用，實現多年度、多專題、多比例尺、全區域的空間數據庫分布式運行和綜合管理；進一步利用國家、省、市、縣四級的數據交換體系，實現系統內的信息共享和效能監督。其總體架構圖如圖1所示。

3基礎設施體系研究

對于硬件設計方面采取分層設計的思想，分析硬件系統的組成部分，通過對系統分解，找到最合理的服務環境，發揮出硬件設備最優異的性能，并提供安全服務[2]。國土云通過應用云計算虛擬化技術，減少信息化設備的冗余數量，節省大量的空間，便于硬件資源的有效利用，根據用戶的實際需要對其進行合理分配。國土云環境包括了數據存儲區域、計算服務區域、局域網區域以及核心網絡區域四大模塊。如圖2所示：

4數據存儲與組織模型研究

通過把結構化與非結構化的信息數據統一格式、統一基準并空間化，導入到分布式文件系統HDFS中，導入完成后分布式文件系統自動觸發檔案內容提取流程，將辦公文檔、pdf、圖片、視頻等非結構化數據中的內容提取出來，按照特定的約束方式存到HBase構建的內容庫中，同時將結構化數據到GIS服務集群中，供數據管理層提取和訪問[3]。

4.1數據組織模型大數據中心數據庫至下而上進行劃分為物理層、邏輯層以及邏輯字庫層。邏輯字庫包含了基礎類、參考系、專業類以及管理類等數據；邏輯層主要用來描述國土資源數據的專題圖件，細分包括防災管理數據、地政管理數據以及礦政管理數據；物理層主要用來描述另外兩層的關鍵要素，數據邏輯設計如圖3所示：大數據中心核心庫數據需要把多種符合要求的數據按照順序入庫，由各類不同專題的業務數據組織構建。在現行的市縣級國土資源數據管理體系中，分為市州級和區（縣）級進行不同級別的管理，中心數據庫把縣級數據集當做最小的管理單元，結合業務實際需求，選擇合適的粒度有機統一的進行管理。如圖4所示：大數據中心核心數據庫采用逐層管理的方式，對于不同類型的數據使用的描述格式也有所不同，與之對應的數據元信息也有多種格式，因此在數據元數據進行入庫管理之前，首先應該建立一套完整的數據標準，以此確保所有數據可以正確入庫。在核心數據庫中，每個元數據都對應了一個數據模式，剛開始創建數據集的時候，應該先把相同的文件模式進行解析，并把獲得的數據加入到數據元庫中。在入庫的過程中還應該提供詳細的日志信息，對數據的類型、格式以及時間等內容進行統計，達到大幅度提高數據錄入的效率和準確性[4]。

4.2數據存儲模型空間大數據可考慮采用GIS平臺進行管理，非空間大數據組織按照一定的方式和規則對多源大數據進行歸并、存儲、處理的過程。根據非空間大數據種類較多等特性，大數據中心提供多種存儲方式來支撐非空間大數據的存儲組織。非空間大數據的存儲主要采用Hadoop分布式文件系統，存儲策略主要包括三部分內容：首先根據數據特點進行屬性分類，將同屬同一類的小文件聚合成為一個大的文件，便于提高小文件的讀寫速度；然后在合并小文件的過程中，需要建立相對應的檢索系統，以此快速訪問小文件[5]；最后建立合理的緩存的體系，對文件存放的數據塊進行緩存，從而提高訪問小文件的效率，大大縮短了訪問的時間。如圖5所示，通過構建索引文件和數據文件兩個文件，對同一檔案下的小文件進行合并存儲，索引文件中存儲小文件的相對路徑、名稱、大小、修改時間、數據區偏移量等基本信息，數據區存儲了每個小文件的二進制數據流。針對系統經常訪問文件元數據的需求，系統提供緩存模塊將對索引文件緩存到內存中，實現高效訪問，當系統需要讀取文件內容時，先從檢索信息中獲取數據區偏移情況，根據偏移量從數據區中獲取文件二進制內容。

5安全支撐體系研究

由于網絡、傳感設備的開放性，其即時在線的特征，會給信息安全帶來風險。只有通過數據源頭即數據的存儲方面加強數據安全，才能保證國土資源信息化運行更加平穩、安全、高效[6]。

5.1安全體系總體架構利用國土云平臺的優勢為用戶提供多層次、立體化、基于不同安全技術實現的網絡安全縱深防御體系，其總體架構如下圖6所示：基于云計算安全架構，結合省級國土資源政務信息系統架構和特點，可按照以下原則規劃國土云的安全防護措施：

（一）內外網安全隔離將國土云分為兩個大的安全區域，一個是內部服務區域，供內部信息系統使用；一個是外部服務區域，供因特網信息系統使用。兩個區域之間通過多層次的隔離技術對云服務器、數據庫和存儲等計算和存儲資源進行安全隔離，完全不能互訪。內部信息系統不分配公網IP，因此無法從公網訪問內部應用。互聯網應用分配公網IP，可以從公網發起訪問。

（二）區域內安全隔離服務區域內的每一個信息系統作為一個單獨的安全域，安全域內可以互相訪問，安全域之間默認無法互訪；同一服務區域內的不同應用之間如果有互訪需要，則可以通過安全域防火墻授權訪問。

（三）互聯網應用安全防護由阿里云盾（包括防DDoS、入侵防御、網站安全防護等功能模塊組成）保護互聯網入口。

（四）數據安全交換國土云內部服務區通過涉密專線接入省電子政務內網，外部服務區通過專線或VPN連接到網閘等安全設備。國土云內部服務區與省電子政務內網的其他單位、機構網絡間交互數據，通過密碼機進行數據加解密傳輸進行。

5.2安全支撐體系框架設計國土云平臺的安全支撐平臺能夠劃分為四個層面：基礎設施層、數據訪問層、信息交換層、應用層。基礎設施層包括了認證基礎設施以及網絡安全基礎設施。國土云是一種面向網絡的應用體系架構，所以國土云安全層中最根本、最底層的就是這兩個基礎設施。網絡安全基礎設施能夠給內部工作環境給予全面、多層的安全保護，其范圍包含：終端、網絡設施、外設等。認證基礎設施可以提供環境中基本的認證服務，能夠實現身份認證、數據傳輸、存儲的安全性和可靠性。數據訪問層的作用涵蓋數據內容的安全性、信息調用、傳送和獲取等的安全方面。為了強化數據訪問層的安全能力，需要借助安全基礎。通過安全基礎可以實現數據庫保存、調用各個平臺之間的數據信息[7]。同時系統還應該能夠按照等級不同制定不同的應用權限，以實現對各類操作的記錄工作和開展回溯。由于網絡的公開特征和網絡協議的風險，黑客能夠通過在傳輸網絡中嵌入竊取工具，獲得網絡傳輸中的關鍵數據，并設法譯出其中信息，引發泄密或者數據遭到破壞等惡性事件；所以需要在信息交換層保障數據共享的安全，特別是保障數據傳輸過程中的防篡改、完整性和不可抵賴性，同時要防范數據在網絡傳輸時被竊取和失泄。應用層的重要作用在于確保操作用戶的審查、信任以及不可抵賴性。應用層還應該包括較好的雙向認證體系，具備不可旁路性，以保證只有授權用戶才能登錄可信任的系統，開展權限范圍內的應用[8]；針對個人的操作開展完整的審計日志，以實現個人操作的不可否認性；保障服務器端與客戶端的數據交互的安全，確保所有應用模塊在操作過程中的完整性和可用性。

6實現和展望

本文提出的理論與方法在湖南省國土資源一張圖信息系統建設中得到了部分應用，也奠定了其進一步開展研究實現的基礎。湖南省國土資源一張圖信息系統是本省“金土工程二期”的重要任務，該系統經過多年的建設和推廣，目前已覆蓋至12個市州、65個縣的國土資源管理部門。其部分功能展示如圖7。國土資源信息是重要的基礎國情信息，在國家實施網絡強國戰略中發揮著不可替代的重要作用。國土資源海量數據存儲管理又是國土資源信息化的關鍵，其研究有著非常重要的理論意義和應用價值。云存儲是下一代的存儲模式，云存儲與國土資源海量數據結合的國土云研究和應用是國土資源事業改革發展的必然要求，國土云正處于建設應用階段，尚有許多理論、技術有待進一步深入研究。

參考文獻／References

[1]國土資源信息中心.“國土云”建設總體框架.2014.

[4]吳邊，吳信才.CloudGIS關鍵技術研究[J].計算機工程與設計.2011，32(4):1342-1346.

[5]楊曉雁,基于Hadoop的海量數據的分布式存儲關鍵技術研究.自動化與儀器儀表,2016(8):第166-167頁.

[6]顧炳中，申世亮.“歐盟空間信息基礎設施”及對國土資源“一張圖”建設的啟示[J].國土資源信息化.2011(1):5-8.

[7]馮登國，張敏，李昊.大數據安全與隱私保護[J].計算機學報.2014(01):246-258.

[8]羅東俊.基于可信計算的云計算安全若干關鍵問題研究[D].廣州：華南理工大學，2014.

作者：黃弘 賀晨騁 單位：湖南省國土資源信息中心