本站小編為你精心準備了海量數(shù)據(jù)離線存儲系統(tǒng)研究參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

《中國檔案雜志》2016年第二期

近年來，隨著檔案信息化的發(fā)展，我國各級各類檔案館所保存的數(shù)字檔案信息急劇增加，且呈持續(xù)快速增長趨勢。海量檔案信息的安全管理問題已成為各級檔案部門面臨的重要問題。隨著國家電子政務(wù)的進一步推進，該問題將愈加突出。為此，各檔案館綜合利用在線存儲、近線存儲、離線存儲等不同方式，對檔案信息進行存儲和備份。許多檔案館在制定本單位的存儲策略時，針對檔案信息安全要求高、使用頻率相對較低等特點，綜合考慮在線和離線等存儲方式的技術(shù)特點和投資情況等因素，將離線存儲方式作為本單位海量檔案信息的存儲策略之一。如何科學合理地進行海量數(shù)據(jù)的離線存儲，已成為檔案工作者在解決海量檔案信息安全存儲問題時面臨的重要課題。為此，國家檔案局檔案科學技術(shù)研究所、浙江省檔案局（館）、北京漢龍思琪數(shù)碼科技有限公司三家單位聯(lián)合開展“海量數(shù)據(jù)離線存儲系統(tǒng)研究”課題的研究工作。課題針對海量檔案信息的存儲和異地備份的實際需求，提出了檔案數(shù)據(jù)離線存儲整體解決方案，研制了系列硬盤離線存儲柜，開發(fā)了硬盤離線存儲管理系統(tǒng)，制定了檔案工作行業(yè)標準《檔案數(shù)據(jù)硬盤離線存儲管理規(guī)范》（草稿）及相關(guān)操作規(guī)程。課題研究成果將對硬盤在海量檔案信息離線存儲中的應(yīng)用起到重要的指導作用。該課題榮獲2015年度國家檔案局優(yōu)秀科技成果一等獎。

一、現(xiàn)狀與問題

海量檔案信息的長期安全保存已成為檔案部門面對的共同問題。各地檔案部門多采用在線備份、近線備份和離線備份相結(jié)合的策略，對海量檔案信息進行存儲。每種存儲方式各有其技術(shù)特點，其中，在線存儲方式具有數(shù)據(jù)更新及時、信息查詢速度快等諸多優(yōu)勢，但是，其購置成本高，運行維護費用大，海量檔案數(shù)據(jù)全部進行在線存儲需要很大的經(jīng)費投入。綜合考慮檔案數(shù)據(jù)具有重要程度高、安全要求高、使用頻率相對較低等特點，許多檔案館都采用了在線存儲和離線存儲相結(jié)合的存儲策略。一般將利用頻率高的數(shù)據(jù)進行在線存儲，以方便快速查詢利用。將利用頻率不高的數(shù)據(jù)進行近線或離線存儲，以實現(xiàn)長期保存的目標。目前，檔案部門選用的存儲載體主要為硬盤、磁帶和光盤，每種存儲載體各有技術(shù)優(yōu)勢。作為主要存儲載體之一，硬盤在檔案信息存儲備份工作中得到了越來越多的應(yīng)用。硬盤具有數(shù)據(jù)讀取速度快、技術(shù)發(fā)展迅速、單位存儲成本逐年快速降低、單盤介質(zhì)存儲容量相對較大等優(yōu)勢，硬盤在數(shù)字信息在線存儲中有著廣泛和穩(wěn)定的應(yīng)用。近年來，越來越多的檔案館開始將硬盤作為離線存儲載體用于海量檔案信息存儲。經(jīng)過幾年的實踐，硬盤在檔案信息離線存儲中發(fā)揮重要作用的同時，由于硬盤自身的技術(shù)特性存在一定劣勢，以及保存和使用不當?shù)仍颍斐闪擞脖P損壞、數(shù)據(jù)丟失等問題，已成為檔案信息安全的極大隱患。

影響硬盤可靠用于離線存儲的問題主要體現(xiàn)在以下方面：硬磁盤需要定期進行加電和啟動運行以保證其正常運轉(zhuǎn)，而有些檔案館由于條件限制，直接將硬盤離線存放于檔案庫房中，長期無法加電；硬盤存儲對溫濕度等環(huán)境條件要求較高，有的檔案館長期將硬盤存放于后庫中，無法達到硬盤存儲所需的環(huán)境條件；硬盤的防震和抗沖擊力較弱，而硬盤用于異地備份時要經(jīng)過多次搬動和長途運輸，難免引起震動；硬盤數(shù)據(jù)可擦寫、易修改，用于檔案信息保存時必須能夠防止惡意修改；單塊硬盤容量有限，用于海量檔案數(shù)據(jù)離線存儲時，為便于管理，多塊硬盤級聯(lián)的問題需要解決。解決上述問題，需要針對性地開展研究，通過科學、有效的技術(shù)手段，為離線硬盤提供多重保護、檢測和管理機制，以彌補目前硬盤用于離線存儲時所表現(xiàn)出的技術(shù)特性的不足，防止由于硬盤損壞帶來的數(shù)據(jù)丟失問題，為硬盤在海量檔案信息異地備份工作中的應(yīng)用提供技術(shù)支撐，便于檔案部門對離線數(shù)據(jù)的有效管理，使數(shù)字檔案信息資源得以長期安全保存。

二、解決方案

課題組通過理論研究、調(diào)查研究、實驗驗證和分析歸納，研究制定了硬盤用于海量檔案數(shù)據(jù)離線存儲的整體解決方案。該方案從總體架構(gòu)、系統(tǒng)工作流程、硬件存儲柜及軟件系統(tǒng)功能等方面，設(shè)計了海量數(shù)據(jù)離線硬盤存儲系統(tǒng)。

1.總體架構(gòu)海量檔案數(shù)據(jù)離線存儲系統(tǒng)由硬件系統(tǒng)和軟件系統(tǒng)組成，并輔以系列化的操作規(guī)程，實現(xiàn)檔案數(shù)據(jù)硬盤離線存儲的科學化、規(guī)范化。該系統(tǒng)可以改變傳統(tǒng)硬盤存儲系統(tǒng)內(nèi)設(shè)備群開、群關(guān)的管理和應(yīng)用模式，可實現(xiàn)存儲系統(tǒng)內(nèi)硬盤在線和休眠狀態(tài)的按需轉(zhuǎn)換；在確保硬盤存儲系統(tǒng)低功耗運行的同時，實現(xiàn)檔案數(shù)據(jù)的快速檢索應(yīng)用；可解決離線設(shè)備的自動定期檢測、定期加電維護等技術(shù)問題，實現(xiàn)對硬盤存儲系統(tǒng)的保護。

2.工作流程海量檔案數(shù)據(jù)離線存儲系統(tǒng)功能主要包括：磁盤入庫登記、檢查磁盤在位、檢查磁盤參數(shù)、建立檔案目錄結(jié)構(gòu)、目錄掛接、建立數(shù)據(jù)鏡像、檔案目錄檢索、硬盤出庫、數(shù)據(jù)利用、查看原文、導出數(shù)據(jù)、打印數(shù)據(jù)等。總體方案對所有功能進行了流程化處理，并將用戶規(guī)劃為三類角色：磁盤柜管理員。主要完成磁盤入庫登記、檢查磁盤在位、檢查磁盤參數(shù)、磁盤出庫等工作。數(shù)據(jù)管理員。主要完成建立檔案目錄結(jié)構(gòu)、目錄掛接、建立數(shù)據(jù)鏡像等工作。檔案利用人員。可進行檔案目錄檢索、查看原文、導出數(shù)據(jù)、打印數(shù)據(jù)等操作。

3.軟硬件功能硬盤離線存儲柜硬件系統(tǒng)包括柜內(nèi)硬件和柜體兩部分。柜內(nèi)硬件主要分為四部分：硬盤陣列控制器模組、SATA總線交換控制模組、本地主控模組和電源模組。每個模組獨立完成特定的功能，模組之間通過控制線和總線連接，相互配合完成硬盤之間的數(shù)據(jù)傳輸、系統(tǒng)控制及供電控制。硬盤離線存儲柜主要實現(xiàn)對硬盤的集中管理，柜體具備防塵、防磁、防水、防盜、抗沖擊、承受高低溫變化等功能，可在低電壓下工作，并配備備用供電電池。軟件功能主要包括：數(shù)據(jù)快速遷移、人機交互、硬盤定期循環(huán)自檢、狀態(tài)監(jiān)控、定期對硬盤進行加電維護、離線數(shù)據(jù)管理、數(shù)據(jù)快速利用等。

三、研究成果

課題組設(shè)計研發(fā)了具有SATA總線交換模塊的硬盤離線存儲柜和與之配套的管理軟件系統(tǒng)；制定了規(guī)范化的硬盤離線存儲操作規(guī)程；起草了《檔案數(shù)據(jù)硬盤離線存儲管理規(guī)范》，并以此為草稿申請檔案工作行業(yè)標準制定計劃；成功申請了多項技術(shù)專利。

1.硬件設(shè)備硬件設(shè)備系列成果主要為兩大類設(shè)備：數(shù)據(jù)遷移設(shè)備和硬盤離線存儲柜。通過兩類設(shè)備，可實現(xiàn)檔案數(shù)據(jù)遷移、檔案數(shù)據(jù)離線存儲和在線檢索、硬盤檢測和故障報警等功能。(1)移動式數(shù)據(jù)遷移設(shè)備針對許多單位進行光盤、硬盤等載體多套備份的需求，設(shè)計了數(shù)據(jù)遷移設(shè)備。利用該設(shè)備可實現(xiàn)硬盤間一對多的數(shù)據(jù)遷移，也可實現(xiàn)光盤到硬盤的一對多的數(shù)據(jù)遷移，并可根據(jù)需要制作光盤鏡像。根據(jù)數(shù)據(jù)快速采集和備份的需求，設(shè)計了移動式的數(shù)據(jù)遷移設(shè)備和便攜式數(shù)據(jù)遷移設(shè)備。(2)離線硬盤存儲柜課題組研發(fā)了多硬盤存儲的離線硬盤柜，解決了硬盤離線存儲的保存環(huán)境問題和定期低壓充電問題。根據(jù)不同應(yīng)用環(huán)境和不同應(yīng)用需求，將硬盤離線存儲柜設(shè)計為辦公式、機柜式、倉儲式和軍用備災(zāi)式四款。每一款硬盤離線存儲柜都具有防塵、防盜、防磁、散熱好等特點，并配備了防盜門鎖，防止非法開啟柜門。實現(xiàn)了機柜之間的級聯(lián)及柜內(nèi)多個硬盤的級聯(lián)，單個機柜可提供百塊硬盤的盤位。

2.軟件系統(tǒng)軟件系統(tǒng)主要包括數(shù)據(jù)遷移管理系統(tǒng)、柜內(nèi)觸摸屏查詢系統(tǒng)和離線硬盤存儲管理系統(tǒng)。三個軟件系統(tǒng)支撐了光盤數(shù)據(jù)遷移、柜體獨立管理及控制終端管理。軟件系統(tǒng)可實現(xiàn)對離線硬盤數(shù)據(jù)的完全控制，防止硬盤數(shù)據(jù)的非法讀寫與修改；對每一塊硬盤的物理狀態(tài)進行實時監(jiān)測與可視化顯示及報警；建立了整套預(yù)警機制；實現(xiàn)對多個硬盤和多個機柜的級聯(lián)與管理；實現(xiàn)對預(yù)警硬盤的備份復制。

3.操作規(guī)程為規(guī)范使用檔案數(shù)據(jù)離線硬盤存儲系統(tǒng)，課題組研究制定了系統(tǒng)操作規(guī)程，規(guī)定了離線硬盤存儲的技術(shù)要求、檢驗規(guī)則、安全控制、離線存儲、在線管理和應(yīng)用的基本工作流程和基本方法。

4.檔案行業(yè)標準草稿以研究成果為基礎(chǔ)，課題組起草了檔案工作行業(yè)標準《檔案數(shù)據(jù)硬盤離線存儲管理規(guī)范》(草稿)，以期為檔案行業(yè)應(yīng)用離線硬盤開展檔案數(shù)據(jù)備份工作提供標準化依據(jù)。該標準已由全國檔案工作標準化技術(shù)委員會審議通過，并列入檔案工作行業(yè)標準制定計劃。

5.技術(shù)專利課題研究過程中應(yīng)用了大量先進技術(shù)，并進行改進、研發(fā)。課題組已將SATA硬盤矩陣的遠程訪問系統(tǒng)、SATA硬盤矩陣級聯(lián)系統(tǒng)、SATA硬盤寫保護系統(tǒng)三項核心技術(shù)申請了發(fā)明專利。

四、研究意義

該課題對硬盤離線存儲模式進行改進，研發(fā)硬盤離線存儲柜，為硬盤提供多重保護和檢測機制，以改變目前硬盤作為離線存儲介質(zhì)時所表現(xiàn)的技術(shù)特性的不足，支持在數(shù)字檔案信息離線存儲工作中，對數(shù)據(jù)進行有效的離線存儲和離線管理。該項研究成果將能夠為檔案部門提供檔案信息存儲工作的實際解決方案，適用于不同地區(qū)、不同環(huán)境下檔案信息的離線存儲工作，具有良好的社會效益和經(jīng)濟效益。

作者：杜琳琳 單位：國家檔案局科研所