本站小編為你精心準備了教育事業統計數據質量分析與工具開發參考范文,愿這些范文能點燃您思維的火花,激發您的寫作靈感。歡迎深入閱讀并收藏。
摘要:教育事業統計工作是教育行政部門的一項重要工作,對教育數據的分析和決策起到至關重要的作用。黑龍江省教育廳為更好地適應省情,組織人力物力開發了具有地方教育特色的統計數據質量分析與核查工具軟件,該軟件作為國家教育部教育事業統計軟件的輔助補充,在實際應用過程中發揮了巨大作用。筆者通過軟件的開發,不斷研究探索,積累了許多開發此類軟件的寶貴經驗,其中一些方法系首次提出和運用,對于開發類似項目具有非常重要的參考價值。
關鍵詞:教育事業統計;數據核查;C#;數據庫教育事業
統計工作是國家統計工作的重要組成部分,承擔教育活動中各種數據的收集、整理、編報和分析等重要任務。現如今,在大數據廣泛應用的時代,高效科學地分析整理教育數據顯得至關重要。開發適用于各級教育行政部門的教育事業統計軟件,能夠最大程度上減少人工整理分析數據的工作,提高工作效率,增強工作效果。根據黑龍江省教育廳教育事業統計工作的具體要求,結合實際情況,在省教育廳人員的直接指導和參與下,我們編制開發了具有特色的教育事業統計數據質量分析與核查工具。該軟件既可以統計分析本省各級教育行政部門和教育單位呈報的教育統計數據,又可以在統計數據上報教育部之前對全省統計數據進行核查。該軟件是對教育部教育事業統計軟件的有力補充和拓展,可以針對學校層級進行數據的分析、整理,根據我省實際情況動態調整統計內容,可以極大地方便我省教育事業統計工作的進行,更加高效、準確地進行數據分析、決策、規劃、上報。
1軟件的設計語言與數據庫
在開發軟件初期,會同相關專家進行了一系列論證,最終決定采用比較流行的C#語言進行編寫。C#是專門為.NET應用而開發出的語言,.NET框架的各種優點在C#中表現得淋漓盡致。之所以采用C#編寫,主要是因為本軟件是配合教育部教育事業統計軟件使用,增加一些符合省情的自行編制的校驗核查條件,更好地適用于本省教育現狀,有利于提高數據質量。因為教育部教育事業統計軟件使用WPFforC#技術進行研發,所以本軟件也采用相同語言和框架技術開發,這樣安裝和使用的運行環境完全相同,降低軟件操作難度,減少操作者使用中的困擾,便于管理員解決問題。在數據庫應用方面,本軟件采用了獨特的雙數據庫驅動的設計模式,即采用微軟公司的大型數據庫軟件SQLserver2008和輕量化的MicrosoftOfficeAccess2010。SQLServer2008版本可以將結構化、半結構化和非結構化文檔的數據直接存儲到數據庫中,可以對數據進行查詢、搜索、同步、報告和分析之類的操作。MicrosoftOfficeAccess是微軟把數據庫引擎的圖形用戶界面和軟件開發工具結合在一起的一個數據庫管理系統,使用起來快捷、簡單易用。
2軟件的結構框架
開發的教育事業統計數據質量分析與核查工具分為高等教育、中職教育、基礎教育三個數據核查校驗模塊。每個模塊主要包含上下年指標對比、經驗校驗、邏輯校驗三部分,可實現對設定的數據范圍進行三種數據合理性校驗,校驗的SQL腳本通過外置文件的形式動態加載到程序中,具有修改方便、操作靈活、維護簡易等特點。配合三種數據范圍進行當前數據庫的實時代碼維護提取。另外根據實際工作的需要,軟件還增加了審核數據表和專家審核表的導出功能,可以審核后進一步剖析審核數據,也方便了專家形成審核意見,反饋到教育行政部門和相關院校。軟件結合教育部軟件及兄弟省份開發的軟件特點,形成了具有一定省情特色的分校一覽表,該一覽表為教育行政部門分析數據,指導教育發展提供了便利。
3軟件的開發特點與技術要點
3.1外置SQL腳本,方便管理與維護
本軟件的主要功能是對各高等院校、中職學校、基礎教育中的中小學校、幼兒園等一些教育指標進行核查校驗,發現人為原因造成的填表錯誤和個別數據不夠真實準確的情況。由于核查工作中可能會根據專家意見,隨時調整查詢腳本,修改查詢條件,如果簡單地將SQL查詢腳本內置于軟件代碼中,會造成修改難度大,不易及時修正等問題。另外,軟件中的三個教育層次的校驗腳本:指標對比、經驗校驗和邏輯校驗,其查詢腳本代碼均不少于1000行,個別校驗腳本達到了3000行以上,如果將腳本代碼混入程序代碼中,勢必造成編寫的程序可讀性下降,不便于維護,也降低了程序加載運行的效率。外置腳本可采用數據庫存儲和獨立文件形式,由于核查校驗的數據庫腳本文件由具備編寫能力的教育統計專家編寫,為了方便和程序結合,本軟件采用了外置獨立文件的形式存儲SQL腳本。
3.2共享數據庫技術和雙數據庫驅動設計
本軟件之所以選用SQLserver2008作為主要的數據庫系統,是因為教育部教育事業統計軟件使用了該數據庫存儲數據,采用共享數據庫表和視圖進行編程,可有效解決數據的異常和操作中可能引起的數據不同步問題。操作省級數據時,由于數據量非常巨大,操作耗時較長,在機器配置較低的硬件環境下,極易造成操作無響應或者人為錯誤中斷的情況。如果不使用共享數據庫,很難保證操作結果的準確性,也就失去了應用該軟件的意義。同時,也為了避免污染數據庫數據,設計成盡量只從SQLserver2008數據庫中讀取數據,操作結果數據和軟件配置等數據信息另外保存在輕型數據庫MicrosoftOfficeAccess中。使用MicrosoftOfficeAccess,主要是考慮環境的配置方法簡單,易于用戶使用,減少軟件培訓。對于SQLserver2008數據庫的臨時寫操作利用臨時表空間,并且在使用中判斷是否清理好環境,以防操作異常造成臨時數據表留存,影響后續操作。
3.3多線程后臺操作EXCEL表
由于查詢校驗的結果需要導出EXCEL表格,以方便專家查看和反饋,因此軟件需要在后臺導出數據到EXCEL表格中。當軟件操作EXCEL時,用戶主界面會出現卡頓現象,容易使用戶誤以為軟件無響應而關閉軟件。為此采用多線程處理方式,改善用戶使用體驗。同時將EXCEL設置為隱藏啟動,讓用戶察覺不到后臺啟動了EXCEL,進而使軟件更易于操作和使用。
3.4DataGrid控件虛模式填充數據技術
系統中需要使用DataGrid控件來顯示數據,采用直接將查詢數據填充到控件的方法雖然可以運行,但是由于查詢返回的數據量有時候非常巨大,造成顯示速度極慢,界面卡頓,用戶體驗不好。考慮到系統使用場景中的數據量,所以只能使用虛模式(VirtualMode)來填充。編譯運行之后,果然顯示速度非常快,用戶幾乎無法察覺它的填充時間,這是因為虛模式只填充當前窗口中需要顯示的那一小部分數據,實時根據滾動條位置刷新數據,并不是像逐條填充和數據源綁定時一次性將數據填充完成再顯示,顯示速度有了大幅提升。
3.5超多數據列處理技術
軟件提供了生成分校一覽表的功能,該功能更有效地幫助教育行政部門分析信息數據,做出指導和決策。在生成高等教育分校一覽表過程中,由于高等院校相關數據很多,使生成的表格數據列有1500列之多,因此帶來了一個數據庫表的數據列超出數據庫限制的問題。本軟件采用SQLserver2008數據庫和MicrosoftOfficeAccess數據庫雙數據庫編程,SQLserver2008數據庫單張數據庫表的最大列數為1024列,MicrosoftOfficeAccess單張數據庫表最大列數則更少,只有255列。如何解決這個問題呢?經過分析論證和大量參閱資料,筆者最后確定使用拆分查詢的方法,將查詢結果超出1024列的查詢操作一分為二,分兩次進行查詢,查詢結果分別存儲在兩張SQLserver2008數據庫表中,然后再以后臺操作的模式依次導出到EXCEL表格中。由于EXCEL的一張EXCEL表可以有16384列,所以可以完全容納所導出的數據信息。
3.6精準耗時顯示,掌控數據處理工作量
軟件執行查詢校驗是比較耗時的操作,比如執行基礎教育的邏輯校驗,一個地市教育行政部門的數據平均查詢耗時在3-4分鐘左右。這個操作如果讓操作者默默等待,極易造成誤以為軟件無響應,終止軟件運行的錯誤操作。一般軟件在解決這一問題時,多數是采用進度條顯示方式,但是筆者認為這個查詢操作耗時僅通過進度條并不能精準反映實際的耗時情況,為此決定使用數字秒表計時的編程方法,使用這個方法又涉及到了多線程問題。經過探索、實驗、編寫代碼,利用該方法收到非常好的效果。本軟件經過實際的運用,收到了預期的效果。前期的理論剖析和系統設計比較詳盡,貼合實際,是軟件成功開發并得到應用的具體保障。
參考文獻
[1]李文文.提高高等教育事業統計數據質量及價值的路徑[J].大學教育,2018,4.
[2]劉麗娟.高校統計教育國際比較研究[J].天津商務職業學院學報,2018,10.
[3]程晶.大數據背景下教育統計數據有效利用的問題與對策[J].價值工程,2017,12.
[4]洪家芬,董雨,張勁松.教育統計基礎數據質量保障機制研究[J].教育觀察(上半月),2017-2.
[5]周旺紅.SQLServer2012數據庫T-SQL查詢方法及實例解析[J].信息與電腦(理論版),2018,12.
[6]張卉.基于SQLServer2012的數據庫約束的設計與應用[J].數字技術與應用,2018,12.
[7]李桂鳳.Access2010數據庫選擇與參數查詢功能對比及應用[J].計算機產品與流通,2019,1.
[8]劉仙桃;李道兵.基于C#.NET的Access數據庫創建與訪問[J].電腦編程技巧與維護,2011,3.
作者:董錫臣 單位:黑龍江旅游職業技術學院