本站小編為你精心準備了醫(yī)學科研項目評估方式參考范文,愿這些范文能點燃您思維的火花,激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。
醫(yī)學科研項目評估就是依據(jù)一定的標準,應用科學的方法從不同層面對醫(yī)學科學研究項目進行價值判斷的過程。課題為科研項目的組成部分,故廣義上的科研項目評估應包括課題的評估。科研項目評估在國外開展較早。我國對科技項目的評估起步較晚,直到上世紀90年代才受到關注[1]。本文采用系統(tǒng)評價的原理和方法,全面檢索關于醫(yī)學科研項目評估方法的研究,并評估其質量,為科研管理者了解科研項目評估的內容提供幫助。
1材料與方法
1.1檢索
1.1.1電子數(shù)據(jù)庫選擇檢索中國科技期刊數(shù)據(jù)庫(維普,VIP),中國知網數(shù)據(jù)庫(CNKI),中國科技論文與引文數(shù)據(jù)庫(萬方,CSTPCD),中國生物醫(yī)學文獻數(shù)據(jù)庫(CBM),檢索年限從數(shù)據(jù)庫創(chuàng)始至2010年8月,中文檢索詞采用:“科研項目、評估方法和評估體系”,英文檢索詞采用“medicalresearch,management,as-sessment,evaluation”。根據(jù)不同數(shù)據(jù)庫的特點制定檢索策略進行檢索。
1.1.2手工檢索手工檢索《中華醫(yī)學科研管理雜志》中關于研究項目評估方法的文獻。
1.1.3網絡搜索采用Google高級搜索功能,在官方網站上搜索關于醫(yī)學科研項目評估方法相關的信息。
1.1.4其他檢查納入文獻的參考文獻,從題目判斷是否符合納入標準,如不能從題目判斷是否相關,則獲取全文后決定是否納入。咨詢相關領域的專家或管理人員,詢問醫(yī)學科研項目評估方法相關問題。
1.2文獻篩選和數(shù)據(jù)提取由兩名研究者獨立篩選文獻和提取數(shù)據(jù),不一致的地方討論后解決。如果討論后仍不能達成一致,則請第三方裁決。數(shù)據(jù)提取采用統(tǒng)一的數(shù)據(jù)提取表格,但根據(jù)文獻類型和內容有所不同。主要分兩個部分:建立評估指標體系和選擇評價內容,前者包括:評估指標篩選、評估指標確定、指標值的標準化和權重分配方法;后者包括立項評估、項目過程評估、項目驗收評估和項目績效評估。
1.3數(shù)據(jù)分析對個案報告或經驗總結的文獻采用主題分析方法的定性分析方法,提煉各評估方法或措施的主要內容和核心詞匯,將不同科研項目評估方法納入確定的主題下。對相同或相似的措施合并,或用能涵蓋兩者意義的詞語代替。
1.4研究質量評價采用2006年中國循證醫(yī)學中心針對管理領域的證據(jù)分級標準,反應本研究提供的證據(jù)強度[2]。
2結果
2.1篩選結果共檢出65篇文獻,經篩選后最終納入17篇文獻[3~19],其中立題評估5篇,過程評估3篇,驗收評估2篇,成果評估4篇,全程評估3篇。證據(jù)等級方面,有兩篇文獻為綜述或專家經驗介紹,屬D級證據(jù)[12,15],其他有明確的研究方法,屬C級證據(jù)。
2.2建立評估系統(tǒng)的方法科研項目評估較常用的是德爾菲法和綜合評價法。指標的篩選及選擇主要采用下面兩種途徑實現(xiàn):①專家評議法:根據(jù)指標的重要性打分,按加權總分值從大到小排序來取舍指標。②現(xiàn)場調查法:通過一定數(shù)量的樣本調查對備選指標進行實際測量,再對各項備選指標的實測值做統(tǒng)計處理,根據(jù)統(tǒng)計分析的結果篩選指標。常用的分析方法有:變異系數(shù)法、相關系數(shù)法、多元回歸法、主成分分析法、因子分析法、聚類分析法及判別分析法。指標評價標準的確定:①使用上級部門提出的各項標準與要求。②參考有關機構提出的有關目標與指標;③根據(jù)歷史上一段時期的指標值,經統(tǒng)計處理而獲得評價標準,即根據(jù)被評價樣本的均值或最優(yōu)值為標準。指標值的標準化要采用累計概率法、指數(shù)法、線性插值法、等級劃分法對指標值進行量化處理。確定指標的權重,處于不同層次水平的各項指標,在整個指標體系中的貢獻并不相等,根據(jù)各指標在評估中的重要程度,科學、合理地確定每一項指標的權重是保證指標體系在評估中切實可行的關鍵??赏ㄟ^直接經驗法、特爾菲法、百分權重法、層次分析法、排序法、連環(huán)比率法和集值迭代法。其中百分權重法和層次分析法是較為常用的確定權重方法。綜合評價方法主要有加權求和法、單純求積法、對數(shù)形式的加權平均法、幾何平均法、分組乘積求和法(綜合指數(shù)法)、分組相加求積法(綜合系數(shù)法)、模糊數(shù)學綜合評判法、交叉積差法和Ridit法等。各種綜合評價的方法都有其優(yōu)缺點和適用條件,在實際應用中根據(jù)具體情況選擇使用。
2.3評估內容5篇文獻介紹了立題評估的方法[4,7,10,11,14]。立項評估按照公開、公平和競爭的原則,對科研項目進行的評判活動。主要內容包括:立項的必要性、研究目標及技術路線的可行性、成果的應用前景、課題實施的人員、設備及組織管理等條件??偟膩碚f立項評估就是通過對項目的立題依據(jù)、研究方案、研究基礎、研究隊伍及經費等的評價,來反映項目是否具有科學性、創(chuàng)新性、可行性和實施的必要性。3篇文獻介紹了過程評估的方法[12,17,18]。項目過程評估為了解、控制并及時對項目進行調整,管理部門或人員必須跟蹤項目進展并對其進行評估。過程評估是根據(jù)項目需要而進行。由于缺乏及時的項目信息交流手段和有效的監(jiān)控辦法,管理部門難以掌握項目的動態(tài)情況,使得過程評估成為科研項目評估的難點。項目實施過程中的評價和調控仍是我國科技項目管理中的薄弱環(huán)節(jié),也是容易被忽視的環(huán)節(jié)[1]。2篇文獻介紹了驗收評估的方法[5,19]。在項目結束后進行,主要根據(jù)項目任務書的內容做最終結題檢查。各種科技計劃及基金項目都有明確的要求,如國家自然科學基金項目結題報告包括研究計劃執(zhí)行情況、研究工作主要進展和所取得的成果、國內外學術合作交流與人才培養(yǎng)情況、經費使用情況的說明、存在的問題、建議及其他需要說明的情況。4篇研究介紹了績效評估的方法[3,6,8,10]。項目績效評估多在項目結束一定時間后進行,一般以投入產出來評價項目的績效,投入指人力、物力、財力和信息資源,產出包括論文論著、人才培養(yǎng)、科學成果、發(fā)明專利和技術服務等。由于該系統(tǒng)多指標量化困難,實際評估中多以易獲得的指標來分析投入產出,投入指標常為人力和經費,前者包括學歷、職稱等,產出為科研成果、鑒定成果、論文論著、人才培養(yǎng)、專利及學術交流,通過構建投入產出分析系統(tǒng),來量化評估項目績效。有研究試圖從社會效益和經濟效益方面進行評價。3篇文獻介紹了同時對兩個以上環(huán)節(jié)進行評估[13,15,16]。
3討論
本研究采用循證醫(yī)學系統(tǒng)評價的原理和方法,全面總結了科研項目評估不同環(huán)節(jié)的評估方法和評估體系。雖然科研項目評估一直受到管理科學研究者的關注,但還存在以下問題:首先在科研項目管理中,人們更關心投入-產出比,對項目進展與中間過程關注不夠。如何掌握項目動態(tài)情況并對項目實施過程進行監(jiān)督和評估是科研管理部門急需重視和解決的問題。其次采用綜合全程評價的方法較少,沒有從項目整體評估思路、項目管理決策的角度看待評估問題。項目評估是一個整體,應將項目選擇、項目階段評估、項目績效評估有機地聯(lián)系起來,從而把握項目的全貌,做出更為客觀的評價。再則,目前科研管理的量化評估研究仍是難點,在評估中如何減少主觀性增加客觀性,至今尚無公認的評價方法和模式。評估活動趨向于提高量化程度,但定性指標定量化處理缺乏嚴密的邊界限定,仍受主觀因素的影響。雖然有新的方法試圖減少主觀因素的影響,如模糊數(shù)學模型和不精確信息模型,但仍不能很好地解決主觀性問題。因此客觀量化方法也不能完全取代主觀評估,需用非定量的方法評價科研工作的水平及價值。因此,正確處理定量評價與定性評價的關系也是科學評估中必須重視的問題。本研究納入文獻證據(jù)等級按2006年中國循證醫(yī)學中心針對管理領域的證據(jù)分級標準多數(shù)研究有明確的研究方法,但缺乏系統(tǒng)評價或政府法律文件等高級別證據(jù)。本研究雖全面總結分析關于評估醫(yī)學科研項目方法,但實際工作中科研項目評估常由科研管理機構執(zhí)行,有些評估方法可能以政府文件或報告的形式出現(xiàn),而未發(fā)表,所以仍有部分研究未能納入。本研究未發(fā)現(xiàn)不同評估方法相互比較的研究,不能確定不同評估方法的優(yōu)劣,為使用者提供推薦意見。
4結論與建議
本研究納入的評估體系主要針對科研項目課題立項和績效評估,但評估體系對項目進展與中間過程關注不夠。所有評估系統(tǒng)中未將幾個方面整體考慮,且量化評估仍有局限性。今后可以嘗試對不同評估方法或體系進行對比研究,進一步評估醫(yī)學科研項目評估體系是否真實反映了醫(yī)學科研水平。