本站小編為你精心準(zhǔn)備了科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化探究參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

【摘要】隨著科學(xué)技術(shù)的迅猛發(fā)展，科學(xué)數(shù)據(jù)呈現(xiàn)爆炸式增長，這也對大數(shù)據(jù)的存儲(chǔ)及分析帶來了極大的挑戰(zhàn)。由于傳統(tǒng)數(shù)組數(shù)據(jù)模型不支持當(dāng)今數(shù)組模型分析且分析成本較高的原因，使得迫切需要一套低成本且能對科學(xué)大數(shù)據(jù)高效分析的服務(wù)系統(tǒng)。而云分析服務(wù)技術(shù)的興起對科學(xué)大數(shù)據(jù)的研究及分析產(chǎn)生了革命性的意義，本文分析了當(dāng)前科學(xué)大數(shù)據(jù)分析系統(tǒng)存在的問題并對云分析服務(wù)處理系統(tǒng)的優(yōu)勢進(jìn)行了深入分析，為提升現(xiàn)代社會(huì)對科學(xué)大數(shù)據(jù)的分析提供參考。

【關(guān)鍵詞】科學(xué)大數(shù)據(jù);云分析服務(wù);性能優(yōu)化;技術(shù)分析

21世紀(jì)是科學(xué)技術(shù)迅猛發(fā)展的時(shí)代，大數(shù)據(jù)已走進(jìn)我們的生活，在科學(xué)領(lǐng)域，爆發(fā)式增長的大數(shù)據(jù)為科研人員和社會(huì)發(fā)展帶來了巨大的價(jià)值，而科學(xué)大數(shù)據(jù)的處理分析是一項(xiàng)技術(shù)要求高、浩繁的大工程。然而現(xiàn)在常用的大數(shù)據(jù)處理軟件已不能滿足當(dāng)今時(shí)代大數(shù)據(jù)處理的要求，因此研究以云分析為代表的大數(shù)據(jù)處理分析軟件就顯得尤為必要。

1蓬勃發(fā)展的科學(xué)大數(shù)據(jù)

大數(shù)據(jù)逐步走進(jìn)人們的視線，其也越來越彰顯其具備的優(yōu)勢，已被廣泛應(yīng)用至電子商務(wù)、衛(wèi)星遙感、高能物理、現(xiàn)代新農(nóng)業(yè)等領(lǐng)域，成為大國間博弈的心領(lǐng)域。大數(shù)據(jù)對人類日常生活及對當(dāng)今世界的新理解的影響也更加明顯。而作為大數(shù)據(jù)重要分支領(lǐng)域的科學(xué)大數(shù)據(jù)因具有復(fù)雜性、綜合性、不可重復(fù)性、高維性及高度集成信息的內(nèi)部特征及在數(shù)據(jù)內(nèi)容、體量、分析等方面具有的傳統(tǒng)數(shù)據(jù)分析無法比擬的外部特征。且其研究方向從單一學(xué)科向多學(xué)科并跨學(xué)科的轉(zhuǎn)變，使得科學(xué)世界正因科學(xué)大數(shù)據(jù)的興起而發(fā)生變化。因此，盡快開發(fā)并使用與之匹配的分析服務(wù)系統(tǒng)，給當(dāng)今信息技術(shù)領(lǐng)域帶來了新的挑戰(zhàn)。

2常用的科學(xué)大數(shù)據(jù)智能分析軟件

2.1單機(jī)環(huán)境智能分布軟件

Matlab因其在算法開發(fā)、數(shù)據(jù)分析、計(jì)算等領(lǐng)域提供了高級(jí)編程語言和交互式的環(huán)境，因此被廣泛用于眾多科學(xué)領(lǐng)域。R語言、Weka是眾多免費(fèi)的單機(jī)環(huán)境智能分析軟件的典型代表。R語言因可提供強(qiáng)大的統(tǒng)計(jì)分析功能，且用戶可根據(jù)自身需要安裝個(gè)性化擴(kuò)展包而增強(qiáng)R功能，在統(tǒng)計(jì)分析和繪圖語言中用途廣泛?；贘ava語言運(yùn)用的Weka數(shù)據(jù)挖掘平臺(tái)因在可視化、拖拽式分析流程設(shè)計(jì)界面方面的強(qiáng)大功能，并在預(yù)處理和機(jī)器學(xué)習(xí)算法方面集成了大量數(shù)據(jù)。但因此類設(shè)計(jì)初衷為單機(jī)模式運(yùn)行的軟件系統(tǒng)，無法針對當(dāng)前分布式存儲(chǔ)的科學(xué)大數(shù)據(jù)進(jìn)行處理，因此在處理科學(xué)大數(shù)據(jù)方面存在先天不足。

2.2分布式環(huán)境智能分析軟件

在分布式環(huán)境下HadoopMahout、SparkMLlib是分析軟件的典型代表。通過使用這類代表性的軟件，分布式并行挖掘方面的問題已經(jīng)被研究人員解決，并提供了具有代表性的可供參考的的機(jī)器學(xué)習(xí)算法和模型。隨著科技的發(fā)展，像TensorFlow、CNTK等用于構(gòu)建和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型并可用于分布式和異構(gòu)計(jì)算的軟件也被廣大技術(shù)人員使用。但對于科研團(tuán)隊(duì)的科學(xué)研究工作，此類軟件雖然在算法庫和計(jì)算平臺(tái)方面有一定的豐富度和高效性，但因編程開發(fā)程序的不足及系統(tǒng)配置的不完善，在分析較為復(fù)雜的科學(xué)問題上，存在先天性的不足。

2.3云計(jì)算環(huán)境智能分析軟件

當(dāng)前，通過云平臺(tái)對大數(shù)據(jù)進(jìn)行智能分析的云計(jì)算智能分析軟件的使用率逐步提升。高效實(shí)用機(jī)器服務(wù)的模式也被眾多云平臺(tái)廠商研究的熱點(diǎn)方向。但這些系統(tǒng)在平臺(tái)鎖定和特定開發(fā)語言方面存在不足，用戶無法自主性的對算法庫進(jìn)行擴(kuò)充?，F(xiàn)如今，一些科學(xué)家攻克了技術(shù)難題，開發(fā)了具有瀏覽器架構(gòu)模式的分析軟件，在數(shù)學(xué)建模，云數(shù)據(jù)計(jì)算和數(shù)字模擬方面具有革新性意義。這種軟件系統(tǒng)以云平臺(tái)部署為基礎(chǔ)，為特定需求的大數(shù)據(jù)分析進(jìn)行高速處理，并提供能夠支持科學(xué)大數(shù)據(jù)分析服務(wù)的處理過程。

3云分析服務(wù)性能優(yōu)化方向

3.1人工智能

隨著時(shí)代的發(fā)展，人工智能等高新技術(shù)被應(yīng)用到科學(xué)研究中的需求越來越強(qiáng)烈。當(dāng)前，智能分析軟件不僅需要在相關(guān)領(lǐng)域提供基礎(chǔ)和傳統(tǒng)算法運(yùn)算，還被廣泛應(yīng)用于深度縱向?qū)W習(xí)、自然語言理解和構(gòu)建生物圖譜等新型人工智能方向的集成應(yīng)用。為現(xiàn)代社會(huì)解析生命秘密、高通量測序等龐大系統(tǒng)的數(shù)據(jù)提供基礎(chǔ)支持。

3.2功能一體化

復(fù)雜數(shù)據(jù)的處理、分析以及對于靶向關(guān)鍵性數(shù)據(jù)的提取過程的軟件因開發(fā)成本高昂，技術(shù)難度大，仍處于開發(fā)完善的過程中。當(dāng)前對于龐大大數(shù)據(jù)處理的迫切需求，使得大數(shù)據(jù)分析服務(wù)軟件急需在傳統(tǒng)式編程開發(fā)技術(shù)的基礎(chǔ)上，提供可視化的分析挖掘環(huán)境并為算法庫和模型提供高質(zhì)量、可復(fù)制的計(jì)算模式并實(shí)現(xiàn)囊括集成數(shù)據(jù)源、設(shè)計(jì)流程與執(zhí)行和可視化等功能于一體的智能分析云軟件。

3.3云服務(wù)

云服務(wù)類的大數(shù)據(jù)分析軟件不再像傳統(tǒng)軟件一樣需要在本地進(jìn)行安裝，并需要定期升級(jí)維護(hù)，提高了軟件應(yīng)用的效率。同時(shí)，云服務(wù)提供的瀏覽器可為深層數(shù)據(jù)挖掘與分析、流程化的操作和管理提供統(tǒng)一的門戶界面，增加軟件的便利性。此外，通過在線API的形式對模型、算法等數(shù)據(jù)源進(jìn)行復(fù)制、共享使用的“功能及服務(wù)”型功能也被視為未來云服務(wù)分析軟件的重要特征。

3.4個(gè)性化定制

因?yàn)榉治瞿Ｊ皆诓煌目茖W(xué)領(lǐng)域范圍內(nèi)的需求千差萬別，因此通用性、大眾化的大數(shù)據(jù)分析軟件顯然無法滿足對于特定領(lǐng)域進(jìn)行研究并需要個(gè)性化處理的科學(xué)團(tuán)隊(duì)的要求。傳統(tǒng)的大數(shù)據(jù)分析軟件因無法提供在分析流程、可視化等方面的個(gè)性化分析功能也不被采用。隨著科學(xué)研究的深入，理想的大數(shù)據(jù)云分析智能分析軟件應(yīng)該囊括分析流程、可視化等方面的分析功能，并能針對不同的研究方向、不同的數(shù)據(jù)處理需求提供個(gè)性化的分析服務(wù)，這也是當(dāng)前技術(shù)人員重點(diǎn)研究的方向。

4結(jié)語

本文在對當(dāng)前常用大數(shù)據(jù)處理軟件分析的基礎(chǔ)上，提供了未來云分析服務(wù)性能優(yōu)化的技術(shù)方向，旨在為開發(fā)適用于現(xiàn)代社會(huì)發(fā)展的云分析服務(wù)的科學(xué)大數(shù)據(jù)開發(fā)軟件提供建議。

參考文獻(xiàn)

[1]張慶熊.大數(shù)據(jù)時(shí)代社會(huì)科學(xué)方法論探討[J].社會(huì)科學(xué),2018(09):69-77.

[2]鄒自明,胡曉彥,熊森林.空間科學(xué)大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)[J].中國科學(xué)院院刊,2018,33(08):877-883.

[3]郭華東.科學(xué)大數(shù)據(jù)――國家大數(shù)據(jù)戰(zhàn)略的基石[J].中國科學(xué)院院刊,2018,33(08):768-773.

[4]邱能俊.科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究[D].貴州大學(xué),2015.

作者:王琳 單位:中國石油西南油氣田公司勘探開發(fā)研究院計(jì)算機(jī)應(yīng)用研究所