前言：我們精心挑選了數(shù)篇優(yōu)質(zhì)大數(shù)據(jù)開(kāi)發(fā)的過(guò)程文章，供您閱讀參考。期待這些文章能為您帶來(lái)啟發(fā)，助您在寫作的道路上更上一層樓。

第1篇

關(guān)鍵詞：大數(shù)據(jù)；軟件工程；群體軟件；關(guān)鍵技術(shù)

一、大數(shù)據(jù)時(shí)代軟件服務(wù)工程與群體軟件工程

所謂軟件服務(wù)工程，就是將服務(wù)作為主要目標(biāo)，在應(yīng)用時(shí)需要根據(jù)變化不斷通過(guò)虛擬的手段與分布式手段進(jìn)行應(yīng)用，而這種應(yīng)用方法不僅能夠使得軟件更加虛擬化，同時(shí)也能強(qiáng)化其操作性，與此同時(shí)，更能有效解決動(dòng)態(tài)變化與分布變化情況[1]。軟件工程在發(fā)展過(guò)程中能夠在大數(shù)據(jù)領(lǐng)域、云計(jì)算中得到更加廣泛應(yīng)用。在網(wǎng)絡(luò)化、服務(wù)化等大環(huán)境影響下，軟件工程可以得到更好的開(kāi)放空間。工程師利用數(shù)據(jù)信息交互、學(xué)術(shù)交流等多種方式開(kāi)展合作，對(duì)軟件進(jìn)行開(kāi)發(fā)，建設(shè)更加具有性價(jià)比的軟件系統(tǒng)。在軟件開(kāi)發(fā)中，目前十分成功的就是開(kāi)源軟件，開(kāi)源軟件的合作模式與結(jié)構(gòu)都是當(dāng)前學(xué)術(shù)界最看重的，然而當(dāng)前常規(guī)研究方式卻未能實(shí)現(xiàn)較大突破。很多學(xué)者開(kāi)始嘗試?yán)镁W(wǎng)絡(luò)分析方法對(duì)數(shù)據(jù)進(jìn)行有效分析，在一些規(guī)模較大的開(kāi)發(fā)項(xiàng)目的開(kāi)發(fā)人員中，外圍開(kāi)發(fā)者占據(jù)絕對(duì)優(yōu)勢(shì)，并且模塊化特征更加明顯。和群體軟件工程相比，開(kāi)源軟件有較弱的發(fā)展態(tài)勢(shì)，而群體軟件工程主要是倡導(dǎo)利用眾包形式進(jìn)行開(kāi)發(fā)。

二、大數(shù)據(jù)時(shí)代眾包軟件服務(wù)工程

（一）創(chuàng)新發(fā)展態(tài)勢(shì)

眾包軟件服務(wù)工程作為國(guó)際各國(guó)都密切重視的一種流式數(shù)據(jù)處理與集密數(shù)據(jù)處理方式，特別是在服務(wù)中對(duì)產(chǎn)生的各項(xiàng)數(shù)據(jù)尤為重視，如何才能將這些密集型數(shù)據(jù)的存儲(chǔ)設(shè)施、平臺(tái)、價(jià)值分析等作為服務(wù)對(duì)象，是當(dāng)前大數(shù)據(jù)軟件工程在研究過(guò)程中的難點(diǎn)與重點(diǎn)部分。從最開(kāi)始的服務(wù)消費(fèi)，到后來(lái)的眾包服務(wù)開(kāi)方，隨后再到軟件平臺(tái)管理，運(yùn)營(yíng)方都由在線流式數(shù)據(jù)和離線密集型數(shù)據(jù)組成。當(dāng)前開(kāi)發(fā)者版本級(jí)別達(dá)到GB級(jí)別，眾多用戶數(shù)據(jù)能夠達(dá)到PB級(jí)別，在線溝通數(shù)據(jù)更是能達(dá)到TB級(jí)別，利用直接推送功能可以左右軟件服務(wù)時(shí)間，對(duì)軟件產(chǎn)生關(guān)鍵性作用與影響[2]。

（二）軟件生產(chǎn)開(kāi)發(fā)、運(yùn)營(yíng)與管理

密集型數(shù)據(jù)，因?yàn)樗麄儽旧砉逃械膭?dòng)態(tài)分布形式、動(dòng)態(tài)交互、復(fù)雜演化、動(dòng)態(tài)分配、價(jià)值隱藏等，都能夠體現(xiàn)大數(shù)據(jù)的最原始行駛情況。從本質(zhì)角度來(lái)看，這些數(shù)據(jù)僅僅是用于描述內(nèi)容模量，但是沒(méi)有具體含義，并且缺乏語(yǔ)義化作用。想要對(duì)其進(jìn)行創(chuàng)新，必須打破原有的研究方法與思維，將密集數(shù)據(jù)作為主要材質(zhì)課題，并且將其看作是研究的主體，在主體領(lǐng)域，大數(shù)據(jù)所在流域與主體專家需要制造，傳播大量的數(shù)據(jù)。他們不僅是大數(shù)據(jù)的群體用戶，還是最主要的消費(fèi)者，同時(shí)也擔(dān)任著運(yùn)營(yíng)和管理的作用，能夠?qū)⑷后w智慧匯到一起，逐漸形成系統(tǒng)化的領(lǐng)域和主體知識(shí)。將這些知識(shí)作為核心與基礎(chǔ)，對(duì)研究密集型數(shù)據(jù)相對(duì)應(yīng)的信息學(xué)過(guò)程與生命周期進(jìn)行研究，并且及時(shí)推送相應(yīng)的服務(wù)期限，研究數(shù)據(jù)內(nèi)容的相關(guān)語(yǔ)義和標(biāo)志，最終賦予其相應(yīng)的矢量。組織主體部分構(gòu)建價(jià)值服務(wù)機(jī)制與知識(shí)體系，在研究和互通過(guò)程中，利用操作式管理方式將關(guān)鍵技術(shù)應(yīng)用在密集型數(shù)據(jù)上，這些都能展示出眾包軟件工程發(fā)展內(nèi)容。

三、大數(shù)據(jù)背景下關(guān)于信息處理技術(shù)發(fā)展情況

與傳統(tǒng)數(shù)據(jù)形式相對(duì)比可知，在大數(shù)據(jù)時(shí)代下能夠?qū)崿F(xiàn)各項(xiàng)數(shù)據(jù)相互聯(lián)系，并且這些相互關(guān)聯(lián)的結(jié)構(gòu)，能夠利用當(dāng)前所有的框架，對(duì)數(shù)據(jù)進(jìn)行及時(shí)且有效的處理。將硬件作為基礎(chǔ)，通過(guò)該基礎(chǔ)搭建的網(wǎng)絡(luò)存在相應(yīng)局限性，并且制約了網(wǎng)絡(luò)的性能和發(fā)展，因此需不斷探索與創(chuàng)新網(wǎng)絡(luò)架構(gòu)技術(shù)，以此實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的提高。在日后發(fā)展過(guò)程中，計(jì)算機(jī)網(wǎng)絡(luò)必須為其提供開(kāi)放式的結(jié)構(gòu)與傳輸功能，將計(jì)算機(jī)網(wǎng)絡(luò)信息處理與軟件基礎(chǔ)、硬件基礎(chǔ)分開(kāi)使用，隨后對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行定義。相關(guān)網(wǎng)絡(luò)軟件使得我國(guó)網(wǎng)絡(luò)技術(shù)朝著更高水平發(fā)展，隨著大數(shù)據(jù)時(shí)代的不斷深入，計(jì)算機(jī)能夠?qū)崿F(xiàn)網(wǎng)絡(luò)、硬件、軟件融為一體，并且產(chǎn)生出新的網(wǎng)絡(luò)結(jié)構(gòu)，能夠?yàn)榇髷?shù)據(jù)時(shí)展提供重要理論與實(shí)踐意義。這種形式不僅能夠突破傳統(tǒng)計(jì)算機(jī)在處理信息時(shí)因?yàn)榫W(wǎng)絡(luò)所帶來(lái)的限制，同時(shí)也能使計(jì)算機(jī)處理技術(shù)開(kāi)發(fā)與應(yīng)用形式打破單一情況，逐漸朝著多元化方向不斷發(fā)展。

四、結(jié)語(yǔ)

綜上所述，隨著我國(guó)大數(shù)據(jù)時(shí)代的到來(lái)，社會(huì)各領(lǐng)域都將受到大數(shù)據(jù)思想和創(chuàng)新技術(shù)的影響。大數(shù)據(jù)對(duì)人們的生活方式產(chǎn)生深刻影響，因此將大數(shù)據(jù)作為當(dāng)前一種最新興的網(wǎng)絡(luò)技術(shù)。

參考文獻(xiàn)：

第2篇

關(guān)鍵詞：大數(shù)據(jù)；軟件工程；軟件服務(wù)工程；第四范式

自上個(gè)世紀(jì)90年代初，信息高速公路在美國(guó)提出以來(lái)，歷經(jīng)近30年的發(fā)展演進(jìn)，信息技術(shù)發(fā)展突飛猛進(jìn)，信息化領(lǐng)域的新技術(shù)、新詞語(yǔ)層出不窮，諸如IT技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、區(qū)塊鏈技術(shù)、人工智能等。并且對(duì)人們的生產(chǎn)、生活方式產(chǎn)生了深刻的影響，認(rèn)為現(xiàn)在進(jìn)入了大數(shù)據(jù)時(shí)代、萬(wàn)物互聯(lián)時(shí)代、智能化時(shí)代等。筆者認(rèn)為，一直以來(lái)，其中除了硬件的發(fā)展，還有兩個(gè)關(guān)鍵因素同樣值得關(guān)注，一是數(shù)據(jù)，其是基礎(chǔ)和目的；二是軟件，其是方法和工具。唯如此，才能實(shí)現(xiàn)在軟件生命周期即設(shè)計(jì)、開(kāi)發(fā)、運(yùn)行、優(yōu)化，實(shí)現(xiàn)與大數(shù)據(jù)生命周期即獲取、清洗、集成、分析、呈現(xiàn)等的互動(dòng)。[1]換言之，現(xiàn)在來(lái)說(shuō)，就是大數(shù)據(jù)和軟件工程，二者助推了信息技術(shù)的發(fā)展，同時(shí)也是信息化的產(chǎn)物，在大數(shù)據(jù)時(shí)代背景下，研究軟件工程技術(shù)的應(yīng)用，對(duì)于經(jīng)濟(jì)社會(huì)的發(fā)展有著十分重要的意義。

1大數(shù)據(jù)和軟件工程簡(jiǎn)述

1.1大數(shù)據(jù)簡(jiǎn)述

沃爾瑪?shù)摹捌【婆c尿布”是眾所周知的大數(shù)據(jù)經(jīng)典案例，大數(shù)據(jù)已經(jīng)是當(dāng)今信息社會(huì)炙手可熱、耳熟能詳?shù)脑~匯，而且已形成共識(shí)，即人類已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。上個(gè)世紀(jì)80年代初，《第三次浪潮》一書風(fēng)行全世界。該書作者美國(guó)社會(huì)思想家阿爾文托夫勒就在文中將人類社會(huì)發(fā)展劃分為三次浪潮，即以“農(nóng)業(yè)文明”為主導(dǎo)的第一次浪潮，以“工業(yè)文明”為主導(dǎo)的第二次浪潮，以“信息化”為主導(dǎo)第三次浪潮。[2]其中首次提出了“大數(shù)據(jù)”（BigData）一詞，并且，以“第三次浪潮的華彩樂(lè)章”這樣的用詞對(duì)其進(jìn)行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》報(bào)告，公認(rèn)此報(bào)告宣告了大數(shù)據(jù)時(shí)代的到來(lái)。由于大數(shù)據(jù)概念的提出源于不斷的發(fā)展實(shí)踐，其本身并沒(méi)有嚴(yán)格、權(quán)威的定義。通常認(rèn)為，大數(shù)據(jù)的大即大數(shù)據(jù)集的規(guī)模一般應(yīng)達(dá)到10TB左右，現(xiàn)在已經(jīng)達(dá)到了PB級(jí)的數(shù)據(jù)量。維基百科稱“大數(shù)據(jù)”是這樣一個(gè)術(shù)語(yǔ)，即其是用以描述用傳統(tǒng)的數(shù)據(jù)處理應(yīng)用軟件無(wú)法完好處理的龐大的或者復(fù)雜的數(shù)據(jù)集。但“大數(shù)據(jù)”這一概念并不僅僅指數(shù)據(jù)規(guī)模的龐大，還包括對(duì)這些數(shù)據(jù)對(duì)象的處理以及應(yīng)用活動(dòng)。IBM提出大數(shù)據(jù)通常具有“5V”特征：Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類別多樣）、Velocity（處理速度快）、Veracity（數(shù)據(jù)真實(shí)性高）、Volume（數(shù)據(jù)價(jià)值高）。[4]大數(shù)據(jù)技術(shù)分類并分平行關(guān)系，而是呈縱向、層級(jí)狀結(jié)構(gòu)，詳見(jiàn)圖1所示。

1.2軟件工程簡(jiǎn)述

軟件工程本身并沒(méi)有嚴(yán)格、權(quán)威的定義。并且，也是直到20世紀(jì)60年代初才出現(xiàn)了“軟件”一詞，于此之前，更多的是程序的概念，后來(lái)人們認(rèn)識(shí)到與程序相關(guān)的文檔也有著相當(dāng)重要的作用，才有了“軟件”一詞的出現(xiàn)。軟件發(fā)展至今天，已經(jīng)遠(yuǎn)遠(yuǎn)不是程序個(gè)體或者程序員合作的方式能夠完成的，即使能夠完成，也會(huì)是效率低下、程序運(yùn)行可靠性差，或者說(shuō)根本就無(wú)法完成。于是，在1968年召開(kāi)的大西洋公約學(xué)術(shù)會(huì)議上提出了軟件工程的概念,簡(jiǎn)單理解，就是以工程的方法來(lái)進(jìn)行軟件系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)、運(yùn)行、維護(hù)、優(yōu)化等技術(shù)的總和，進(jìn)一步言之，就是用“計(jì)算機(jī)科學(xué)、數(shù)學(xué)管理科學(xué)等原理，以工程化方法制作軟件的工程”，屬于一門交叉學(xué)科。[5]通常認(rèn)為其包含有四個(gè)要素：（1）軟件工程目標(biāo)；（2）軟件工程范型；（3）軟件工程過(guò)程；（4）軟件工程原則。

2大數(shù)據(jù)與軟件工程的結(jié)合方式

宏觀上講，軟件工程是比大數(shù)據(jù)更為寬泛的概念，大數(shù)據(jù)的技術(shù)與應(yīng)用被軟件工程所涵攝。如圖1所示意，雖然大數(shù)據(jù)的各項(xiàng)技術(shù)與應(yīng)用屬于垂直領(lǐng)域，而軟件工程牽涉的是橫向領(lǐng)域，更加關(guān)注軟件產(chǎn)品及軟件系統(tǒng)工程上的實(shí)現(xiàn)及其管理。但是，大數(shù)據(jù)無(wú)論是其產(chǎn)品還是其系統(tǒng)的完成與落地，都離不開(kāi)軟件工程方法論的支持。換言之，軟件工程的方法與技術(shù)貫穿于大數(shù)據(jù)的開(kāi)發(fā)與應(yīng)用，大數(shù)據(jù)也只是在軟件工程發(fā)展過(guò)程中出現(xiàn)的概念。軟件工程開(kāi)發(fā)具有綜合性，其應(yīng)用滲透于各個(gè)學(xué)科和領(lǐng)域，大數(shù)據(jù)的技術(shù)與應(yīng)用當(dāng)然是軟件工程所關(guān)注和研究的對(duì)象，或者說(shuō)大數(shù)據(jù)技術(shù)的每一環(huán)節(jié)都離不開(kāi)軟件工程的支持。大數(shù)據(jù)應(yīng)用的基礎(chǔ)是要依賴數(shù)據(jù)鏈條的完整性，采用相應(yīng)的算法于海量的數(shù)據(jù)中進(jìn)行規(guī)律分析，算法要依據(jù)相應(yīng)的實(shí)際環(huán)境進(jìn)行相應(yīng)的升級(jí)，遵循開(kāi)發(fā)的基本原理，充分調(diào)整數(shù)據(jù)分布，從而在研究過(guò)程中將大數(shù)據(jù)技術(shù)與軟件工程方法結(jié)合起來(lái)。并在開(kāi)放的環(huán)境中通過(guò)網(wǎng)絡(luò)與通信技術(shù)實(shí)現(xiàn)數(shù)據(jù)的共享，在此過(guò)程中，軟件技術(shù)和水平亦能得到進(jìn)一步的提高。在二者相互作用滲透的過(guò)程，軟件效率得到提高，軟件效益得以提升，從而實(shí)現(xiàn)客戶需求的最大化。在軟件開(kāi)發(fā)過(guò)程中，還需要有必備的硬件和軟件的支撐，來(lái)支持相應(yīng)的數(shù)據(jù)流，隨著數(shù)據(jù)流的增長(zhǎng)，對(duì)于硬件和軟件就會(huì)有更高的要求。工程技術(shù)人員在對(duì)數(shù)據(jù)流進(jìn)行分析研究的同時(shí)，專家學(xué)者還會(huì)對(duì)在線服務(wù)進(jìn)行研究。但是，數(shù)據(jù)流是重點(diǎn)，包括對(duì)數(shù)據(jù)流的使用方法的研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件的研究。另外，從軟件工程開(kāi)發(fā)角度看，無(wú)論是在服務(wù)端還是在用戶端，軟件的運(yùn)行當(dāng)然會(huì)產(chǎn)生大量的數(shù)據(jù)流，都將產(chǎn)生大量的數(shù)據(jù)信息，這些數(shù)據(jù)流對(duì)于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開(kāi)發(fā)中，對(duì)于海量數(shù)據(jù)產(chǎn)生的環(huán)境下，更有必要做好數(shù)據(jù)流的管理，要高度重視數(shù)據(jù)流的分析研究，并且對(duì)于原始數(shù)據(jù)進(jìn)行深入的研究也應(yīng)該引起重視，以期延長(zhǎng)軟件的使用周期。[6]

3大數(shù)據(jù)時(shí)代的軟件服務(wù)工程

軟件服務(wù)工程即所謂的面向服務(wù)的軟件工程，強(qiáng)調(diào)的是其相對(duì)于傳統(tǒng)軟件工程的擴(kuò)展。近些年來(lái)得到了很快的發(fā)展，已經(jīng)成為當(dāng)今時(shí)代的主流社會(huì)需求之一，服務(wù)功能已經(jīng)是軟件開(kāi)發(fā)的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務(wù)（Service）+工程（Engineering）”三個(gè)方面的交叉融合，或者軟件工程與服務(wù)工程兩者的融合等。其內(nèi)涵可以理解為研究面向服務(wù)的軟件工程原則、軟件工程方法以及軟件工程技術(shù)，同時(shí)利用相應(yīng)的軟件服務(wù)設(shè)施和平臺(tái)，開(kāi)發(fā)較高水平的軟件服務(wù)系統(tǒng)。[7]軟件開(kāi)發(fā)者根據(jù)需求變化，在社會(huì)實(shí)際實(shí)用中，以面向服務(wù)作為主要建設(shè)目標(biāo)。在開(kāi)發(fā)的初期就要首先搭建好軟件的框架，充分利用編程語(yǔ)言、構(gòu)思好編程思路，確保開(kāi)發(fā)軟件能夠提供可靠的服務(wù)應(yīng)用，保障軟件運(yùn)行時(shí)的穩(wěn)定與可靠。在實(shí)際的服務(wù)過(guò)程中，要求開(kāi)發(fā)者運(yùn)用分布式應(yīng)用程序，以虛擬操作的方式提供用戶相應(yīng)的服務(wù)。在應(yīng)用中，融合大數(shù)據(jù)技術(shù)，能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)進(jìn)行編程，達(dá)到軟件互操作的效果，并提高對(duì)數(shù)據(jù)的主動(dòng)協(xié)調(diào)。軟件工程開(kāi)發(fā)工程師可以對(duì)數(shù)據(jù)信息共享，實(shí)現(xiàn)各種學(xué)習(xí)交流，對(duì)軟件進(jìn)行協(xié)同開(kāi)發(fā)，并結(jié)合用戶的反饋，對(duì)軟件系統(tǒng)進(jìn)行優(yōu)化處理，提高軟件的性價(jià)比。近年來(lái)，開(kāi)源軟件是較為成功的軟件習(xí)作模式，但是，其采用常規(guī)的研究方法，應(yīng)用價(jià)值還不是很高。與開(kāi)源軟件相比，群體軟件工程屬于一種分布式軟件開(kāi)發(fā)模型，能夠依靠網(wǎng)絡(luò)進(jìn)行任務(wù)分配，并能實(shí)現(xiàn)創(chuàng)造性的查詢，通過(guò)眾包形式的開(kāi)發(fā)，解決開(kāi)發(fā)過(guò)程中的難題。并且，在整個(gè)開(kāi)發(fā)過(guò)程中，眾包開(kāi)發(fā)可以貫穿其全過(guò)程。所謂眾包，一如其字面含義，是一種分布式的生產(chǎn)開(kāi)發(fā)模式和問(wèn)題解決方案。通過(guò)該種方式，開(kāi)源軟件和商業(yè)軟件均可通過(guò)網(wǎng)絡(luò)進(jìn)行任務(wù)和責(zé)任分配。[8]隨著我國(guó)計(jì)算機(jī)科學(xué)技術(shù)的不斷發(fā)展進(jìn)步，軟件工程技術(shù)也取得了長(zhǎng)足發(fā)展，軟件服務(wù)工程也支持得到拓展和延伸。在大數(shù)據(jù)時(shí)代背景下，我們應(yīng)當(dāng)加快大數(shù)據(jù)技術(shù)和軟件工程技術(shù)的融合與創(chuàng)新，提升對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程處理的能力，提高軟件的安全和效能，增強(qiáng)其穩(wěn)定性和可操作性，進(jìn)一步整合軟件工程系統(tǒng)的集成度。

4數(shù)據(jù)密集型科研第四范式

圖靈獎(jiǎng)獲得者、關(guān)系數(shù)據(jù)庫(kù)研究專家詹姆士格雷(JamesGray)曾經(jīng)從科學(xué)哲學(xué)的層面將人類科學(xué)研究模式總結(jié)劃分為最初的實(shí)驗(yàn)科學(xué)階段，之后的理論科學(xué)階段，到通過(guò)模擬的方法進(jìn)行的計(jì)算科學(xué)三個(gè)階段，相對(duì)應(yīng)地稱之為科學(xué)研究的第一范式、第二范式、第三范式。但是伴隨著模擬連同實(shí)驗(yàn)所產(chǎn)生的海量的數(shù)據(jù)，需要由軟件處理這些由各種儀器或者模擬實(shí)驗(yàn)產(chǎn)生的海量數(shù)據(jù)，并將處理得到的信息和知識(shí)存儲(chǔ)于計(jì)算機(jī)中。之后，科研人員只需要對(duì)這些存儲(chǔ)于計(jì)算機(jī)中的少量數(shù)據(jù)進(jìn)行分析研究，不再是直接通過(guò)儀器或者模擬進(jìn)行研究。因而基于數(shù)據(jù)密集型科學(xué)研究獨(dú)特的技術(shù)以及其顯著的不同于以往研究的特點(diǎn)，詹姆士格雷在2007于其科研報(bào)告中提出了將這種數(shù)據(jù)密集型的科學(xué)研究模式從計(jì)算機(jī)科學(xué)類型中單獨(dú)區(qū)分出來(lái)的思想，隨之產(chǎn)生了一種被稱之為第四范式的新的科研模式。該報(bào)告整理后題名“吉姆格雷論e-Science:一種科研模式的變革”，成為微軟于2009的年首次全面對(duì)數(shù)據(jù)密集型數(shù)據(jù)進(jìn)行描述的論文集《e-Science：科學(xué)研究的第四種范式》的開(kāi)篇文章。[9]當(dāng)前，相當(dāng)多的計(jì)算機(jī)領(lǐng)域的專家學(xué)者對(duì)數(shù)據(jù)密集型科研第四范式予以了關(guān)注，并進(jìn)行了相應(yīng)的研究，探索出了相應(yīng)的方式方法，第四范式的研究被認(rèn)為是大數(shù)據(jù)時(shí)代背景下軟件工程技術(shù)研發(fā)的關(guān)鍵。信息化的發(fā)展與滲透，導(dǎo)致一切的事物都在隨之發(fā)生著變化。包括實(shí)驗(yàn)、理論分析和計(jì)算科學(xué)均在數(shù)據(jù)泛濫的影響下與之前大不相同，軟件工程技術(shù)既要適應(yīng)科研第四范式，又在其中扮演著更加重要的作用。傳統(tǒng)范式下的目的與探索之間不能夠很好地銜接，數(shù)據(jù)信息的應(yīng)用效率難以保障，難以滿足項(xiàng)目管理目標(biāo)的實(shí)現(xiàn)。數(shù)據(jù)密集型科研第四范式下的技術(shù)以及理論相關(guān)內(nèi)容，與大數(shù)據(jù)技術(shù)特別是其中的存儲(chǔ)技術(shù)有著緊密的關(guān)聯(lián)性，其待探索的空間和應(yīng)用價(jià)值相當(dāng)廣闊，其數(shù)據(jù)信息研發(fā)急需相應(yīng)的理論支撐，該范式下的軟件工程技術(shù)應(yīng)用模塊，亦能夠?qū)ζ渌妒较碌臄?shù)據(jù)信息進(jìn)行分析，對(duì)于更好地實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)與處理，提升處理效率，有著重要的研究?jī)r(jià)值。在第四范式模式下，對(duì)集成密集型數(shù)據(jù)的軟件服務(wù)價(jià)值進(jìn)行評(píng)估是首要的，需要摒棄以往的數(shù)據(jù)統(tǒng)計(jì)方法，構(gòu)建新的針對(duì)大數(shù)據(jù)進(jìn)行信息統(tǒng)計(jì)和分析的方法，這對(duì)軟件工程技術(shù)的發(fā)展起著重要的作用。在軟件工程技術(shù)的研究中，應(yīng)當(dāng)更新傳統(tǒng)理念，重視其對(duì)大數(shù)據(jù)的處理和分析能力，使軟件產(chǎn)業(yè)呈現(xiàn)全新的面貌，從而亦能促進(jìn)其對(duì)大數(shù)據(jù)的數(shù)據(jù)分析能力。在第四范式的基礎(chǔ)上，亦能夠更好地支持第三范式，甚至于第一范式。該范式研究在我國(guó)軟件工程開(kāi)發(fā)中還處于初級(jí)階段，軟件工程開(kāi)發(fā)人員需在強(qiáng)化已有數(shù)據(jù)模型研究基礎(chǔ)上，加速由第三范式向第四范式的轉(zhuǎn)變，盡快實(shí)現(xiàn)其應(yīng)用層面的服務(wù)價(jià)值。

第3篇

1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)

大數(shù)據(jù)技術(shù)事實(shí)上是將人類日常生活中產(chǎn)生的各種數(shù)字信息，將這些信息收集起來(lái)之后分類處理，設(shè)定不同類別的存儲(chǔ)空間，按照類別存儲(chǔ)。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個(gè)類別，諸如分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語(yǔ)音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析，就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來(lái)的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用，特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù)，對(duì)數(shù)據(jù)信息進(jìn)行分類整理，應(yīng)用相應(yīng)的計(jì)算機(jī)算法，將相似特性的數(shù)據(jù)劃分為一類，最終得到大量的數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中，所發(fā)揮的優(yōu)勢(shì)是有目共睹的，而且還不斷地引入新技術(shù)，在軟件工程技術(shù)中應(yīng)用，對(duì)該技術(shù)的發(fā)展起到了促進(jìn)作用[1]。

大數(shù)據(jù)時(shí)代，社會(huì)各個(gè)領(lǐng)域都已經(jīng)實(shí)現(xiàn)了信息化發(fā)展，人們對(duì)軟件工程的概念越來(lái)越熟悉。事實(shí)上，軟件工程的歷史始于20世紀(jì)的中期，其研究重點(diǎn)是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中，使得工程系統(tǒng)化運(yùn)行，其中所涵蓋的研究?jī)?nèi)容包括軟件的生命周期、軟件工程設(shè)計(jì)、軟件的技術(shù)維護(hù)等方面。因此，在軟件設(shè)計(jì)的過(guò)程中，要控制好技術(shù)開(kāi)發(fā)成本，保證工程質(zhì)量，使其生命周期不斷延長(zhǎng)，不同項(xiàng)目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。

2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)

處于大數(shù)據(jù)時(shí)代環(huán)境中，軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域，需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點(diǎn)，還具有很強(qiáng)的實(shí)用性價(jià)值。在軟件工程技術(shù)的研究中，要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù)，對(duì)于傳統(tǒng)的技術(shù)要不斷摒棄，對(duì)軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下，軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來(lái)的，對(duì)各種數(shù)據(jù)信息系統(tǒng)化管理，根據(jù)需要進(jìn)行處理，對(duì)工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中，大數(shù)據(jù)的安全性問(wèn)題是需要高度重視的，否則，就會(huì)對(duì)軟件工程技術(shù)造成不良影響，引起嚴(yán)重的后果。

2．1軟件服務(wù)工程

在軟件工程的研究范疇中，軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展，就是發(fā)揮服務(wù)的作用，使其成為軟件開(kāi)發(fā)的基本原則，按照服務(wù)項(xiàng)目?jī)?nèi)容為用戶展開(kāi)服務(wù)。由于軟件工程發(fā)展的主題有所，服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整，同城是對(duì)軟件工程的進(jìn)行技術(shù)維護(hù)。在具體的服務(wù)工作中，需要軟件開(kāi)發(fā)人員使用分布式應(yīng)用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中，結(jié)合使用大數(shù)據(jù)技術(shù)，可以對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程，使得軟件具有互操作性，對(duì)于數(shù)據(jù)主動(dòng)協(xié)調(diào)，使其符合動(dòng)態(tài)場(chǎng)景的變化節(jié)奏，軟件系統(tǒng)的集成度有所提高。

2．2軟件開(kāi)源

軟件開(kāi)源更為注重用戶對(duì)軟件技術(shù)的體驗(yàn)。在對(duì)軟件開(kāi)源進(jìn)行研究的過(guò)程中，采用常規(guī)的方法，雖然獲得一定的成果，但是應(yīng)用價(jià)值不是很高。一些研究人員在研究軟件工程技術(shù)的時(shí)候，就是將軟件開(kāi)源作為突破口，將開(kāi)發(fā)項(xiàng)目劃分為多個(gè)模塊，將每個(gè)模塊分給指定的研究人員進(jìn)行開(kāi)發(fā)。

2．3群體軟件工程

群體軟件工程是通過(guò)網(wǎng)絡(luò)的方式進(jìn)行軟件開(kāi)發(fā)，具體的實(shí)施中采用工程眾包的形式，使得軟件開(kāi)發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個(gè)分布式軟件開(kāi)發(fā)模型，這個(gè)工程項(xiàng)目的運(yùn)行中，可以通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)，對(duì)各項(xiàng)任務(wù)進(jìn)行分配，也可以進(jìn)行創(chuàng)造性的查詢，通過(guò)眾包解決軟件開(kāi)發(fā)過(guò)程中遇到的一些困難和重要問(wèn)題。同時(shí)，在軟件工程開(kāi)發(fā)過(guò)程中，軟件工程可以在任何階段通過(guò)眾包進(jìn)行開(kāi)發(fā)[4]。

3大數(shù)據(jù)與軟件工程技術(shù)的未來(lái)發(fā)展方向

3．1大數(shù)據(jù)與軟件工程技術(shù)開(kāi)放式的發(fā)展

大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流，需要技術(shù)不斷地升級(jí)和創(chuàng)新，尋求開(kāi)發(fā)的研究途徑是非常必要的。計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展意味著計(jì)算機(jī)可以在開(kāi)放的環(huán)境中相互通信，共享數(shù)據(jù)資源，軟件等信息的有效利用能力也會(huì)有所提升。通過(guò)網(wǎng)絡(luò)運(yùn)行可以增加利潤(rùn)，使得用戶的各種需求得到滿足，提高資源的利用率。

3．2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域

軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個(gè)領(lǐng)域非常大的幫助，從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運(yùn)行，可以使用數(shù)據(jù)平臺(tái)對(duì)信息進(jìn)行收集并分析。比如，用戶在進(jìn)行股票交易的過(guò)程中應(yīng)用大數(shù)據(jù)技術(shù)，可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型，通過(guò)對(duì)數(shù)據(jù)模型的分析，預(yù)測(cè)股票的變化趨勢(shì)。

4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)

在軟件開(kāi)發(fā)過(guò)程中，必須有足夠的硬件和軟件基礎(chǔ)來(lái)支持?jǐn)?shù)據(jù)流，隨著數(shù)據(jù)流的量逐漸增多，對(duì)硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時(shí)候，還對(duì)在線服務(wù)進(jìn)行了研究。數(shù)據(jù)流是重點(diǎn)內(nèi)容，主要是對(duì)數(shù)據(jù)流的使用方法進(jìn)行研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件進(jìn)行研究[6]。從軟件工程開(kāi)發(fā)的角度而言，軟件運(yùn)行中都會(huì)產(chǎn)生大量的數(shù)據(jù)流，包括服務(wù)端、用戶端等，都會(huì)有很多的數(shù)據(jù)信息產(chǎn)生，這些數(shù)據(jù)流對(duì)軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開(kāi)發(fā)中，要做好數(shù)據(jù)流的管理工作。有必要對(duì)原始數(shù)據(jù)進(jìn)行深入的研究，為提高軟件的使用壽命創(chuàng)造條件，對(duì)數(shù)據(jù)流的分析要高度重視[7]。

5密集型數(shù)據(jù)科研第四范式

第四種科學(xué)研究范式是指根據(jù)實(shí)際情況建立獨(dú)立的科學(xué)研究方法，探索第四種范式的理論基礎(chǔ)，以及大型數(shù)據(jù)存儲(chǔ)設(shè)備在發(fā)展中的重要性。軟件工程中，采用傳統(tǒng)的大數(shù)據(jù)研究方法，大數(shù)據(jù)的有效分析是不可能的，大數(shù)據(jù)的研究還沒(méi)有取得突破性的成果。因此，目前大多數(shù)軟件不能在短時(shí)間內(nèi)同時(shí)實(shí)現(xiàn)數(shù)據(jù)信息的存儲(chǔ)、數(shù)據(jù)信息的傳輸和有效識(shí)別。在探索第四范式理論和研究方法的過(guò)程中，首先需要對(duì)集成大數(shù)據(jù)的軟件服務(wù)價(jià)值進(jìn)行估計(jì)，拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計(jì)方法，建立新的大數(shù)據(jù)信息統(tǒng)計(jì)方法和分析方法[8]。此外，有必要從多個(gè)方面研究大數(shù)據(jù)的處理，對(duì)大數(shù)據(jù)信息進(jìn)行管理并深入分析，討論大數(shù)據(jù)的價(jià)值以及存在的可變性，這對(duì)軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時(shí)候，必須更新傳統(tǒng)的軟件開(kāi)發(fā)理念，重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展，使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。

在當(dāng)今大數(shù)據(jù)時(shí)代，軟件工程技術(shù)的研究已經(jīng)區(qū)域復(fù)雜。隨著數(shù)據(jù)的指數(shù)的不斷增長(zhǎng)，軟件技術(shù)對(duì)硬件設(shè)備數(shù)據(jù)處理能力產(chǎn)生一定的影響。因此，在對(duì)軟件工程技術(shù)的研究中，就需要對(duì)大數(shù)據(jù)技術(shù)的特點(diǎn)進(jìn)行研究，基于此研究軟件工程技術(shù)，使得硬件設(shè)備的數(shù)據(jù)處理能力有所提高。在研發(fā)開(kāi)發(fā)軟件技術(shù)的過(guò)程中，要從應(yīng)用領(lǐng)域的需求出發(fā)對(duì)大數(shù)據(jù)技術(shù)進(jìn)行分析，在大數(shù)據(jù)開(kāi)發(fā)理論的基礎(chǔ)上創(chuàng)新軟件開(kāi)發(fā)理論，促進(jìn)軟件技術(shù)更好地發(fā)展。

參考文獻(xiàn)