前言:我們精心挑選了數篇優質網絡設計論文文章,供您閱讀參考。期待這些文章能為您帶來啟發,助您在寫作的道路上更上一層樓。
【關鍵詞】搜索引擎;網絡蜘蛛;搜索策略
0引言
近年來,隨著Internet技術的廣泛應用,傳統的通用搜索引擎,如Google、Fast、AltaVista和GoTo等正面臨巨大的挑戰。挑戰之一是Web信息資源呈指數級增長,搜索引擎無法索引所有頁面。據統計,目前Web上靜態頁面的數量超過40億個,而且這一數量還在以平均每天730萬個頁面的速度遞增。在過去的幾年中,盡管各種通用搜索引擎在索引技術、索引數量上有所提高,但遠遠無法跟上Web本身的增長速度,即使是目前全球最大的搜索引擎Google,其索引的頁面數量僅占Web總量的40%;挑戰之二是Web信息資源的動態變化,搜索引擎無法保證對信息的及時更新。近年來的研究表明,Web上的頁面平均50天就有約50%的頁面發生變化,而目前通用搜索引擎更新的時間至少需要數星期之久;挑戰之三是傳統的搜索引擎提供的信息檢索服務,不能滿足人們日益增長的對個性化服務的需要。因此如何設計網絡蜘蛛(WebSpider)來更有效率的爬取互聯網上的內容成為搜索引擎的一個首要問題。在設計網絡蜘蛛時,不僅需要充分考慮到爬取的效率和站點設置的靈活性還要確保系統的穩定性。一個優秀的搜索引擎,需要不斷的優化網絡蜘蛛的算法,提升其性能。本文在分析網絡蜘蛛的工作原理的基礎上,提出了一種基于廣度優先搜索算法的網絡蜘蛛的實現,并對提高網絡蜘蛛搜索效率的相關看法。
由于不可能抓取所有的網頁,有些網絡蜘蛛對一些不太重要的網站,設置了訪問的層數。[2]例如,在上圖中,A為起始網頁,屬于0層,B、C、D、E、F屬于第1層,G、H屬于第2層,I屬于第3層。如果網絡蜘蛛設置的訪問層數為2的話,網頁I是不會被訪問到的。這也讓有些網站上一部分網頁能夠在搜索引擎上搜索到,另外一部分不能被搜索到。對于網站設計者來說,扁平化的網站結構設計有助于搜索引擎抓取其更多的網頁。網絡蜘蛛在訪問網站網頁的時候,經常會遇到加密數據和網頁權限的問題,有些網頁是需要會員權限才能訪問。當然,網站的所有者可以通過協議讓網絡蜘蛛不去抓取(下小節會介紹),但對于一些出售報告的網站,他們希望搜索引擎能搜索到他們的報告,但又不能完全免費的讓搜索者查看,這樣就需要給網絡蜘蛛提供相應的用戶名和密碼。網絡蜘蛛可以通過所給的權限對這些網頁進行網頁抓取,從而提供搜索。而當搜索者點擊查看該網頁的時候,同樣需要搜索者提供相應的權限驗證。
2網絡蜘蛛的設計
根據抓取過程,蜘蛛主要分為三個功能模塊,一個是網頁讀取模塊主要是用來讀取遠程Web服務器上的網頁內容,另一個是超鏈分析模塊,這個模塊主要是分析網頁中的超鏈接,將網頁上的所有超鏈接提取出來,放入到待抓取URL列表中,再一個模塊就是內容分析模塊,這個模塊主要是對網頁內容進行分析,將網頁中所有超標志去掉只留下網頁文字內容。蜘蛛的主要工作流程如圖所示。
首先蜘蛛讀取抓取站點的URL列表,取出一個站點URL,將其放入未訪問的URL列表(UVURL列表)中,如果UVURL不為空剛從中取出一個URL判斷是否已經訪問過,若沒有訪問過則讀取此網頁,并進行超鏈分析及內容分析,并將些頁存入文檔數據庫,并將些URL放入已訪問URL列表(VURL列表),直到UVRL為空為止,此時再抓取其他站點,依次循環直到所有的站點URL列表都抓取完為止。
為了提高網絡蜘蛛的抓取效率,需要引入以下技術。
(1)、多線程技術:由于抓取的站點URL相當多,采用單線程蜘蛛抓取時速度不夠,也不能滿足實際的需要。因而需要多線程技術來創建多個蜘蛛線程來同時抓取,以提高速度。
(2)、網頁抓取:網頁抓取是基于HTTP協議之上的,網頁上的資源有多種,有網頁,有Word文檔也有其他類型的文件,這樣抓取時需要判斷URL所指向資源的類型。
(3)、超鏈分析:超鏈分析是一個比較重要的環節,需要對HTML的各種標志(tag)有一個很全面的了解。需要反復測試,考慮各種情形的發生。
超鏈分析時從網頁里提取出來的是相對于當前頁的相對URL,因而需要根據當前頁的絕對URL將提取的這個URL轉換成絕對URL。在此過程中需要根據ParentURL(就是當前頁的URL)作出各種判斷。
3改進方法
商業化的蜘蛛需要抓取上億的網頁,因而抓取速度是一個關鍵,另外蜘蛛需要自動運行,盡是減少人工的參與,因而系統的性能也是一個很重要的關鍵,系統能夠在發生異常的時候自動進行處理,防止程序的退出和死機。[3]有一些細節需要注意:
系統應該使用多線程,使用多個蜘蛛同時抓取,在可能的情況下,最好是做成分布式的蜘蛛程序,蜘蛛應該分布地網絡上多臺服務器上協同抓取網頁,這樣速度會更快,更符合我們的實際應用。
對于同一網站的網頁應該采用同一個HttpConnection這樣有效地節省創建一個連接的時間,另外對于抓取的URL采用域名緩沖機制(可在網關一級上實現),這樣抓取時減少由域名到IP地址的轉換時間以及重復的域名轉換。若能做到這一步將會大大減少抓取時間,因為訪問一URL時每次都要進行域名到主機IP地址的轉換。
最好是能夠將讀取網頁、超鏈分析及網頁內容分析三部分分開來做,讓它們并行協同工作,這樣效率會更高。因為在這三個過程中網頁讀取比起其他兩個功能來說是一個長任務,最耗時間。當抓取完一網頁后,在抓取下一網頁的時候讓去執行超鏈分析和內容分析。這樣在下一網頁抓取完成之前超鏈分析和內容分析任務就能完成,抓取任務不會延遲,這樣節省了一些時間。
4結束語
我們知道,傳統意義上的廣告是指商品經營者或者服務提供者承擔費用,通過一定媒介和形式直接或者間接地介紹自己所推銷的商品或者所提供的服務的商業廣告。而網絡廣告則是最近幾年來隨著互聯網技術的發展而迅速崛起的一種新的廣告媒介形式。是繼電視、廣播、報刊、雜志等媒介之后新興的一種廣告媒介,有第五媒介之稱。通常認為,網絡廣告是指商品經營者或者服務提供者承擔費用,以互聯網為傳播媒體而和傳播介紹自己所推銷商品或者所提供服務的商業廣告。換句話說,網絡廣告就是在互聯網上的以數字代碼為載體的各種經營性廣告。”
2、基于視覺表現的網絡廣告設計
目前,我們認為有六個要素關系著網絡廣告視覺表現的成敗,決定視覺表現的效果。這六個要素是:背景、圖像、廣告語、字體、色彩、形式。我們也將這六個要素定義為網絡廣告視覺表現優化組合要素。這些要素是根據廣告視覺傳播的知覺原理、注意原理,以及異質心理等原則,并參照廣告視覺語言的構成要素:文字、形象、色彩、空間來設定的。
2.1整體背景,反襯差異。網絡廣告主要是傳遞文字與圖片,它傳播及時,能以最快的速度給消費者明確地傳遞廣告信息,并能反復連續地進行反映。但是,網絡廣告所在的網頁內容較多,容易分散網民的注意力,再加上目前網絡廣告自身內容較多,這都使網民注意力不能集中于焦點。為了解決這一問題,我們認為,網絡廣告自身應該運用整體背景,變害為利,以網頁的雜亂反襯出廣告的整體感,凸現廣告。這里所說的整體背景,是指廣告以整幅連續的畫面,或統一的底色作為貫穿始終的唯一背景。而不是將幾個圖像拼接在一起,或更換背景及色彩。網絡廣告在出現形式上具有報紙廣告的空間特點,又由于多媒體技術的運用,大多數網絡廣告又具有電視廣告的時間特點,因此,它的背景既是可換的,又應該是統一的、整體的。但是,目前網絡廣告所面對的情形剛好相反。
網頁是網民知覺的主體,是突出在前面的,被網民清楚地知覺到,而網絡廣告則是模糊的、朦朧的,是次要的知覺對象。之所以會造成這種現象,是因為目前的網絡廣告已經“隱身”在了網頁中:網頁上信息過于龐雜,使網民眼花繚亂,而廣告如果也是以一塊文字、一個小圖案的形式出現,勢必會被隱藏在大量信息中,得不到突出。網民的知覺不能選擇性地注意廣告,當然就達不到視覺傳播的效果。而如果將廣告置于一個整體的背景中,情況就會完全不同。網絡廣告占有的空間是一般信息的十幾到幾十倍,如此大的空間,如果聯成一片,擁有統一的背景,其視覺表現效果當然也會比一般信息的效果強十幾到幾十倍。
2.2加入圖像,3B原則。信息要能為人們所接受,一個重要的前提就是必須具有較強的沖擊力或要使接受者感興趣。受眾在注意某一對象時,一般平均五秒,能保持二十秒的很少。一個網絡廣告,能引起人的注目,這是傳達成功的第一步,而若要引人注意,最重要的是第一感覺,開始的1/10秒鐘的瞬間最關鍵。“3B”是Baby、Beauty、Beast的縮寫,“3B原則”是指運用嬰兒(Baby)、美女(Beauty)、動物(Beast)這三個引人注目的形象進行廣告傳播,可以起到事半功倍的效果。“3B”作為目光捕捉物有利于吸引“眼球”,也有利于主題和創意的表達,能起到良好的點題和烘托的作用。網絡廣告中運用“3B”形象,不僅能增強畫面的吸引力,而且會在網民心目中建立個性形象,留下難以忘記的印象。特別是人物的動作和表情具有傳情達意的功能。動作與表情是構成人類行為的形式基礎,也是行為的表達方式,它同語言符號一樣,也是一個表意符號系統。在廣告視覺設計中,運用人物的動作語言能提高畫面的被注意值,能更有效地傳遞廣告信息。
2.3神聚標語,畫龍點睛。主題廣告語是一則廣告的“神”,它以凝練的形式完整、形象地概括廣告內容、廣告主旨,并形成易于傳播和記憶的語言。對于網絡廣告來說,廣告語也同樣重要,它是吸引視覺的一個重要元素。網絡廣告的主題廣告語應該做到以下幾點:(1)、簡潔有力。由于網絡廣告的平面空間有限,因此主題廣告語應該簡潔清晰,用最少的字說出最引人的話語。而且應該有震撼力、感染力或激發力,這樣才能捕捉到網民的目光,并吸引他們點擊廣告。(2)、語言富有生活氣息。語言要生活化,這是一般廣告語都應該遵守的原則,特別是在網上,只有用網民的語言才能贏得網民的點擊。(3)、形式刺激主題廣告語應使用較醒目的顏色,比如紅色、黃色、黑色、藍色等,來刺激網民的視覺。字體上,應該運用美術字體或變體,以突出商品、品牌或廣告的個性。
2.4巧用字體,展現性格。在網絡廣告中,文字不宜被用作主要的目光捕捉物。這是因為網絡廣告所在的背景,即網頁本身是以大量文字組成的,如果以文字作為網絡廣告的主體,勢必會造成廣告與網頁混為一談,網民不能迅速、清晰的發現廣告,當然會減弱廣告對網民的沖擊。所以,我們認為網絡廣告中文字的主要作用是說明和輔助畫面,但是,這并不代表我們就不追求文字的美,恰恰相反,在網絡廣告的制作中,我們應該巧用字體,以字體的形象個性、風格特點去闡釋企業、產品的性格風貌,強化網絡廣告帶給人們的視覺沖擊。不同字體能傳達不同的情感,傳達不同的內容和經營理念,究其原因主要是與文字形象的外形特征和筆畫特征有關。字體設計是以字體間組合形式的相互關系來體現主題的。作為網絡廣告視覺設計的一個重要元素,字體構成的功能和其藝術性是融為一體的。網絡廣告圖形中的字體設計,不僅要向人們傳達廣告的信息,還要使受眾在從字體排列的形式中得到美的感受。
2.5色彩反差,凸現廣告。色彩在廣告語言中扮演著非常重要的角色。成功的廣告色彩設計,不僅能引起受眾的注意和興趣,正確地傳達商品和勞務信息,激發購買欲望,而且還能塑造商品和企業的良好形象。在網絡廣告的色彩使用上,我們主張運用“色彩反差”的方法,來凸現廣告自身。我們所說的“色彩反差”是根據色彩配置基本規律中的對比規律提出的。對比是色彩關系中的普遍現象,是指人的視知覺得到兩種以上的色彩感覺相互作用的表現。兩種以上的色彩放在一起,就會產生色相、明度、彩度、冷暖、面積等性質差異對應關系。因此就會有色相對比、明暗對比、彩度對比、冷暖對比、面積對比等。
2.6嘗試新的廣告形式。廣告的注目率、閱讀率是最重要的廣告效果指標。而廣告注目率、閱讀率的高低,常與廣告表現,廣告創意呈正比。一般而言,廣告表現突出,廣告創意吸引人,都會達成較高的廣告效果。我們可以通過三方面增加網絡廣告視覺創意。(1)、廣告形狀與尺寸的創新。目前,網頁上出現的多是長方形、尺寸固定的廣告,這種廣告形式固然已經十分成熟,而且利于管理和收費,但是也造成司空見慣、審美疲勞的害處。廣告商和廣告主可以嘗試著改變這種現狀,使網絡廣告更加形式新穎、引人入勝。如將廣告形狀做成菱形、五角星形、心形、三角形等等。在不危害網民利益的前提下,改變廣告的形狀與尺寸可能會起到意想不到的效果。(2)、表現形式的創新。我們可以運用一些出人意料的廣告形式來增加廣告的點擊率。雖然這種廣告表現形式有欺騙之嫌,但廣告主卻達到了廣告效果,網民都注意到了這樣一則廣告。雖然我們并不提倡這種廣告形式,但是可以借鑒它的創意思想,想別人所未想,做別人所未做,跳出原來網絡廣告創意的老框框,尋求新鮮的廣告表現形式。(3)、技術效果的創新。據計,旗幟廣告和彈出廣告中分別有近67%和34%的廣告運用了閃動效果,達到了較強的視覺表現效果。無論是文字的閃動,還是圖像的閃動,這種異常的處理效果肯定比無閃動的廣告更吸引目光。除了文字效果的改進外,我們還可以利用動畫、音效等設計元素,使網絡廣告更為生動有趣。
3、結論
隨著互聯網絡的進一步發展,網民數量不斷增加和網民結構的進一步成熟,將會有更多的個人和企業接受網絡廣告的跨時空、跨地域、圖文并茂、雙向傳播信息的超凡魅力,網絡廣告視覺表現的逐步增強,也將使網絡廣告成為一種具有藝術性、審美性和巨大商業潛力的現代廣告形式。
參考文獻:
1、RonGoldberg著.呂本富、王玉巧等譯.多媒體制作與經營寶典.北京:電子工業出版社.1998.5
2、S.加薩韋等著.楊旭東等譯.多媒體Web站點設計.北京:科學出版社.2003.2
3、宋才發.WTO規則與中國網絡著作權的法律保護.《商丘師范學院學報》.2004年第1期
1.1活動向導作用簡介為了方便教學活動的開展,PacketTracer特意為學生和教師添加了一個有用的工具:活動向導。通過活動向導可以使教師非常方便地為學生創建一個非常具體的網絡環境,然后讓學生完成這個網絡的搭建與配置。通過活動向導可以對考題進行分數的設置,一般情況下每設置一個知識點系統就會給這個點設置1分,而該考試題的總分要視該試題所包含的知識點的數量來決定[1]。當我們進入如圖1所示的活動向導對話框以后,可以看到左邊有10個按鈕,它們分別對應10種不同的功能。⑴【Welcome】是歡迎界面,這個界面對活動向導的功能進行了比較系統的介紹。⑵【VariableManager】是變量管理器。⑶【Instructions】是文字編輯器,教師命題的文字和圖片部分就在這里進行編輯。⑷【AnswerNetwork】按鈕可以打開一個的窗口,在這個窗口中教師可以為自己設計的網絡給出答案。⑸【InitialNetwork】按鈕可以打開一個界面,通過這個界面可以設置一個網絡讓學生來完成搭建和設置。⑹【Password】按鈕可以為我們設計的網絡問題添加密碼。⑺【TestActivity】按鈕可以打開PacketTracerActivity窗口,在這個窗口中有我們為問題網絡編寫的說明,也有測試該網絡是否正確的按鈕和重置網絡的按鈕。⑻【CheckActivity】按鈕的功能與【TestActivity】按鈕基本一樣。⑼【Save】按鈕的功能是將編寫好的網絡問題保存在磁盤中,文件的擴展名是pka。⑽【Exit】按鈕是當我們結束問題的編輯工作時用來退出活動向導界面返回PacketTracer的界面。
1.2HTML基本使用介紹在活動向導中操作指南是設計網絡評估測試題的一個重要環節,通過操作指南用戶可以知道應該怎樣搭建和設置網絡。在操作指南的圖文編輯中,有不少HTML語言的標簽,這些標簽寫在尖括號中,在文字的前后各有一個,成對出現,這就是我們所說的HTML語言的標簽。與此同時,活動向導為網絡試題提供試題答案管理器這項功能。在將設計的網絡連通后,會出現一個樹狀結構,在這個結構中,我們可以為這道網絡測試題添加所需測試的內容,也會為每一個內容設置分值。在樹形結構列表中FeedbackWhenIncorrect欄是錯誤操作信息反饋欄,教師可以在這一欄中編寫一些反饋信息,如果學生在這項操作中出現了錯誤,那么系統會把教師所編輯的反饋內容顯示出來,這樣可以給學生一些提示[2]。
2PacketTracer具體實驗案例
PacketTracer模擬器中現有21個實驗的學習練習題以及對應的測試題,可供教師在教學、作業、測驗中隨意使用。每個實驗,模擬器都會提供相關的知識、實驗拓撲中的路由器IP地址方案以及實驗任務和配置過程。根據要求,學生可以進行連線,當完成連線后,學生可以知道自己的完成情況,也可知道所得的分數。以下是其中兩個實驗案例。
2.1RIP路由協議相關實驗設計實驗設計思路及背景:RIP是路由信息協議,是使用最廣泛的距離矢量路由協議。和其他的距離矢量選擇協議一樣,它也是遵循距離矢量選擇協議的規律,RIP每隔30秒就發送自己完整的路由表到所有激活的接口[3]。為了加強對該協議的學習,本次設計考慮到了RIP協議一些重要的特性,如版本1不支持不連續的網絡;版本2默認時不接受版本1的更新信息等等[4]。根據這些特性,本次設計的理念是想辦法解決這些問題,使這些功能能夠實現。實驗設計拓撲:根據實驗需解決的問題,RIPv1與RIPv2之間路由選擇的解決方案如圖2所示。實驗設計要點:⑴掌握RIPv1和RIPv2的基本配置。⑵掌握如何讓RIPv1和RIPv2兼容。在屬于RIPv2網絡并連接RIPv1網絡的接口上執行命令,可以使得RIPv2網絡接收版本1的路由信息,從而實現RIPv1和RIPv2網絡的兼容。實驗需達到的效果:希望通過兩個實驗設計的全過程讓學生更加熟悉RIPv1和RIPv2的差異性和統一性,在今后路由協議的運用中做到游刃有余。實驗主要涉及協議:路由信息協議是一種使用最廣泛的內部網關協議,是在內部網絡上使用的路由協議(在少數情形下,也可以用于連接到因特網的網絡),它可以通過不斷地交換信息讓路由器動態地適應網絡連接的變化,這些信息包括每個路由器可以到達哪些網絡,這些網絡有多遠等[5]。RIP是由“網關信息協議”發展過來的,可以說網關信息協議是RIP的最早版本。后來的一個版本才被命名為“路由信息協議”,是Xerox網絡服務協議簇的一部分[6]。
2.2OSPF協議相關實驗設計本次實驗設計思路及背景:OSPF協議是一個鏈路狀態協議,其分層次的概念深受許多企業的青睞,在許多企業網絡、校園網絡中OSPF都是網絡規劃師優先考慮使用的路由協議。基于該協議使用的廣泛性和實用性,就有了本次實驗設計的構想。實驗設計拓撲如圖3所示。實驗設計要點:希望學生深刻理解區域的概念。OSPF提出了“區域”的概念,一個網絡可以由單一區域或者多個區域組成。其中一個特別的區域被稱為骨干區域,該區域是整個OSPF網絡的核心區域,并且所有其他的區域都與之直接連接[7]。⑴掌握OSPF基本配置。⑵理解DR和BDR的選舉過程并控制選舉。同一個廣播域的路由器或者一個點對點連接的兩端的路由器,在發現彼此的時候,建立鄰接[8]。OSPF協議同時使用單播和組播來發送Hello包和鏈路狀態更新,使用的組播地址為224.0.0.5和224.0.0.6。與RIP和BGP不同的是,OSPF協議不使用TCP或者UDP協議而是承載在IP協議之上,IP協議號為89,工作在OSI模型的傳輸層[9]。⑶多路訪問網絡以及非廣播多路訪問網絡的路由器會選舉指定路由器(DR)和備份指定路由器(BDR),DR和BDR作為網絡的中心負責路由器之間的信息交換從而降低了網絡中的信息流量。OSPF協議同時使用單播和組播來發送Hello包和鏈路狀態更新,使用的組播地址為224.0.0.5和224.0.0.6[10]。
3實驗結果歸納及問題分析
3.1設計結果歸納本次設計實現了兩方面的功能,一方面是教師編寫基于PacketTracer的路由器配置的測試題目,設置分值,設置測試時間及管理密碼等,并且可以跟蹤檢查學生對于路由器配置的掌握程度,方便輔導學生;另一方面,學生通過這樣的測試系統可以在做題的過程中了解自己配置的進程,還可以一邊配置,一邊檢查,方便自測,查找配置缺陷、網絡連通障礙等等。盡管在時間以及操作上對考生做了限制,采用PacketTracer來進行實驗反倒能加快學生對知識的掌握速度,避免了將很多時間浪費在物理硬件設備的連接和調試上。
3.2設計中所遇問題分析本次設計中主要做的就是展現PacketTracer相對于其他網絡模擬器的優勢方面,從而為將PacketTracer應用于計算機網絡實驗課程的教學做適當的鋪墊。系統設計還存在欠缺,有很多模塊操作還不夠人性化,對很多錯誤信息的處理還不夠全面。所開發的PacketTracer軟件也有一定的限制,比如說在實現控制列表方面,不能夠使用自反控制列表等。
4結束語