1000部丰满熟女富婆视频,托着奶头喂男人吃奶,厨房挺进朋友人妻,成 人 免费 黄 色 网站无毒下载

首頁 > 文章中心 > 近視眼預防方法

近視眼預防方法

前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇近視眼預防方法范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。

近視眼預防方法

近視眼預防方法范文第1篇

每一次時代的進步,都離不開通信手段的變革。很久以前,古人便發明了烽火、鼓聲、旗語來傳遞信息。但無法打破的地域阻隔,拉長了人們的距離,歲月因等待而漫長。在電被發明之后,人類的通信史發生了革命性的變化,從電話到手機,人與人之間的距離越來越近。現代移動通信技術的發展始于20世紀20年代,經歷了五個重要階段,經過近百年的發展,造就了目前無處不在的無線網絡世界。伴隨著互聯網時代的到來和信息技術、移動通信技術的迅速發展,移動通信技術的發展已經到了一個特定的階段――移動互聯網時代。隨著下一代移動通信時代來臨及物聯網技術的成熟,剛剛穩定的通信行業格局將再一次被打破,傳統運營商之間的競爭日趨激烈,傳統運營商與虛擬運營商之間不斷開始上演著合作和博弈、對立和融合,一場關乎商業模式的縱橫捭闔“時代大劇”正在上演,并推動著時代向新的高度邁進。

2 移動通信技術發展歷程

第一代移動通信技術(1G)誕生于20世紀70年代到80年代,主要采用模擬技術。它使移動通信走下神龕,真正進入個人領域。然而,囿于技術的限制,它只能用于本地通話,無法進行長途漫游,數據業務更無從談起。第一代移動通信技術的通訊工具主要為“大哥大”,在當年,擁有一部大哥大,絕對是身份的象征。2000年中國移動成立后,第二代移動通信技術(2G)迅速在全國普及,2G技術完成了模擬向數字的演變,手機開始有了收發電子郵件、互聯網瀏覽等功能。這一時代讓手機這個以往的奢侈品飛入尋常百姓家,“人手一機”成為當時社會最普遍的現象。就在人們認為手機不過是用來打電話、發短信的時候,3G時代的到來,徹底顛覆了這種傳統觀念。與前兩代技術相比,第三代移動通信技術(3G)傳輸速率和質量大幅提高,手機屏幕變得豐富多彩、有聲有色。3G將無線通信與互聯網融為一體,提供網頁瀏覽、收發郵件、視頻會議、電子商務等豐富多彩的移動多媒體業務,給人們帶來前所未有的“移動生活”新體驗。4G的到來,更讓一切有了新的突破,與3G的漸進式發展不同,4G從一面世便呈現爆炸式發展,并向各行業廣泛蔓延。4G的速度是3G的10倍乃至幾十倍,移動互聯網可以拓展的空間更大了,所有終端都可以連接到互聯網上。移動互聯網拉近了時間和空間,產生了豐富多彩的內容應用,像高清視頻、流行音樂、移動游戲等,通過網絡的變革,給更多的消費者帶來越來越豐富的服務體驗,并且帶動了新的網絡產業的出現,越來越多的創業者投入其中。

3 通信行業發展格局

眾所周知,目前我國共有三家傳統電信運營商,移動、電信、聯通成三足鼎立之勢。數據顯示,三大傳統電信運營商移動用戶數達到12.9億,意味著94.5%的中國人是手機用戶。[1]傳統電信運營商擁有龐大的用戶群、雄厚的資金實力、強大的運營能力。他們的盈利模式較為簡單直接,主要通過建造基礎網絡,營銷基于通信網絡的基礎產品,比如語音、流量、專線等業務;同時也運營增值業務,如短信、手機報、鈴聲下載、彩鈴等業務,依托強大的網絡支撐和穩定的客戶群保持穩定的盈利模式,但存在經營理念固化、產品創新性不足的問題,與虛擬運營商的競爭中往往不被看好。

與傳統電信運營商不同,虛擬運營商自己不建造基礎網絡。它們一般采用在傳統電信運營商基礎網絡和產品的基礎上來設計自己的產品。與傳統電信運營商相比,企業理念先進、經營方式靈活多變,產品創新性強,但對傳統電信運營商的基礎網絡有著絕對的依賴。虛擬運營在我國剛剛出現不久,但在國外已經開展多年。截至目前,全球共有1200多家虛擬運營商,主要集中在歐洲和北美等發達地區。在這些地區,虛擬運營商的市場規模占整體市場份額可達到7%~10%,而其他市場的規模較小,僅有3%左右的占比。[2]我國的虛擬經營業務起步晚,但發展速度迅猛。目前我國已向42家虛擬運營商牌照,移動通信行業正在由三足鼎立時代走向群雄逐鹿時代。

虛擬運營商應運而生,順應了移動互聯網時代的大趨勢,其發展有助于使移動互聯網更開放、應用更豐富、客戶體驗更好,同時也存在一定的問題。也就是說,既有好的方面,也有不好的方面。好的方面,一是培育市場新需求。與傳統電信運營商總是愿意關注企業和客戶群的穩定不同,虛擬運營商則更愿意開展創新性的客戶需求研究和開發,因而培育了新的市場空間,促進移動互聯網市場日趨繁榮。二是轉變產業新模式。虛擬運營商的到來,為通信行業競爭注入了新活力、新色彩、新對抗及新合作,迫使傳統運營商不得不提升能力,加快轉型,加快技術革新和產品創新,有利促進了移動通信行業更快地發展。三是創新產品多樣化。虛擬運營商具有天生的創新精神和個性,它的加入會使得市場更加多樣化、個性化,越來越多的針對性的個性化產品和服務將會被創造出來,給消費者帶來前所未有的多樣化選擇和個性化新體驗。不好的方面,一是管理困難。越來越多的虛擬運營商加入通信行業,市場規范化將面臨難題,市場監管部門的管理能力受到考驗;二是消費者信息泄密問題。第一個問題直接導致第二個問題的出現,同時,各家虛擬運營商信息安全防范水平不一,對消費者產生不利影響。

4 物聯網時代的思考

隨著4G技術的不斷成熟升級和移動互聯網產業的不斷升華,隨時隨地打電話、上網、定位導航、共享內容和服務等傳統意義上的人與人之間的通信需求已得到極大滿足,人與人之間的通信已被現代技術發揮到了極致。下一步,通信需求直接指人與物、物與物之間的互聯通信,萬物互聯的時代已經開啟,物聯網、云數據、超高速率、智能通信將是未來的主題,我們的生活將再一次迎來翻天覆地的變化。未來五年內,將會有100億~200億智能設備連接互聯網,這些設備的數量將遠遠超過今天我們的人口。[3]可以想象,當你在下班的路上,拿起手機對家里的電器發送一個指令,到家后你家的電飯煲做好飯,熱水器燒好熱水。你也可以在出門前就通過手機知道上班的路上交通狀況如何,從而選擇一條最方便快捷的路線去上班。還可以通過網絡實時了解一切你關心的事物的進展情況,并進行實時干預。

近視眼預防方法范文第2篇

1.“遞進循環式”教學的內涵

“遞進循環式”教學屬于一種循序漸進式的教學方法。該方法的核心就是教師以某個主題技能為中心,通過某主要知識點引出其他相關知識點,并以此循環不斷推進教學內容,從而引導學生不斷高效掌握新的知識內容。

2.“遞進循環式”教學的特點

在傳統的小學語文教學中,很多相關理念已不再適用于現代多元化的社會發展,更不利于小學生的學習和成長。很多教師在教學中只顧強調重復背誦和書寫。這不僅使得語文教學變得枯燥,而且容易使學生大腦產生疲勞。而“遞進循環式”教學具有以下兩大特點:

(1)知識面得到拓展。“遞進循環式”教學注重將課堂與現實結合。教師可以引導學生以課堂內容榛本點,從而進行課外知識拓展,并通過課外的見聞來幫助學生理解以及記憶課堂內容,這無形中為課堂教學補充了大量課外素材,從而提升了課堂效率和質量。

(2)記憶更容易。“遞進循環式”教學主張“滾動式復習”,在學習新知識的同時強化對舊知識的再學習,對一份語言材料進行反復閱讀和理解,從而加深理解、強化記憶、深化應用,這使學生對知識點的記憶變得更容易。

二、“遞進循環式”教學方法的應用

1.識字方面

首先,課堂上對識記生字進行分步教學,讓學生讀課文以對生字有一個初步的了解,對重點的生字詞進行識記,給生字注音以及讓學生將其與造句相結合運用,回歸課文理解生字詞的意思并再次進行朗讀。

其次,“遞進循環式”教學方法使得學習氛圍更加輕松活潑,這種讀記相結合的方式,不僅帶動了教學氛圍,也讓學生在不斷學習和鞏固中記住了生字,從而大大提高了學習效率。

最后,對于小學生而言,理解課文并非難事,因此不需要對文章內容做過多的分析,這樣只會讓他們覺得枯燥無味。而通過識讀教學的模式既可以幫他們識記生字,同時又能增強他們的語感,提高他們的言語表達能力,寓教于樂,才能讓課堂變得簡單有趣。

2.閱讀方面

傳統閱讀教學只注重對內容和字詞的分析,而在一定程度上忽略了閱讀對言語表達能力的培養,這就使得學生語言表達能力有所欠缺,這種閱讀教學是不完整的、低層面的。現代的語文教師應更注重對學生語言表達能力和閱讀興趣的培養,進而對文章進行分析理解。如《風娃娃》這篇課文講述的是風娃娃去幫助別人,卻不料好心辦了壞事,文章告訴我們,在現實生活中,不要好心辦壞事,幫助別人的時候不要從自己的角度出發,應該站在別人的立場,多動腦。大多數教師會先帶學生學習生字詞,然后帶學生理解課文內容,采取生搬硬套的方法,然后告訴學生這其中的道理,而忽略了閱讀中的豐富語言表達,沒有使閱讀教學發揮應有的效果。在閱讀教學中,我們應該整體感知課文,應該讓學生多讀,從讀中去感悟、思考,然后引導學生進行模仿創作,注重語言的積累以及方法的運用,從而激發學生的閱讀興趣,為學生理解文章的思想感情做鋪墊,同時也可培養學生的語感和言語表達能力。

3.寫作方面

在小學語文教學中,學生由于掌握的詞匯量和句子并不多,經常在寫作中出現錯別字、病句等。一旦學生在寫作中頻繁出現錯別字,就會打擊學生學習的積極性,降低學生的學習興趣。教師可以采用“遞進循環式”的教學方法,引導學生養成在閱讀中積累好詞好句的習慣,增強自己的知識儲備和語言積累,為作文寫作打下堅實的基礎。

“遞進循環式”教學方法引入課堂教學中,不僅能在很大程度上有效地活躍課堂教學氛圍,調動學生學習的積極性,提高小學語文課堂教學的效率,也是新時期促進學生全面發展和促進我國教育事業深化改革的內在要求。

參考文獻:

[1]黎康華.小學高效課堂實踐研究[D].武漢:華中師范大學,2014.

近視眼預防方法范文第3篇

【關鍵詞】 物聯網概念實質演進規律挑戰機遇

【Abstract】 Based on deep identification of the conception and character of the Internet of Things (IoTs), the paper argued that “the Internet of Things is the intelligent information network connected to physical objects”. After the retrospect on evolution history and intrinsic rules of IoTs’ development from the perspective of information technology progress, concentrating on the construction of new generation network infrastructure and the breakthrough of key technologies, it disclosed the challenge and opportunity encountered by IoTs in future development, as well as which implications to our country.

【KeyWords】 Internet of Things(IoTs);Conception and Character; Evolution Rules; Challenge and Opportunity

2012年7月的《“十二五”國家戰略性新興產業發展規劃》明確提出實施物聯網與云計算創新發展工程。世界范圍內看,2009年以來,包括美國、歐盟、日本在內的發達國家相繼出臺物聯網發展戰略與相關行動計劃,標志著物聯網技術與產業在經過早期的宣傳“熱潮”之后,其發展正漸趨理性與務實。但與此同時也應看到,在對物聯網內涵實質、發展規律、挑戰機遇等重要問題的研究上,仍然存在許多含混不清的認識,甚至是帶有誤導性的觀點。本文試圖就上述問題進行深入討論,為加速物聯網推廣應用與產業健康發展提供參考。

1 物聯網的概念與實質

物聯網(The Internet of Things)的概念最早是由麻省理工學院Auto-ID實驗室的Ashton于1999年提出的。當時的定義是:把任何物品通過射頻識別(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備,按約定的協議與互聯網連接起來,進行信息交換和共享,以實現智能化識別和管理的一種網絡[1]。

2005年國際電信聯盟(ITU),正式提出了“物聯網”的概念。報告指出,無所不在的“物聯網”通信時代即將來臨,世界上所有的物體從輪胎到牙刷、從房屋到紙巾都可以通過因特網主動進行交換。射頻識別技術(RFID)、傳感器技術、納米技術、智能嵌入技術將到更加廣泛的應用[2]。根據ITU的描述,在物聯網時代,通過在各種各樣的日常用品上嵌入一種短距離的移動收發器,人類在信息與通信世界里將獲得一個新的溝通維度,從任何時間任何地點的人與人之間的溝通連接擴展到人與物和物與物之間的溝通連接。然而,ITU的報告對物聯網缺乏一個清晰的定義。

2009年9月15日,歐盟第7框架下的RFID和物聯網研究項目組研究報告,給出了對物聯網的明確定義:物聯網是一個動態的全球網絡基礎設施,它具有基于標準和互操作通信協議的自組織能力,其中物理的和虛擬的“物”具有身份標識、物理屬性、虛擬的特性和智能的接口,并與信息網絡無縫整合。物聯網將與媒體互聯網、服務互聯網和企業互聯網一道,構成未來互聯網[3]。

我國著名物聯網專家、中科院院士鄔賀銓認為物聯網中的“物”應該是“Anything that can be connected and would benefit from being connected will be connected”。意即物聯網應該是把一切有用的且能連接的“物”連接起來,而不是萬事萬物。鄔賀銓院士進一步指出:物聯網相當于互聯網上面向特定任務來組織的專用網絡(VPN)。與其說物聯網是網絡,不如說物聯網是業務或應用,物聯網是互聯網應用的拓展[4]。

總結起來,目前學術界和實踐界對物聯網的認識,主要有三類觀點,其中主流并為人們所廣泛接受的是“網”的觀點,即將物聯網視為互聯網發展的高級階段,或將其視為一種新型的網絡基礎設施,強調物聯網是互聯網的自然演進,是將作為物理實體的“物”接入了互聯網。第二種是“聯”的觀點,主要從技術角度出發,強調物聯網的關鍵在于物物“聯接”,強調物與物之間的互聯、互通與互操作,從而將無線傳感技術、近場通訊技術、衛星通信技術等與互聯網技術相并列的信息技術視為物聯網的基礎和關鍵技術。第三種是“物”的觀點,強調通過物聯網聯接起來的“物”應具有獨特的特征,即能夠自我感知或感知“他物”(對象或環境),能夠與其他“物”相通訊,能夠自我控制(自動化)或控制“他物”(智能化),即不僅能夠實現“物感”“、物聯”、同時也能實現“物控”。

筆者認為,“物聯網”的實質應是“物”,“聯”,“網”三者的結合,簡單的說,物聯網就是“連接到物理對象的智能信息網絡”。這個概念有四層含義:第一,物聯網的核心和基礎仍然是信息網絡,但這里的“網絡”是指將所有物物相連、人人相連、人物相連并形成網絡(即非“點對點”連接,而是“多對多”連接)的情況都納入了“互聯網”的范疇;第二,物聯網將用戶端延伸和擴展到了任何物品與物品之間、以及人與物品之間,將人與人之間的信息通訊擴展到了物與物之間,人與物之間的信息交換和通訊;第三,物聯網依托的網絡具有智能屬性,它一方面可以對接入物聯網的各類“物”(物理終端)進行實時監測、智能控制與自動操作,同時它本身又具有自我配置、自我優化、自我修復與自我保護的功能,屬于一類智能網絡;第四,接入物聯網的“物”是一類特殊的物,是具有“智能”的物理終端,應具備物感、物聯與物控的功能。按照上述比較嚴格的要求,接入到物聯網中的“物”實際上接近于一個“微型智能機器人”,微處理器相當于它的“大腦”,信息接收(傳感)器、信息發送器相當于它的“五官”,動作執行器相當于它的“四肢”。與過去不同的是,基于信息技術和納米技術的巨大進步,今天我們完全有可能在極小的物理載體上集成這些功能。

近視眼預防方法范文第4篇

關鍵詞:人臉識別;人臉檢測;神經網絡

中圖分類號:TP18文獻標識碼:A 文章編號:1009-3044(2011)04-0862-02

The Research and Improvement of the Face Recognition Method Based on the BP Neural Network

FANG Xu

(PLA Chongqing Communication College, Chongqing 400035, China)

Abstract: The recognition of human faces is an important subject in the area of the computer pattern recognition, which has a wide range of applications. And the key is face detection and feature extraction. In this paper, we use BP neural network for the feature extraction and recognition, the choosing principle of the number of hiding layer cells are proposed, the initial values setting principle are also discussed. And the BP algorithm is improved. It improves the precision, reduces the training time and the calculation.

Key words: face recognition; face detection; neural networks

近年來,在計算機視覺和模式識別領域中,對人臉識別系統的研究變得非常活躍。作為人類幾個重要外在鑒別特征之一,人臉識別對自動鑒別和人類自動分辨有著重要的意義。相對于指紋識別和虹膜識別來說,人臉識別有著其特殊性,即人臉圖象受其成象角度、光照條件等外界因素的影響較大,所以人臉識別起來難度也較大。

現階段的人臉自動識別系統包括兩個主要技術環節:一是人臉的檢測與定位,即判斷一幅圖像中是否有人臉。如果有,定位每張人臉具置。二是人臉特征的提取與識別。包括對人的眼睛,鼻子,嘴部區域的定位以及對人臉圖像輪廓線的提取。研究表明,用BP神經網絡進行特征的提取和識別,由于其良好的速度,識別率,容錯能力和并行計算能力,得到了廣泛的應用。

1 BP神經網絡

BP神經網絡是一種按反向傳輸算法(Back Propagation)訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一。它是一種能向著滿足給定的輸入輸出關系方向進行自組織的神經網絡。當輸出層上的實際輸出與給定的輸入不一致時,用最速下降法修正各層之間舊的結合強度,直到最終滿足給定的輸出輸入關系為止。由于誤差傳播的方向與信號傳播的方向正好相反而稱為誤差反向傳播神經網絡。

識別過程就是根據特征向量進行分類的過程,識別器實際上就是分類器。針對人臉圖像識別問題,選用BP網絡模型來設計分類器。理由如下:第一,人臉模式輸入向量的維數經過特征提取之后已經不是很高。第二,BP算法成熟簡單,可選擇的余地比較大。最后輸入樣本空間經過特征提取后其聚類性能已經有所改善,對BP算法進行適當改進,則會使得訓練時間不長。

2 BP算法

2.1 BP網絡的輸入與輸出

BP 網絡由輸入層,隱含層和輸出層構成,相鄰層之間用神經元權互聯,同一層內的神經元無連接。

對于輸入層來說,輸出與輸入相同,即Oi= Xj。隱含層和輸入層的輸入輸出關系特征為:

Netj = ∑WjiOi

Oj = f(Netj)

其中,Wji表示前一層的神經元i到本層的神經元j的連接權值,Oj為神經元j的輸出,Netj表示神經元j接收到的總輸入,在函數f的作用下產生輸出Oj,f常取sigmoid函數:f(x)=1/(1+e-x)

2.2 隱含層神經元數的選擇

通過輸入層與隱含層之間的連接權值的“自組織化”,隱含層起到對輸入模式進行特征提取的作用,然后將提取的特征傳給輸出層。隱含層神經元數目過少不能使得網絡建立復雜的判斷界,過多則使得學習時間過長,影響效率,所以采用如公式(1)求出隱含層神經元數:

(1)

其中m為輸出神經元數,n為輸入神經元數,a為1―10之間的常數。

2.3 BP網絡的學習算法

BP網絡的學習算法為:

1)初始化權值,每個權值的初始化值設置為為(0,1)之間的隨機數。

2)輸入訓練樣本及期望輸出值。

3)逐層計算各層的輸出。

4)從輸出層開始,調整權值,并反向傳播誤差值。

5)如果誤差小于設定的值,則算法結束。如果大于所設定的值,則轉向3, 繼續學習。網絡訓練結束達到穩定狀態后,保存網絡的連接權值,以用于后面的識別。

其中,學習速率決定每一次循環訓練中所產生的權值變化量。大的學習速率有可能會導致系統的不穩定,但是小的學習速率導致較長的訓練時間,可能收斂很慢,不過這樣能保證網絡的誤差值不跳出誤差表面低谷而趨于誤差最小值。所以一般情況下傾向于選擇較小的學習速率以保證系統的穩定性。學習速率的范圍是0.01-0.8。

3 BP算法的改進

雖然BP網絡得到了廣泛的應用,但是它并不是十分完美的網絡,主要包含以下一些缺陷:

1)由于學習速率是固定的,因此網絡的收斂速度慢,需要較長的訓練時間。而這種長時間和不確定的訓練過程,對于一個比較簡單的問題,有的時候需要幾百甚至上千次的學習才能收斂。對于復雜的問題,可能需要更長的時間來訓練這個網絡。

2)BP算法可以使權值收斂到某個值,不能保證收斂到全局最小值,容易陷入局部極小值。

3)網絡麻痹現象。在訓練過程中,加權調得較大時,可能迫使所有的或大部分節點的加權和輸出較大,從而工作在S型激發函數的飽和區,此時激發函數的導數處于非常小的區域。由于在計算權值修正量的公式中,各層誤差正比于激發函數的導數,當導數趨于0時,各層誤差趨向于0,相當于調節過程停滯。容易造成網絡達不到指定的誤差,訓練不出來 。

4)網絡隱含層的層數及每層的節點數的選取尚無理論上的指導,而是根據經驗 確定。因此,網絡往往有很大的冗余,無形中增加了網絡學習時間。

5)網絡的學習、記憶具有不穩定性。一個訓練結束的BP網絡,當給它提供新的記憶模式時,將使已有的連接權打亂,導致已經記憶的學習模式的信息消失。要避免這種現象,必須將原來的學習模式連同加入的新模式一起重新進行訓練,而且要求新加入的模式的特征數目與原模式特征數目相同。

為了擬制迭代過程的振蕩,可以在每次對連接權進行校正時,按一定比例加上前一次學習時的校正量,即增加附加動量項。這樣連接權變為:

Wij(N+1)=Wij(N)+ β*ejk*αik+η*ΔWij(N)

式中β為學習速率,η為動量因子,ΔWij(N)為第N次迭代時權值變化量。由上式可知,N+1次迭代時,權值的調整量與第N次迭代相關,由于樣本群的各樣本間相關性很強,前一個樣本的學習結果為下一個樣本所用,這樣可以加快收斂速度。

連接權校正量與中間層的輸出有關。因此,當中間層的輸出為0或1時,連接權校正量為0,不起校正作用。中間層的輸出是由S函數的輸出所決定的,由S函數的飽和非線性輸出特性可知,當其輸入小于或大于某一數值后,其輸出接近于0或1。因而在相當次數的學習過程中,真正的校正量很小,校正速度十分緩慢。為此,要限制S函數的輸出,當S函數的實際輸出小于0.01或大于0.99時,將其輸出值直接取為0.01或0.99。這樣保證了每次學習都能進行有效的校正,從而加快收斂速度,可以很大程度避免網絡的麻痹現象。

4 結論

人臉識別是一個困難的研究課題, 目前還處于探索階段。本文利用BP神經網絡學習能力強、分類能力強的優點, 實現了人臉特征提取和識別。雖然BP網絡在實際應用過程中存在一定的缺陷,但是對BP算法的改進則進一步加快了收斂速度,提高了識別的正確率。

參考文獻:

[1] 周志華,曹存根.神經網絡及其應用[M].北京:清華大學出版社,2004.

[2] Bledsoe W W.The Model Method in Facial Recognition[C].Tech. Rep. PRI:15,Panoramic Research Inc.,Palo Alto,CA,1964.

近視眼預防方法范文第5篇

>> 一種改進K―means聚類算法的MapReduce并行化實現 一種基于并行工程理論的教學方法——并行教學法探討 一種改進的最大匹配分詞算法研究 一種準實時MapReduce調度算法的改進與實現 一種改進的表面重建算法及其并行化研究 一種基于錨文本和改進C4.5決策樹算法的主題爬行方法 一種基于設計模式的并行編程系統度量方法的實現 一種基于蒙特卡羅法的服務選擇并行優化方法 一種基于在線編程的DSP并行自舉實現方法 一種具有容錯機制的MapReduce模型研究與實現 一種基于手勢的數字輸入方法 一種基于兩級轉換的安全可靠口令輸入方法 一種基于并行計算機架構的OS模型研究 云環境下的一種并行任務劃分方法研究 一種改進的基于線性有限元并行計算的追趕算法 一種并行化的分類算法研究 一種基于hough改進算法的機場跑道識別方法研究 一種基于經典領域本體構建方法的改進研究 一種基于位置的改進中文文本特征選擇 一種改進的圖像復原方法的研究 常見問題解答 當前所在位置:l),該庫提供有mini版,精簡版和完整版的文本預料庫。在精簡版中包含共計9個類別,每個類別含1990篇文章,從精簡版數據集中選擇不同數量的文本組成大小不同的數據集,具體數據集信息如下表:

3.3 并行分詞

步驟1:分別將在Eclipse上編寫的兩種并行分詞程序打成jar包,使用TextInputFormat方式的jar包命名為TextInputFormat.jar,使用MyInputFormat方式的jar包命名為MyInputFormat.jar,并都存放在/usr/local/目錄下;

步驟2: 在終端執行命令”hadoop fs Cput /usr/local/sogou /sogou”將數據集上傳至hadoop的sogou目錄下;

步驟3: 在終端執行命令

”hadoop jar /usr/local/TextInputFormat.jar /usr/local/sogou /sogou /usr/local/sogou /seg1”對數據集按照TextInputFormat方式并行分詞;

步驟4: 在終端執行命令

”hadoop jar /usr/local/MyInputFormat.jar /usr/local/sogou /sogou /usr/local/sogou /seg2”對數據集按照MyInputFormat方式并行分詞;

4 結果對比與分析

4.1 分詞結果對比

在剛開始執行時,記錄job總共的Input Paths,并通過web界面(mlj:50030)查看job的工作狀態,記錄Job運行時間,實驗結果如下表4:

圖7是兩種輸入方式并行分詞時間對比柱狀圖,橫坐標表示數據集,縱坐標表示運行時間,由于兩種方式花費時間相差較大,縱坐標采用對數坐標。由圖7可知,運行時間與數據集的大小成正相關,體育和軍事數據集花費時間增加相對較少,說明Hadoop更能處理較大的數據。

4.2 結果分析

默認輸入方式對輸入數據產生至少與文件個數相等的分片,每個數據分片都交給一個Mapper處理,而且在進行過map之后需要合并到reduce端,這會大大增加網絡擁堵。因為每個Job從建立、 處理、 提交到寫到本地都需要一定的時間,并且在單機環境下只有一個Mapper, 它只能順序地執行每一個Job。這樣分片的數目越多,Job需要花費的時間也就越長。因此處理大量小文件的速度就會非常慢。

而MyInputFormat文件輸入格式則將所有文件作為一個分片進行處理,輸入方式則允許一個分片包含多個文件塊,大大減少了Map個數,并且改進后并不需要reduce合并處理,省去了建立多個Job所消耗的時間,這大大提高了并行分詞的效率。

5 結束語

由于Mapreduce默認的TextInputFormat輸入方式非常不適合處理大量小文件組成的數據。本文首先基于CombineFileInputFormat父類,自定義文本輸入方式MyInputFormat,繼承父類getSplits方法,重載父類的isSplitable方法保證文件不被分割,并在重載createRecordReader方法時返回一個CombineFileRecordReader對象。第三,自定義MyRecordReader類,指明解析文件的邏輯。最后,通過使用一個Map函數實現分詞。實驗證明,在進行并行分詞時,基于改進后的MyInputFormat文本切片方式處理時間遠比默認的TextInputFormat切片方式要少得多。

參考文獻:

[1] 韓冬煦, 常寶寶. 中文分詞模型的領域適應性方法[J]. 計算機學報, 2015, 38(2).

[2] 曹勇剛, 曹羽中, 金茂忠, 等. 面向信息檢索的自適應中文分詞系統[J]. 軟件學報, 2006, 17(3).

[3] 中文分詞庫 IKAnalyzer[EB/OL].http:///p/ikanalyzer/.

[4] Apache Lucene [EB/OL].http:///.

[5] 張晨逸, 孫建伶, 丁軼群. 基于MB_LDA模型的微博主題挖掘[J]. 計算機研究與發展, 2011, 48(10).

[6] 申國偉,楊武,王巍,于淼.面向大規模微博消息流的突發話題檢測[J].計算機研究與發展, 2015, 52(2).

[7] 王曉華. MapReduce 2.0源碼分析與編程實戰[M]. 北京: 人民郵電出版社, 2014.

[8] 應毅,劉亞軍. MapReduce 并行計算技術發展綜述[J].計算機系統應用,2014,23(4).

[9] Eric Sammer.Hadoop技術詳解[M]. 劉敏, 麥耀鋒, 李冀蕾,等,譯.北京:人民郵電出版社, 2013.

[10] Chuck Lam.Hadoop實戰[M]. 韓冀中,譯.北京:人民郵電出版社, 2011.

[11] Boris Lublinsky,Smith K T, Alexey Yakubovich. Hadoop高級編程[M]. 穆玉偉, 靳曉輝,譯. 北京: 清華大學出版社, 2014.

主站蜘蛛池模板: 昔阳县| 佛教| 基隆市| 南川市| 舒城县| 平江县| 谢通门县| 新竹县| 嘉善县| 泽库县| 罗定市| 扎兰屯市| 德令哈市| 嘉祥县| 东乌珠穆沁旗| 永福县| 冀州市| 莱西市| 彝良县| 怀仁县| 锦州市| 封丘县| 琼结县| 印江| 明光市| 文昌市| 贡嘎县| 温泉县| 高阳县| 会宁县| 沈阳市| 方山县| 阜新市| 忻州市| 杭锦后旗| 扎兰屯市| 武定县| 竹溪县| 湘乡市| 浏阳市| 济源市|