前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經網絡的訓練算法范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。

神經網絡的訓練算法范文第1篇

關鍵詞:BP神經網絡; 遺傳算法; 神經網絡集成; 人耳識別

中圖分類號:TP183文獻標識碼:B

文章編號:1004-373X(2010)08-0148-03

Application of Neural Network Ensemble Based on Genetic Algorithm in Ear Recognition

CHEN Chun-lan1, ZENG Huang-lin2, XU Li-zhi2

(1. Luzhou Vocational and Technical College, Luzhou 646005, China; 2. Sichuan University of Science & Engineering, Zigong 643000, China)

Abstract:Since the constringency of the BP neural network algorithm is too slow and generalization capability of neural network is not ideal, the disadvantageseffect the classification identification. A method of theneural network ensemble based on the genetic algorithm is introduced for improving the classification accuracy and generalization of neural network, the way which trains several individual BP neural networks, selects those who have great variance each other to perform the neural network ensemble by means of the genetic algorithm, and then carries out the classification identification with the neural network ensemble. The experimental result shows that themethod can improve the identification rate.

Keywords:BP neural network; genetic algorithm; neural network ensemble; ear recognition

傳統的BP神經網絡雖然具有在線學習,非線性映射能力,不需要精確的數學模型,擅長從輸入/輸出數據中學習有用的知識,容易實現并行計算,由于神經網絡由大量的簡單計算單元組成,因而具有易于用軟、硬件實現等優點。但是該學習算法是一個非線性優化問題,存在局部極小;BP算法使用的是最速下降法,學習算法的收斂速度很慢;最重要的是網絡的泛化能力差。當圖像數據較大時,影響分類識別能力。1990年,Hansen和Salamon開創性地提出了神經網絡集成(Neural Network Ensemble)方法,通過訓練多個神經網絡,并將其結果進行合并,顯著地提高了神經網絡系統的泛化能力[1]。在此,采用Bagging方法訓練個體神經網絡,用遺傳算法選擇最優的個體網絡用于神經網絡集成。實驗表明,這種方法可以提高人耳的識別率。

1 基于遺傳算法的神經網絡集成

1.1 神經網絡集成

當神經網絡集成用于分類器時,通過Bagging算法訓練多個個體神經網絡,通常集成的輸出由個體網絡的輸出投票產生,采用絕對多數投票法(某分類成為最終結果,當且僅當有超過半數的神經網絡輸出結果為該分類),提高網絡的泛化能力和分類能力[1]。Bagging算法思想實現過程如圖1所示。

圖1 Bagging算法思想實現過程

Bagging基本思想如下:

(1) 給定一個弱學習算法和一個訓練集;

(2) 單個弱學習算法準確率不高;

(3) 將該學習算法使用多次,得出預測函數序列,進行投票;

(4) 最后結果準確率將得到提高。

Bagging算法:

For t = 1, 2, …, T;

從數據集S中取樣(放回選樣);

訓練得到模型Ht;

對未知樣本X分類時,每個模型Ht都得出一個分類,得票最高的即為未知樣本X的分類[1]。

1.2 遺傳算法用于神經網絡集成

當神經網絡集成中的個體網絡差異較大時,集成的效果較好,但是如何獲得差異較大的個體網絡以及如何評價多個網絡之間的差異度,目前仍然沒有較好的方法。Bagging算法通過訓練數據的隨機性及獨立性來提供集成的差異性,盡管這種方法非常流行,但是他的魯棒性較差,而且當數據量不足時,該方法的執行效果也差[1]。

遺傳算法作為一種可以全局收斂的方法,理論上可以在一定的遺傳步驟后達到全局或者接近全局最優。這里考慮用遺傳算法作為Bagging算法中最終集成權值的優化方法。

假設已經獨立訓練出N個神經網絡f1,f2,…,fN,使用簡均方法組成神經網絡集成,考慮去除神經網絡fN后,由f1,f2,…,fN-1使用簡均方法組成神經網絡集成′,滿足:

ИА(x)=∑N-1i=1\(1)

定義神經網絡fi與fjУ南喙囟任:

Cij=∫p(x)\\dx(2)

有Cii=Ei,Cij=Cj。в捎:

И(x)-d(x)=∑Ni=1\/NИ

因此有:

ИE=∑Ni=1∑Nj=1Cij/N2(3)

考慮У姆夯誤差E與′的泛化誤差E′的大小關系,根據式(3),′У姆夯誤差為:

ИE′=∑N-1i=1∑N-1j=1Cij/(N-1)2(4)

(N-1)2N2(E′-E)=(2N-1)∑N-1i=1∑N-1j=1Cij-

2(N-1)2∑N-1i=1CiN-(N-1)2CNN(5)

(2N-1)∑N-1i=1∑N-1j=1Cij

(N-1)2CNN(6)

根據式(5),當式(6)滿足時,E′

使用遺傳算法來解決神經網絡選取的問題。若某遺傳個體與{f1,f2,…,fN}的子集S相對應,假設驗證集為V,用驗證集V 計算的神經網絡fi與fjУ南喙囟裙蘭浦滴:

ИCVij=∑X∈V\\/|V|(7)

從而根據式(7),與S對應的神經網絡集成在驗證集V上的平均誤差為:

И(∑fi,fj∈SCVij)/|S|2(8)И

將該誤差的倒數作為遺傳算法的適應度值[2]。

2 基于遺傳算法的神經網絡集成用于人耳識別

采用Carreira-Perpinan建立的人耳圖像庫(如圖2所示部分人耳圖像),該圖像包括了17人,每人6幅,共102幅人耳圖像[3]。由于該人耳圖像庫中的所有圖像已經經過剪裁和旋轉,長寬比例為1∶6(這是由人耳的結構特點決定的,人耳長寬比例的均值大致在1∶6附近),且進行了亮化處理,因此圖像較理想,本文不在進行圖像的預處理。本實驗在Matlab 7.1環境下進行。

圖2 Carreira-Perpinan部分人耳圖像

2.1 融合特征提取

將圖像庫中每人前三幅圖像組成訓練樣本集,其余圖像組成測試樣本集。

采用Zernike矩方法提取的圖像具有旋轉不變性的人耳幾何特征,其穩定性強,有利于分類識別,但是當人耳圖像受到其他因素如光照影響時,這種識別率就會降低。改進的非負矩陣分解是將線性判別融入到傳統的非負矩陣分解方法中,通過最大化樣本類間差異,最小化樣本類內差異,提取具有判別能力的低維人耳特征,對光照等不敏感。將這兩種具有互補性的特征串性融合,得到一個分類能力更強的特征[4-5]。將15維Zernike矩特征和16維子空間投影系數特征串行組合,得到一個31維的人耳特征向量。

2.2 Bagging算法生成個體網絡

本文采用Bagging算法生成個體網絡(如圖3所示),每次從訓練樣本集中隨機抽取2/3個樣本進行訓練,得到一個神經網絡分類器,神經網絡的輸入是以上提取的31維人耳特征向量。輸出為7維的樣本類別向量(1個隱層,6個神經元)。神經網絡集成的規模(訓練神經網絡集成中神經網絡的個數)為10。

圖3 Bagging算法生成個體神經網絡集成

2.3 基于遺傳算法的神經網絡集成用于人耳識別

個體網絡的選擇:典型的神經網絡集成方法可能生成彼此很相似的個體神經網絡,這種網絡不一定能夠促使集成泛化誤差的降低,還可能起到相反的作用。基于遺傳算法的神經網絡集成方法從訓練好的10個BP網絡中選擇部分網絡進行集成。實驗中的參數設置:每個遺傳個體的染色體長度為10(網絡個數為10),遺傳算法的群體規模為40,選擇概率為0.5,交叉概率為0.8,變異概率為0.05,遺傳算法的最大代數為50代,適應度函數選擇式(8),精英變異位數量為6,變異范圍是全體個體。神經網絡的集成,將上步選擇的神經網絡組成集成,采用投票方法進行結果集成。輸入測試樣本,訓練好的神經網絡集成模型進行人耳識別,結果如表1所示。

表1 神經網絡集成人耳識別實驗結果比較

特征單個BP神經網絡分類識別/%基于遺傳算法的神經網絡集成分類識別/%

融合特征88.394.2

從表1可以知道,使用單一BP神經網絡作為分類器的識別率低于采用神經網絡集成分類的識別率。

3 結 語

由于單一BP網絡的泛化能力差和網絡的不穩定,當圖像數據較大時,影響分類識別能力。這里介紹了一種基于遺傳算法的神經網絡集成用于人耳識別,實驗結果表明,使用采用神經網絡集成可以提高人耳識別率。

參考文獻

[1]周志華,陳世福. 神經網絡集成[J]. 計算機學報, 2002, 25(1): 1-8.

[2]吳建鑫,周志華,沈學華,等. 一種選擇性神經網絡集成構造方法[J]. 計算機研究與發展, 2000, 37(9): 1039-1045.

[3]LAMMI H K. Ear biometrics[EB/OL]. \. http: // it. lut. fi/kurssit/03-04/010970000/seminars/Lammi. pdf.

[4]張志偉,夏克文,楊帆,等. 一種改進NMF算法及其在人臉識別中的應用[J]. 光電工程, 2007, 34(8): 121-126.

[5]張偉偉, 夏利民. 基于多特征融合和Bagging神經網絡的人耳識別[J]. 計算機應用, 2006, 26(8): 1870-1872.

[6]張兆禮,趙春暉,梅曉丹. 現代圖像處理技術及Matlab實現[M]. 北京:人民郵電出版社, 2001.

[7]於時才, 陳涓, 馬寧. 一種提高神經網絡集成系統泛化能力的方法[J]. 微電子學與計算機, 2009, 26(4): 105-107.

[8]李敏強,寇紀凇,林丹, 等. 遺傳算法的基本理論與應用[M]. 北京:科學出版社, 2002.

[9]朱人杰,田雨波,賈則. 混沌搜索神經網絡集成求解廣義異或分類問題[J]. 微電子學與計算機, 2009, 26(5): 99-102.

[10]劉茂福,胡慧君,何炎祥. 主成分分析在圖像Zernike矩特征降維中的應用[J]. 計算機應用, 2007, 27(3): 696-700.

神經網絡的訓練算法范文第2篇

關鍵詞：BP算法；神經網絡；模型參考自適應控制；激勵函數；Matlab仿真

中圖分類號：TP183

文獻標識碼：A

DOI：10.3969/j.issn.1003-6970.2015.07.024

0 引言

在現代實際工業生產中，被控對象存在各種不確定性和時變性，因而使得工業控制過程變得繁瑣復雜，針對線性時變系統或非線性系統的控制，人們不斷的研究其解決方法，Nare ndra等人提出了神經網絡控制和模型參考自適應控制相結合的神經網絡模型參考自適應控制（Neural Network Model Reference AdaptiveControlˉˉˉNNMRAC）方法。近來神經網絡的研究已成為智能控制研究的熱點，因其自身具有自學習的特點，可以有效地解決不確定和復雜的非線性控制系統控制問題。因此將神經網絡與模型參考自適應控制相結合，組成基于神經網絡的模型參考自適應控制系統，進而使其在復雜非線性過程控制中具有不可替代的優勢。目前神經網絡模型參考自適應控制系統中應用最廣泛的神經網絡是BP神經網絡。

BP神經網絡（Back Propagation Network）是一種多層前向型神經網絡也被稱為反向傳播網絡，在BP網絡中信號是前向傳播的，而誤差是反向傳播。一般三層BP網絡結構就可以使其對有限個不連續點的函數進行逼近，也可以逼近任意非線性映射關系。然而，傳統BP神經網絡算法存在很多缺點，各種優化改進的BP算法也層出不窮。就目前的BP優化算法，常常忽略算法本身存在的自適應、自學習等特點，改進算法如蟻群算法和粒子群算法大都是直接對BP神經網絡中的參數進行訓練。文中采用基于激勵函數自尋優的方法改進BP神經網絡模型參考自適應系統的控制方法，改進后的BP神經網絡模型參考自適應控制方法收斂速度快、精度高，系統控制過程中被控對象的輸出能夠很好地跟隨參考模型的輸出，具有很好的控制效果，在實際工程中也可以得到很好的驗證和應用。

1 BP神經網絡結構及其算法改進

BP神經網絡已經被證明具有很強的學習能力，能夠逼近任意連續有界的非線性函數。一般的BP神經網絡包括輸入層、隱含層、輸出層，其中隱含層可以有多個。其中隱含層和輸出層的激勵函數通常直接采用Sigmoid函數，其函數表達式為：

上式中β稱為Sigmoid函數的斜率參數，不同的β取值，引起曲線的彎曲程度不同，β越大，f（x）圖形越陡峭。當斜率參數β接近無窮大時，Sigmoid函數將轉化成簡單的階躍函數。但與階躍函數不同，Sigmoid函數對應于0～1之間的一個連續取值區域，但階躍函數只對應0和1兩個取值。

一般的三層前饋神經網絡拓撲結構如圖1所示。

輸入向量為Xi=（Xl，X2…，Xn）T，i=1，2，…，n，n表示輸入神經元的個數，隱含層的輸出向量為yj= （Y1，y2，…，ym），j=l，2，…，m，輸出層的輸出向量為Ok= （Ol，O2….，ol），k=l，2，…，l。每層之間的權值用w表示，Wij為隱含層和輸入層之間的權值，Wjk為輸出層和隱含層之間的權值。

這里對上述BP算法的改進，也就是通過改進激勵函數f（x），進而優化神經網絡，最終使得基于神經網絡的模型參考自適應控制在不增加復雜性及確保精度的情況下，系統性能進一步得到提高改善。由于BP神經網絡產生局部極小值的一個重要原因就是誤差函數是一個以Sigmoid函數為自變量的非線性函數，而Sigmoid函數存在飽和區，所以改進和優化激勵函數對于BP算法的應用是至關重要的。通過實驗發現，在函數表達式中增加一個控制參數η，可以控制激勵函數的壓縮程度。改進的激勵函數形式如下：

上式描述的f（x）的定義域為（-∞，+∞），值域為（0，1），函數也是單調的，滿足激勵函數的條件。

以往出現的改進BP算法學習過程中，η和β的賦值都是經驗值，本文使得η是一個可以自適應的參數，就是通過判斷網絡不斷學習過后的權值能否減小網絡誤差來自動的調整η的值，其調整方法為：

其中，al，E為網絡誤差，f指迭代次數。在誤差信號反向傳播時，自適應參數η是隨著誤差信號不斷進行修正的。

此算法可以提高BP網絡的收斂速度，同時也避免了陷入局部極小值。文中使其結合模型模型參考自適應控制明顯提高了系統的整體控制效果，進一步驗證了算法改進的實用性，與傳統BP算法相比，改進后的算法在實際運用中更具有意義。

2 神經網絡模型參考自適應控制系統結構

典型的神經網絡模型參考自適應控制系統結構如圖2所示。

圖2中NNC（ Neural Network Controller）為神經網絡控制器，NNI（ Neural Network Identifier）為神經網絡辨識器，r為參考輸入，u為NNC的輸出，Ym和y分別為參考模型和被控對象的輸出，ec是參考模型輸出和被控對象輸出之差，ei是被控對象輸出和辨識器輸出之差，NNC的權值修正目標是使ec達到系統設定值（理想值為零），NNI的目標也是使ei盡可能最小（理想值為零），且為NNC傳遞梯度信息。

神經網絡辨識器NNI的訓練誤差表示為 ，其中，y（k）當前k時刻被控對象的輸出數據， 為下一時刻的預測輸出數據。則辨識器的調整規則就是使誤差Ei盡可能小，Ei表示為：

神經網絡模型參考自適應控制系統的控制目標在于使被控對象的輸出y與參考模型的輸出Ym漸近的匹配，即

其中，s為一個給定的小正數。

神經網絡控制器NNC的訓練則由誤差ec=ym-y來訓練，訓練準則如上式（8），控制系統中神經網絡辨識器和控制器的學習算法就采用改進后的BP算法。

在神經網絡模型參考自適應控制系統的控制策略設計中，改進的BP算法能夠在滿足系統控制規律符合要求的情況下，使得神經網絡模型參考自適應控制效果更好。雖然改進的BP算法是激勵函數自尋優的自適應方法，不能夠使神經網絡辨識器NNI進行離線訓練，但是快速的BP算法仍然可以使網絡具有很好的實時性。首先在線訓練辨識器，待參數訓練好以后，再進行控制器NNC的訓練，最終可以保證被控對象的輸出y很好的跟蹤參考模型的輸出Y。

3 仿真實例研究

3.1 改進的BP算法驗證

本文采用BP神經網絡進行預測控制來驗證改進算法的有效性。利用簡單的一組樣本訓練集和樣本目標集進行神經網絡的訓練，再給定一組輸入樣本數據，觀測輸出層輸出數據和誤差。分析樣本數據設計BP神經網絡結構為3個輸入、2個輸出、隱含層的神經元數目為8。網絡學習次數為100次，目標誤差設置為0.001。

使用MATLAB軟件進行網絡訓練，傳統BP算法的網絡訓練過程收斂情況如圖3所示，經過56步循環達到了網絡誤差要求的精度。改進的BP算法網絡收斂情況如圖4所示，僅需要10步就達到了誤差精度要求，其中a和b取值分別為0.9和1.5。輸出誤差和網絡實際輸出數據在表1中展示，直觀的看出，改進后的BP網絡可以得到更有效的輸出。

根據得到的誤差收斂曲線比較看出，改進后的BP算法所用訓練步數少即需要的訓練時間少，說明收斂速度明顯加快。

測試輸出結果如表1所示。

從表中可以直觀清晰看出改進后的BP算法實際輸出誤差明顯減小，提高了算法精度。

3.2 改進的神經網絡模型參考自適應控制仿真實例

結合參考文獻中提到的污水處理的例子進行改進算法的驗證。污水處理系統結構圖如圖5所示，

在污水處理系統控制結果是否達標，主要是通過需氧量（OD）、溶解氧（DO）等幾個重要參數來衡量。本例中為了提高污水處理效果，系統控制目標設置為使誤差ec控制在±0.05mg/L以內，污水處理控制系統中采

用離散的參考模型：

ym（k）= 0.375 ym（k-1）+0.623r（k）

其中，控制輸入r（k）=2為系統給定的階躍信號。

污水處理系統的實驗仿真中，BP網絡辨識器設定4個輸入變量和1個輸出變量，隱含層包含10個隱節點，對于BP網絡控制器取3個輸入層節點，隱含層的節點數為6。根據BP神經網絡控制器和辨識器的改進算法，采用MATLAB進行仿真，取采樣周期ts=0.OOls，這里a取0.8，6取1.5，仿真結果如圖6所示。

在圖6 （a）中第一條線為控制輸入r，中間的第二條曲線代表參考模型的輸出Ym，最下邊的曲線代表污水被控對象的輸出y，圖6 （b）中的曲線代表誤差ec（系統實際輸出與參考模型輸出之差）的變化。從圖中可以分析看出，改進后模型參考自適應控制方法在該控制系統中的控制效果很好，氧的溶解濃度（DO）保持在2mg/L左右，參考輸出和實際輸出最終相吻合，誤差ec控制在±0.05mg/L以內，因此仿真結果滿足控制系統的控制要求。

神經網絡的訓練算法范文第3篇

[關鍵詞]小生境遺傳算法神經網絡股票預測

一、引言

股票和股票市場對國家企業的經濟發展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復雜的，股票價格既受到多種因素，諸如:政治，經濟，市場因素的影響，亦受技術和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數關系表達式。針對這一情況，將可有效處理非線性問題的神經網絡引入到股票價格的預測中來，但神經網絡收斂慢,易陷入局部極小點，出現振蕩，魯棒性差。所以有的學者用遺傳算法(GA)來優化神經網絡，這種神經網絡可能獲得個別的甚至局部的最優解,即GA早熟現象。本文引進能較有效地保持種群多樣性的小生境遺傳算法(NGA),采用NGA優化與用GA優化的BP網絡權值進行對比,證實了NGA的判別準確性和尋優能力。

二、小生境遺傳算法優化的神經網絡

1.BP神經網絡

反向傳播(BP)算法又稱為誤差逆傳播校正方法，它是1974年P.Werbos(哈佛大學)提出的。BP算法用來訓練多層前饋神經網絡,屬于監督學習算法。BP網絡具有結構清晰，易實現，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經網絡。但是在實際應用中，傳統的BP算法存在以下問題:收斂速度慢;若加快收斂速度易產生振蕩；存在局部極小和平臺問題;泛化能力差;隱節點數和初始值的選取缺乏理論指導;未考慮樣本選擇對系統學習的影響等。所以很多學者提出許多改進的方法，用小生境遺傳算法優化神經網絡權值的神經網絡來預測股票價格。

2.小生境遺傳算法

小生境遺傳算法(IcheGeneticalGorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應值大小。對適應值較小的個體施加一個較強的懲罰，極大地降低其適應值。也就是說，在距離L內將只有一個優良個體，從而既維護了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。

3.神經網絡連接權的優化

用小生境遺傳算法可以優化神經網絡連接權，神經網絡結構，學習規則等，這里我們對神經網絡的連接權進行優化，具體步驟如下：

（1）隨機產生一組權值分布，采用某種編碼方案對該組中的每個權值(或閾值)進行編碼，進而構造出一個碼串(每個碼串代表網絡的一種權值分布)，在網絡結構和學習規則已確定的前提下,該碼串就對應一個權值和閾值取特定值的一個神經網絡。

（2)對所產生的神經網絡計算它的誤差函數，從而確定其適應度函數值，誤差越大,則適應度越小。

（3)選擇若干適應度函數值最大的個體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當前一代群體進行處理，產生下一代群體。

（5)重復（2）（3）（4），使初始確定的一組權值分布得到不斷地進化,直到訓練目標得到滿足為止。

這種由小生境遺傳算法訓練神經網絡的方法也可以稱做混和訓練法。將基于小生境遺傳算法的遺傳進化方法和基于梯度下降的反傳訓練相結合,這種訓練方法吸取兩種方法的各自特點，所以收斂速度快。

三、股票價格預測仿真

根據經驗選取輸入預測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數值。所以，本文采用神經網絡結構為(8,5,1),即網絡的輸入層6個節點,隱含層9個節點,輸出層1個節點。本文選擇了“XDG新梅（600732）”從2006年3月14日到2006年7月1日數據進行了仿真。利用MATLAB6.5編程，取70組訓練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經網絡的權值進行優化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經網絡的權值的模型進行股票價格的預測，都能預測出股票走向趨勢，但是，后者的預測精度顯然要比前者高。

四、結束語

股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學問題。股票價格的中長期準確預測很難。本文建立了用小生境遺傳算來優化神經網絡模型來預測股票價格，結果表明，這種方法比單用遺傳算法優化的神經網絡收斂速度快，預測精度高。對于股票價格預測具有較好的應用價值。

參考文獻:

[1]龍建成李小平:基于神經網絡的股票市場趨勢預測[J].西安電子科技大學學報(自然科學版.2005.3（32）:460-463

[2]王波張鳳玲:神經網絡與時間序列模型在股票預測中的比較[J].第27卷第6期武漢理工大學學報·信息與管理工程版.2005.9（27）:69-72

神經網絡的訓練算法范文第4篇

關鍵字 ：神經網絡，BP模型，預測

中圖分類號：TP183文獻標識碼： A

1 引言

在系統建模、辨識和預測中，對于線性系統，在頻域，傳遞函數矩陣可以很好地表達系統的黑箱式輸入輸出模型；在時域，Box-Jenkins方法、回歸分析方法、ARMA模型等，通過各種參數估計方法也可以給出描述。對于非線性時間序列預測系統，雙線性模型、門限自回歸模型、ARCH模型都需要在對數據的內在規律知道不多的情況下對序列間關系進行假定。可以說傳統的非線性系統預測，在理論研究和實際應用方面，都存在極大的困難。相比之下，神經網絡可以在不了解輸入或輸出變量間關系的前提下完成非線性建模[4，6]。神經元、神經網絡都有非線性、非局域性、非定常性、非凸性和混沌等特性，與各種預測方法有機結合具有很好的發展前景，也給預測系統帶來了新的方向與突破。建模算法和預測系統的穩定性、動態性等研究成為當今熱點問題。目前在系統建模與預測中，應用最多的是靜態的多層前向神經網絡，這主要是因為這種網絡具有通過學習逼近任意非線性映射的能力。利用靜態的多層前向神經網絡建立系統的輸入/輸出模型，本質上就是基于網絡逼近能力，通過學習獲知系統差分方程中的非線性函數。但在實際應用中，需要建模和預測的多為非線性動態系統，利用靜態的多層前向神經網絡必須事先給定模型的階次，即預先確定系統的模型，這一點非常難做到。近來，有關基于動態網絡的建模和預測的研究，代表了神經網絡建模和預測新的發展方向。

2 BP神經網絡模型

BP網絡是采用Widrow-Hoff學習算法和非線性可微轉移函數的多層網絡。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。現在有許多基本的優化算法，例如變尺度算法和牛頓算法。如圖1所示，BP神經網絡包括以下單元：①處理單元(神經元)（圖中用圓圈表示），即神經網絡的基本組成部分。輸入層的處理單元只是將輸入值轉入相鄰的聯接權重，隱層和輸出層的處理單元將它們的輸入值求和并根據轉移函數計算輸出值。②聯接權重(圖中如V,W)。它將神經網絡中的處理單元聯系起來，其值隨各處理單元的聯接程度而變化。③層。神經網絡一般具有輸入層x、隱層y和輸出層o。④閾值。其值可為恒值或可變值，它可使網絡能更自由地獲取所要描述的函數關系。⑤轉移函數F。它是將輸入的數據轉化為輸出的處理單元，通常為非線性函數。

圖1 BP神經網絡結構

2.1 基本算法

BP算法主要包含4步，分為向前傳播和向后傳播兩個階段：

1）向前傳播階段

（1）從樣本集中取一個樣本（Xp，Yp），將Xp輸入網絡；

（2）計算相應的實際輸出Op

在此階段，信息從輸入層經過逐級的變換，傳送到輸出層。這個過程也是網絡在完成訓練后正常運行時的執行過程。

2）向后傳播階段

（1）計算實際輸出Op與相應的理想輸出Yp的差；

（2）按極小化誤差的方式調整權矩陣。

這兩個階段的工作受到精度要求的控制，在這里取 作為網絡關于第p個樣本的誤差測度，而將網絡關于整個樣本集的誤差測度定義為 。圖2是基本BP算法的流程圖。

圖2 BP基本算法流程

2.2 動態BP神經網絡預測算法

在經典的BP算法以及其他的訓練算法中都有很多變量，這些訓練算法可以確定一個ANN結構，它們只訓練固定結構的ANN權值（包括聯接權值和結點轉換函數）。在自動設計ANN結構方面，也已有較多的嘗試，比如構造性算法和剪枝算法。前一種是先隨機化網絡，然后在訓練過程中有必要地增加新的層和結點；而剪枝法則正好相反。文獻[2]中提出了演化神經網絡的理念，并把EP算法與BP進行了組合演化；也有很多學者把遺傳算法和BP進行結合，但這些算法都以時間復雜度以及空間復雜度的增加為代價。根據Kolmogorov定理,對于任意給定的L2型連續函數f: [ 0, 1 ]n Rm , f可以精確地用一個三層前向神經網絡來實現，因而可以只考慮演化網絡的權值和結點數而不影響演化結果。基于此，在BP原有算法的基礎上，增加結點數演化因子，然后記錄每層因子各異時演化出的結構，最后選取最優的因子及其網絡結構，這樣就可以避免由于增加或剪枝得到的局部最優。根據實驗得知，不同的預測精度也影響網絡層神經元的結點數，所以可根據要求動態地建立預測系統。具體步驟如下：

（1）將輸入向量和目標向量進行歸一化處理。

（2）讀取輸入向量、目標向量，記錄輸入維數m、輸出層結點數n。

（3）當訓練集確定之后，輸入層結點數和輸出層結點數隨之而確定，首先遇到的一個十分重要而又困難的問題是如何優化隱層結點數和隱層數。實驗表明，如果隱層結點數過少，網絡不能具有必要的學習能力和信息處理能力。反之，若過多，不僅會大大增加網絡結構的復雜性（這一點對硬件實現的網絡尤其重要），網絡在學習過程中更易陷入局部極小點，而且會使網絡的學習速度變得很慢。隱層結點數的選擇問題一直受到神經網絡研究工作者的高度重視。Gorman指出隱層結點數s與模式數N的關系是：s＝log2N；Kolmogorov定理表明，隱層結點數s＝2n＋1（n為輸入層結點數）；而根據文獻[7]：s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51[7]。

（4）設置結點數演化因子a。為了快速建立網絡，可以對其向量初始化，

并從小到大排序[4，7]。

（5）建立BP神經網絡。隱含層傳遞函數用tansig，輸出層用logsig，訓練函數采用動態自適應BP算法，并制訂停止準則：目標誤差精度以及訓練代數。

（6）初始化網絡。

（7）訓練網絡直到滿足停止判斷準則。

（8）用測試向量對網絡進行預測，并記錄誤差和逼近曲線，評估其網絡的適應性。其適應度函數采取規則化均方誤差函數。

（9）轉到（5），選取下一個演化因子，動態增加隱含層結點數，直到最后得到最佳預測網絡。

3 基于神經網絡的預測原理[4]

3.1 正向建模

正向建模是指訓練一個神經網絡表達系統正向動態的過程，這一過程建立的神經網絡模型稱為正向模型，其結構如圖3所示。其中，神經網絡與待辨識的系統并聯，兩者的輸出誤差用做網絡的訓練信號。顯然，這是一個典型的有導師學習問題，實際系統作為教師，向神經網絡提供算法所需要的期望輸出。當系統是被控對象或傳統控制器時，神經網絡多采用多層前向網絡的形式，可直接選用BP網絡或它的各種變形。而當系統為性能評價器時，則可選擇再勵學習算法，這時網絡既可以采用具有全局逼近能力的網絡（如多層感知器），也可選用具有局部逼近能力的網絡（如小腦模型控制器等）。

圖3 正向建模結構

3.2 逆向建模

建立動態系統的逆模型，在神經網絡中起著關鍵作用，并且得到了廣泛的應用。其中，比較簡單的是直接逆建模法，也稱為廣義逆學習。其結構如圖4所示，擬預報的系統輸出作為網絡的輸入，網絡輸出與系統輸入比較，相應的輸入誤差用于訓練，因而網絡將通過學習建立系統的逆模型。但是，如果所辨識的非線性系統是不可逆的，利用上述方法將得到一個不正確的逆模型。因此，在建立系統時，可逆性應該先有所保證。

圖4 直接逆建模結構

4 應用實例分析

以我國西南某地震常發地區的地震資料作為樣本來源，實現基于動態神經網絡的地震預報。根據資料，提取出7個預報因子和實際發生的震級M作為輸入和目標向量。預報因子為半年內M>=3的地震累計頻度、半年內能量釋放積累值、b值、異常地震群個數、地震條帶個數、是否處于活動期內以及相關地震區地震級。在訓練前，對數據進行歸一化處理。由于輸入樣本為7維的輸入向量，一般情況下輸入層設7個神經元。根據實際情況，輸出層神經元個數為1。隱含層神經元的傳遞函數為S型正切函數，輸出層也可以動態選擇傳遞函數。實例數據來自文獻[4]，將數據集分為訓練集、測試集和確定集。表1中的7×7數組表示歸一化后的訓練向量，第一個7表示預報因子數，第二個7表示樣本數。

表1 歸一化后的訓練向量

在不同神經元數情況下，對網絡進行訓練和仿真，得到如圖5所示的一組預測誤差曲線。其中，曲線A表示隱層結點數為6時的預測誤差曲線，曲線B表示隱含層結點數為3時的預測誤差曲線，曲線C表示隱含層結點數為5時的預測誤差曲線，曲線D表示隱含層結點數為4時的預測誤差曲線。將五種情況下的誤差進行對比，曲線C表示的網絡預測性能最好，其隱含層神經元數為5，圖中曲線E表示的是隱含層結點數為15時的預測誤差曲線（文獻[4]中的最好結果）。同時也證明，在設計BP網絡時，不能無限制地增加層神經元的個數。若過多，不僅會大大增加網絡結構的復雜性，網絡在學習過程中更易陷入局部極小點，而且會使網絡的學習速度、預測速度變得很慢。

圖5 不同神經元數預測誤差對比曲線

5 結論

本文針對基本的BP神經網絡，提出了可動態改變神經元數（與精度相關）的BP神經網絡預測方法，可以根據實際情況建立預測系統。用此種方法可以建立最好的神經網絡，不會有多余的神經元，也不會讓網絡在學習過程中過早陷于局部極小點。

參考文獻

[1]潘正君，康立山，陳毓屏. 演化計算[M ]. 北京:清華大學出版社，1998

[2]飛思科技產品研發中心. 神經網絡理論與實現. 北京:電子工業出版社，2005

[3]蔡曉芬，方建斌. 演化神經網絡算法. 江漢大學學報，第33卷第3期，2005.9

神經網絡的訓練算法范文第5篇

［關鍵詞］BP神經網絡農業工程農業管理農業決策

一、引言

采用神經網絡算法的信息處理技術，以其較強的計算性和學習性，現如今已經在各工程領域內得到了廣泛應用。隨著科技不斷的發展和研究的不斷深入，農業系統中采用的傳統分析和管理的方法已經不能滿足農業工程領域快速發展的需要。在農業系統中采用神經網絡技術可在一定程度上可彌補傳統方法的不足，現已成為實現農業現代化的一個重要途徑。神經網絡現已在農業生產的各個環節得到廣泛的應用，從作物營養控制、作物疾病診斷、產量預測到產品分級，顯示了巨大的潛力，并正以很快的速度與生產實際相結合。目前應用比較多的BP神經網絡，可通過學習以任意精度逼近任何連續映射，在農業生產與科研中展示出了廣闊的應用前景。

BP人工神經網絡方法。人工神經網絡是對生物神經網絡的簡化和模擬的一種信息處理系統，具有很強的信息存貯能力和計算能力，屬于一種非經典的數值算法。通常可分為前向神經網絡、反饋神經網絡和自組織映射神經網絡。BP神經網絡(Backpropugation Neura1 Network)是一種單向傳播的多層前向神經網絡，可通過連續不斷的在相對于誤差函數斜率下降的方向上計算網絡權值以及偏差的變化而逐漸逼近目標值，每一次數字和偏差的變化都與網絡誤差的影響成正比，并以反向傳播的方式傳遞到每一層，從而實現了神經網絡的學習過程。BP人工神經網絡的結構如圖所示，BP神經網絡可分為輸入層、中間層(隱含層)和輸出層，其中輸入和輸出都只有一層，中間層可有一層或多層。同層的網絡結點之間沒有連接。每個網絡結點表示一個神經元，其傳遞函數通常采用Sigmoid型函數。BP神經網絡相當于從輸入到輸出的高度非線性映射，對于樣本輸入和輸出，可以認為存在某一映射函數g，使得y0=g(xi)，i＝1，2，3，…，m，其中m為樣本數，xi為輸入樣本，yo為輸出結果。

BP神經網絡的一個顯著優點就是其可進行自學習，能夠通過訓練得到預期的效果。其學習過程由正向傳播和反向傳播組成，神經網絡的輸入值經過非線性變換從輸入層經隱含層神經元的逐層處理傳向輸出層，此為正向傳播過程。每一層神經元的狀態將影響到下一層神經元狀態。如果輸出層得到的數值與期望輸出有一定的偏差，則轉入反向傳播過程。神經網絡通過對輸入值和希望的輸出值(教師值)進行比較，根據兩者之間的差的函數來調整神經網絡的各層的連接權值和各個神經元的閾值，最終使誤差函數達到最小。其調整的過程是由后向前進行的，稱為誤差反向傳播BP算法。具體學習過程如下：

（1)隨機給各個權值賦一個初始權值，要求各個權值互不相等，且均為較小的非零數。

（2)輸入樣本集中每一個樣本值，確定相應的網絡實際輸出值。

（3)計算實際的輸出值與相應的樣本集中的相應輸出值的差值。

（4)按極小誤差方式調整權值矩陣。

（5)判斷網絡誤差是否小于訓練前人為設定的一個較小的值，若小于，則跳出運算，此時的結果為神經網絡的最終訓練結果；若大于，則繼續計算。

（6）判斷最大迭代次數是否大于預先設定的數，若小于，返回（2）;若大于，則中止運算，其結果為神經網絡的最終訓練結果。

上述的計算過程循環進行，直到完成給定的訓練次數或達到設定的誤差終止值。

二、BP神經網絡在農業工程領域中的應用

1.在農業生產管理與農業決策中的應用

農業生產管理受地域、環境、季節等影響較大，用產生式規則完整描述實際系統，可能會因組合規則過多而無法實現。神經網絡的一個顯著的優點就是其具有較強的自學習、自適應、自組織能力，通過對有代表性的樣本的學習可以掌握學習對象的內在規律，從而可以在一定程度上克服上述信息量大的問題。神經網絡在農業生產管理方面可用于農作物生長過程中對農作物生長需求進行預測，從而通過對養分、水分、溫度、以及PH值的優化控制達到最優的生長狀況。采用神經網絡預測算法的主要思想可描述為：（1）收集一定規模的樣本集，采用BP算法進行訓練，使網絡收斂到預定的精度；（2）將網絡權值矩陣保存到一存儲介質中，例如文本文件或數據庫中；（3）對于待預測數據的輸入部分，從存儲介質中讀出網絡連接權值矩陣，然后通過BP神經網絡的前向傳播算法計算網絡輸出，輸出結果既是預測出來的數值向量。如霍再林等針對油葵不同階段的相對土壤含鹽濃度對其產量的影響有一定的規律的現象，以油葵的6個成長階段的土壤溶液含鹽的相對濃度為輸入樣本，相對產量為輸出樣本，通過比較發現，訓練后的神經網絡能較好預測油葵產量，采用此方法可補充傳統模型的不足，為今后進一步的研究開辟了新路。

在農業決策方面，主要將農業專家面對各種問題時所采取的方法的經驗，作為神經網絡的學習樣本，從而采用神經網絡建立的專家系統將從一定程度上彌補了傳統方法的不足，將農業決策智能化。如何勇、宋海燕針對傳統專家系統自學習能力差的缺點，利用神經網絡可自我訓練的優點，將神經網絡引入專家系統中。將小麥缺素時的田間宏觀表現，葉部、莖部、果實癥狀及引起缺素的原因這五個方面的可信度值作為神經網絡的輸入量，將農業專家診斷的結論作為輸出量，將這些數據作為神經網絡的訓練數據。實際應用表明此系統自動診斷的結果與專家現場診斷的結果基本一致，從而采用該系統能夠取代專家，實現作物的自我診斷，為農業管理方面提供了極大的幫助。如馬成林等針對于傳統施肥決策方法中非線性關系描述不足的問題，基于數據包分析和BP神經網絡，建立了施肥決策模型，應用表明，在有限的范圍內，模型預測結果較為合理，可以反映玉米的需肥特性。劉鋮等人提出采用神經網絡應用在農業生產決策中，以莜麥播種方式決策為例，通過對產生式規則的分析導出神經網絡輸入、輸出單元數，并通過多次試驗確定隱層單元數，用MATLAB方針結果表明，采用神經網絡作為農業生產決策的方法，取得了較好的效果。譚宗琨提出將基于互聯網環境下的神經網絡應用在玉米智能農業專家系統中，根據農作物發育進程分成若干個發育期，分別對各個發育期建立管理模型，依照作物各發育期進程時間間隔，由計算機系統自動選取相應的模型進行決策。應用分析的結果表明采用神經網絡的玉米智能專家系統已初步接近農業生產的實際。

2.在農產品外觀分析和品質評判

農產品的外觀，如形狀、大小、色澤等在生產過程中是不斷變化的，并且受人為和自然等復雜因素的影響較大。農產品的外觀直接影響到農產品的銷售，研究出農作物外觀受人為和自然的影響因素，通過神經網絡進行生產預測，可解決農產品由于不良外觀而造成的損失。如Murase 等針對西紅柿表皮破裂的現象，西紅柿表皮應力的增長與西紅柿果肉靠近表皮部分水分的增加有關，當表皮應力超過最大表皮強度時，將導致表皮破裂。用人工神經網絡系統，預測在環境溫度下的表皮應力，可通過控制環境變量來減少西紅柿表皮破裂所造成的損失。

在農業科研和生產中，農產品的品質評判大多是依賴于對農產品外觀的辨識。例如對果形尺寸和顏色等外觀判別果實的成熟度，作物與雜草的辨別，種子的外觀質量檢測。由于農業環境的復雜性和生物的多樣性，農產品的外觀不具有較確定的規律性和可描述性，單一采用圖像處理技術辨識農產品的外觀時不宜過多采取失真處理和變換，否則則增加圖像處理的復雜性，特征判別也相對困難。人工神經網絡由于其具有自學習、自組織的能力，比較適宜解決農業領域中許多難以用常規數學方法表達的復雜問題，與圖像處理技術相結合后，可根據圖像特征進行選擇性判別。采用此方法可以部分替代人工識別的工作，提高了生產效率，也有利于實現農業現代化。如Liao等將玉米籽粒圖像用34個特征參數作為神經網絡的輸入變量，將輸出的種粒形態分為5類，經過學習的神經網絡對完整籽粒分類的準確率達到93％，破籽粒分類的準確率達91％。

3.蔬菜、果實、谷物等農產品的分級和鑒定

在農業生產中，蔬菜、果實、谷物等農產品的分級和鑒定是通過對農產品外觀的辨識進行的。傳統的農產品外觀的辨識方法費時費力、預測可靠度很低，而且多采用人工操作，評價受到操作者主觀因素的影響，評判的精度難以保證。利用人工神經網絡技術結合圖像處理技術可部分代替以往這些主要依靠人工識別的工作，從而大大提高生產效率，實現農業生產與管理的自動化和智能化。

利用BP神經網絡技術對農產品果形尺寸和顏色等外觀評判，目前國內外已有不少成果用于實際生產中。何東健等以計算機視覺技術進行果實顏色自動分級為目的，研究了用人工神經網絡進行顏色分級的方法。分別用120個著色不同的紅星和紅富士蘋果作為訓練樣本集對網絡進行離線訓練。兩個品種的蘋果先由人工依據標準按著色度分成4級，對每一個品種分別求出7個模式特征值作為BP網絡的輸入，用訓練好的神經網絡進行分級。結果表明紅富士和紅星果實的平均分級一致率分別為94.2％和94.4％。劉禾等用對稱特征、長寬特征、寬度特征、比值特征等一系列特征值來描述果形。采用BP網絡與人工智能相結合，建立果形判別人工神經網絡專家系統。試驗水果品種為富士和國光。試驗表明系統對富士學習率為80％，對非學習樣本的富士蘋果的果形判別推確率為75％，系統對國光學習率為89％，對非學習樣本的國光蘋果果形判別系統的難確率為82％。

三、未來的發展方向

人工神經網絡的信息處理技術現已在農業工程領域內得到了迅速的應用，采用人工神經網絡算法的農業系統能夠從一定程度上改善控制效果，但此技術在農業范圍內還不夠成熟，有待于進一步的研究。今后科研的方向大體上可以從以下幾方面著手：

1.人工神經網絡算法的改進

人工神經網絡算法由于本身具有一定的缺點，從而采用人工神經網絡的算法的信息處理技術在應用過程中具有一定的局限性。在今后的研究中，可以從人工神經網絡方向著手，改進人工神經網絡算法，從而實現其在農業領域內更好的應用。近年來隨著模糊算法、蟻群算法等算法的相繼出現，將神經網絡與其他算法結合在一起已經成為了研究的熱門話題，也是未來算法研究的主要方向之一。

2.應用領域的擴展

人工神經網絡算法在農業工程方面現已得到了迅速的發展，擴展其在農業工程領域的應用范圍是未來的一個主要研究方向。人工神經網絡由于其具有自學習能力，可對農業系統的非線形特性進行較好的描述，采用人工神經網絡可解決傳統方法的不足，從而實現農業現代化。如何將神經網絡較好地引入到農業系統，解決農業工程中的部分問題，已是今后農業科研中的一個方向。

四、結束語

神經網絡作為一種人工智能范疇的計算方法，具有良好的自學習與數學計算的能力，可通過計算機程序進行模擬運算，現已廣泛用于模式識別、管理決策等方面。隨著計算機硬件和軟件的不斷發展與農業工程方面的研究的不斷深入，神經網絡將在農業管理、農業決策、農作物外觀分類、品質評判等方面充分發揮其自學習能力強，計算能力強的優勢，通過對樣本數據的學習，神經網絡可較好地解決農作物生長過程中的作物分類、預測等非線形的問題。在農業工程領域內，神經網絡擁有廣闊的科研前景。

參考文獻:

[1]余英林李海洲:神經網絡與信號分析[M]. 廣州: 華南理工大學出版社,1996:45

[2]霍再林史海濱孔東等: 基于人工神經網絡的作物水―鹽響應初步研究[J].內蒙古農業大學學報，2003，24（3）：66～70

[3]何勇宋海燕:基于神經網絡的作物營養診斷專家系統[J]. 農業工程學報,2005,21（1）:110～113

[4]馬成林吳才聰張書慧等:基與數據包絡分析和人工神經網絡的變量施肥決策方法研究[J].農業工程學報,2006，20（2）:152～155

[5]劉鋮楊盤洪: 莜麥播種方式決策的BP神經網絡模型[J]. 太原理工大學學報，2006,37(5):119～121

[6]譚宗琨: BP人工神經網絡在玉米智能農業專家系統中的應用[J].農業網絡信息，2004(10):9～1

[7]Liao K,Li Z,Reid J F,et al.Knoledge-based color discrimination of corn kernels[J].ASAE paper[C].92～3579