前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經網絡反向傳播公式范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。

神經網絡反向傳播公式范文第1篇

關鍵詞:電氣設備;故障診斷;神經網絡;學習算法

中圖分類號:TP183

近年來,隨著電氣設備復雜度的增加,其發生故障的概率也逐漸上升。即使是熟練工程師,面對日趨復雜的設備內部電氣結構,也難以迅速分析及判別其故障原因。與此同時,涌現出的各種智能算法、專家系統等,為設備診斷問題提供了可行的方案。其中,神經網絡以其特有優勢在電氣設備故障診斷中發揮了重要作用。神經網絡理論是人工智能、認知學、腦神經學、信息學等諸多學科融合發展的結果,它是由大量簡單的處理單元(稱為神經元),通過廣泛的互相連接而形成的復雜網絡系統。神經網絡具有學習能力,可以根據電氣設備的正常歷史數據訓練,將訓練結果信息與當前測量數據進行比較,以確定故障。同時它具有濾除噪聲的能力,這使其能在噪聲環境中有效地在線監測及診斷。其具有的分辯故障原因及類型的能力,為未來實現故障智能診斷奠定了基礎。本文介紹神經網絡結構及其學習算法,提出一種基于BP網絡的電氣設備故障診斷方法,通過網絡訓練及結果測試表明,該方法具有良好的故障診斷能力。[JP]

1 BP神經網絡模型

神經網絡有很多模型,例如BP網絡、Kohonen,Hopfield及ART等。其中,反向傳播網絡(Back[CD*2]Propagation Network)在神經網絡的實際應用中有著十分重要的影響,工程應用中的絕大多數網絡模型都采用BP模型或其變形,可以說BP模型體現了神經網絡中的精華。

1.1 BP神經網絡模型

以三層前向BP網絡為例,對神經網絡結構進行分析,其組成包括輸入層、隱含層和輸出層。如圖1所示,圖中圓圈表示神經元,Wir表示輸入層第i個神經元與隱含層第r個神經元的連接權值;Vrj表示隱含層第r個神經元與輸出層第j個神經元的連接權值;其間的連線表示神經元之間的相互作用強度。И

從圖1的結構中可以得到,隱含層節點的輸出函數和輸出層節點的輸出函數分別為:

式中:Tr和θr分別為隱含層和輸出層的單元閾值。在本文設計的BP神經網絡結構中,式(1)中的f(•)采用sigmoid函數,即f(x)=(1+e-x)-1。И

1.2 BP學習算法

BP模型的成功得益于BP算法的應用,即誤差反向傳播算法。BP算法屬于梯度下降算法,是一種監督式的學習算法。用網絡的實際輸出與目標矢量之間的誤差來修正網絡權值,使輸出與期望盡可能接近(網絡輸出層的誤差平方和達到最小);通過反復在誤差函數梯度下降方向上調整網絡權值的變化,逐漸逼近目標。每次權值和偏差的變化都與網絡輸出誤差的影響成正比,并以反向傳播的方式傳遞到每一層。BP網絡是由兩部分組成:信息的正向傳遞和誤差的反向傳播。

設神經元的輸入矢量為[WTHX]X[WTBX]=\[x1,x2,…,xn\],其中n是輸入層的神經元數。對應于輸入[WTHX]X的輸出矢量是Y[WTBX]=\[y1,y2,…,ym\],其中m 是輸出層的神經元數。如果要求網絡的期望輸出是[WTHX]T[WTBX]=\[t1,t2,…,tm\],г蛭蟛詈數可以定義為:

BP算法采用梯度下降法來調整網絡的權值,以使上述誤差函數減小,即:

Иw(n+1)=w(n)-η(E/w)[JY](3)И

式中:常數Е鞘僑ㄖ檔髡速率,通常取值0.01≤η≤1。權值WУ牡髡方法采用以下公式:

式中:ИΔwpq表示某層第p個節點到下一層第q個節點的權值修正量;xp表示節點p的輸出;δq表示節點qУ畝說愕燃畚蟛,由輸出層的等效誤差反傳而來:

式中:對應BP模型網絡結構(見圖1);節點q位于輸出層;節點h位于隱層。

2 電氣設備故障檢測實例

在電氣設備中發動機是故障率比較高的設備之一,其在故障診斷中比較具有代表性。在此,以發動機為例,分析BP神經網絡在電氣設備故障診斷過程中的一般模式及步驟。

2.1 網絡樣本選取及參數選擇

分析發動機的常見故障模式,首先選擇具有代表性的故障作為特征向量,取[WTHX]X[WTBX]=[x1,x2,x3,x4]作為神經網絡的輸入。其中:x1代表功率不足故障;x2代表聲音異常故障;x3代表排氣溫度高故障;x4代表消耗量過大故障。通過分析故障原因,取[WTHX]Y[WTBX]=[y1,y2,y3,y4,y5]作為目標輸出向量。其中:y1代表點火不正確;y2代表高壓線圈損壞;y3代表出現燃爆現象;y4代表進氣排氣管故障;y5代表增壓積炭過多故障。表1給出了輸入故障現象[WTHX]X和輸出原因分析Y[WTBX]е間的對應關系。

由此可知,在設計基于三層BP神經網絡的發動機故障診斷系統中,輸入層神經元節點數N=4,輸出層神經元節點數M=5。由公式h=(N+M)+σ可得隱含層神經元節點數h取3~6之間的數。И

2.2 訓練及測試

通過輸入樣本組對所設計的網絡進行訓練,選擇訓練誤差為10-6。例如,輸入樣本[WTHX]X[WTBX]=[0,0,1,0],調整網絡狀態,使其輸出接近目標[WTHX]Y[WTBX]=[1,0,0,1,0],即當發生排氣溫度過高故障時,可能原因是點火不正確以及進氣排氣管問題。訓練網絡的過程,實際上就是調整網絡參數的過程,具體來說,最主要的就是確定各個網絡權值。最終訓練好的網絡在測試過程中,能較為準確地診斷出故障問題的原因。在工程使用過程中,選擇故障檢測過程中各種儀器測量出來、有代表意義的測量數據,根據先驗知識及專家分析,組成輸入樣本和目標向量組,對設計的網絡結構訓練。在訓練過程中,可增加輸入樣本的數量。因為通過大量樣本訓練,神經網絡能具有更好的適應性和魯棒性,其故障診斷的準確性有所提高。采用C++builder及Matlab混合編程,前者負責做界面系統的開發,后者集中在神經網絡算法的設計上,據此進一步提高本工作的實際應用能力。

神經網絡反向傳播公式范文第2篇

關鍵詞：BP神經網絡造價預測研究

Abstract: this paper introduces the BP neural network of network structure and the learning process, and the BP neural network to predict the application of project cost.

Keywords: BP neural network cost prediction research

中圖分類號：TU723.3文獻標識碼：A 文章編號：

BP神經網絡的算法稱為反向傳播算法(Back-Propagation)簡稱BP算法，BP網絡也由此得名。BP網絡的學習過程是由信號的正向傳播與誤差的反向傳播兩個過程組成。在正向傳播過程中，信號從輸入層傳入，經隱單元逐層處理后傳向輸出層，如果在輸出層的實際輸出與期望輸出不符，則轉入反向傳播，將誤差信號以某種形式由原來的連接通路返回，通過隱層向輸入層反傳，并在返回過程中修改各層神經元連接的權值。這種過程循環進行，直到輸出誤差達到允許的范圍或達到網絡預先設定的學習次數。

1BP神經網絡的網絡結構

BP 神經網絡結構如圖1所示，輸入數據由輸入層進入，輸入層連接隱層，隱層連接輸出層，輸出數據從輸出層導出。輸入層、輸出層神經元個數根據具體實際情況設置，隱層可以是一層，也可是多層由相應的輸入層、輸出層神經元個數根據公式確定。各層之間神經元連接強度的加權值（簡稱權值）允許不同，權值越大表示該輸入的影響越大。神經元的所有輸入采用加權和的方式。輸入、輸出向量分別用x和y，且x=(x1，x2，…，xn)，y=(y1，y2，…，ym)，表示輸入層、輸出層分別有n、m個節點輸入輸出向量分別是 n 維和 m 維。

圖1BP 神經網絡結構示意圖

2BP神經網絡的學習過程

簡單說來BP網絡的整個學習過程就是權值與閾值的不斷修正過程，BP網絡的整個學習過程的步驟如下圖：

圖2 BP神經網絡學習過程

3 BP 神經網絡在工程造價預測中應用

工程造價預測是一個十分復雜的模式識別問題，特別是預測中存在廣泛的非線性問題，這增加了模式識別的復雜性。BP 神經網絡由于其本身信息處理的特點，使其能夠出色解決那些傳統識別方法難以解決的問題，近年來工程領域的仿真預測成為神經網絡的重要應用領域之一。

對于一般的神經網絡預測，診斷工作可以分為測前工作與測后工作兩部分工作。測前工作，根據經驗在一定的條件下，將常見的各種費用超支情況及正常情況所對應的理論值用實驗或理論計算求出。并以此作為BP神經網絡的樣本及樣本期望,輸入特定的BP神經網絡，進行神經網絡訓練，實際預測時，在同樣的條件下，將實際數據經處理后輸入特定的BP神經網絡。其輸出即是對應的預測值。神經網絡具有推論聯想的能力，具有很強的泛化能力，不僅能識別已經訓練過的樣本，而且能通過推論聯想識別為出現過的樣本。綜上所述，用BP神經網絡進行公路工程造價預測，步驟可以總結為：建模、參數選定、預測模型結構確定。

3.1神經網絡建模步驟

在實際應用中，面對一個具體的問題，首先需要分析利用神經網絡求解問題的性質，然后依據問題特點，確立網絡模型。最后通過對網絡進行訓練、仿真等，檢驗網絡的性能是否滿足要求。主要步驟包括：確定信息表達式、網絡模型的確定、網絡參數的選擇、訓練模式的確定、網絡測試。

3.2模型參數的確定

（1）實際完成金額

公路工程造價的發展具有連續性，其數量特征呈相對穩定，或者與其他經濟現象之間的相互聯系具有相對穩定的模式，因而有可能對其發展過程加以模擬，利用實際完成金額等歷史資料比較準確地推斷其將來。

（2）主要材料價格

由于公路工程涉及工程材料種類多，工程施工經歷時間跨度大，期間材料價格波動影響因素較多，要綜合考慮這些因素進行預測往往要大量的基礎資料。

（3）天氣狀況

由于公路項目施工主要是在野外作業，所以受天氣影響比較大，所以天氣狀況也是影響工程造價的一個因素。

（4）進場主要施工機械設備數量

設備材料費，是工程造價的主要組成部分。因此，施工設備投入數量，是影響工程造價增減的重要動態因素

4結語

基于 BP 神經網絡的公路工程造價預測，能夠充分利用公路工程造價的歷史數據，通過高度的非線性映射，得到預測結果。與傳統的工程造價方法相比較，該方法具有自組織、自學習、自適應和泛化能力，因而有廣泛的應用前景。而 BP 神經網絡的精確預測需要真實、可靠、準確的樣本輸入數據以及相對應的樣本期望數據，就需要我國公路工程造價歷史數據的不斷積累，公路工程造價制度的不斷完善。

參考文獻

[1]袁助,基于項目總控模式的高速公路造價動態控制方法研究[D],長沙理工大學,2009年.

神經網絡反向傳播公式范文第3篇

關鍵詞：神經網絡、BP算法、工程快速估價

引言

現在經濟的快速發展，建筑市場的管理機制逐步完善，大中型工程復雜，施工周期長，對施工方柱子投標階段及時準確的做出項目的最終成本成為工程造價管理中重要內容，本文中應用神經網絡原理，通過編寫MATLAB程序，針對多層現澆框架混凝土寫字樓，通過調整計算權值，計算反向傳播誤差，輸出計算結果和繪制誤差曲線誤差，將誤差控制在10%以內，從而對2011年進行預測。

1基于神經網絡預測原理

1.1正向建模[3]

正向建模是指訓練一個神經網絡表達系統正向動態的過程，這一過程建立的神經網絡模型稱為正向模型。正向模型的結構如圖4-1所示，其中神經網絡與待辨識上網系統并聯，兩者的輸出誤差用做網絡的訓練信號。顯然這是一個典型的有教師學習問題，實際系統作為教師，向神經網絡提供算法所需的期望輸出。當系統是被控對象或傳統控制器時，神經網絡多采用多層前向網絡的形式，可直接選用BP網絡或其它的各種變形。當系統為性能評價器時，則可選取再勵學習算法，這時網絡既可以采用具有全局逼近能力的網絡，如多層感知器，也可采用具有局部逼近能力的網絡，如小腦模型關節控制器（CMAC）等。

1.2BP神經網絡結構

BP神經網絡是一種具有三層或三層以上神經元的神經網絡，包括輸入層、中間層和輸出層，上下層之間實現全連接，而每層神經元之間無連接。當一對學習樣本提供給網絡后，神經元的激活值從輸入層經各中間層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。接下來，按照減少目標輸出與實際輸出之間誤差的方向，從輸出層反向經過各中間層回到輸入層，從而逐層修正各種連接權值，即“誤差反向傳播算法”，即BP算法。

2基于BP神經網絡的工程快速估價方法

2.1BP網絡結構

房屋建筑的任何一個特征都會影響到總的預算，論文中選取了寫字樓類建筑物為例進行研究，選定現澆鋼筋混凝土框架結構多層寫字樓，基礎類型、樓面工程、墻體工程、門窗形式、房間組合、層數、外墻裝飾共計七個對工程造價起主要影響作用的因素，將這些因素作為神經網絡的輸入向量，建立神經網絡模型，首先進行網絡訓練，這時的BP網絡共計三層，其中輸入層含有7個變量，中間層采取常用經驗公式得到15個，輸出為1個變量即為寫字樓的米造價。

2.2數據歸一化處理

程序調用數據之前，為保證所有的數據均落在[0,1]之間，首先需要進行歸一化處理，論文的程序中采取的歸一化處理方式是使每一影響因素中同時處理這一因素中的最大值或偏大于最大值，處理后的數據調入程序后，更方便計算，同時使得誤差更小。

2.3BP網絡程序實現

論文中的數據是搜集到的已建現澆混凝土框架結構寫字樓工程的工程造價數據，選取30組作為測試樣本，其中的20組作為預測樣本，通過進行誤差的求解和繪制誤差曲線得出結果，過程見圖2-1

function main()

SSE1=0;

DelthadW1Ex=0;

DelthadW2Ex=0;

SamNum=30;

TestSamNum=20;

HiddenUnitNum=15;

InDim=7;

OutDim=1;

%顯示計算結果

i

W1=W1Ex(:,1:InDim)

B1=W1Ex(:,InDim+1)

W2

B2=W2Ex(:,1+HiddenUnitNum)

相對誤差a：

a =

0.1080 0.0902 -0.0148 -0.0227 0.0327 0.0198 0.0096 0.1182 0.0164 0.0857 -0.0221 0.0794 -0.0368 0.0260 0.0306 0.0338 0.0562 0.0467 0.0736 0.0638

誤差曲線：

3結論

應用BP算法，通過編寫MATLAB程序，如果搜集得到的歷史數據真實，通過調整權值，能夠將誤差控制在10%，能夠很好的解決工程快速估價問題。

參考文獻:

[1] 段曉牧. 基于RBF神經網絡的非確定性工程投資估算新方法的研究.[D]

神經網絡反向傳播公式范文第4篇

關鍵詞：神經網絡 特征提取 模式識別

中圖分類號：U495 文獻標識碼：A 文章編號：1674-098X（2017）01（a）-0115-05

隨著通信技術的飛速發展，出現了適用于不同背景環境的通信標準，每種標準都有其特定的調制方式和工作頻段，為了滿足人們實現不同標準間互通的需求，軟件無線電技術應運而生。它利用可升級、可替代的軟件來完成盡可能多的通信功能硬件模塊，將多種類型的信號處理基于一體。為了能夠處理不同類型的調制信號，必須首先識別出信號的調制類型，然后才能進行下一步處理。因此，調制信號的自動識別技術，就成了軟件無線電技術中的關鍵。

神經網絡具有的信息分布式存儲、大規模自適應并行處理和高度的容錯性等特點，是用于模式識別的基礎。特別是其學習能力和容錯性對不確定性模式R別具有獨到之處。其中BP網絡長期以來一直是神經網絡分類器的熱點，由于它理論發展成熟，網絡結構清晰，因此得到了廣泛應用。基于A.K. Nandi和E.E. Azzouz從瞬時頻率、瞬時幅度和瞬時相位中提取的特征參數，我們就可以用神經網絡對常用的數字調制信號進行自動分類。

1 神經網絡

根據T. Koholen的定義：“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統對真實世界物體做出交互反應。”人工神經網絡是在現代神經學研究成果的基礎上發展起來的模仿人腦信息處理機制的網絡系統，它由大量簡單的人工神經元廣泛連接而成，反映了人腦功能的若干特性，可以完成學習、記憶、識別和推理等功能。

2 數字調制信號特征參數的提取

計算機處理的信號都是對調制信號采樣后的采樣信號序列，因此設采樣序列為（n=0，1，2，…，Ns），采樣頻率為。對采樣序列進行希爾伯特變換，得如下解析表達式：

（1）

采樣序列的瞬時幅度：

（2）

瞬時相位：

（3）

由于是按模計算相位序列，當相位的真值超過，按模計算相位序列就會造成相位卷疊。載波頻率引起的線性相位分量，是造成相位卷疊的主要因素。因此，必須對進行去相位卷疊。去相位卷疊后的相位序列為，再對進行去線性相位運算，得到真正相位序列。瞬時頻率為：

（4）

在上述基礎上，提取下面5個特征參數。

（1）是被截取信號片段的零中心歸一化瞬時幅度的譜密度的最大值，定義為：

（5）

其中為零中心歸一化瞬時幅度在t=i/fs（i=1，2，…，Ns）時刻的值；為采樣速率；為每一個信號樣本采樣點的樣本個數。定義如下：

-1 （6）

其中：

， （7）

（2）為非弱信號段中瞬時相位非線性分量的絕對值的標準偏差，定義如下：

（8）

其中為經過零中心化處理后瞬時相位的非線性分量在時刻的值；為判斷弱信號段的一個幅度判決門限電平，在門限以下信號對噪聲非常敏感，這里取；C為全部取樣數據中大于判決門限的樣本數據的個數。

（3）為非弱信號段中瞬時相位非線性分量的標準偏差，定義如下：

（9）

（4）為零中心歸一化非弱信號段瞬時幅度絕對值的標準偏差，定義如下：

（10）

（5）為零中心歸一化非弱信號段瞬時頻率絕對值的標準偏差，定義如下：

（11）

其中，，，，rs為數字序列的符號速率。

3 基于BP網絡的數字調制信號的自動識別

把BP網絡應用于數字調制信號的自動識別，是應用了其簡單的結構和非線性映射的本質。將特征參數映射成與其對應的調制信號，是此方法的基本思路。

3.1 調制信號識別的基本原理

由上述得到的5個特征參數區分多種數字調制信號的原理，可用圖1簡單示意。

用于區分是否包含幅度信息的信號；用于區分是否包含絕對相位信息的信號；用于區分是否包含直接相位信息的信號；用于區分是否包含絕對幅度信息的信號；用于區分是否包含絕對頻率信息的信號。

3.2 BP網絡

BP網絡結構上是一個多層感知器，其基本算法是反向傳播算法，反向傳播（BP）算法是一種有師學習算法，BP算法的學習過程由正向傳播和反向傳播兩部分組成，在正向傳播過程中，輸入向量從輸入層經過隱含層神經元的處理后，傳向輸出層，每一層神經元的狀態只影響下一層神經元狀態。如果在輸出層得不到期望輸出，則轉入反向傳播，此時誤差信號從輸出層向輸入層傳播并沿途調整各層間連接權值和閾值，以使誤差不斷減小，直到達到精度要求。

標準的BP算法如下（以單隱層結構為例）。

W和b分別為輸入層與隱層神經元之間的權值和閾值；x為輸入層的輸入；u和v分別為隱層的輸入和輸出；為輸出層的輸入；為隱層與輸出層之間的權值；y為網絡的實際輸出；d為網絡的期望輸出；e為誤差。

（1）正向傳播過程。

輸入層：特征參數向量組x為網絡的輸入。

隱含層：其輸入值u為輸入層的加權和（當網絡為單隱層時）。

（12）

輸出為：

（13）

式中為神經元的激勵函數，通常為Sigmoid函數。

（14）

輸出層：輸出層神經元的激勵函數通常為線性函數，所以輸出值為輸入值的加權和。

（15）

由y和d求出誤差e。若e滿足要求或達到最大訓練次數，則算法結束，網絡完成訓練，否則進入反向傳播過程。

（2）反向傳播過程。

首先定義誤差函數：

（16）

BP學習算法采用梯度下降法調整權值，每次調整量為：

（17）

式中，η為學習率，0

①對于輸出層與隱含層之間的權值修正量：

（18）

其中

②對于隱含層與輸入層之間的權值修正量：

（19）

式中，則下一次迭代時：

（20）

（21）

（3）BP網絡的設計。

由神經網絡理論可知，具有至少一個帶偏差的S形隱含層和一個帶偏差的線性輸出層的網絡，能夠逼近任意的有理函數。因此該設計采用3層網絡結構。

①輸入層：輸入層神經元的個數就是輸入向量的維數。

②隱含層：根據經驗公式，隱含層神經元個數M與輸入層神經元個數N大致有如下關系：M=2N+1，又考慮到計算精度的問題，因此隱層設計為5。一般說來，隱節點越多，計算精度越高，但是計算時間也會越長。

③輸出層：一般說來輸出層神經元的個數等于要識別的調制類型的個數，但是還要具體情況具體分析。

結合該次設計實際，網絡采用1-5-2結構。

（4）神經網絡方法實現自動調制識別的步驟。

在此將該文方法實現的步驟歸納如下。

①由接收到的調制信號求其采樣序列，進而得到其復包絡。

②由信號的復包絡求其瞬時幅度，順勢相位和瞬時頻率。

③由信號的瞬時參量求其5個特征參數。

④用信號的特征參數向量組訓練網絡。

⑤用訓練好的網絡對調制信號進行自動識別。

（5）MATLAB仿真。

為對用神經網絡進行調制信號自動識別的方法進行性能驗證，下面對2FSK和2PSK做MATLAB仿真試驗：基帶信號的碼元速率為50 kHz，載波頻率為150 kHz，采樣速率為1 200 kHz，對于2FSK信號，載波之差為50 kHz。將網絡調整到最佳狀況，對網絡進行了100次的仿真訓練，隨機抽取了一組數據的收斂均方誤差曲線如圖2所示。

對訓練好的網絡進行性能測試。仿真識別實驗分別對2FSK和2PSK信號采用SNR=10 dB，15 dB，20 dB和∞ 4組數據進行。在對網絡進行了100次仿真識別的基礎上得到以下數據，見表1。

由表1可以看出，用標準BP算法訓練出來的神經網絡，對2PSK信號有著較理想的識別成功率，在信噪比等于10 dB的情況下，依然可以達到99.5%以上的識別成功率。而對2FSK信號的識別成功率就不盡如人意，雖然在信噪比等于20 dB的情況下可以完全識別信號，但在信噪比等于10 dB的情況下，識別率較低。

4 結語

基于神經網絡的數字調制信號自動識別的研究雖然初見成果，但是整體上看，它未對更多的調制類型進行測試，而且對某些類型的調制信號識別的效果還不甚理想。在仿真試驗中，不可避免地出現了收斂速度慢、存在局部極小值和概率極小的不收斂現象這3個BP網絡本質上的缺陷。采用改進的BP算法或者其他神經網絡可以改善網絡性能和提高R別成功率。

神經網絡用于調制識別方法的可行性已初見端倪，與其他方法相比，神經網絡具有的信息分布式存儲、大規模自適應并行處理和高度的容錯性等特點，使其非常適合于調制識別，而且它簡單有效，極易用軟件或硬件實現，相信神經網絡技術能夠在軟件無線電領域發揮它獨特而重要的作用。

參考文獻

[1] 黃春琳，邱玲，沈振康.數字調制信號的神經網絡識別方法[J].國防科技大學學報，1999（2）：58-61.

[2] 吳惠.數字信號調制方式識別技術研究[D].蘭州交通大學，2014.

[3] 飛思科技產品研發中心.神經網絡理論與MATLAB7實現[M].電子工業出版社，2005：44-58.

[4] 蘭雪梅，朱健，董德存.BP網絡的MATLAB實現[J].微型電腦應用，2003（1）：6-8.

[5] 姚亞峰，黃載祿.通信信號調制識別技術[J].通信技術，2003（6）：43-45，52.

[6] 姜莉.利用神經網絡實現調制信號的自動識別[J].電子測試，2014（7）：71-73.

[7] 從爽.神經網絡、模糊系統及其在運動控制中的應用[M].中國科學技術大學出版社，2002：17-31.

[8] 高雋.人工神經網絡原理及其仿真實例[M].機械工業出版社，2003：44-53.

[9] 飛思科技產品研發中心.MATLAB 6.5輔助神經網絡分析與設計[M].電子工業出版社，2003：64-69.

[10] 李峻.基于決策理論的軟件無線電信號調制樣式自動識別[J].大連鐵道學院學報，2002（4）：50-54.

[11] 趙知勁，莊嬋飛，干立.調制樣式BP神經網絡分類器[J].現代雷達，2003（10）：22-24.

[12] 林華東，龐偉正.軟件無線電中數字調制信號的自動識別[J].應用科技，2004（6）：25-27.

[13] 王康利，謝建菲，趙蘭華.基于神經網絡的軟件無線電信號的調制識別[J].計算機測量與控制，2004，12（9）：877-878.

[14] 姜立芳，劉泊，施蓮輝.一種改進的BP算法及其在模式識別中的應用[J].哈爾濱理工大學學報，2003（3）：90-92.

神經網絡反向傳播公式范文第5篇

【摘要】 目的： 探討矽肺纖維化同生物活性介質之間的關系。方法： 利用Delphi語言編制了BP人工神經網絡模型計算機程序，建立并分析了矽肺膠原纖維預測的數學模型。結果： 選定網絡隱含層節點為9，初始權值閾值約為(-0.2，0.2)，最大相對誤差為4%，最小相對誤差為0.2%。 結論： 應用神經網絡具有較好的預測效果，可為臨床醫學研究提供一個很好的研究思路。

【關鍵詞】 BP神經網絡； 生物活性介質； 矽肺； 膠原纖維； 預測

矽肺是塵肺中最嚴重的一種類型，是由于長期吸入超過一定濃度的含有游離二氧化硅的粉塵，肺內發生廣泛的結節性纖維化。矽肺纖維化的預測困難，診斷滯后。目前，矽肺的發病機理仍然不完全清楚，尚無有效的早期診斷（篩檢）方法，也無早期診斷的特異性指標和特異性的治療藥物和方法。一經傳統的后前位胸大片確診，肺部病變已經無法逆轉。因此，尋找早期診斷(篩檢)特異性的生物介質組合，對預防、治療乃至最終消除矽肺具有重要意義。矽肺的發病與細胞因子（Cytokine，CK）網絡調控有密切聯系，高宏生等用系統生物學的方法論證了細胞因子對矽肺纖維化的網絡調控關系［1，2］，論證了細胞因子復雜非線性致炎致纖維化的網絡調控假說。王世鑫等用判別方程的方法，通過診斷肺纖維化正確率。矽肺纖維化與不同活性介質、基因表達等多種因素密切相關［3］，因此預計是一個多目標決策問題。傳統的預測方法是用多元線性回歸來進行預測，統計者千方百計的想找出決策目標和各因素之間找出一個線性的公式關系，試圖想用一個嚴格的數學模型公式表達出相應的關系。實際上，具有良好的非線性的神經網絡可以預測矽肺纖維化結果。本研究圖基于神經網絡的方法預測生物活性介質網絡調控的矽肺纖維化。

1 神經網絡的基本理論

人工神經網絡是基于對人腦組織結構、活動機制的初步認識提出的一種新型信息處理體系。通過模仿腦神經系統的組織結構以及某些活動機理，人工神經網絡可呈現出人腦的許多特征，并具有人腦的一些基本功能。從本質上講，人工神經網絡是一種大規模并行的非線性動力系統。它具有許多引人注目的特點：大規模的復雜系統，有大量可供調節的參數；高度并行的處理機制，具有高速運算的能力；高度冗余的組織方式等。

在預測領域中應用最廣泛的還是BP網絡。BP網絡的學習算法是一種誤差反向傳播式網絡權值訓練方法。實質就象最小二乘法一樣，BP算法是在樣本空間中耦合這樣一個曲面，即使所有的樣本點均在這個曲面上，若這樣的曲面不存在，就找到離樣本點的距離之和最小的曲面作為近似解。

BP網絡的學習過程包括：正向傳播和反向傳播。當正向傳播時，輸入信息從輸入層經隱單元處理，后傳向輸出層，每一層神經元的狀態只影響下一層的神經元的狀態。如果在輸出層得不到希望的輸出，則轉入反向傳播，將誤差信號沿原來的神經連接通路返回。返回過程中，逐一修改各層神經元連接的權值。這種過程不斷迭代，最后使得信號誤差達到允許的誤差范圍之內。如圖1所示為3層神經網絡結構圖。

輸入層

隱含層

輸出層

圖1 神經網絡結構

設3層BP神經網絡，輸入向量為X=(x1，x2，…xn)T ；隱層輸出向量為Y=(y1，y2，…ym)T ，輸出層向量為O=(o1，o2，…ol)T ，期望輸出向量為d=(d1，d2，…dl)T 。

對于輸出層，有ok =f(net)，netk=m j=0wjkyj ，k=1，2，…l

對于隱層，有yj =f(net)，netj=n i=0vijxi ，k=1，2，…m

f(x)=1 1+e-x ，BP學習算法權值調整計算公式為：

Δwjk=η(dk-ok)ok(1-ok)yj

Δvij=η(l k=1δ0k wjk)yj(1-yj)xi

δ0k =(dk-ok)ok(1-ok)

η∈(0，1)

2 應用實例

2.1 矽肺預測的影響因素

大量研究表明，肺泡巨噬細胞和肺泡上皮細胞在肺組織炎癥反應及纖維化病變的啟動、發展過程中起到最為關鍵的作用，主要是通過分泌細胞因子、炎性介質等生物活性物質，發揮直接或間接的生物學作用。這些CK包括：白介素（interleukin，IL）、腫瘤壞死因子（tumor necrosis factor ，TNF）、轉化生長因子（transforming growth factor，TGF）等。根據分泌細胞因子不同將Th 細胞分為Th1 和Th2 兩種類型。Th1主要分泌白介素-2（interleukin-2，IL-2）、白介素-12（interleukin-12，IL-12）、白介素-18（interleukin-18，IL-18）、干擾素-γ（Interferon-γ，IFN-γ）等，主要介導細胞免疫應答，與炎癥有關，具有抗纖維化作用，可抑制成纖維細胞的增殖及纖維的生成。Th2主要分泌白介素-4 （interleukin-4，IL-4）、白介素-5 （interleukin-5，IL-5）、白介素-10 （interleukin-10，IL-10）、白介素-13（interleukin-13，IL-13）、單核細胞趨化蛋白-1 （monocyte chemoattractant protein-1，MCP-1）等，而Th2主要介導體液免疫反應，可促進成纖維細胞的增生，導致膠原蛋白合成增加，并抑制膠原蛋白的降解，最終導致細胞外的基質蛋白沉積和纖維生成。Th1 型和Th2 型免疫應答之間存在著交互的負反饋作用，維持著正常的免疫平衡。其負反饋調節通常就是靠產生的細胞因子起作用的，即一型CK可以下調另一型CK的功能。Th1/Th2型CK失衡可導致機體對損傷的異常反應。總之，矽肺病人存在CK網絡的平衡紊亂，其錯綜復雜的調控機制可能參與矽肺的發生和發展［6~9］，如圖2所示。

圖2 細胞因子網絡調控圖

2.2 矽肺預測的BP網絡模型的設計

本研究運用神經網絡的模型方法，對矽肺預測進行設計，得出其預測模型。

2.2.1 輸入層、隱含層、輸出層的設計

矽肺纖維化輸入層的確定：根據meta分析和微分方程網絡模型確定生物活性介質為輸入層。

轉貼于

對于矽肺預測，應當依據其關鍵要素來確定輸入層各因素，在神經網絡模型中，輸入層可以選定白介素（interleukin，IL）、腫瘤壞死因子（tumor necrosis factor ，TNF）、轉化生長因子（transforming growth factor，TGF）等。根據分泌細胞因子不同將Th 細胞分為Th1 和Th2 兩種類型。Th1主要分泌白介素-2（interleukin-2，IL-2）、白介素-12（interleukin-12，IL-12）、白介素-18（interleukin-18，IL-18）、干擾素-γ（Interferon-γ，IFN-γ）作為輸入層，輸入單元數為8，隱含層節點的確定參考下面單元計算公式：

c=n+m+a

其中c 為隱層單元數，n為輸入神經元個數，m 為輸出神經元個數，a 為1~10之間的常數。本研究中，隱層單元數計算如下：

8+2+1≤c≤8+2+10

即：4.33≤c≤13.33

根據c 的計算值，由小到大改變節點數訓練并檢驗其精度，當節點數的增加誤差不進一步減小時，其臨界值即為應采用的值。最后，經過網絡的實際訓練結果比較，選定網絡隱含層節點為9，此時網絡能較快地收斂至所要求的精度。

2.2.2 初始權值的確定

在神經網絡模型中，初始權值選取對于輸出結果是否最接近實際，及是否能夠收斂、學習時間的長短等關系很大。初始權值太大，使得加權之后的輸入和N落在了網絡模型的s型激活函數的飽和期中，從而會導致φ′(·)非常小，而由于當 φ′(·)0時，則有δ0，使得Δwji 0，最終使得調節過程沒有什么效果。所以權值及閾值的初始值應選為均勻分布的小數經驗值，約為(-2.4/F，2.4/F)之間，其中F為所連單元的輸入層節點數。本模型輸入端節點數為11，所以初始值約為(-0.2，0.2)，可隨機選取［4］。

2.2.3 目標值及學習步長的選取

對矽肺預測之前，應先根據影響矽肺預測的因素進行綜合預測。在實際操作時，還應結合經驗值。若Sigmoid函數選取反對稱函數——雙曲正切函數，綜合評估指標的目標值D的范圍也應在［-1，1］之間，也即是綜合指標的無量綱數值在［0，1］之間。通常輸出單元的局部梯度比輸入端的大，所以輸出單元的學習的步長應比輸入單元小一些［5］。

通過以上分析可得網絡模型結構如圖3。利用Delphi語言編制了BP人工神經網絡模型計算機程序進行訓練集樣本訓練，訓練輸入節點數為8，表1為矽肺預測輸入訓練樣本和檢測樣本，當誤差給定E＝0.00005，學習步長為0.1，經200次訓練，網絡精度達到要求，如表2和圖4所示。表1 矽肺預測輸入訓練樣本和檢測樣本表2 訓練樣本訓練次數網絡誤差

樣本經200次訓練后，網絡誤差滿足精度要求，隱含單元到各輸入單元的權值和閾值及輸出單元到各隱含單元的權值和閾值調整為表3和表4所示。

由于矽肺預測神經網絡模型經訓練后，網絡精度已經達到要求，可以用檢驗樣本檢測預測效果，如表5所示。

從預測結果看，最大相對誤差為4.0%，最小相對誤差為0.2%，預測效果非常明顯，該網絡的檢驗性能穩定，可以很好的對矽肺進行預測。表3 隱含單元到各輸入單元的權值和閾值表4 輸出單元到各隱含單元的權值和閾值表5 檢驗樣本及矽肺預測結果

3 討論

本研究通過采用神經網絡的方法，探討矽肺纖維化同生物活性介質之間的關系，并建立了矽肺纖維化的影響因素和Ⅰ型膠原、Ⅲ型膠原的BP神經網絡，從預測效果看，能夠較準確的預測矽肺纖維化。但還應當看到神經網絡應用到預測還有許多不盡如意的問題，主要的弱點之一是它是一種黑盒方法，無法表達和分析被預測系統的輸入與輸出間的關系，因此，也難于對所得結果作任何解釋，對任何求得數據做統計檢驗； 二是采用神經網絡作預測時，沒有一個便于選定最合適的神經網絡結構的標準方法，只能花大量時間采用湊試法，從許多次實驗中找出“最合適”的一種。本研究在矽肺預測上運用神經網絡建模上進行了初步的探討，對網絡模型的拓展性、收斂性等問題還有待于進一步的研究 。

參考文獻

1 高宏生， 伍瑞昌， 張雙德， 等. 基于meta分析和微分方程模型的肺纖維化細胞因子調控網絡研究. 軍事醫學科學院院刊，2008，32（3）：312~316.

2 高宏生，楊霞，丁朋，等. 應用meta分析肺纖維化TNF-α的時空變化. 武警醫學院學報，2008，17（8）：561~562.

3 劉萍 王世鑫 陳蕾，等. 矽肺患者血清克拉拉細胞蛋白和表面活性蛋白D的改變. 中華勞動衛生職業病雜志， 2007， 25(01):18~21.

4 韓力群.人工神經網絡理論、設計及應用.化學工業出版社，2001.

5 何海龍，王青海，王精業.神經網絡在裝備保障性評估中的應用. 系統工程理論與實踐，2003，9：111~116.

6 Kohonen T.Self-Organization and Associative Memory. Berlin Heidelberg:Springer-Verlag，1984.

7 Lapedes A，Farber.Nonlinear signal processing using neural networks :prediction and system modelling［R］.Technical Report LA-UR-87-2662，Los Alam os National Laboratory.Los Alamos.NM，1987.

8 Wang CH， Mo LR， Lin RC， et al. Artificial neural network model is superior to logistic regression model in predicting treatment outcomes of interferon-based combination therapy in patients with chronic hepatitis C.Intervirology，2008，51(1):14~20.

9 Kato H， Kanematsu M， Zhang X，et al. Computer-aided diagnosis of hepatic fibrosis: preliminary evaluation of MRI texture analysis using the finite difference method and an artificial neural network.AJR Am J Roentgenol， 2007，189(1):117~122.

10 Piscaglia F， Cucchetti A， Benlloch S，et al. Prediction of significant fibrosis in hepatitis C virus infected liver transplant recipients by artificial neural network analysis of clinical factors. J Gastroenterol Hepatol， 2006，18(12):1255~1261.