單隱層前饋神經網路的介紹

❶ 那個最簡單的BP神經網路是什麼意思啊，求解答

最簡單的BP神經網路？可能指單輸入單輸出的單隱層感知器模型。

BP（Back Propagation）神經網路是1986年由Rumelhart和內McCelland為首的科學家容小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hidden layer)和輸出層(output layer)。

❷ 誰能解釋極限學習機牛X在哪裡

極限學習機（extreme learning machine）ELM是一種簡單易用、有效的單隱層前饋神經網路SLFNs學習演算法。2004年由南洋理工大學黃廣斌副教授提出。傳統的神經網路學習演算法（如BP演算法）需要人為設置大量的網路訓練參數，並且很容易產生局部最優解。極限學習機只需要設置網路的隱層節點個數，在演算法執行過程中不需要調整網路的輸入權值以及隱元的偏置，並且產生唯一的最優解，因此具有學習速度快且泛化性能好的優點。

❸ BP神經網路的工作原理

人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。

❹ BP神經網路的神經網路

在人工神經網路發展歷史中，很長一段時間里沒有找到隱層的連接權值調整問題的有效演算法。直到誤差反向傳播演算法（BP演算法）的提出，成功地解決了求解非線性連續函數的多層前饋神經網路權重調整問題。
BP (Back Propagation)神經網路，即誤差反傳誤差反向傳播演算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經元負責接收來自外界的輸入信息，並傳遞給中間層各神經元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最後一個隱層傳遞到輸出層各神經元的信息，經進一步處理後，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網路學習訓練的過程，此過程一直進行到網路輸出的誤差減少到可以接受的程度，或者預先設定的學習次數為止。
BP神經網路模型BP網路模型包括其輸入輸出模型、作用函數模型、誤差計算模型和自學習模型。
（1）節點輸出模型
隱節點輸出模型：Oj=f(∑Wij×Xi-qj) (1)
輸出節點輸出模型：Yk=f(∑Tjk×Oj-qk) (2)
f-非線形作用函數；q -神經單元閾值。
（2）作用函數模型
作用函數是反映下層輸入對上層節點刺激脈沖強度的函數又稱刺激函數，一般取為(0,1)內連續取值Sigmoid函數： f(x)=1/(1+e乘方（-x）) （3）
（3）誤差計算模型
誤差計算模型是反映神經網路期望輸出與計算輸出之間誤差大小的函數：
(4)
tpi- i節點的期望輸出值；Opi-i節點計算輸出值。
（4）自學習模型
神經網路的學習過程，即連接下層節點和上層節點之間的權重矩陣Wij的設定和誤差修正過程。BP網路有師學習方式-需要設定期望值和無師學習方式-只需輸入模式之分。自學習模型為
△Wij(n+1)= h ×Фi×Oj+a×△Wij(n) （5）
h -學習因子；Фi-輸出節點i的計算誤差；Oj-輸出節點j的計算輸出；a-動量因子。

❺ (1)BP演算法的學習過程中有兩個過程是什麼(2)寫出BP神經網路的數學模型,並以20

bp（back propagation）網路是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。bp網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。bp神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。

人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「a」、「b」兩個字母的識別為例進行說明，規定當「a」輸入網路時，應該輸出「1」，而當輸入為「b」時，輸出為「0」。

所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「a」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「a」模式輸入時，仍然能作出正確的判斷。

如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「a」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「a」、「b」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。

如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。

縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。

雖然bp網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。

首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，bp演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。

其次，bp演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。

再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。

最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。

❻ 用單隱層神經網路逼近函數F(x)，已求出權值矩陣w1[n1], w2[n2],怎麼用matlab作出模擬圖像請給出代碼

權值都有了，做模擬很容易啊，不就是權值變化曲線嗎

❼ net=newff(p_train,t_train,[],{'logsig'},'traingd'); 以此想建立一個單隱層的神經網路，隱層神經元個數

一般情況下，隱層神經元個數是根據經驗確定的，可以根據下列條件來確定回
在一個最佳的隱層單元答數。以下4個公式可以用於選擇最佳隱層單元數時的參考公式。
,其中,為樣本數, 為隱層單元數,為輸入單元數。如果,.
(2)其中, 為輸入神經元數,為之間的常數。
(3,其中,為訓練樣本的個數。
(4),其中,為輸入的神經元個數。

❽ bp神經網路

BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。

人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。

所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。

如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。

如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。

縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。

雖然BP網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。

首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。

其次，BP演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。

再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。

最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。
請採納。

❾ 跪求：極限學習機（極端學習機）的詳細介紹

針對半監督學習方法存在的學習速度緩慢、不確定性遞增等問題,提出一種基於極端學習機的半監督學習方法.該方法將極端學習機從監督學習模式擴展到半監督學習模式,以輸出閾值向量控制標記樣本的擴充程度,利用"換位"策略評估擴充標記樣本中不確定性的影響.模擬結果表明,所提方法能夠顯著提高半監督學習的速度並有效減小對標記樣本的依賴程度.

❿ 多層前饋網路模型及BP演算法

多層前饋網中,以單隱層網的應用最為普遍,如圖6.1所示。習慣上將其稱為三層前饋網或三層感知器,所謂三層即輸入層、隱層和輸出層。

圖6.1 三層前饋神經網路結構

Fig.6.1 BP neural network structure

三層前饋網中,輸入向量為X=(x₁,x₂,…,x_i,…,x_n)^T,如加入x₀=-1,可為輸出層神經元引入閾值；隱層輸出向量為Y=(y₁,y₂,…,y_l,…,y_m)^T,如加入y₀=-1,可為輸出層神經元引入閾值；輸出層輸出向量為O=(o₁,o₂,…,o_k,…,o_l)^T。輸入層到隱層之間的權值陣用V表示,V=(V₁,V₂,…,V_j,…,V_m),其中列向量V_j為隱層第j個神經元對應的權向量；隱層到輸出層之間的權值矩陣用W 表示,W=(W₁,W₂,…,W_k,…,W_l),其中列向量W_k為輸出層第k個神經元對應的權向量。下面分析各層信號之間的數學關系。

輸出層：

o_k=f(net_k)k=1,2,…,ι(6-1)

煤層開采頂板導水裂隙帶高度預測理論與方法

隱層：

y_j=f(net_j)j=1,2,…,m(6-3)

煤層開采頂板導水裂隙帶高度預測理論與方法

以上兩式中,轉移函數f(x)均為單極性Sigmoid函數

煤層開采頂板導水裂隙帶高度預測理論與方法

f(x)具有連續、可導的特點,且有

煤層開采頂板導水裂隙帶高度預測理論與方法

根據應用需要,也可以採用雙極性Sigmoid函數(或稱雙曲線正切函數)

煤層開采頂板導水裂隙帶高度預測理論與方法

式6-1～式6-6共同構成了三層前饋網的數學模型。

BP學習演算法中按以下方法調整其權重與誤差：

當網路輸出與期望輸出不相等時,存在輸出誤差E,定義如下：

煤層開采頂板導水裂隙帶高度預測理論與方法

將以上誤差定義式展開到隱層,

煤層開采頂板導水裂隙帶高度預測理論與方法

進一步展開到輸入層,

煤層開采頂板導水裂隙帶高度預測理論與方法

由上式可以看出,網路輸入誤差是各層權值ω_jk、υ_ij的函數,因此調整權值可改變誤差E。

顯然,調整權值的原則是使誤差不斷減小,因此權值的調整量與誤差的負梯度成正比,即

煤層開采頂板導水裂隙帶高度預測理論與方法

煤層開采頂板導水裂隙帶高度預測理論與方法

式中負號表示梯度下降,常數η∈(0,1)表示比例系數,在訓練中反映了學習速率。可以看出BP法屬於δ學習規則類,這類演算法常被稱為誤差的梯度下降(GradientDescent)演算法。