模糊类神经网路方法建构专利鉴价模型之研究(车慧中博士)
模糊類神經網路方法建構專利鑑價模糊類神經網路方法建構專利鑑價模型模型模型之研究之研究
Study on Patent Pricing Model Constructed by Fuzzy-ANN
Methodology
賴以軒1、車慧中2、王思儀3、李皞白4、莊婷聿5
1
中華大學科技管理研究所 助理教授 2
中華大學科技管理研究所 博士班研究生
3, 4
冠亞智財股份有限公司
5
清華大學科技法律研究所 碩士班研究生
經濟部技術處小型企業創新研發計畫編號：3Z950406
摘要
傳統的專利鑑價方法，無論是成本法、市場法、經濟價值法、或選擇權法等，多以財務或技術為基礎所發展，並未完整考量專利的權利特性與其基本特質。然而專利權之本質為一種專利權人專有之製造、販賣、為販賣之要約、使用及進口之「排他權」。「排他權」意指排除他人對於特定專利「自由實施」之權利，當排他權遭受侵犯，專利權人得以透過訴訟手段而獲得適當的賠償，亦即，獲得前述專利權所對應之適當的市場價值。因此本研究以美國聯邦巡迴地方法院的專利侵權訴訟案件為分析對象，利用LexisNexis 資料庫進行專利侵權訴訟案件的蒐集與篩選，得到德拉瓦州(Delaware)、加州(California)與德州(Texas)三州之聯邦巡迴地方法院的84個案件為樣本；同時，本研究針對專利的基本特質整理出17項量化之評核指標，利用多變量分析方法中之因素分析法將17項評核指標進行指標縮減與萃取，再利用模糊類神經網路方法將樣本之萃取後指標作為輸入變數、訴訟案件之判罰金額作為輸出變數，藉以建構出鑑價模型，最後透過誤差分析驗證該專利鑑價模型具有相當之可行性。
關鍵詞：專利鑑價(Patent Pricing)、多變量分析(Multivariate Analysis)、因素分析(Factor Analysis)、模糊類神經網路(Fuzzy-ANN)、判罰金額(Damage Award) 一、緒論
(一)研究問題與背景
隨著科技產業快速的發展以及知識經濟時代的來臨，無形資產價值的重要性已有逐漸超越一般有形資產的趨勢，而技術的流通更是越趨重要。在眾多型態的無形資產中，「專利」是最能為企業帶來顯著盈收，且常被用來做為衡量國家或企業科技創新實力的標準。由於近年來業界因為專利侵權所提出的訴訟案件層出不窮，而賠償或授權的金額成
為公司的重要收入來源之一，因此不論從事以專利為核心的授權談判或技術交易、技術入股、技術流通，甚至是無形資產質押，均需仰賴合理的專利鑑價(Patent Valuation)機制，來決定買賣雙方接受之合理價值，亦為專利權邁向資產化、價格化的核心關鍵所在，因此如何將專利的經濟價值轉換為等值的金額為業界最關心的議題。
傳統的專利鑑價多將專利所對應的「技術」轉換為鑑價之標的，而發展出相關的財務計量方
法，如成本法、市場法、經濟價值法、或選擇權法等。然而，專利係由專利法賦予其「權利」與限制，倘若專利無法透過法律主張其權利，其價值必定受到限制，然而前述的財務計量方法，均未對此提出進一步的探討。因此本研究認為，專利的真正價值必須經由實際的侵權訴訟方能獲得驗證，專利的價格亦得以基於侵權訴訟的歷史案件，並經由嚴謹的研究而獲致之合理鑑價模型而得之。 (二)研究目的
基於上述理由，本研究從「專利侵權訴訟」角度出發，以美國侵權訴訟案件為基礎，蒐集並篩選審判定讞的專利侵權訴訟案件，透過案件剖析、整理並建立專利評核指標，透過多變量分析方法探究影響訴訟成敗的關鍵因素，綜合檢視判罰金額與各項專利指標間之關係，利用模糊類神經網路建構出專利鑑價雛型，再以誤差分析探討該專利鑑價模型之可行性。 (三)研究研究限制限制限制與假設與假設
1. 專利權為屬地主義，本研究僅探討美國專利，其他地區的專利不予考慮。
2. 美國專利的種類主要可分成實用(Utility)、設計(Design)、植物(Plant)與其他一些特殊類型，本研究僅針對實用(Utility)類型的專利。
3. 每一個訴訟案件可能包含一件以上的專利，本研究的鑑價模型係針對每一個訴訟案所包含的全數專利與其對應之整體判罰金額進行探討，並不討論一個訴訟案中的個別專利所對應之個別判罰金額。
4. 每一件訴訟案件中，侵權物不一定對所有專利的所有申請專利範圍的請求項都造成侵權事實，本研究假設每個訴訟案中每個請求項的貢獻均為相同，並不探討個別請求項的差異。 二、研究方法
本研究可區分為下列幾個實施程序依序進行：
(一)樣本蒐集；
(二)定義專利評核指標； (三)指標萃取與縮減；
(四)判罰金額的幣值調整與轉換； (五)樣本轉換；
(六)模糊類神經網路模型建構；以及 (七)誤差分析。以下將研究實施程序逐一說明。
(一)樣本蒐集樣本蒐集：：錯誤! 找不到參照來源找不到參照來源。。
美國專利法屬於聯邦法，專利侵權訴訟在聯邦地方法院進行。然而因專利訴訟案件數量實在過於龐大，本研究將針對專利訴訟案件數量較大的三個州的美國聯邦地方法院：德拉瓦州(District of Delaware)、加州(District of California)與德州(District of Texas)，進行專利訴訟案件的搜尋與篩選。
表1：案件篩選
資料來源
德拉瓦州 聯邦地院 加州 聯邦地院 德州
聯邦地院 合計
1944-2006專利訴訟
案件量
2,865 1,314 110
(1994-2006)
有判罰金額案件量
91 270 16 訴訟案件數
37 24 4 65 篩選後
專利件數
103
52
8 163
使用的資料庫為LexisNexis 線上資料庫，先下載1944年至2006年間上述三個州的聯邦地方法院的專利訴訟判決，再根據案件已經審判定讞、且具有明確的專利號碼與判罰金額為篩選準則，逐案進行篩選。由於美國法院程序，針對損害賠償金之判斷，屬於事實之認定，是故兩造雙方得決定由陪審團或是由法院來進行事實認定，因此關於損害賠償額之認定，可能由陪審團決定，或是由法院直接進行判定，且判罰金額之項目繁多，凡是因專利侵權行為訴訟所生之損失皆得請求之。然而本研究為使研究樣本具有一致性，因此收錄之判罰金額僅以
專利權人的「所受損害(damages award)」為主，至於因侵權人之行為所失去之預期利益、訴訟費用甚或是律師費用，皆不列入計算。篩選過程中的案件數與專利數變化如表1所示，最後得到的案件數為65案，其中的專利數為163件專利。
(二)定義專利評核指標
過去各項文獻中對於專利價值的討論，多半強調在引證資料，包含引證前案數、引證文獻數、被引證總數等、以及分類階層部分，包含國際專利分類IPC、美國專利分類USPC等。本研究進一步整合相關領域的專家意見後，歸納整理出17項與專利本質相關、且可供量化統計的參數，作為專利評核指標，如表2所示
表2：專利評核指標
項目評核指標單位
(X1)申請人數量個權利人數量
(X2)發明人數量個
(X3)總項數項申請專利範圍
(claim) (X4)獨立項總項數項
(X5)引證前案數
(US patents references)
個
(X6)引證前案數
(Foreign patents references)
個
(X7)引證文獻數(non-patent references) 個
引證資料
(citation)
(X8)提起訴訟時的被引證總數個
(X9)IPC分類數量(四階) 個分類階層
(patent classification) (X10)USPC分類數量(二階) 個
(X11)全球專利家族數量(以INPADOC資料庫為準) 個
專利家族
(patent family) (X12)美國專利家族數量
(以INPADOC資料庫為準)
個
(X13)Office action次數次
(X14)申請人答辯/修正次數次審查過程
(X15)專利審查時間年(X16)圖示數量個(X17)起訴時間(從專利申請到侵權起訴的時間) 年
(三)指標萃取與縮減
描述一個模型的多個參數之間常常存在著某種隱含的共通特質，在數理上稱為共線性或共變異性，倘若可以萃取出這些共通特質，便可以將多個參數縮減成少數的共通因子，用以減少參數的複雜程度，達成資料結構簡化與深入解釋模型的目的。因此本研究針對前述17項專利評核指標，利用多變量分析方法中的因素分析法(Factor Analysis)，探討其中專利評核指標的共變異性。
本研究使用的軟體為SPSS 8.0版，因素分析的萃取方法採用主成分法(Principal Component Method)，旋轉方法採用含Kaiser常態化的Varimax。將163件專利的每一件專利分析其各自的17項專利評核指標，再藉由因素分析法萃取，可以得到9個主要成分，分析結果如表3，各主要成分的命名與其包含之專利評估指標如表4，各主要成分的組合方程式如表5。
表4：主要成分
主要成分命名包含之專利評估指標F1 佈局強度
全球專利家族數量
美國專利家族數量
F2 技術複雜度
專利審查時間
Office action次數
申請人答辯/修正次數
F3 專利性強度
引證前案數(US patents ref.)
引證前案數(Foreign patents ref.)
引證文獻數(non-patent ref.) F4 訴訟影響度
起訴時間
提起訴訟前被引證總數
F5 技術廣度
IPC數量(四階)
UPC數量(二階)
F6 權利強度
總項數
獨立項數
F7 圖示圖示數量
F8 所有權強度專利所有權人數
F9 研發團隊強度專利發明人數
表5：主要成分的組合方程式
主要成分命名組合方程式
F1 佈局強度0.921X14+0.927X15
F2 技術複雜度0.586X1+0.900X16+0.832X17
F3 專利性強度0.753X7+0.821X8+0.664X9
F4 訴訟影響度0.816X2+0.888X13
F5 技術廣度0.860X5+0.748X6
F6 權利強度0.759X10+0.861X11
F7 圖示0.831X12
F8 所有權強度0.929X4
F9 研發團隊強度0.936X3
(四)判罰金額的幣值調整判罰金額的幣值調整與轉換與轉換
由於訴訟案件分散在不同年份當中，為謀求分析時點之幣值一致性，本研究利用表6之美國聯邦準備理事會(Federal Reserve System)所公布之利率進行轉換，以工程經濟中每年滾動式複利的方式，將各個案件的判罰金額全部轉換至2006年之貨幣價值。
表6：幣值調整之利率表
年份 年利率(%) 2006 4.88% 2005 3.38% 2004 1.75% 2003
1.00% 2002 1.25% 2001 3.77% 2000 6.08% 1999 5.25% 1998 5.00% 1997 5.50% 1996 5.25% 1995 5.75% 1994 4.17% 1993 3.33% 1992 3.33% 1991 5.38% 1990
7.50%
由於判罰金額的偏態十分明顯，透過科默洛夫檢測(Kolmogorov - Smirnov test)的結果，所有案件的判罰金額皆取自然對數處理，用以符合常態分佈的要求。 (五)樣本轉換
將表1的65個案件的原始專利資料轉換成其各自對應的9個主成分(F1至F9)，其複利調整後判罰金額亦同時取自然對數處理。 (六)模糊類神經網路模型模糊類神經網路模型建構建構
模糊理論(Fuzzy Theory)之主要目的是要將人類認知過程中(主要為思考與推理)之不確定性，以數學模式表示之。而類神經網路模式(Artificial Neural Network ：ANN)之主要目的則是模擬人類神經元與神經節間之學習傳遞關係，藉以建立輸入資料與輸出結果間之網路結構，其主要功能是資料間之映射(mapping)或曲線配適(curving fitting)，其網路結構與權重變化頗富彈性，故具備強大之學習與適應能力。基於以上兩種方法之特性，整合模糊集合理論與類神經網路模式成為模糊類神經網路(fuzzy neural network ，FNN)模式，能同時處理人
類認知過程之不確定性，並兼具強大之學習能力與適應能力，俾更能接近人類的認知、處理、判斷與決策之思考流程。FNN 模式之基本架構如圖2所示，FNN 模式一般仍沿用ANN 的輸入、輸出及學習演算法，因此，ANN 模式的輸入與輸出均需是明確數值，只是必須另在ANN 模式的輸入及輸出界面中，進行模糊數與解模糊化之處理。
圖2：FNN 模式架構圖
本研究在模糊類神經網路模型部分，輸入變數採取每個案件的9個主成分(F1至F9)，輸出變數採用取自然對數後的判罰金額。利用德拉瓦州聯邦地方法院的37個訴訟案件作為「原始範例」資料，又將其中的24個案件為訓練範例，其餘13個案件作為測試範例。訓練範例係用以進行建立模型，而測試範例則是作為交叉驗證之用。並將加州聯邦地方法的24案與德州地方法院的4案共28案作為「驗證範例」，藉以驗證此一鑑價模型的可行性。本研究操作模糊類神經網路所使用的軟體為
Super PCNeuron 5.0版，同時對所有的變數進行尺度化，使輸入變數機率對映在1.96倍標準差之間，輸出變數設定在0.2至0.8的區間之間。
(七)誤差分析
模糊類神經網路可以設定的參數非常多，本研究透過誤差均方根(RMSE)的收斂狀況，判定參數設定的理想與否。當收斂狀況不理想，則藉由試誤法以得到最佳化的參數設定。
三、研究結果
在德拉瓦州聯邦地方法院37個訴訟案件的「原始範例」部分，經過試誤法，最後得到如圖1的誤差收斂圖形。其中，訓練範例與測試範例的誤差經尺度化之後，分別收斂在0.040與0.135，若再轉換為原本非尺度化的數據，其誤差則分別為0.7014與2.3785，是個十分成功的模型。
圖1：原始範例的誤差收斂圖
上述模型中，所使用的最佳參數如下：
第一隱藏層單元數目：7
第二隱藏層單元數目：0
範例取樣方式：隨機取樣
學習速度初始值：10.0
學習速率衰減率：0.99
學習速率下限值：0.10
慣性因子初始值：0.8
慣性因子衰減率：0.99
慣性因子下限值：0.1
學習循環：20,000次
測試週期：100次接著，將加州與德州的案件作為驗證範例，輸入上述模型中，得到加州24案的誤差均方根為1.6567，而德州4案的誤差均方根為1.5529，更較原本建構模型時的測試範例為佳，顯示本研究所建構之模糊類神經網路鑑價模型具有相當的可行度。
藉由各個案件的誤差分析，發現約有三分之二樣本的誤差很小、約有三分之一樣本之誤差較大，造成整體測試樣本與驗證樣本之誤差均方根值提高。而誤差較大的樣本中是因為具有異常的專利評核指標，例如：全球專利家族數量、被引證數量等，這些樣本的這類型評核指標的值往往是其餘樣本的數倍甚至十餘倍，造成樣本群的評核指標就具有顯著的偏態，未形成常態分佈，因此導致後續的指標縮減與模糊類神經網路模型均產生無法消弭的誤差。
四、結論與建議
由測試範例與驗證範例的誤差分析結果，可得知本研究所提出的鑑價模型為可行。本研究同時提出建議如下：
(一)增加樣本數：藉由樣本數量的提高以增加訓練範例，可以再使誤差降低。
(二)差異化分析：探討不同產業/技術的訴訟案件，其各項專利評核指標、模型的輸入變數與輸出變數之間是否具有差異。
(三)對於異常指標的處理：當案件中專利評核指標出現異常值，設法使其常態化或標準化。
(四)導入非量化的專利評核指標：申請專利範圍為專利權行使的核心，尚具有許多非量化的性質，例如：申請專利範圍的撰寫，有組合式、吉普森式、裝置功能用語等型態；申請專利範圍之標的有產品與方法等兩種。這些非量化的性質能否導入，而使鑑價模型具有更高的準確度，有待後續研究。
五、參考文獻
1.王承恩、劉穎懋(2004)，「美國專利訴訟-攻防策略運用」，元照出版。
2.林師模、陳苑欽(2003)，「多變量分析-管理上的應用」，雙葉書廊。
3.陳玉萍(2004)，「專利權運用情境對專利價值因子之影響-以專利權融資、入股及訴訟情境為例」，政治大學管理研究所碩士論文。
4.陳契盈(2000)，「由專利資料分析我國之研發產出及其關聯」，中央大學工業管理研究所碩士論文。
5.陳耀茂、殷純淵(2004)，「類神經網路PCNeuron 使用手冊」，鼎茂圖書出版股份有限公司。
6.張孟元、劉江彬(2005)，「無形資產評估鑑價之理論與實務」，華泰文化。
7.馮正民、邱裕鈞(2004)，「研究分析方法」，建都文化。
8.楊國隆(2003)，「生物科技產業技術鑑價之研究」，中山大學企業管理學系研究所碩士論文。
9.劉尚志、王敏銓、張宇樞、林明儀(2005)，「美台專利訴訟-實戰暨裁判解析」，元照出版。
10.Albert, G. Z. and Jaffe, A. B. (2003), “Patent Citation and International Knowledge Flow: the Case of Korea and Taiwan, ” International Journal of Industrial Organization, 21, pp. 849-880.
11.Griliches, Z. (1990), “Patent Statistics as Economic Indicators: A Survey,” Journal of Economic Literature, 28, pp. 1661-1707.
12.Jaffe, A. B. and Trajtenberg, M. (1999), “International Knowledge Flows: Evidence from Patent Citations, ” Economics of Innovation and New Technology, 8, pp. 105-136.
13.Trajtenberg, M. (1999), “Innovation in Israel 1968-97: A Comparative Analysis Using Patent Data, ” Research Policy, 30, pp. 363-389.
14.LexisNexis資料庫，https://www.wendangku.net/doc/0f3182498.html, 15.https://www.wendangku.net/doc/0f3182498.html,/main.asp，網頁資料，最後造訪日2007/5/11。
16.https://www.wendangku.net/doc/0f3182498.html,/，網頁資料，最後造訪日2007/5/11。
17.https://www.wendangku.net/doc/0f3182498.html,/about/data/tech/ind icator.php3#basic，網頁資料，最後造訪日2007/5/11。
18.https://www.wendangku.net/doc/0f3182498.html,/policy/index.php3，網頁資料，最後造訪日2007/5/11。
19.Denton, Frank Russell and Heald, Paul J., "Random Walks, Non-Cooperative Games, and the Complex Mathematics of Patent Pricing" (March 5, 2003)
20.Robert Pitkethly, THE V ALUATION OF PATENTS : A review of patent valuation methods with consideration of option based methods and the potential for further research (1997)
21.Ming-Cheng Wu and Chun-Yao Tseng, Valuation of patent - a real options perspective, 5 Taylor and Francis Journals 313-318 (2006).
22.Neil, D. J. (1988). The valuation of intellectual property. International Journal of Technology Management 3 (1/2) : 31-42.
23.Norris, M. (1996). Option Valuation of Patents in the Telecommunications Industry. Cambridge MBA Dissertation Thesis Cambridge University. 24.Parr, R. L. and G. V. Smith (1994). Quantitative Methods of Valuing Intellectual Property. In The New Role of Intellectual Property in Commercial Transactions. M. Simensky and L. G. Bryer. New York, John Wiley: pp39-68.
25.Pitkethly, R. (1993). The Valuation of Intellectual Property. Oxford, Templeton College Working Papers.
26.Pitkethly, R. (1997). The Valuation of
Individual IPRs : A Review and Consideration of Patents.
27.New Developments in Intellectual Property : Law and Economics, St.Peter's College, Oxford 17-18 March 1977.
28.Stacey, S. G. (1989). Valuing Intellectual Property. Technology Strategies 22-25.
29.Gordon V. Smith, Russell L. Parr, Valuation of Intellectual Property and Intangible Assets, Wiley
3rd Edition.
30.David E. MARTIN and Jason O. WATSON, Patent Valuation: Is Fair Market Fair?, available at https://www.wendangku.net/doc/0f3182498.html,/downloads/FOSSTEC05-P aperF95800-Patent_Valuation_Is_Fair_Market_Fai r.pdf
31.Norman Carte, Patent Valuation: The Maximum. Achievable Profits Method, Intell. Prop. Today, May, 2005.
表3 因素分析結果
(完整word版)模糊神经网络的预测算法在嘉陵江水质评测中的应用2
模糊神经网络的预测算法 ——嘉陵江水质评价 一、案例背景 1、模糊数学简介 模糊数学是用来描述、研究和处理事物所具有的模糊特征的数学，“模糊”是指他的研究对象，而“数学”是指他的研究方法。 模糊数学中最基本的概念是隶属度和模糊隶属度函数。其中，隶属度是指元素μ属于模糊子集f的隶属程度，用μf(u)表示，他是一个在[0,1]之间的数。μf(u)越接近于0，表示μ属于模糊子集f的程度越小；越接近于1，表示μ属于f的程度越大。 模糊隶属度函数是用于定量计算元素隶属度的函数，模糊隶属度函数一般包括三角函数、梯形函数和正态函数。 2、T-S模糊模型 T-S模糊系统是一种自适应能力很强的模糊系统，该模型不仅能自动更新，还能不断修正模糊子集的隶属函数。T-S模糊系统用如下的“if-then”规则形式来定义，在规则为R i 的情况下，模糊推理如下： R i:If x i isA1i,x2isA2i,…x k isA k i then y i =p0i+p1i x+…+p k i x k 其中，A i j为模糊系统的模糊集；P i j(j=1,2,…,k)为模糊参数；y i为根据模糊规则得到的输出，输出部分（即if部分）是模糊的，输出部分（即then部分）是确定的，该模糊推理表示输出为输入的线性组合。 假设对于输入量x=[x1,x2,…,x k]，首先根据模糊规则计算各输入变量Xj的隶属度。 μA i j=exp(-(x j-c i j)/b i j)j=1,2,…,k;i=1,2,…,n式中，C i j，b i j分别为隶属度函数的中心和宽度；k为输入参数数；n为模糊子集数。 将各隶属度进行模糊计算，采用模糊算子为连乘算子。 ωi=μA1j（x1）*μA2j（x2）*…*μA k j i=1,2,…,n 根据模糊计算结果计算模糊型的输出值y i。 Y I=∑n i=1ωi(P i0+P i1x1+…+P i k xk)/ ∑n i=1ωi 3、T-S模糊神经网络模型 T-S模糊神经网络分为输入层、模糊化层、模糊规则计划层和输出层四层。输入层与输入向量X I连接，节点数与输入向量的维数相同。模糊化层采用隶属度函数对输入值进行模
数学建模神经网络预测模型及程序
年份 (年) 1(1988) 2(1989) 3(1990) 4(1991) 5(1992) 6(1993) 7(1994) 8(1995) 实际值 (ERI) 年份 (年) 9(1996) 10(1997) 11(1998) 12(1999) 13(2000) 14(2001) 15(2002) 16(2003) 实际值 (ERI) BP 神经网络的训练过程为: 先用1988 年到2002 年的指标历史数据作为网络的输入,用1989 年到2003 年的指标历史数据作为网络的输出,组成训练集对网络进行训练,使之误差达到满意的程度,用这样训练好的网络进行预测. 采用滚动预测方法进行预测:滚动预测方法是通过一组历史数据预测未来某一时刻的值,然后把这一预测数据再视为历史数据继续预测下去,依次循环进行,逐步预测未来一段时期的值. 用1989 年到2003 年数据作为网络的输入,2004 年的预测值作为网络的输出. 接着用1990 年到2004 年的数据作为网络的输入,2005 年的预测值作为网络的输出.依次类推,这样就得到2010 年的预测值。 目前在BP 网络的应用中,多采用三层结构. 根据人工神经网络定理可知,只要用三层的BP 网络就可实现任意函数的逼近. 所以训练结果采用三层BP模型进行模拟预测. 模型训练误差为,隐层单元数选取8个,学习速率为,动态参数,Sigmoid参数,最大迭代次数3000.运行3000次后,样本拟合误差等于。 P=[。。。];输入T=[。。。];输出 % 创建一个新的前向神经网络 net_1=newff(minmax(P),[10,1],{'tansig','purelin'},'traingdm') % 当前输入层权值和阈值 inputWeights={1,1} inputbias={1} % 当前网络层权值和阈值 layerWeights={2,1} layerbias={2} % 设置训练参数 = 50; = ; = ; = 10000; = 1e-3;
神经网络模型预测控制器
神经网络模型预测控制器 摘要：本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中，控制规则用一个神经网络函数逼近器来表示，该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器，如减速优化控制器和分散控制器。 关键字：模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性，通常用逼近方法来获得近似解。在本文中，提出了一种广泛应用的方法即模型预测控制（MPC），这可用于解决在线优化问题，另一种方法是函数逼近器，如人工神经网络，这可用于离线的优化控制规则。 在模型预测控制中，控制信号取决于在每个采样时刻时的想要在线最小化的代价函数，它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算，尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5]，但为了减小在线计算时的计算量，该部分的计算为离线。一个非常强大的函数逼近器为神经网络，它能很好地用于表示非线性模型或控制器，如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制，这种方法的一个局限性是它不适合于不稳定地逆系统，基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面，该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法，用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术，用神经网络来逼近模型预测控制策略，且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本，Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题，其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题，控制器为反馈状态，用一个神经网络来表示。在以上的研究中，应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法，即用最速下降法来训练神经网络控制器。 在许多应用中，设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统，都需要许多输入与输出。在模型预测控制中，模型是用于预测系统未来的运动轨迹，优化控制信号是系统模型的系统的函数。因此，模型预测控制不能用于定结构控制问题。不同的是，基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中，主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示，最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计，分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统： 其中为控制器的输出，为输入，为状态矢量。控制
基于BP神经网络预测模型指南
基于ＢＰ神经网络的国际黄金价格预测模型 公文易文秘资源网顾孟钧张志和陈友2009-1-2 13:35:26我要投稿添加到百度搜藏 [摘要] 为了寻找国际黄金价格与道琼斯工业指数、美国消费者指数，国际黄金储备等因素之间的内在关系，本文对1972年～2006年间的各项数据首先进行归一化处理，利用MATLAB神经网络工具箱进行模拟训练，建立了基于BP神经网络的国际黄金价格预测模型 [摘要] 为了寻找国际黄金价格与道琼斯工业指数、美国消费者指数，国际黄金储备等因素之间的内在关系，本文对1972年～2006年间的各项数据首先进行归一化处理，利用MATLAB神经网络工具箱进行模拟训练，建立了基于BP神经网络的国际黄金价格预测模型。 [关键词] MATLAB BP神经网络预测模型数据归一化 一、引言 自20世纪70年代初以来的30多年里,世界黄金价格出现了令人瞠目的剧烈变动。20 世纪70年代初,每盎司黄金价格仅为30多美元。80年代初,黄金暴涨到每盎司近700美元。本世纪初,黄金价格处于每盎司270美元左右,此后逐年攀升,到2006年5月12日达到了26年高点,每盎司730美元,此后又暴跌,仅一个月时间内就下跌了约160美元,跌幅高达21.9%。最近两年，黄金价格一度冲高到每盎司900多美元。黄金价格起伏如此之大,本文根据国际黄金价格的影响因素，通过BP神经网络预测模型来预测长期黄金价格。 二、影响因素 刘曙光和胡再勇证实将观察期延长为1972年～2006年时,则影响黄金价格的主要因素扩展至包含道琼斯指数、美国消费者价格指数、美元名义有效汇率、美国联邦基金利率和世界黄金储备5个因素。本文利用此观点，根据1972年～2006年各因素的值来建立神经网络预测模型。 三、模型构建
模糊推理神经网络诊断模型案例
模糊推理神经网络诊断模型案例 [摘要]本文基于通用神经网络的自适应性和诊断的建模方法，建立了一种新的故障诊断模型一模糊神经网络诊断模型，并对它的智能诊断机理和突出特点进行了深入分析。最后，将该诊断模型应用于某大型汽轮发电机组故障诊断中，分析得出它具有明显的提高诊断精确度的优越性。 [关键词]神经网络故障诊断智能诊断 1模糊推理神经网络诊断模型建立 1．1通用网络模型自适应动态特性 比较两类典型的神经网络一前向BP网络与反馈Hopfied网络，可以发现其核心是单层神经网络，则两类网络可以用一个通用神经网络模型来描述。根据点集拓扑理论和人工神经网络空间概念，对这个通用神经网络模型的特征进行分析得出以下两个结论，证明从略。 定理1神经网络空间在紧集上的连续函数空间C上以及按L2范数在平方可积函数空间I上都是稠密的。 推论1由通用神经网络模型所生成的任何开集可以一致逼近紧集上的连续映射函数f∈C(Rn。Rm)。 由推论1表明，通用网络模型所概括的任何开集(如BP网络、Hopfied网络、BAM网络)通过自学习都能一致逼近紧集上的连续映射函数f∈(Rn，Rm)，因而具有良好的自学习、自适应动态特性。 1．2诊断建模方法 设xjn(j=1，2，...，k)对应反映设备运行状态第n个观测样本的k个特征参数，yin，(i=1，2，...l)对应第n个样本的1种故障模式，共有N个样本xjn∈RN，yin∈RN，[n=1，2，...，N)，则故障模式向量Y={yin，i=1，2，...，l}与特征参数向量x={xin，i=1，2，...，k}间的内在关系用函数P表示，有：X=P(Y)。当N→∞时，函数P的逆函数存在，以函数S表示，有：Y=S(X) 诊断问题建模的实质就是根据有限的样本集，确定函数S(X)的一等价映射关系SS(X)，使得对于任意的ε>0，满足：
模糊神经网络技术研究的现状及展望
模糊神经网络技术研究的现状及展望 摘要：本文对模糊神经网络技术研究的现状进行了综述，首先介绍了模糊控制技术和神经网络技术的发展，然后结合各自的特点讨论了模糊神经网络协作体的产生以及优越性，接着对模糊神经网络的常见算法、结构确定、规则的提取等进行了阐述，指出了目前模糊神经网络的研究发展中还存在的一些问题，并对模糊神经网络的发展进行了展望。 关键字：模糊控制；神经网络；模糊神经网络 引言 系统的复杂性与所要求的精确性之间存在尖锐的矛盾。为此，通过模拟人类学习和自适应能力，人们提出了智能控制的思想。控制理论专家Austrom（1991）在IFAC大会上指出：模糊逻辑控制、神经网络与专家控制是三种典型的智能控制方法。通常专家系统建立在专家经验上，并非建立在工业过程所产生的操作数据上，且一般复杂系统所具有的不精确性、不确定性就算领域专家也很难把握，这使建立专家系统非常困难。而模糊逻辑和神经网络作为两种典型的智能控制方法，各有优缺点。模糊逻辑与神经网络的融合——模糊神经网络由于吸取了模糊逻辑和神经网络的优点，避免了两者的缺点，已成为当今智能控制研究的热点之一了。 1 模糊神经网络的提出 模糊集理论由美国著名控制论专家L.A.Zadeh于1965年创立[1]。1974年，英国著名学者E.H.Mamdani将模糊逻辑和模糊语言用于工业控制，提出了模糊控制论。至今，模糊控制已成功应用在被控对象缺乏精确数学描述及系统时滞、非线性严重的场合。 人工神经网络理论萌芽于上世纪40年代并于80年代中后期重掀热潮，其基本思想是从仿生学的角度对人脑的神经系统进行功能化模拟。人工神经网络可实现联想记忆，分类和优化计算等功能，在解决高度非线性和严重不确定系统的控制问题方面，显示了巨大的优势和潜力模糊控制系统与神经网络系统具有整体功能的等效性[2]，两者都是无模型的估计器，都不需要建立任何的数学模型，只需要根据输入的采样数据去估计其需要的决策：神经网络根据学习算法，而模糊控制系统则根据专家提出的一些语言规则来进行推理决策。实际上，两者具有相同的正规数学特性，且共享同一状态空间[3]。 另一方面，模糊控制系统与神经网络系统具有各自特性的互补性[。神经网络系统完成的是从输入到输出的“黑箱式”非线性映射，但不具备像模糊控制那样的因果规律以及模糊逻辑推理的将强的知识表达能力。将两者结合，后者正好弥补前者的这点不足，而神经网络的强大自学习能力则可避免模糊控制规则和隶属函数的主观性，从而提高模糊控制的置信度。因此，模糊逻辑和神经网络虽然有着本质上的不同，但由于两者都是用于处理不确定性问题，不精确性问题，两者又有着天然的联系。Hornik和White(1989)证明了神经网络的函数映射能力[4]；Kosko(1992)证明了可加性模糊系统的模糊逼近定理(FAT，Fuzzy Approximation Theorem)[5]；Wang和Mendel(1992)、Buckley和Hayashi(1993)、Dubots和Grabish(1993)、Watkins(1994)证明了各种可加性和非可加性模糊系统的模糊逼近定理[6]。这说明模糊逻辑和神经网络有着密切联系，正是由于这类理论上的共性，才使模糊逻辑和神经网络的结合成为可能。 2 模糊神经网络的学习算法 各种类型的模糊神经网络学习算法的共同方面是结构学习和参数学习两部分。结构学习是指按照一定的性能要求确定模糊系统的推理规则的条数，每条规则的前提和结论的隶属度函数以及由清晰化得到具体的规则数。参数学习是指进一步细化各隶属函数的参数以及模糊规则的其他参数，以使系统达到最优。结构学习主要是从输入输出数据中提取规则或由输入空间模糊划分获得规则，主要有启发式搜索、模糊网格法、树形划分法、基于模糊聚类的学习算
模糊控制与神经网络
BP神经网络 BP (Back Propagation)神经网络是一种神经网络学习算法，全称基于误差反向传播算法的人工神经网络。 如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，够成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。 在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。 BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。 神经网络 神经网络是： 思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。 逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。目前，主要的研究工作集中在以下几个方面： （1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。 （2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。 （3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机馍拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。 （4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。 纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。 【人工神经网络的工作原理】 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
模糊神经网络的预测算法在嘉陵江水质评测中的应用
题目：模糊神经网络的预测算法在嘉陵江水质评测中的应用 院（系）：物联网工程学院 专业: 计算机科学与技术 班级：计科0802 姓名：刘伟 学号： 0304080230 设计时间： 10-11 学年 2 学期 2011年5月
一、模糊数学简介 模糊数学是用来描述、研究和处理事物所具有的模糊特征的数学，“模糊”是指他的研究对象，而“数学”是指他的研究方法。 模糊数学中最基本的概念是隶属度和模糊隶属度函数。其中，隶属度是指元素μ属于模糊子集f的隶属程度，用μf(u)表示，他是一个在[0,1]之间的数。μf(u)越接近于0，表示μ属于模糊子集f的程度越小；越接近于1，表示μ属于f的程度越大。 模糊隶属度函数是用于定量计算元素隶属度的函数，模糊隶属度函数一般包括三角函数、梯形函数和正态函数。 二、T-S模糊模型 T-S模糊系统是一种自适应能力很强的模糊系统，该模型不仅能自动更新，还能不断修正模糊子集的隶属函数。T-S模糊系统用如下的“if-then”规则形式来定义，在规则为R i 的情况下，模糊推理如下： R i:If x i isA1i,x2isA2i,…x k isA k i then y i =p0i+p1i x+…+p k i x k 其中，A i j为模糊系统的模糊集；P i j(j=1,2,…,k)为模糊参数；y i为根据模糊规则得到的输出，输出部分（即if部分）是模糊的，输出部分（即then部分）是确定的，该模糊推理表示输出为输入的线性组合。 假设对于输入量x=[x1,x2,…,x k]，首先根据模糊规则计算各输入变量Xj的隶属度。 μA i j=exp(-(x j-c i j)/b i j)j=1,2,…,k;i=1,2,…,n式中，C i j，b i j 分别为隶属度函数的中心和宽度；k为输入参数数；n为模糊子集数。 将各隶属度进行模糊计算，采用模糊算子为连乘算子。 ωi=μA1j（x1）*μA2j（x2）*…*μA k j i=1,2,…,n 根据模糊计算结果计算模糊型的输出值y i。 Y I=∑n i=1ωi(P i0+P i1x1+…+P i k xk)/ ∑n i=1ωi 三、T-S模糊神经网络模型 T-S模糊神经网络分为输入层、模糊化层、模糊规则计划层和输出层四层。输入层与输入向量X I连接，节点数与输入向量的维数相同。模糊化层采用隶属度函数对输入值进行模糊化得到模糊隶属度值μ。模糊规则计算层采用模糊连乘公式计算得到ω。输出层采用公式计算模糊神经网络的输出。 四、嘉陵江水质评测 水质评测是根据水质评测标准和采样水样本各项指标值，通过一定的数学模型计算确定采样水样本的水质等级。水质评测的目的是能够准确判断出采样水样本的污染等级，为污染防治和水源保护提供依据。 水体水质的分析主要包括氨氮、溶解氧、化学需氧量、高锰酸盐指数、总磷和总氮六项
人工神经网络的模型
MP模型神经元 人工神经网络的模型：人工神经元的模型、常用的激活转移函数、人工神经 元的主要结构单元是信号的输入、综合处理和输出 人工神经元之间通过互相联接形成网络，称为人工神经网络 神经元之间相互联接的方式称为联接模式。相互之间的联接强度由联接权值体现。 在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。 人工神经网络的构造大体上都采用如下的一些原则： 由一定数量的基本神经元分层联接； 每个神经元的输入、输出信号以及综合处理内容都比较简单； 网络的学习和知识存储体现在各神经元之间的联接强度上。 神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。 人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能 神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元 的广泛互连，以规模宏伟的并行运算来实现的。 人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为 无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。 人工神经网络的局限性： (1) 受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认 识还很肤浅，还有很多问题需要解决； (2) 还没有完整成熟的理论体系； (3) 还带有浓厚的策略和经验色彩； (4) 与传统技术的接口不成熟。 如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理 的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。 ____________ 根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类： 分层网络相互连接型网络 分层网络可以细分为三种互连形式:
基于Bp神经网络的股票预测
基于神经网络的股票预测 【摘要】: 股票分析和预测是一个复杂的研究领域，本论文将股票技术分析理论与人工神经网络相结合，针对股票市场这一非线性系统，运用BP神经网络，研究基于历史数据分析的股票预测模型，同时，对单只股票短期收盘价格的预测进行深入的理论分析和实证研究。本文探讨了BP神经网络的模型与结构、BP算法的学习规则、权值和阈值等，构建了基于BP神经网络的股票短期预测模型，研究了神经网络的模式、泛化能力等问题。并且，利用搭建起的BP神经网络预测模型，采用多输入单输出、单隐含层的系统，用前五天的价格来预测第六天的价格。对于网络的训练，选用学习率可变的动量BP算法，同时，对网络结构进行了隐含层节点的优化，多次尝试，确定最为合理、可行的隐含层节点数，从而有效地解决了神经网络隐含层节点的选取问题。 【abstract] Stock analysis and forecasting is a complex field of study. The paper will make research on stock prediction model based on the analysis of historical data, using BP neural network and technical analysis theory. At the same time, making in-depth theoretical analysis and empirical studies on the short-term closing price forecasts of single stock. Secondly, making research on the model and structure of BP neural network, learning rules, weights of BP algorithm and so on, building a stock short-term forecasting model based on the BP neural network, related with the model of neural network and the ability of generalization. Moreover, using system of multiple-input single-output and single hidden layer, to forecast the sixth day price by BP neural network forecasting model structured. The network of training is chosen BP algorithm of traingdx, while making optimization on the node numbers of the hidden layer by several attempts. Thereby resolve effectively the problem of it. 【关键词】BP神经网络股票预测分析 1．引言 股票市场是一个不稳定的非线性动态变化的复杂系统，股价的变动受众多因素的影响。影响股价的因素可简单地分为两类，一类是公司基本面的因素，另一类是股票技术面的因素，虽然股票的价值是公司未来现金流的折现，由公司的基本面所决定，但是由于公司基本面的数据更新时间慢，且很多时候并不能客观反映公司的实际状况，采用适当数学模型就能在一定
模糊神经网络的基本原理与应用概述
模糊神经网络的基本原理与应用概述 摘要：模糊神经网络（FNN）是将人工神经网络与模糊逻辑系统相结合的一种具有强大的自学习和自整定功能的网络,是智能控制理论研究领域中一个十分活跃的分支,因此模糊神经网络控制的研究具有重要的意义。本文旨在分析模糊神经网络的基本原理及相关应用。 关键字：模糊神经网络，模糊控制，神经网络控制，BP算法。 Abstract:A fuzzy neural network is a neural network and fuzzy logic system with the combination of a powerful. The self-learning and self-tuning function of the network, is a very intelligent control theory research in the field of active branches. So the fuzzy neural network control research has the vital significance. The purpose of this paper is to analysis the basic principle of fuzzy neural networks and related applications. Key Words: Fuzzy Neural Network, Fuzzy Control, Neural Network Control, BP Algorithm.
1人工神经网络的基本原理与应用概述 人工神经网络的概念 人工神经网络(Artificial Neural Network,简称ANN)是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统,它使用大量简单的相连的人工神经元来模仿生物神经网络的能力,从外界环境或其它神经元获得信息,同时加以简单的运算,将结果输出到外界或其它人工神经元。神经网络在输入信息的影响下进入一定状态,由于神经元之间相互联系以及神经元本身的动力学特性,这种外界刺激的兴奋模式会自动地迅速演变成新的平衡状态,这样具有特定结构的神经网络就可定义出一类模式变换即实现一种映射关系。由于人工神经元在网络中不同的联接方式,就形成了不同的人工神经网络模式,其中误差反向传播网络(Back-Propagation Network,简称BP网络)是目前人工神经网络模式中最具代表性,应用得最广泛的一种模型【1,2】。 人工神经网络研究的发展简史 人工神经网络的研究己有近半个世纪的历史但它的发展并不是一帆风顺的,神经网络的研究大体上可分为以下五个阶段[3]。 (1) 孕育期(1956年之前):1943年Mcculloch与Pitts共同合作发表了“A logical calculus of ideas immanent in Nervous Activity”一文,提出了神经元数学模型(即MP模型)。1949年Hebb提出Hebb学习法则,对神经网络的发展做出了重大贡献。可以说,MP模型与学习规则为神经科学与电脑科学之间架起了沟通的桥梁,也为后来人工神经网络的迅速发展奠定了坚实的基础。 (2)诞生期(1957年一1968年):1960年Widrow提出了自适应线性元件模型,Rossenbaltt在1957年提出了第一种人工神经网络模式一感知机模式,由二元值神经元组成,该模式的产生激起了人工神经网络研究的又一次新高潮。(3)挫折期(1969年一1981年):1969年Minsky等人写的《感知机》一书以数学方法证明了当时的人工神经网络模式的学习能力受到很大限制。之后,人工神经网络的研究一直处于低潮。
神经网络预测控制综述
神经网络预测控制综述 摘要：近年来，神经网络预测控制在工业过程控制中不仅得到广泛的应用，而且其理论研究也取得了很大进展。对当前各种神经刚络预测控制方法的现状及其工业应用进行了较深入地分析，并对其存在的问题和今后可能的发展趋势作了进一步探讨。 关键词：神经网络；预测控制：非线性系统；工业过程控制 Abstract: In recent years, neural network predictive control has not only been widely used in industrial process control, but also has made great progress in theoretical research. The current status of various neural network prediction control methods and their industrial applications are analyzed in depth, and the existing question and possible future development trends are further discussed. Keywords: neural network; predictive control: nonlinear system; industrial process control
20世纪70年代以来，人们从工业过程的特点出发，寻找对模型精度要去不高而同样能实现高质量控制性能的方法，预测控制就是在这种背景下发展起的[1]。预测控制技术最初山Richalet和Cutler提出[2],具有多步预测、滚动优化、反馈校正等机理，因此能够克服过程模型的不确定性，体现出优良的控制性能，在工业过程控制中取得了成功的应用。如Shell公司、Honeywell公司、Centum 公司，都在它们的分布式控制系统DCS上装备了商业化的预测控制软件包．并广泛地将其应用于石油、化工、冶金等工业过程中[3]。但是，预测函数控制是以被控对象的基函数的输出响应可以叠加为前提的，因而只适用于线性动态系统控制。对于实际中大量的复杂的非线性工业过程。不能取得理想的控制效果。而神经网络具有分布存储、并行处理、联想记忆、自组织和自学习等功能，以神经元组成的神经网络可以逼近任意的：线性系统。使控制系统具有智能化、鲁棒性和适应性，能处理高维数、非线性、干扰强、难建模的复杂工业过程。因此，将神经网络应用于预测控制，既是实际应用的需要，同时也为预测控制理论的发展开辟了广阔的前景。本文对基于神经网络的预测控制的研究现状进行总结，并展望未来的发展趋势。 l神经网络预测控制的基本算法的发展[4] 实际中的控制对象都带有一定的菲线性，大多数具有弱非线性的对象可用线性化模型近似，并应用已有的线性控制理论的研究成果来获得较好的控制效果。而对具有强非线性的系统的控制则一直是控制界研究的热点和难点。 就预测控制的基本原理而言，只要从被控对象能够抽取出满足要求的预测模型，它便可以应用于任何类型的系统，包括线性和非线性系统。 由于神经网络理论在求解非线性方面的巨大优势，很快被应用于非线性预测控制中。其主要设计思想是：利用一个或多个神经刚络，对非线性系统的过程信息进行前向多步预测，然后通过优化一个含有这些预测信息的多步优化目标函数，获得非线性预测控制律。在实际应用与理论研究中形成了许多不同的算法。如神经网络的内模控制、神经网络的增量型模型算法控制等，近来一些学者对有约束神经网络的预测控制也作了相应的研究。文献[5]设计了多层前馈神经网络，使控制律离线求解。文献[6]采用两个网络进行预测，但结构复杂，距离实际应用还有一定的距离，文献[7]利用递阶遗传算法，经训练得出离线神经网络模型．经多步预测得出对象的预测模型，给出了具有时延的非线性系统的优化预测控制。将神经网络用于GPC的研究成果有利用Tank．Hopfield网络处理GPC矩阵求逆的算法，基于神经网络误差修正的GPC算法、利用小脑模型进行提前计算的GPC 算法、基于GPC的对角递归神经网络控制方法以及用神经网络处理约束情形的预
ANFIS模糊神经网络研究(二)
实验 ANFIS神经网络的构建与使用 一、实验目的 1.加深对ANFIS神经网络原理的理解及使用； 2.掌握使用ANFIS神经网络解决实际问题的方法。 二、实验内容 本次实验通过ANFIS神经网络在用电预测中的应用, 对未来某交易时段内统负荷的预先估计。负荷预测是进行实时控制、制定运行计划和发展规划的基础，是电力市场决策支持软件的基本组成部分。并观察同ANFIS神经网络的各个参数对ANFIS神经网络的影响： 1、该用电预测的实例中，常规重要的量化指标主要:时间（date）、实际用电值（x）、以及拟合用电值（y）为输出项；本实验中通过选取date、x等指标， y为输出变量；运用评价数据对训练好的ANFIS 系统进行验证。通过仿真实验表明, 该方法行之有效, 并可大大提高故障诊断效率, 具有较强的实用性。实验数据见 《electricity-data.xls》。 2、在初始参数下，观测ANFIS神经网络的训练过程及使用测试数据进行仿真时的输出，然后将训练次数设置为100、800、1200等等，分析网络的输出效果，以便确定合适的训练次数。 3、在保持其它参数不变的情况下，改变隶属度函数的类型（或者隶属函数的个数），例如取钟形、S形、梯形、高斯形等等，观测ANFIS神经网络的训练过程和输出，以便最终确定隐含层神经网络的个数。
4、在ANFIS人工神经网络已经训练好的情况下，从样本数据中抽取若干数据进行模型测试，测试训练好的ANFIS人工神经网络能否正确逼近它们。 注意：模型训练时可选取80%样本用于建模，另20%用作模型验证。 三、实验方法与步骤 1.数据准备 ①准备样本数据文件: electricity-data.xls。 ② “ID”属性为数据列编号，不需时，可以选择去掉。 ③将“electricity-data.xls”文件的12条数据中前9条数据 作为训练数据集，后3条数据作为测试数据集，并保存为文件。 2.创建方案：登录TipDM平台(https://www.wendangku.net/doc/0f3182498.html,)后的默认页面即 为“方案管理”，在此页面，选择“分类与回归”创建一个新方案，方案名称：自适应模糊神经网络在用电预测中的应用 方案描述：电力负荷预测是根据电力负荷的历史数据，考虑其它外部客观因素的影响，对未来某交易时段内系统负荷的预先估计。负荷预测是进行实时控制、制定运行计划和发展规划的基础，是电力市场决策支持软件的基本组成部分。信息输入完成后点“确定”保存方案。 3.上传数据：进入“数据管理”标签页，选择electricity-data.xls， 并上传，上传的数据将自动显示在列表框中，若不能正确显示，点“刷新”按钮。 4.预测建模：“系统菜单”中选择“分类与回归→神经网络→ANFIS
基于神经网络的预测控制模型仿真
基于神经网络的预测控制模型仿真 摘要：本文利用一种权值可以在线调整的动态BP神经网络对模型预测误差进行拟合并与预测模型一起构成动态组合预测器，在此基础上形成对模型误差具有动态补偿能力的预测控制算法。该算法显著提高了预测精度，增强了预测控制算法的鲁棒性。 关键词：预测控制神经网络动态矩阵误差补偿 1.引言 动态矩阵控制(DMC)是一种适用于渐近稳定的线性或弱非线性对象的预测控制算法，目前已广泛应用于工业过程控制。它基于对象阶跃响应系数建立预测模型，因此建模简单，同时采用多步滚动优化与反馈校正相结合，能直接处理大时滞对象，并具有良好的跟踪性能和较强的鲁棒性。 但是，DMC算法在实际控制中存在一系列问题，模型失配是其中普遍存在的一个问题，并会不同程度地影响系统性能。DMC在实际控制中产生模型失配的原因主要有2个，一是诸如建模误差、环境干扰等因素，它会在实际控制的全程范围内引起DMC的模型失配；二是实际系统的非线性特性，这一特性使得被控对象的模型发生变化，此时若用一组固定的阶跃响应数据设计控制器进行全程范围的控制，必然会使实际控制在对象的非建模区段内出现模型失配。针对DMC模型失配问题，已有学者进行了大量的研究，并取得了丰富的研究成果，其中有基于DMC控制参数在线辨识的智能控制算法，基于模型在线辨识的自校正控制算法以及用神经元网络进行模型辨识、在辨识的基础上再进行动态矩阵控制等。这些算法尽管进行在线辨识修正对象模型参数，仍对对象降阶建模误差(结构性建模误差)的鲁棒性不好，并对随机噪声干扰较敏感。针对以上问题，出现了基于误差校正的动态矩阵控制算法。这些文献用基于时间序列预测的数学模型误差代替原模型误差，得到对未来误差的预测。有人还将这种误差预测方法引入动态矩阵控制，并应用于实际。这种方法虽然使系统表现出良好的稳定性，但建立精确的误差数学模型还存在一定的困难。 本文利用神经网络通过训练学习能逼近任意连续有界函数的特点，建立了一种采用BP 神经网络进行预测误差补偿的DMC预测控制模型。其中神经网络预测误差描述了在预测模型中未能包含的一切不确定性信息，可以归结为用BP神经网络基于一系列过去的误差信息预测未来的误差，它作为模型预测的重要补充，不仅降低建立数学模型的负担，而且还可以弥补在对象模型中已简化或无法加以考虑的一切其他因素。 本文通过进行仿真，验证了基于神经网络误差补偿的预测控制算法的有效性及优越性，
模糊神经网络综述
1.模糊神经网络的提出 模糊逻辑(FL)、神经网络理论(NN)、遗传算法(GA)、随机推理(PR),以及置信网络、混沌理论和部分学习理论相融合,形成了一种协作体,这种融合并非杂乱无章地将模糊逻辑、神经网络和遗传算法等进行拼凑,而是通过各种方法解决本领域的问题并相互取长补短,从而形成了各种方法的协作。从这个意义上讲,各种方法是互补的,而不是竞争的。在协作体中,各种方法起着不同的作用。通过这种协作,产生了混合智能系统。模糊逻辑和神经网络都是重要的智能控制方法,将模糊逻辑和神经网络这两种软计算方法相结合,取长补短,形成一种协作体—模糊神经网络。 2.模糊神经网络的研究进展 模糊神经网络的发展经历了一个漫长的过程。MacCulloch-Pitta模型便是早期将模糊集应用到神经网络中的一例。此后,人们对模糊神经网络研究得很少。直到1990年Takagi才综述性地讨论了神经网络与模糊逻辑的结合。Kosko(1992)出版了该领域的第一本专著《Neural Network and Fuzzy Systems》,并在这本专著中提出了模糊联想记忆、模糊认知图等重要概念,促进了模糊神经网络的研究向着多元化深入发展。 （1）引入模糊运算的神经网络———狭义模糊神经网络 狭义模糊神经网络通过调整参数进行学习。其学习算法可以采用通用学习算法,也可以通过对原有神经网络的学习算法进行拓展得到。反向传播学习算法、随机搜索法、遗传算法等是几种与具体神经网络结构无关的通用学习算法。（2）用模糊逻辑增强网络功能的神经网络 这类模糊神经网络不是对神经网络与模糊逻辑直接进行融合,而是通过模糊逻辑改进神经网络的学习算法。首先通过分析网络性能得到启发式知识,然后再将启发式知识用于调整学习参数,从而加快了学习收敛速度。 （3）基于神经网络的模糊系统—神经模糊系统 于神经网络的模糊系统,也被称为神经模糊系统(NFS,Neural-Fuzzy Systems),是利用神经网络学习算法的模糊系统。这类模糊神经网络按照模糊逻辑的运算步骤分层构造,不改变模糊系统的基本功能(如模糊化、模糊推理和解模糊化)。 3.糊神经网络的应用 在基于模糊神经网络的控制器方面,Berenji和Khedker(1992)采用增强式学习方法提出了GARIC控制器结构,该系统通过三个神经网络完成了控制的功能：ASN进行普通模糊控制,AEN评价控制效果,SAM随机综合ASN和AEN的过程,然后产生控制信号;Lin和Lee(1994)提出了一种自动构造模糊系统的方法,该方