《系統辨識基礎》第12講要點
5.1 辨識方法分類
根據不同的辨識原理，引數模型辨識方法可歸納成三類：
① 最小二乘類引數辨識方法，其基本思想是通過極小化如下準則函式來估計模型引數：
其中代表模型輸出與系統輸出的偏差。典型的方法有最小二乘法、增廣最小二乘法、輔助變數法、廣義最小二乘法等。
② 梯度校正引數辨識方法，其基本思想是沿著準則函式負梯度方向逐步修正模型引數，使準則函式達到最小，如隨機逼近法。
③ 概率密度逼近引數辨識方法，其基本思想是使輸出z 的條件概率密度最大限度地逼近條件下的概率密度，即。典型的方法是極大似然法。
5.2 最小二乘法的基本概念
● 兩種演算法形式
① 批處理演算法：利用一批觀測資料，一次計算或經反覆迭代，以獲得模型引數的估計值。
② 遞推演算法：在上次模型引數估計值的基礎上，根據當前獲得的資料提出修正，進而獲得本次模型引數估計值，廣泛採用的遞推演算法形式為
其中表示k 時刻的模型引數估計值，k(k)為演算法的增益，h(k-d) 是由觀測資料組成的輸入資料向量，d 為整數，表示新息。
● 最小二乘原理
定義：設乙個隨機序列的均值是引數的線性函式
其中h(k)是可測的資料向量，那麼利用隨機序列的乙個實現，使準則函式
達到極小的引數估計值稱作的最小二乘估計。
● 最小二乘原理表明，未知引數估計問題，就是求引數估計值，使序列的估計值盡可能地接近實際序列，兩者的接近程度用實際序列與序列估計值之差的平方和來度量。
● 如果系統的輸入輸出關係可以描述成如下的最小二乘格式
式中z(k)為模型輸出變數，h(k)為輸入資料向量，為模型引數向量，n(k)為零均值隨機雜訊。為了求模型(3-2)的引數估計值，可以利用上述最小二乘原理。根據觀測到的已知資料序列和，極小化下列準則函式
即可求得模型引數的最小二乘估計值。
● 最小二乘估計值應在觀測值與估計值之累次誤差的平方和達到最小值處，所得到的模型輸出能最好地逼近實際系統的輸出。
5.3 最小二乘問題的提法
(1) 考慮模型
式中u(k)和z(k) 分別為模型輸入和輸出變數，n(k)是均值為零、方差為的隨機雜訊， 和為遲延運算元多項式，寫成
(2) 假定模型階次na和nb為已知，且有，也可設,並定義
(3) 將模型寫成最小二乘格式
對於(l為資料長度)，可以構成如下線性方程組
式中(4) 雜訊的統計性質
(5) 雜訊與輸入不相關
(6) 資料長度l充分大
5.4 最小二乘問題的解
● 考慮模型
● 準則函式取
其中為加權因子，對所有的k，都必須大於零。
● 準則函式又可寫成
式中為加權矩陣，它是正定的對角陣，由加權因子構成
● 該準則函式可用以衡量模型輸出與實際系統輸出的接近情況．極小化這個準則函式，即可求得模型的引數估計值，使模型的輸出能最好地預報系統的輸出。
● 當是正則矩陣時，模型的加權最小二乘解為
● 通過極小化準則函式求得模型引數估計值的方法稱作加權最小二乘法，記作wls(weighted least squares algorithm)，對應的稱為加權最小二乘估計值。
● 如果加權矩陣取單位陣，即，則加權最小二乘解退化成普通最小二乘解
這時的稱之為最小二乘估計值，對應的估計方法稱作最小二乘法，記作ls(least squares algorithm)。最小二乘法是加權最小二乘法的一種特例。
第五章最小二乘引數辨識方法第十三講
系統辨識基礎 第13講要點 5.5 最小二乘估計的可辨識性 最小二乘估計的可辨識條件為矩陣必須是非奇異的。這一要求與資料集是 提供資訊 的或辨識輸入訊號是 持續激勵 的概念密切相關。定義 乙個擬平穩資料集關於模型集m是 資訊充足 的，如果在這個資料集合中，對任意兩個模型和，有 其中，意味著。定義 乙...
初二物理第五章
第五章電流和電路 例題1 如圖所示，開關s閉合時，電路可能發生的情況是 a 燈l1發光燈l2不發光b 電池被燒壞 c.l1燈絲被燒壞d l2燈絲被燒壞 例題2 如圖所示，當s1，s2斷開時，能亮的燈是 它們是 聯的。當s1，s2閉合時，能亮的燈是 它們是 聯的。當s1閉合 s2斷開時，能亮的燈是 例...
第五章中心對稱圖形 二
5.1 圓 1 學習目標 1 經歷圓的概念的形成過程，理解圓的描述概念和圓的集合概念 2 經歷探索點與圓的位置關係的過程，會運用點到圓心的距離與圓的半徑之間的數量關係判斷點與圓的位置關係 3 在確定點和圓的三種位置關係的過程中體會用數量關係來確定位置關係的方法，逐步學會用變化的觀點及思想去解決問題 ...