系统辨识

2011-2012学年第二学期第十五讲 系统辨识王国利信息科学与技术学院中山大学

极大似然辨识法 极大似然（Maximum Likelihood）原理概率模型: 变量Y服从概率分布密度函数 P(Y=y) 其中为模型参数，例如，正态分布模型N(,2) P(Y2,)=(22)-1/2exp{-(Y-)2/22} 正向问题：已知参数，即模型确定，对于变量Y进行独立的N次观测，得到 {y1,y2,…,yN}, 其联合概率为 P(Y) =i=1,NP(Y)

极大似然辨识法 逆向问题：参数未知，如何通过对变量Y 进行独立N次观测得到的{y1 , y2 ,…, yN}, 确定出未知参数？对于给定观测数据{y1, y2 ,…, yN}, 定义参数的似然函数 L()=i=1,NP(Y) 参数极大似然估计问题描述为 ML=argmaxL() 即转化为对上述优化问题的极值求解

极大似然辨识法 极大似然估计解若 L() 关于可微，则极大似然估计 ML 满足 L/ML=0 进一步，注意到 L() 是分布密度函数产生的通常是关于参数的指数函数，ln{ }满足单增的性质，ML等价地满足 ln(L)/ML=0 需要指出的是，ML 未必一定存在。若存在，则可通过上述一阶极值条件求解ML

极大似然辨识法 考虑系统 y(k)=φT(k)θ +ε(k) θ=[a1a2 … anb0b1b2 … bn]T φ(k)=[-y(k-1) -y(k-2) … -y(k-n) u(k) u(k-1) … u(k-n)]T yk= φkT+ εk, k=1,2,…,N yk= y(n+k);uk= u(n+k); εk= ε(n+k); φk= φ(n+k);

极大似然辨识法 N序列回归方程 YN=ΦNθ+εN ΦN=[φ1φ2… φN]T YN =[y1 y2 …yN]T εN=[ε1 ε2…εN]T 假定 {ε(k)}为独立同分布(i.i.d)的正态白噪声 ε(k) ~ N(0, 2) 或者 εk~N(0, 2) 则 y(k)~ N(φT(k)θ,2) 或者 yk~ N(φkTθ, 2)

极大似然辨识法 关于参数θ和2的似然函数 L(θ,2)=P(y1, y2, … , yNθ,2) 将{yk}看成独立的N次观测，即 L(θ,2) = k=1,N P(ykθ,2) 注意到 P(ykθ,2)=(22)-1/2exp{-(yk-φkTθ)2/22} 得到 L(θ,2)=(22)-N/2exp{-Σk=1,N(yk-φkTθ)2/22} 或者 lnL(θ,2)=-Nln(22)/2-Σk=1,N(yk-φkTθ)2/22

极大似然辨识法 ML和2ML 满足 ln(L)/ML=0 ln(L)/2=ML2=0 lnL(θ,2)=-Nln2/2-(YN-ΦNθ)T(YN-ΦNθ)/22+C C=-Nln(2)/2 ln(L)/=(22)-1(YN-ΦNθ) T(YN-ΦNθ)/=0  (ΦNTΦN)θ=ΦNTYN θ ML=PNΦNTYN ln(L)/2=-N/22 +(YN-ΦNθ)T(YN-ΦNθ)/2(2)2 =0  2ML=(YN-ΦNθ)T(YN-ΦNθ)/N

极大似然辨识法 考虑更一般的模型 A(z-1)yk=B(z-1)uk+C(z-1)εk A (z-1) = 1 + a1z-1+…+anz-n B (z-1) = b0+b1z-1 +…+ bnz-n C (z-1) = 1+ c1z-1+…+ cnz-n yk = φkTθ +εk θ=[a1a2 … anb0b1b2 … bnc1c2 … cn]T φk=[-yk-1 -yk-2 … -yk-nukuk-1 … uk-n εk-1εk-2 … εk-n]T

极大似然辨识法 假定 {εk}为独立同分布(i.i.d)的正态白噪声 εk~ N(0, 2) 对于给定的θ，记 υk=yk-φkTθ，即 υk~ N(0,2) 则有 P(ykθ,2)=P(υk θ,2)=(22)-1/2exp{-υk2 /22} =(22)-1/2exp{-(yk- φkTθ)2/22} 关于参数θ和 2 的似然函数定义为 L(θ,2)=P(y1, y2 , … , yNθ,2) =k=1,NP(ykθ,2)

极大似然辨识法 关于参数θ和 2 的似然函数定义为 L(θ,2)=P(y1, y2 , … , yNθ,2) =k=1,N P(ykθ,2) =(22)-N/2exp{-Σk=1,Nυk2/22} 或者 lnL(θ,2)=-Nln2/2-Σk=1,Nυk2/22-Nln 2/2 2ML 满足 ln(L)/2=ML2=0 ln(L)/2=-N/22 +Σk=1,Nυk2/2(2) 2 =0  2ML=Σk=1,Nυk2/N

极大似然辨识法 则进一步有 lnL(θ,ML2)=-NlnML2/2-Σk=1,Nυk2/2ML2 -Nln 2/2 =-(N/2)lnΣk=1,Nυk2/N - N/2 -Nln2/2 =-(N/2)lnΣk=1,Nυk2/N + const 求解 ML归结为以下优化问题 ML= argminΣk=1,Nυk2/N 需要指出的是，上述υk关于是非线性的？

极大似然辨识法 数值求解方法极大似然估计问题归结为 ML = argminJ() J() = Σk=1,Nυk2/2 υk=yk-φkTθ θ=[a1a2 … anb0b1b2 … bnc1c2 … c]T φk=[-yk-1yk-2 … -yk-nukuk-1 … uk-n υk-1υk-2 … υk-n]T

极大似然辨识法 牛顿-拉普森迭代算法回顾考虑优化问题 x*=argminf(x) 迭代关系 xk+1=xk-[f’’(xk)]-1f’(xk) 重要结论当初值x0满足一定条件时，有 xkx*

极大似然辨识法 局部线性化的二次优化思想将f(x)在xk进行泰勒展开，保留到二次 F(x)=f(xk)+f’(xk)(x-xk)+(x-xk)Tf’’(xk)(x-xk)/2 xk+1取为局部二次型的最优解，即 xk+1=argminF(x) 满足 F(x)/x|x=xk+1=0  f’(xk)+f’’(xk)(xk+1-xk)=0 xk+1=xk-[f’’(xk)]-1f’(xk)

极大似然辨识法 极大似然估计的牛顿-拉普森迭代算法 k+1=k-[J’’(k)]-1J’(k) 需要J’(k)和J’’(k)，注意到 J’() =(1/2)Σk=1,Nυk2/ = Σk=1,Nυkυk / J’’() ={Σk=1,Nυk υk/}/ = Σk=1,N{[υk/][υk/T] + υk [2υk/T]} =Σk=1,N[υk/][υk/]T

极大似然辨识法 极大似然估计的牛顿-拉普森迭代算法 k+1=k-[J’’(k)]-1J’(k) J’() =Σk=1,Nυk[υk/] J’’() =Σk=1,N[υk /][υk /]T 归结为υk /的计算，具体而言 υk /ai = yk-i-Σj=1,nυk-j/ υk /bi= -uk-i- Σj=1,n υk-j / υk /ci= -υk-i- Σj=1,n υk-j / 求解上述差分方程获得υk /ai, υk /bi, υk /ci 初值取为0

极大似然辨识法 迭代算法初始化及误差计算 1) 初始化 0中对应的{ci}置为0，即假定为白噪声对应的{ai}和{bi}取为下述最小二乘的解 A(z-1)yk=B(z-1)uk+υk 2) 预测误差 υk =yk-φkTθ J() = Σk=1,Nυk2/2 2 = Σk=1,Nυk2/N

系统辨识

系统辨识

Presentation Transcript