2.1 基本概念

记x∈ℝn为待估参数向量，观测量z∈ℝm为随机向量，Z为观测量的集合Z={z1，z2，…，zN}，设待估参数的统计量为

称为x的一个估计量，其中φ称为估计规则或者估计算法。

定义2-1：记为x的估计误差，如果，则称为x的无偏估计（注：x可以是随机变量，也可以是非随机变量）。

定义2-2：如果N→∞，式（2-1）给出的估计算法满足，则称为x的渐近无偏估计。

定义2-3：均方误差（Mean Square Error，MSE）为估计误差平方和的均值，也即。

定理2.1（Cramer Rao不等式）：设为参数x的正规无偏估计，则其误差的协方差阵满足Cramer-Rao不等式

式中，；为Fisher信息矩阵，定义如下

式中，p（zx）为给定x时z的条件概率密度函数。

在设计估计算法时，首先需要制定估计准则以衡量估计的好坏。如果估计准则以优化某些指标为目的，则称为最优估计算法；如果以提高鲁棒性为目的，则称为鲁棒估计算法。本书主要对最优估计算法进行研究，所以不对鲁棒估计算法做过多的阐述。按照参数建模的不同，最优估计算法可以分为两大类：非贝叶斯估计和贝叶斯估计。

在贝叶斯估计中，将待估参数看作随机量。首先会有参数的先验概率密度函数，然后利用附录D4.2中的贝叶斯法则得到后验概率密度函数，即

由于Z是已经获取到的观测数据，因此式（2-4）中的分母可以看作归一化的常数，由下式得到，即

对于贝叶斯估计问题，就是获取式（2-4）的后验概率密度函数。一旦确定了p（xZ）就可以基于最优判据来进行点估计。常用的贝叶斯估计有最小均方误差（Minimum Mean Square Error，MMSE）估计和极大后验（Maximum A Posteriori，MAP）估计。

非贝叶斯估计中的参数模型将待估参数看作未知常数，也即没有关于x的先验概率密度函数，因此无法定义后验概率密度函数。此时，定义可能性函数为给定x能够观测到Z的条件概率密度函数，即

非贝叶斯估计是对式（2-6）模型中的某些统计指标进行优化得到。常用的非贝叶斯估计有极大似然（Maximum Likelihood，ML）估计和加权最小二乘（Weighted Least Squares，WLS）估计。