最小二乘估计（Least Squares Estimation, LSE）是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。这种方法通常用于线性模型中，以估计未知参数。
基本原理
最小二乘估计的基本思想是选择合适的估计参数使得模型输出与传感器实测输出数据之差的平方和最小。对于线性模型，其含有 \（m+1\） 种可观测的变量 \（（\Omega_0,\Omega_1,...,\Omega_m）\），每个参数（除 \（\Omega_0\） 之外）具有一个未知的参数 \（（O_1,O_2,...,O_m）\）。模型方程为：
\[
\Omega_0 + \sum_{j=1}^mO_j\Omega_j = 0
\]
现在需要进行 \（n\） 次观测来估计这些未知参数，要求 \（n\ge m\）。由于每次观测存在误差，所以对于每次观测，其方程应修改为：
\[
\Omega_{i0} + \sum_{j=1}^mO_{ij}\Omega_{ij} = \varepsilon_i
\]
式中， \（\varepsilon_i\） 即为每次的观测误差。
用 \（\hat\theta\） 表示估计量，则最小二乘法要求测量模型输出 \（H（k）\hat\theta\） 与实际测量数据 \（Z（k）\） 的平方和最小，将其表示为与 \（\hat\theta\） 相关的一个函数：
\[
J（\hat\theta） = （Z_k-H_k\hat\theta）^T（Z_k-H_k\hat\theta）
\]
计算过程
最小二乘估计可以通过多种方法计算，包括解析方法和数值方法。对于线性模型，可以直接使用线性代数中的克莱姆法则或矩阵求逆来求解。对于非线性模型，则可能需要使用数值优化算法，如梯度下降法。
性质
无偏估计：
若量测噪声 \（V\） 是均值为零，方差为 \（R\） 的随机向量，则最小二乘估计是无偏估计，即：
\[
E（\hat{\theta}） = \theta
\]
最小化误差平方和：
最小二乘估计使得各次量测 \（Z_i\） 与由估计确定的量测的估计均方和最小。
应用
最小二乘估计广泛应用于各种领域，包括统计学、信号处理、控制系统等。例如，在回归分析中，最小二乘法用于拟合数据点，以找到最佳拟合直线或曲线。在信号处理中，最小二乘估计用于估计信号的参数，如频率、振幅等。
示例
考虑一个简单的线性模型 \（y = ax + b\），其中 \（y\） 和 \（x\） 是可测量的，而 \（a\） 和 \（b\） 是未知参数。通过 \（N\） 次实验，得到测量数据 \（y_k\） 和 \（x_k\）（其中 \（k = 1, 2, 3, \ldots, N\）），最小二乘估计的目标是找到参数 \（a\） 和 \（b\） 使得残差平方总和最小：
\[
J（a, b） = \sum_{k=1}^N （y_k - ax_k - b）^2
\]
通过对 \（J（a, b）\） 分别对 \（a\） 和 \（b\） 求偏导数，并令其等于零，可以得到 \（a\） 和 \（b\） 的最小二乘估计值。
总结
最小二乘估计是一种强大的参数估计方法，其优点在于算法简单、易于实现，并且不需要对被估计量及其测量数据的统计特性有深入了解。然而，它也有一些局限性，例如在存在非线性关系的情况下可能表现不佳。