Data-基础-05 参数估计

Data-基础-05 参数估计

I found that I didn’t like teaching as much as I did just plain research. --Claude Shannon
  • Data系列:目录 | 配置 | 代码仓库
  • 在学习贝叶斯分类器的过程中,先是冒出了极大似然估计,之后还牵扯出了频率主义学派和贝叶斯学派之争,再查到后面,统计推断、假设检验、参数估计、频率等等内容越来越多。本文基于参考的资料和自己的认知,进行简单的描述(主要针对参数估计)。

1. 统计推断

【统计推断介绍】

  • 统计推断(statistical inference):根据带随机性的观测数据(样本)以及问题的条件和假定(模型),而对未知事物作出的、以概率形式表述的推断。
  • 简言之,就是利用样本数据来判断总体分布。
  • 统计推断的基本特点:所依据的条件中包含有带随机性的观测数据。
  • 统计推断的理论基础:以随机现象为研究对象的概率论。

【两类问题】

  • 统计推断问题的表述形式:所研究的问题有一个确定的总体,其总体分布未知或部分未知,通过从该总体中抽取的样本(观测数据)作出与未知分布有关的某种结论。
  • 参数估计(parameter estimation):根据从总体中抽取的随机样本来估计总体分布中未知参数的过程,分为点估计和区间估计两部分。

    • 常见方法:矩估计、极大似然法、一致最小方差无偏估计、最小风险估计、同变估计、最小二乘法、贝叶斯估计、极大验后法、最小风险法和极小化极大熵法等。
  • 假设检验(hypothesis testing):用来判断样本与样本、样本与总体的差异是由于抽样误差引起还是本质差别造成的统计推断方法。

    • 基本原理:先对总体的特征作出某种假设,然后通过抽样研究的统计推理,推断此假设应该被接受还是拒绝。
    • 常见方法:Z检验、t检验、卡方检验、F检验等。
  • 本文主要介绍参数估计的相关内容。

2. 参数估计

【参数估计介绍】

  • 参数估计是指用样本指标(统计量,如样本均值、样本比例、样本方差等)来估计总体指标(参数,如总体均值、总体比例、总体方差等)的统计推断方法。
  • 概率模型的训练过程就是参数估计(《机器学习》第7章)
  • 常见方法:矩估计、极大似然法、一致最小方差无偏估计、最小风险估计、同变估计、最小二乘法、贝叶斯估计、极大后验法、最小风险法和极小化极大熵法等。

【标准特点】

  • 无偏性(Unbiased):统计量的数学期望等于总体参数的真值

    • 对样本的每次抽样出来的估计值可能偏高偏低,但这些估计量平均起来等于总体参数的真值。
    • 在平均意义下,无偏性表示没有系统误差。
  • 有效性(Effectiveness):指估计量与总体参数的离散程度

    • 当样本相同、使用不同方法估计参数时,可以找到不同的估计量;
    • 当两个估计量都是无偏时,离散程度较小的估计量较为有效;
    • 离散程度使用方差度量,即在无偏估计量中,方差越小越有效。
  • 一致性(Consistency):又称相合性,随着样本容量的增大,估计量的值越来越接近总体参数的真值,则称该估计是一致的
  • 随着样本容量的增加,参数估计具有渐近无偏性、渐近有效性、一致性。

【点估计 与 区间估计】

  • 参数估计从估计形式上可分为点估计和区间估计。
  • 点估计(Point Estimation):依据样本估计总体分布中所含的未知参数或未知参数的函数,直接以样本指标来估计总体指标,也叫定值估计

    • 通常是总体的某个特征值,如数学期望、方差、相关系数等
    • 常用方法:矩估计法、最大似然估计法、最小二乘法、贝叶斯估计法
  • 区间估计(Interval Estimation):依据抽样的样本,根据一定的正确度与精确度的要求,构造出适当的区间,作为总体分布的未知参数或参数的函数的真值所在范围的估计

    • 求置信区间的常用方法:利用已知的抽样分布、利用区间估计与假设检验的联系、利用大样本理论

【频率主义 与 贝叶斯主义】

  • 概率模型的训练过程就是参数估计过程(求解$\theta$),对此,统计学有两种学派:频率主义学派和贝叶斯学派。
  • 频率主义学派(Frequentist):认为参数虽然未知,但却是客观存在的固定值(认为存在唯一真值$\theta$),因此,可通过优化似然函数等准则来确定参数值,如极大似然估计

    • 方法:矩估计法、最大似然估计
    • 当数据趋向于无穷时,能给出精准的估计;但缺乏数据时,可能产生严重的偏差
  • 贝叶斯学派(Bayesian):认为参数是未观察到的随机变量,其本身也有分布,因此,可假设参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布

    • 通过先验和似然,估计后验
    • 方法:贝叶斯方法、最大后验估计

3. 频率学派方法

【矩估计法】

  • 样本矩(sample moment):样本的数字特征,模拟总体数字特征构造的统计量,主要包括:

    • 样本均值:$\overline X=\frac{1}{n}\sum^n_{i=1}X_i$
    • 样本方差:$S^2=\frac{1}{n}\sum^n_{i=1}(X_i-\overline X)^2$
    • 样本修正方差:$S_n^2=\frac{1}{n-1}\sum^n_{i=1}(X_i-\overline X)^2$
    • 样本k阶原点矩:$\overline \alpha_k=\frac{1}{n}\sum^n_{i=1}X_i^k$
    • 样本k阶中心矩:$\overline\beta_k=\frac{1}{n}\sum^n_{i=1}(X_i-\overline X)^k$
  • 总体矩(ensemble moment):总体的数字特征,与样本矩对应,

    • 总体均值:$E(X)$
    • 总体方差:$D(X)$
    • 总体k阶原点矩:$\mu_k=E(X^k)$
    • 总体k阶中心矩:$v_k=E[X-E(X)]^k$
  • 矩估计法:用相应的样本矩去估计总体矩的估计方法,如

    • $\hat E(X)=\overline X=\frac{1}{n}\sum^n_{i=1}X_i$
    • $\hat D(X)=S^2=\frac{1}{n}\sum^n_{i=1}(X_i-\overline X)^2$
  • 优缺点:

    • 矩法估计原理简单、使用方便,使用时可以不知母体的分布,而且具有一定的优良性质,因此在实际问题,特别是在教育统计问题中被广泛使用。
    • 但在寻找参数的矩法估计量时,对母体原点矩不存在的分布,如柯西分布等不能用;
    • 另一方面它只涉及母体的一些数字特征,并未用到母体的分布,因此矩法估计量实际上只集中了母体的部分信息,这样它在体现母体分布特征上往往性质较差,只有在样本容量较大时,才能保障它的优良性,因而理论上讲,矩法估计是以大样本为应用对象的。

【最大似然估计】

  • 最大似然估计(Maximum Likelihood Estimation, MLE):频率主义学派的方法,根据数据采样来估计概率分布参数的经典方法。

    • 基于假设:所有的采样都是独立同分布的,即采样过程中,任何时刻的取值都为随机变量,且这些变量都服从同一分布,并且相互独立。
    • 似然函数与概率函数 ${\rm P}(x\ |\ \theta)$

      • 若$\theta$已知,$x$是变量:概率函数(probability function)
      • 若$x$已知,$\theta$是变量:似然函数(likelihood function)
    • 参数$\theta_c$在数据集$D_c$上的似然:

      • 离散型:${\rm L}(\theta_c)={\rm P}(D_c\ |\ \theta_c)=\Pi_{x\in D_c}{\rm P}(x\ |\ \theta_c)$
      • 连续型:${\rm L}(\theta_c)=\Pi_{x\in D_c}{\rm f}(x\ |\ \theta_c)$
      • 极大似然估计:就是找出能最大化似然${\rm P}(D_c\ |\ \theta_c)$的参数值$\hat\theta_c$
    • 对数似然(log-likelihood):为防止似然函数连乘可能导致的下溢,通常会使用对数似然${\rm LL}(\theta_c)=\log{\rm P}(D_c\ |\ theta_c)=\sum_{x\in D_c}\log{\rm P}(x\ |\ \theta_c)$

      • 极大似然估计:$\hat\theta_c={\arg\max}_{\theta_c}{\rm LL}(\theta_c)$
  • 极大似然估计求解步骤(如果最终无解,或不可导,则需要改用其他方法)

    1. 写出似然函数:如${\rm L}(\theta)=\Pi^n_{i=1}(\frac{\theta^{x_i}}{x_i!}e^{-\theta})=e^{-n\theta}\frac{\theta^{\sum^n_{i=1}x_i}}{\Pi^n_{i=1}(x_i!)}$
    2. 写出对数似然:如${\rm LL}(\theta)=-n\theta+(\sum^n_{i=1}x_i)\ln\theta-\sum^n_{i=1}(x_i!)$
    3. 求导:如$\frac{\rm d}{{\rm d}\theta}{\rm LL}(\theta)=-n+\frac{\sum^n_{i=1}x_i}{\theta}$
    4. 解似然方程:如$-n+\frac{\sum^n_{i=1}x_i}{\theta}=0$
    5. 得到极大似然估计:如$\hat\theta=\frac{1}{n}\sum^n_{i=1}x_i=\overline x$
  • 优缺点

    • 这种参数化的方法能使类条件概率估计变得相对简单,
    • 但估计的准确性严重依赖于所假设的概率分布形式是否符合真实数据分布。
    • 所以实际使用时,会根据任务本身的经验知识来估计分布形式。

4. 贝叶斯学派方法

【贝叶斯定理】

  • 贝叶斯定理(Bayes theorem),也叫贝叶斯推理,是一种把类的先验知识和从数据中收集的新证据相结合的统计原理。
  • 贝叶斯公式:${\rm P}(Y|X)=\frac{{\rm P}(X\ |\ Y){\rm P}(Y)}{{\rm P}(X)}$

    • 先验概率 ${\rm P}(Y)$
    • 联合概率 ${\rm P}(X=x,Y=y)$:表示$X$取$x$且$Y$取$y$的概率;
    • 后验概率/条件概率 ${\rm P}(Y=y\ |\ X=x)$:表示在$X$取$x$情况下,$Y$取$y$的概率;
    • 有,${\rm P}(X,Y)={\rm P}(Y\ |\ X)\times{\rm P}(X)={\rm P}(X\ |\ Y)\times{\rm P}(Y)$

【最大后验概率估计】

  • 最大后验概率估计(Maximum A Posteriori Estimation, MAP)

    • 最大似然估计是求使似然函数${\rm P}(x_0\ |\ \theta)$最大的参数$\theta $;
    • 而最大后验概率估计则是求使${\rm P}(x_0\ |\ \theta){\rm P}(\theta)$最大的参数$\theta$(即$\theta$不单使似然函数大,也使先验概率大)。
    • $\hat\theta_{map}={\arg\max}_\theta\sum_{x\in D_c}\log{\rm P}(x\ |\ \theta){\rm P}(\theta)$
  • 最大后验概率估计的步骤:

    1. 确定参数的先验分布和似然函数;
    2. 确定参数的后验分布函数;
    3. 将后验分布函数转换为对数函数;
    4. 求导,找最大值。
  • 当先验分布均匀时,MAP 估计与 MLE 相等。

【贝叶斯估计】

  • 查看贝叶斯公式:${\rm P}(\theta|x)=\frac{{\rm P}(x|\theta){\rm P}(\theta)}{{\rm P}(x)}$
  • 可以发现最大后验概率中忽略了先验分布${\rm P}(x)$,而贝叶斯估计中${\rm P}(x)$则是不可忽略的;贝叶斯估计不是估计参数$\theta$,而是估计$\theta$的分布。
  • 利用全概率公式:${\rm P}(X)=\int{\rm P}(X|\theta){\rm P}(\theta){\rm d}\theta$
  • 估计概率:${\rm P}(\hat x|X)=\int_{\theta\in\Theta}{\rm P}(\hat x|\theta){\rm P}(\theta|X){\rm d}\theta=\int_{\theta\in\Theta}{\rm P}(\hat x|\theta)\frac{{\rm P}(X|\theta){\rm P}(\theta)}{{\rm P}(X)}{\rm d}\theta$
  • 贝叶斯估计的步骤

    1. 确定参数的似然函数
    2. 确定参数的先验分布,是后验分布的共轭先验
    3. 确定参数的后验分布函数
    4. 求解参数的后验分布
  • 还是有些不太清楚,等之后再学习吧,大家可以参考下文参考资料

5. 常见分布的极大似然估计

  1. 两点分布

    • 概率函数:${\rm P}(x\ |\ \theta)=\theta^x(1-\theta)^{1-x}$,其中 $x=0,1;\ \theta\in[0,1]$
    • 最大似然估计:$\hat\theta=\frac{1}{n}\sum^n_1x_i=\overline x$
  2. 指数分布

    • 密度函数:$\begin{equation} f(x\ |\ \theta)=\left\{ \begin{aligned} &\theta e^{-\theta x}, & x>0\\ &0, & x\le0\end{aligned} \right. \end{equation}$ , 其中 $\theta\in(0,\infty)$
    • 最大似然估计:$\hat\theta=\frac{n}{\sum^n_1x_i}=\frac{1}{\overline x}$
  3. 正态分布

    • 密度函数:$f(x\ |\ \mu,\delta)=\frac{1}{\sqrt{2\pi\delta}}e^{-\frac{(x-\mu)^2}{2\delta}}$, 其中 $\delta=\sigma^2>0,\ \mu\in(-\infty,\infty)$
    • 最大似然估计:$\hat\mu=\frac{1}{n}\sum^n_ix_i=\overline x;\ \hat\delta=\frac{1}{n}\sum^n_1(x_i-\overline x)^2$
  4. 均值分布

    • 密度函数:$\begin{equation} f(x\ |\ a,b)=\left\{ \begin{aligned} &\frac{1}{b-a}, & a\le x\le b\\ &0, & {\rm else}\end{aligned} \right. \end{equation}$, 其中$a<b$
    • 最大似然估计:$\hat a=\min_{1\le i\le n}x_i;\ \hat b=\max_{1\le i\le n}x_i$
  5. 韦布尔分布

    • 密度函数:$\begin{equation} f(x\ |\ m,\eta)=\left\{ \begin{aligned} &\frac{m}{\eta^m}x^{m-1}e^{-(\frac{x}{\eta})^m}, & x>0\\ &0, & x\le0\end{aligned} \right. \end{equation}$, 其中$m,\eta>0$
    • 最大似然估计:

      • $\hat\eta=(\frac{1}{n}\sum^n_1x_i^{\hat m})^\frac{1}{\hat m}$
      • $\hat m$为方程的解,$\frac{1}{m}+\frac{1}{n}\sum^n_1\ln x_i-\frac{1}{\sum^n_1x_i^m}\ln x_i=0$

参考资料

评论

暂无评论