Skip to content

第六章 参数估计 ​

结构定下来之后,剩下的是估参数、看显著性、判断参数是否可识别。本章覆盖矩估计、条件最小二乘与极大似然三条路线,并解释常数项为什么常常不显著。

6.1 矩估计 ​

用样本自相关 ρ̂ₖ 代替理论值,代入 Yule-Walker 方程解出 φ:

P̂ φ̂ = ρ̂

优点:有闭式解,计算快;解出的 φ 一定落在平稳域内(因为用的是非负定的样本自协方差矩阵)。

缺点:效率低于极大似然;对 MA 部分不适用(MA 的 Yule-Walker 方程是二次的,解不唯一);小样本偏差较大。

6.2 条件最小二乘(CSS) ​

给定初始值(通常取 ε₁ = … = ε_p = 0 或取无条件均值),递推算出全部 εₜ,然后最小化

Σₜ εₜ²

这等价于条件似然(把前 p 个观测当作给定)。

优点:计算简单,无需矩阵求逆;对 AR 部分等价于 OLS。

缺点:结果依赖初始值的处理方式;对 MA 部分,条件似然与精确似然的差异在小样本下不可忽略;不可逆的 MA 会导致递推发散。

6.3 极大似然(MLE) ​

在正态假设下,精确对数似然为

ln L = −(n/2) ln(2π) − (n/2) ln σ² − (1/2) ln|Ω| − (1/2σ²) y′Ω⁻¹y

其中 Ω 是自相关矩阵。实际计算用 Kalman 滤波递推,避免直接求 n×n 矩阵的逆。

CSS-ML:先用 CSS 得到初值,再切换到精确 ML 优化。这是 R 的 arima() 的默认做法,兼顾稳健与效率。

渐近性质:在正则条件下,MLE 是一致的、渐近正态的、渐近有效的(达到 Cramér-Rao 下界)。

6.4 标准误与显著性 ​

参数的渐近协方差矩阵为

Var(φ̂) ≈ σ̂² (X′X)⁻¹

其中 X 是滞后项构成的回归矩阵。于是

z = 系数估计 / 标准误 ~ N(0, 1)(渐近)

★ 为什么 ARIMA 报 z 值而不是 t 值? 因为 ARIMA 的推断是渐近的,依赖大样本正态近似,而不是像线性回归那样在正态误差下精确服从 t 分布。样本量足够时两者几乎一样;小样本时 z 值会略微高估显著性。

95% 置信区间:估计值 ± 1.96 × 标准误。若区间跨过零,则该参数不显著。

6.5 为什么常数项/漂移项常常不显著 ​

这是实践中极常见的现象,原因有四:

  1. 标准误被放大。常数项的估计涉及 (1 − Σφᵢ) 这个分母,当 Σφᵢ 接近 1 时,分母很小,标准误很大。
  2. 差分后的常数项含义变了。在原序列里它是"水平",在差分序列里它变成"每期平均增量",量级通常很小。
  3. 样本内水平变化大。若序列在样本期内经历大幅涨跌,长期均值的估计本身就不确定,标准误自然大。
  4. 真实效应确实接近零。很多经济序列在样本期内没有稳定的长期漂移。

★ 不显著 ≠ 应该删除。 是否保留取决于:

  • 选模规则是否事先规定(若规则说"按验证误差选",就不能因为不显著而删);
  • 预测目标(若关心长期预测,漂移项会被 h 放大,影响不可忽略);
  • 理论依据(若理论上应有趋势,不显著可能只是样本不足)。

6.6 参数冗余与不可识别 ​

冗余的典型表现:

  • AR 与 MA 部分的系数近似抵消(如 φ ≈ −θ);
  • 系数估计值很大但标准误更大,z 值接近零;
  • 参数之间高度负相关;
  • 不同初值收敛到差异很大的解。

原因:ARMA(p, q) 与 ARMA(p−1, q−1) 可能表示同一个过程。当公因子近似可约时,参数就无法唯一确定。

处理:降阶;或固定某个参数为 0;或改用更简约的设定。

6.7 估计失败的常见原因 ​

现象可能原因处理
优化器不收敛初值差、参数不可识别、模型过复杂换初值、降阶、改用 CSS 给初值
根接近单位圆过度差分、参数冗余检查 d、降阶
标准误极大参数不可识别、样本共线降阶、检查数据
系数在边界上真实参数接近 0 或 ±1考虑简化模型
不同软件结果差异大似然定义不同(条件/精确)、初值不同统一设定、报告所用方法

★ 数据尺度会影响数值稳定性,但不影响结论。 用原始单位(如美元/桶)与用标准化后的数据估计,参数的 t 值、AIC 的可比性都不变(AIC 会差一个常数),但优化器的收敛行为可能不同。若遇收敛困难,可以先把数据缩放到单位方差再估计,最后把参数换算回原尺度。

要点 ​

  1. 矩估计有闭式解且必落平稳域,但效率低;MLE 渐近有效,是默认选择。
  2. CSS-ML = 先条件最小二乘给初值,再精确极大似然优化。
  3. 参数显著性用 z 值(渐近正态),95% 区间为估计 ± 1.96×SE。
  4. 常数/漂移项不显著很常见,原因是标准误被 (1−Σφ) 放大,不显著不等于应删。
  5. 系数大幅抵消、标准误极大是参数冗余的信号,应降阶。

自测 3 问 ​

Q1:矩估计、CSS、MLE 各有什么特点?默认用哪个?

点开看答案
  • 矩估计:有闭式解,结果必落平稳域,但效率低;
  • CSS(条件最小二乘):常用来给初值;
  • MLE(极大似然):渐近有效,是默认选择。

常见做法 CSS-ML:先用 CSS 给初值,再做精确极大似然优化。

Q2:常数项/漂移项不显著,是不是就该删掉?

点开看答案

不一定。它常常不显著,是因为标准误被 (1 − Σφ) 放大了;不显著不等于应删。

参数显著性用 z 值(渐近正态),95% 区间为估计 ± 1.96×SE。

Q3:参数冗余有什么信号?该怎么处理?

点开看答案

信号:系数大幅互相抵消、标准误极大(例如 AR 根和 MA 根几乎相等)。

处理:降阶。