深色模式
第六章 参数估计
结构定下来之后,剩下的是估参数、看显著性、判断参数是否可识别。本章覆盖矩估计、条件最小二乘与极大似然三条路线,并解释常数项为什么常常不显著。
6.1 矩估计
用样本自相关 ρ̂ₖ 代替理论值,代入 Yule-Walker 方程解出 φ:
P̂ φ̂ = ρ̂
优点:有闭式解,计算快;解出的 φ 一定落在平稳域内(因为用的是非负定的样本自协方差矩阵)。
缺点:效率低于极大似然;对 MA 部分不适用(MA 的 Yule-Walker 方程是二次的,解不唯一);小样本偏差较大。
6.2 条件最小二乘(CSS)
给定初始值(通常取 ε₁ = … = ε_p = 0 或取无条件均值),递推算出全部 εₜ,然后最小化
Σₜ εₜ²
这等价于条件似然(把前 p 个观测当作给定)。
优点:计算简单,无需矩阵求逆;对 AR 部分等价于 OLS。
缺点:结果依赖初始值的处理方式;对 MA 部分,条件似然与精确似然的差异在小样本下不可忽略;不可逆的 MA 会导致递推发散。
6.3 极大似然(MLE)
在正态假设下,精确对数似然为
ln L = −(n/2) ln(2π) − (n/2) ln σ² − (1/2) ln|Ω| − (1/2σ²) y′Ω⁻¹y
其中 Ω 是自相关矩阵。实际计算用 Kalman 滤波递推,避免直接求 n×n 矩阵的逆。
CSS-ML:先用 CSS 得到初值,再切换到精确 ML 优化。这是 R 的 arima() 的默认做法,兼顾稳健与效率。
渐近性质:在正则条件下,MLE 是一致的、渐近正态的、渐近有效的(达到 Cramér-Rao 下界)。
6.4 标准误与显著性
参数的渐近协方差矩阵为
Var(φ̂) ≈ σ̂² (X′X)⁻¹
其中 X 是滞后项构成的回归矩阵。于是
z = 系数估计 / 标准误 ~ N(0, 1)(渐近)
★ 为什么 ARIMA 报 z 值而不是 t 值? 因为 ARIMA 的推断是渐近的,依赖大样本正态近似,而不是像线性回归那样在正态误差下精确服从 t 分布。样本量足够时两者几乎一样;小样本时 z 值会略微高估显著性。
95% 置信区间:估计值 ± 1.96 × 标准误。若区间跨过零,则该参数不显著。
6.5 为什么常数项/漂移项常常不显著
这是实践中极常见的现象,原因有四:
- 标准误被放大。常数项的估计涉及 (1 − Σφᵢ) 这个分母,当 Σφᵢ 接近 1 时,分母很小,标准误很大。
- 差分后的常数项含义变了。在原序列里它是"水平",在差分序列里它变成"每期平均增量",量级通常很小。
- 样本内水平变化大。若序列在样本期内经历大幅涨跌,长期均值的估计本身就不确定,标准误自然大。
- 真实效应确实接近零。很多经济序列在样本期内没有稳定的长期漂移。
★ 不显著 ≠ 应该删除。 是否保留取决于:
- 选模规则是否事先规定(若规则说"按验证误差选",就不能因为不显著而删);
- 预测目标(若关心长期预测,漂移项会被 h 放大,影响不可忽略);
- 理论依据(若理论上应有趋势,不显著可能只是样本不足)。
6.6 参数冗余与不可识别
冗余的典型表现:
- AR 与 MA 部分的系数近似抵消(如 φ ≈ −θ);
- 系数估计值很大但标准误更大,z 值接近零;
- 参数之间高度负相关;
- 不同初值收敛到差异很大的解。
原因:ARMA(p, q) 与 ARMA(p−1, q−1) 可能表示同一个过程。当公因子近似可约时,参数就无法唯一确定。
处理:降阶;或固定某个参数为 0;或改用更简约的设定。
6.7 估计失败的常见原因
| 现象 | 可能原因 | 处理 |
|---|---|---|
| 优化器不收敛 | 初值差、参数不可识别、模型过复杂 | 换初值、降阶、改用 CSS 给初值 |
| 根接近单位圆 | 过度差分、参数冗余 | 检查 d、降阶 |
| 标准误极大 | 参数不可识别、样本共线 | 降阶、检查数据 |
| 系数在边界上 | 真实参数接近 0 或 ±1 | 考虑简化模型 |
| 不同软件结果差异大 | 似然定义不同(条件/精确)、初值不同 | 统一设定、报告所用方法 |
★ 数据尺度会影响数值稳定性,但不影响结论。 用原始单位(如美元/桶)与用标准化后的数据估计,参数的 t 值、AIC 的可比性都不变(AIC 会差一个常数),但优化器的收敛行为可能不同。若遇收敛困难,可以先把数据缩放到单位方差再估计,最后把参数换算回原尺度。
要点
- 矩估计有闭式解且必落平稳域,但效率低;MLE 渐近有效,是默认选择。
- CSS-ML = 先条件最小二乘给初值,再精确极大似然优化。
- 参数显著性用 z 值(渐近正态),95% 区间为估计 ± 1.96×SE。
- 常数/漂移项不显著很常见,原因是标准误被 (1−Σφ) 放大,不显著不等于应删。
- 系数大幅抵消、标准误极大是参数冗余的信号,应降阶。
自测 3 问
Q1:矩估计、CSS、MLE 各有什么特点?默认用哪个?
点开看答案
- 矩估计:有闭式解,结果必落平稳域,但效率低;
- CSS(条件最小二乘):常用来给初值;
- MLE(极大似然):渐近有效,是默认选择。
常见做法 CSS-ML:先用 CSS 给初值,再做精确极大似然优化。
Q2:常数项/漂移项不显著,是不是就该删掉?
点开看答案
不一定。它常常不显著,是因为标准误被 (1 − Σφ) 放大了;不显著不等于应删。
参数显著性用 z 值(渐近正态),95% 区间为估计 ± 1.96×SE。
Q3:参数冗余有什么信号?该怎么处理?
点开看答案
信号:系数大幅互相抵消、标准误极大(例如 AR 根和 MA 根几乎相等)。
处理:降阶。