离策略评估：为什么重要性采样给出的无偏估计不可信

重要性采样能为离策略评估给出新策略价值的无偏估计，但方差随轨迹长度大致指数级增长，实践中往往不可用。每步概率比平均为 1.2 时，50 步轨迹的权重约 1.2^50≈9100，估计常被一两条轨迹主导。加权重要性采样以少量偏差换更低方差，per-decision 重要性采样仍无偏且方差更低，截断权重则引入偏差。