模型校准记录
GoalPulse 的每场俱乐部足球预测都会与真实赛果在留出测试集上对分。本页回答的问题是:当模型说 70% 时,它是否真的约 70% 发生——这就是校准的定义。评估由离线脚本在历史比赛上产出,同样的数字也驱动线上比赛页。
- 留出测试场次
- 6,249
- Brier
- 0.5961 vs 0.6494
- 技能 8.2%
- RPS
- 0.2029 vs 0.2285
- 技能 11.2%
- 加权平均偏差
- 0.0099
最需要看的一行:偏差最大的可信桶是 74%,模型说 74%、实际发生 79.5%,|gap| 0.051,n=356;5/10 个桶在 ±2pp 内。
校准曲线
每个点是一个概率分桶:横向位置是模型给出的概率,纵向位置是实际发生的频率。落在虚线上的点是完美校准;在虚线上方说明模型低估了这一档,下方说明高估。点的大小代表该桶的场次数。
要看「离虚线多远」,不要只看点的顺序:点落在虚线下方,说明模型给这一档的把握高于结果本身。
该看什么
- 离虚线的距离比点的顺序更重要:点落在虚线下方,说明模型给这一档的把握高于结果本身允许的程度。
- 两个空心圆各自不足 100 场,画出来是为了透明,绝不单独用来声称准确率。
- 最大的两个桶(16% 与 26%)合计占 18,747 个 1X2 计分结果中的 9,771 个(每场三个结果),两者都几乎压在虚线上,这也是加权平均偏差只有 0.0099 的原因。
预测概率桶
| 概率桶 | n | 预测 | 实际 | |偏差| | 评级 |
|---|---|---|---|---|---|
| 8% | 314 | 7.6% | 3.2% | 0.044 | 需谨慎 |
| 16% | 2,197 | 16.0% | 14.5% | 0.016 | 校准良好 |
| 26% | 7,574 | 25.7% | 26.1% | 0.004 | 校准良好 |
| 34% | 3,656 | 34.3% | 33.6% | 0.006 | 校准良好 |
| 45% | 2,378 | 44.7% | 45.5% | 0.008 | 校准良好 |
| 55% | 1,411 | 54.6% | 53.1% | 0.015 | 校准良好 |
| 64% | 770 | 64.5% | 67.7% | 0.032 | 轻度漂移 |
| 74% | 356 | 74.4% | 79.5% | 0.051 | 需谨慎 |
| 83% | 90 | 83.4% | 84.4% | 0.010 | 样本不足n<100 |
| 92% | 1 | 92.3% | 100.0% | 0.077 | 样本不足n<100 |
逐联赛对照:融合比纯模型好多少
同一留出集按联赛切开,比较融合后的 RPS 与「只用模型」的 RPS。样本少于 200 场的联赛不参与结论。
| 联赛 | n | 融合 RPS | 纯模型 RPS | 差值 | 结论 |
|---|---|---|---|---|---|
| mls | 1,035 | 0.2122 | 0.2170 | +0.0048 | 融合更好 |
| championship | 725 | 0.2157 | 0.2174 | +0.0017 | 融合更好 |
| brasileirao | 718 | 0.1958 | 0.1992 | +0.0034 | 融合更好 |
| la-liga | 489 | 0.1924 | 0.1942 | +0.0018 | 融合更好 |
| serie-a | 480 | 0.1955 | 0.1966 | +0.0011 | 融合更好 |
| premier-league | 470 | 0.2047 | 0.2071 | +0.0024 | 融合更好 |
| k-league-1 | 436 | 0.2228 | 0.2228 | +0.0000 | 无增益 |
| eredivisie | 405 | 0.1961 | 0.1974 | +0.0013 | 融合更好 |
| primeira-liga | 396 | 0.1766 | 0.1790 | +0.0024 | 融合更好 |
| ligue-1 | 386 | 0.1992 | 0.1998 | +0.0006 | 融合更好 |
| bundesliga | 379 | 0.1954 | 0.1977 | +0.0023 | 融合更好 |
| j1-league | 330 | 0.2120 | 0.2115 | -0.0005 | 无增益 |
相对基线的技能分数
基线是纯市场共识预测(不含 Dixon-Coles 模型)。正技能分数表示混合模型在同一批比赛上优于基线。
| Brier (model vs baseline) | 0.5961 vs 0.6494 (8.2% better) |
|---|---|
| RPS (model vs baseline) | 0.2029 vs 0.2285 (11.2% better) |
| Accuracy (model vs baseline) | 51.4% vs 43.7% |
核心指标(测试集)
| 比赛数 | 6,249 |
|---|---|
| Top-1 命中率 (1X2) | 51.4% |
| Brier 分数 (1X2,越低越好) | 0.5961 |
| 对数损失 (1X2,越低越好) | 0.9973 |
| 排序概率分数 RPS(越低越好) | 0.2029 |
| Brier (大小球 2.5) | 0.2409 |
| 预测平局概率均值 | 25.4% |
| 实际平局率 | 25.9% |
| 加权平均 |校准偏差| | 0.0099 |
完整机器可读评估:/data/football/model-evaluation.json(scripts/football/evaluate-football.mjs 产出)。方法:Dixon-Coles 双变量泊松 + 指数时间衰减,与博彩公司共识对数池化混合。
如何阅读这些数字
第一层 — 先看结论
单个数字极易被误读。下方的 Brier 技能一行,是把混合模型与「纯市场共识基线」放在同一批留出比赛上比较的结果:本页的主张是这条差距,而不是原始 Brier 数值本身。
展开完整说明
单个数字极易被误读。下方的 Brier 技能一行,是把混合模型与「纯市场共识基线」放在同一批留出比赛上比较的结果:本页的主张是这条差距,而不是原始 Brier 数值本身。
第二层 — 分桶校准
校准必须逐桶检查。模型完全可能总体 Brier 更优,却在某一档(例如 65–75%)系统性过度自信。请用评级列判断某一档能否用于单场判断。
展开完整说明
校准必须逐桶检查。模型完全可能总体 Brier 更优,却在某一档(例如 65–75%)系统性过度自信。请用评级列判断某一档能否用于单场判断。
第三层 — 正确使用
这些是概率,不是结论:62% 的热门仍有约 38% 的概率不胜。样本极少的桶存在较大抽样误差,已单独标注,不用来单独宣称准确率。
展开完整说明
这些是概率,不是结论:62% 的热门仍有约 38% 的概率不胜。样本极少的桶存在较大抽样误差,已单独标注,不用来单独宣称准确率。
上条每段等宽(便于读数),本条宽度按样本量:最窄的那几档就是「样本不足」。
偏差最大的可信桶:74% → 79.5% (|gap| 0.051, n=356)
样本少于 100 场的桶标注为「样本不足」:偏差照实展示,但不具单独统计意义。