← 返回足球中心

模型校准记录

GoalPulse 的每场俱乐部足球预测都会与真实赛果在留出测试集上对分。本页回答的问题是:当模型说 70% 时,它是否真的约 70% 发生——这就是校准的定义。评估由离线脚本在历史比赛上产出,同样的数字也驱动线上比赛页。

留出测试场次
6,249
Brier
0.5961 vs 0.6494
技能 8.2%
RPS
0.2029 vs 0.2285
技能 11.2%
加权平均偏差
0.0099

最需要看的一行:偏差最大的可信桶是 74%,模型说 74%、实际发生 79.5%,|gap| 0.051,n=356;5/10 个桶在 ±2pp 内。

校准曲线

每个点是一个概率分桶:横向位置是模型给出的概率,纵向位置是实际发生的频率。落在虚线上的点是完美校准;在虚线上方说明模型低估了这一档,下方说明高估。点的大小代表该桶的场次数。

校准曲线:预测概率与实际频率要看「离虚线多远」,不要只看点的顺序:点落在虚线下方,说明模型给这一档的把握高于结果本身。0%0%25%25%50%50%75%75%100%100%完美校准线8% → 3.2% (n=314, gap 0.044)16% → 14.5% (n=2,197, gap 0.016)26% → 26.1% (n=7,574, gap 0.004)34% → 33.6% (n=3,656, gap 0.006)45% → 45.5% (n=2,378, gap 0.008)55% → 53.1% (n=1,411, gap 0.015)64% → 67.7% (n=770, gap 0.032)74% → 79.5% (n=356, gap 0.051)83% → 84.4% (n=90, gap 0.010)92% → 100.0% (n=1, gap 0.077)模型预测概率实际发生频率
至少 100 场 少于 100 场

要看「离虚线多远」,不要只看点的顺序:点落在虚线下方,说明模型给这一档的把握高于结果本身。

该看什么

  • 离虚线的距离比点的顺序更重要:点落在虚线下方,说明模型给这一档的把握高于结果本身允许的程度。
  • 两个空心圆各自不足 100 场,画出来是为了透明,绝不单独用来声称准确率。
  • 最大的两个桶(16% 与 26%)合计占 18,747 个 1X2 计分结果中的 9,771 个(每场三个结果),两者都几乎压在虚线上,这也是加权平均偏差只有 0.0099 的原因。

预测概率桶

概率桶n预测实际|偏差|评级
8%3147.6%3.2%0.044需谨慎
16%2,19716.0%14.5%0.016校准良好
26%7,57425.7%26.1%0.004校准良好
34%3,65634.3%33.6%0.006校准良好
45%2,37844.7%45.5%0.008校准良好
55%1,41154.6%53.1%0.015校准良好
64%77064.5%67.7%0.032轻度漂移
74%35674.4%79.5%0.051需谨慎
83%9083.4%84.4%0.010样本不足n<100
92%192.3%100.0%0.077样本不足n<100

逐联赛对照:融合比纯模型好多少

同一留出集按联赛切开,比较融合后的 RPS 与「只用模型」的 RPS。样本少于 200 场的联赛不参与结论。

联赛n融合 RPS纯模型 RPS差值结论
mls1,0350.21220.2170+0.0048融合更好
championship7250.21570.2174+0.0017融合更好
brasileirao7180.19580.1992+0.0034融合更好
la-liga4890.19240.1942+0.0018融合更好
serie-a4800.19550.1966+0.0011融合更好
premier-league4700.20470.2071+0.0024融合更好
k-league-14360.22280.2228+0.0000无增益
eredivisie4050.19610.1974+0.0013融合更好
primeira-liga3960.17660.1790+0.0024融合更好
ligue-13860.19920.1998+0.0006融合更好
bundesliga3790.19540.1977+0.0023融合更好
j1-league3300.21200.2115-0.0005无增益

相对基线的技能分数

基线是纯市场共识预测(不含 Dixon-Coles 模型)。正技能分数表示混合模型在同一批比赛上优于基线。

Brier (model vs baseline)0.5961 vs 0.6494 (8.2% better)
RPS (model vs baseline)0.2029 vs 0.2285 (11.2% better)
Accuracy (model vs baseline)51.4% vs 43.7%

核心指标(测试集)

比赛数6,249
Top-1 命中率 (1X2)51.4%
Brier 分数 (1X2,越低越好)0.5961
对数损失 (1X2,越低越好)0.9973
排序概率分数 RPS(越低越好)0.2029
Brier (大小球 2.5)0.2409
预测平局概率均值25.4%
实际平局率25.9%
加权平均 |校准偏差|0.0099

完整机器可读评估:/data/football/model-evaluation.json(scripts/football/evaluate-football.mjs 产出)。方法:Dixon-Coles 双变量泊松 + 指数时间衰减,与博彩公司共识对数池化混合。

如何阅读这些数字

第一层 — 先看结论

单个数字极易被误读。下方的 Brier 技能一行,是把混合模型与「纯市场共识基线」放在同一批留出比赛上比较的结果:本页的主张是这条差距,而不是原始 Brier 数值本身。

展开完整说明

单个数字极易被误读。下方的 Brier 技能一行,是把混合模型与「纯市场共识基线」放在同一批留出比赛上比较的结果:本页的主张是这条差距,而不是原始 Brier 数值本身。

第二层 — 分桶校准

校准必须逐桶检查。模型完全可能总体 Brier 更优,却在某一档(例如 65–75%)系统性过度自信。请用评级列判断某一档能否用于单场判断。

展开完整说明

校准必须逐桶检查。模型完全可能总体 Brier 更优,却在某一档(例如 65–75%)系统性过度自信。请用评级列判断某一档能否用于单场判断。

第三层 — 正确使用

这些是概率,不是结论:62% 的热门仍有约 38% 的概率不胜。样本极少的桶存在较大抽样误差,已单独标注,不用来单独宣称准确率。

展开完整说明

这些是概率,不是结论:62% 的热门仍有约 38% 的概率不胜。样本极少的桶存在较大抽样误差,已单独标注,不用来单独宣称准确率。

8162634455564748392

上条每段等宽(便于读数),本条宽度按样本量:最窄的那几档就是「样本不足」。

校准良好 5轻度漂移 1需谨慎 2样本不足 2

偏差最大的可信桶:74% → 79.5% (|gap| 0.051, n=356)

样本少于 100 场的桶标注为「样本不足」:偏差照实展示,但不具单独统计意义。