対戦記録の勝率は何戦から信用できるか(試合数とブレ幅の統計)

デッキを変えて10戦7勝。「勝率7割、このデッキは強い」と結論したくなりますが、その数字はどこまで信用できるのでしょうか。対戦記録をつけていれば勝率の数字自体は正確に出ます。しかし、その数字から「デッキやプレイの実力」を読み取れるかどうかは、集計に使った試合数で決まります。この記事では、実力どおりの勝率がどれくらいの試合数でどれだけブレるのかを、二項分布の厳密計算と95%信頼区間で整理します。マスターデュエルの対戦記録を想定していますが、計算自体は勝敗が記録できる対戦ゲーム全般に共通です。

その好成績、実力5割でも起きる

まず「上振れはどれくらい起きるものなのか」を数字で見ます。次の表は、真の実力がちょうど勝率5割のプレイヤー(コイン投げと同じ)が、見かけ上の好成績や連敗を出してしまう確率です。

10戦7勝は6回に1回、30戦で勝率6割も5〜6回に1回の頻度で、実力が平凡でも出てしまいます。連敗はさらに顕著で、100戦も回せば5連敗を1度は経験する確率が81%あります。5連敗した時点のデッキと自分を疑いたくなりますが、それは勝率5割のプレイヤーにとっての日常です。逆に言えば、30戦程度までの成績や連敗の有無から「デッキが強くなった」「調子が落ちた」を判定すると、かなりの頻度で偶然を実力と取り違えることになります。

試合数とブレ幅: 95%信頼区間

ブレの大きさは95%信頼区間という道具で見積もれます。意味は「同じ実力のまま同じ試合数の集計を何度も繰り返した場合、観測される勝率と真の実力の差がこの幅に収まるのがおよそ95%(20回に19回)」です。幅は「±1.96 × √(勝率 × (1 − 勝率) ÷ 試合数)」で計算でき(正規近似)、観測勝率50%のときが最大になります。

10戦の集計は±31ポイント、つまり観測勝率70%でも「真の実力は4割かもしれない」を否定できません。100戦でようやく±10ポイント、±5ポイントに絞るには400戦近くが必要です。表から分かるとおり、幅は試合数の平方根でしか縮まないため、ブレを半分にするには試合数を4倍にする必要があります。「もう50戦足したのに、まだこんなに曖昧なのか」という感覚のずれは、この平方根の遅さから来ています。

「勝率が上がった」を数字で確かめるには何戦必要か

構築を変えた、プレイを直した、その効果が勝率に出たかを確かめたいとします。観測勝率が真の実力どおりに出たと仮定して、信頼区間が50%を含まなくなる(=「5割より強い」と言い切れる)までの試合数の目安がこれです。

勝率6割は明確に強い水準ですが、それでも偶然と区別するには90戦前後かかります。ランク戦で十分強いとされる勝率55%に至っては、380戦のオーダーです。数十戦での「体感で強くなった」を数字で裏付けるのは、思っているよりずっと難しいことが分かります。デッキの相性(特定の相手デッキに対する勝率)を判断する場合はさらに厳しく、対面ごとに割った母数は数十戦の記録でも1対面あたり10戦前後になりがちです。±30ポイント級のブレを踏まえると、対面別の勝率は結論ではなく仮説を立てるための材料として読むのが安全です。

記録ツールでこの考え方を使う

こうした統計の注意点は、対戦記録を件数付きで残していて初めて実践できます。筆者が開発しているマスターデュエル向けの対戦記録ツール duel-logger では、集計画面の勝率に「223勝65敗」のような母数が常に併記されるので、その数字が何戦分の集計なのかをその場で確認できます。この記事の表と突き合わせれば、「この勝率は±何ポイントのブレを持った数字か」をすぐ見積もれます。

絞り込み機能を使うときも、母数の感覚が効いてきます。直近10件や20件に絞った勝率は調子の変化に速く反応する代わりに±20〜30ポイントのブレを持ち、デッキ別、相手デッキ別、期間で絞るほど母数はさらに減ります。狭い窓は傾向への気づきに、広い窓や全期間はデッキの評価に、と使い分けるのがこの記事の計算から導ける実践です。また、ブレを縮める唯一の方法が試合数である以上、記録を長く続けること自体が集計の精度になります。記録のつけ方と集計画面の見方はduel-logger の使い方の記事で解説しています。

計算条件と再現方法

「実力5割でも起きる確率」の表は、勝敗が独立で勝率が一定という仮定のもとでの厳密値です。勝ち数の裾は二項分布の組合せ数を誤差の出ない整数演算で合計して2の試合数乗で割り、連敗の確率は「現在の連敗数」を状態とする動的計画法で計算しました。信頼区間は正規近似による値で、試合数が30を下回るあたりから近似が粗くなりますが、「10戦は±30ポイント級」というオーダーの把握には十分です。試合数ごとのブレ幅の元データはCSVで配布しています。表計算ソフトなら「=1.96*SQRT(0.5*0.5/試合数)*100」で同じ値を再現できます。