対戦記録の勝率は何戦から信用できるか(試合数とブレ幅の統計)

デッキを変えて10戦7勝。「勝率7割、このデッキは強い」と結論したくなりますが、その数字はどこまで信用できるのでしょうか。 記録から観測勝率は計算できますが、構築変更の効果を読み取るには、試合数に加えて対戦相手や先攻後攻などの条件も確かめる必要があります。

ここでは、勝敗が互いに独立で、各試合に勝つ確率が一定というモデルを使います。 この一定の確率を「真の勝率」と呼び、好成績や連敗が起きる確率は厳密計算、勝率の95%信頼区間は正規近似で求めます。 マスターデュエルの記録を想定していますが、真の勝率は対戦条件にも左右されるため、プレイヤーの実力だけを表す数値ではありません。

その好成績、実力5割でも起きる

まず「上振れはどれくらい起きるものなのか」を数字で見ます。 次の表は、各試合の勝率が5割で一定のときに、表記した勝ち数以上を記録する確率、または期間中に5連敗以上を1度でも経験する確率です。 たとえば「10戦7勝」の行は、7勝ちょうどではなく7勝以上を数えています。

このモデルでは、10戦7勝以上は約6回に1回、30戦で勝率6割以上も約5〜6回に1回の頻度で起きます。 100戦の中で5連敗以上を1度は経験する確率は約81%です。 短期間の好成績や連敗だけでは、構築やプレイが変化した結果なのか、同じ勝率のもとで起きたブレなのかを判断しにくいことが分かります。

試合数とブレ幅: 95%信頼区間

観測勝率から真の勝率を推定するときの不確かさを、95%信頼区間で表します。 同じ条件と試合数で記録を取り直し、毎回同じ手順で区間を作ると、その約95%が真の勝率を含むという考え方です。 この記事では、観測勝率を中心に「±1.96 × √(観測勝率 × (1 − 観測勝率) ÷ 試合数)」という正規近似で区間を求めます。 式へ入れる勝率は0〜1の値で、半幅は観測勝率50%のときに最大になります。

この近似は、小標本や観測勝率が0%または100%に近い場合には精度が落ち、区間が真の勝率を含む割合も95%からずれることがあります。 以下の図表は幅の大きさを把握する目安として使い、少数試合の勝率を厳密に判定する表とは扱わないでください。 近似の限界と別の区間推定法は、NISTの割合の信頼区間の解説にまとめられています。

観測勝率50%の場合、この式による半幅は10戦で約31ポイント、100戦で約10ポイントです。 約5ポイントに絞るには400戦近くが必要になります。 同じ観測勝率で半幅を半分にするには試合数を4倍にする必要があるため、記録を少し増やしただけでは区間はあまり狭まりません。

観測勝率と50%を比較する試合数の目安

次の表は、観測勝率を左列の値に固定したと仮定して、正規近似による区間の下限が50%付近になる試合数を概算したものです。 実際にその試合数を記録しても、観測勝率が表の値になるとは限りません。 また、50%との比較だけでは、構築変更の前後で勝率が上がったかどうかは分かりません。

観測勝率を60%に固定すると約90戦、55%に固定すると約380戦が目安になります。 ただし、これは近似式から求めた丸め値であり、表の試合数に達すれば差を検出できるという保証ではありません。 差が実際にあるときにどの程度検出できるか(検出力)まで含めて事前に試合数を決めるには、別のサンプルサイズ設計が必要です。

構築変更の効果を調べるなら、変更前後の記録に加えて、対戦環境や先攻後攻の割合も確認します。 対面別に分けた集計では母数がさらに減るため、小さな差は次に検証する仮説として扱うのがよいでしょう。

記録ツールでこの考え方を使う

こうした統計の注意点は、対戦記録を件数付きで残していて初めて実践できます。筆者が開発しているマスターデュエル向けの対戦記録ツール duel-logger では、集計画面の勝率に「223勝65敗」のような勝敗数が併記されるので、その数字が何戦分の集計なのかを確認できます。 この記事の表は観測勝率50%の場合を示しています。別の勝率については、式にその観測勝率と試合数を入れて半幅を見積もります。

絞り込み機能を使うときも、母数と条件を一緒に確認します。 直近10件や20件の勝率は変化に速く反応しますが、少数の勝敗にも大きく左右されます。 記録を増やす場合も、同じ構築や対戦環境の範囲で比較することが大切です。 異なる条件の記録を混ぜて件数だけを増やしても、構築変更の効果が明確になるとは限りません。 記録のつけ方と集計画面の見方はduel-logger の使い方の記事 で解説しています。

計算条件と再現方法

好成績と連敗の確率は、勝敗が独立で勝率が5割に固定されたモデルで求めています。 勝ち数の裾は二項分布の組合せ数を整数演算で合計して2の試合数乗で割り、連敗の確率は「現在の連敗数」を状態とする動的計画法で計算しました。 いずれも乱数による推定を使わずに求めた確率を、表では丸めて表示しています。

信頼区間と50%との比較に使う試合数は、正規近似による目安です。 小標本や極端な観測勝率での厳密な判定、構築変更の前後比較に必要な試合数の設計には、そのまま適用できません。 試合数ごとの区間の半幅の元データは CSV で配布しています。観測勝率50%の列は、表計算ソフトなら「=1.96SQRT(0.50.5/試合数)*100」で同じ値を再現できます。