チャレンジカップに潜んでいた問題について

こんにちは、しゅーアイス(@shuice_eth)です。

一人の行動でチャレンジカップの統計ログが

乱せるのかの実験をしていたところ、

他にも問題が出てきて

統計ログどころではなくなってしまったので、

ここで調査結果をまとめて発表します。

実行するまでの経緯

制限カードが実装される前の

AMAだったと思うのですが、

1人が意図的に連敗をした場合に

特定のリーダーの勝率が下がって

制限がかかる文明を

操作できてしまうのではないか？

という質問をしました。

当時のPからの回答は、

1人がやったくらいじゃ影響は

ほとんどないというような回答でした。

かなり前のことなので曖昧ですみません。

昔のAMAの録画はYouTubeに上げてあるので

探せば出てくるかもしれません。

https://youtube.com/@user-wq5fq4og3x?si=uMpUniLUpJe4V447

で、本当に影響がないのかを調べるために

初日にbot相手に大量連敗してから

真面目にやることで

どれだけ影響が出るのかを

試すことにしました。

実験内容

初日に0勝200敗することで、

ジークフリートの勝率を下げる。

最終的に100位以上に入ることで

0勝200敗の戦績がカウントされ、

実際に統計ログの勝率が下がっているか

を確認する。

検証に使用したデッキはこちら

実験結果

最初の3回はユーザーに当たりました。

時短のため即切断です。

これを20回ほど繰り返して戦績をみたところ、

3戦しかカウントされていませんでした。

botに対して即切断は無効のようです。

次から降伏に切り替えます。

そのままbot相手に降伏を続け、

初日昼は0勝60敗で終えました。

夜の部も同様に降伏を続け、

トータルで0勝200敗で

連敗はストップとします。

私がチャレンジカップで上位を取るときは

勝率66%〜85%で負け数が20回以内

であることがほとんどなので、

かなり影響が出そうな感じがします。

2日目から真面目に戦っていきます。

昼の結果は、bot相手に11連勝した後

ユーザーに1回だけ当たりました。

これは統計ログがどうのとか言ってる場合じゃ

なくなる予感がします。

レート1640、Top10域

この時点で、モデレーターチャンネルにて

小澤さんに何が起きてるのかを伝えたのですが、

まだ様子見という感じでした。

2日目夜、異変は続きます。

対戦結果はbot相手に30勝0敗でした。

レートは1826で2位と約130pt差で1位です。

これはマズいですねぇ。

だいぶシステムを解明できたので、

3日目はステイしました。

わかったこと

・初回から連続で負けている場合はユーザーとマッチングするのは3回まで

・チャレンジカップでbotとのマッチング率は、勝率×レートで決まっている

・レートが1600を超えたbotとはマッチングしない(実戦値)

・レートが高いbotとのマッチング率は低い(実戦値)

・botに対して即切断は無効試合になる

・勝率が極端に低いユーザーがいると、他のユーザーとbotのマッチングが少なくなる可能性がある

起こる問題について

大量連敗からレートを上げようとした場合、

対戦相手が98%botになるので

ブロンズデッキでも1位を狙えてしまいます。

複数人が大量降伏を行った場合は

botとのマッチング率が

下がる可能性はありますが、

そのかわりにレートが上がりすぎたbotが

上位に居座ってしまう可能性があります。

これによってユーザーの報酬枠が減ったり

ギルドバトル出場枠にも影響が出てしまいます。

また、真面目にプレイしているユーザー

からみたら当然不満が出ると思います。

2023/11/13追記 統計ログへの影響について

統計ログが出ました。

ジークフリートの勝率がかなり下がっています。

ついでにbotに連勝するときに使っていた

リュラの勝率も60%を超えていて、

今まで60%overはなかったので

これにも影響があったと言えそうです。

参考までにジークフリートの

過去1年の採用率/勝率を載せておきます。

2022/12 13.5%/56.1%
2023/01 8.3%/54.3%
2023/02 6.2%/51.0%
2023/03 10.3%/50.9%
2023/04 8.5%/52.1%
2023/05 7.3%/52.2%
2023/06 6.0%/49.3%
2023/07 11.8%/53.8%
2023/08 9.8%/49.6%
2023/09 15.0%/54.4%
2023/10 6.3%/50.0%

また、おそらく私しか使ってないであろう

覚醒カードの採用率が27.8%/0%になっています。

これにより、ジークのバトルの内の27.8%を

即降伏が占めていたと思います。

対策

・レートが1501以上のときはbotとマッチングしなくなるようにする

・チャレンジカップのbotを停止する

・レートの下限を撤廃する(現在は1500)

などが有効かと思います。

個別BANだけだと

botが上位に残ってしまうため微妙なところです。

まとめ

統計ログの実験のはずが、

とんでもない問題が出てきてしまいました。

本件は緊急案件なので、

次回チャレンジカップまでに

対策が必須だと思います。

最優先での対応を願います。

以上