2012年7月25日水曜日

レーティングの妥当性の検証


レーティングの妥当性の検証。
別のFPSやってる方に突っ込まれたので書いてみます。
でも、早くAVA sportsやりたいので手短に書きます。


【レーティングの仕様】
http://me2tor.blogspot.jp/p/ava.html
ちゃんと書き直した。


【データでみる】
レートの高いほうが勝った試合をTと名づける。

・クランのレーティング編
全体の試合数が1746827、Tの数が1257627で、全体で72%。
レート150差の試合数が881785、Tの数が736723で、全体で83.5%。
レート300差の試合数が339836、Tの数が313006で、全体で92.1%。
レート450差の試合数が104665、Tの数が101176で、全体で96.7%。

・個人のレーティング(差はチームの平均レート)
全体が1746827、Tの数は1288207で、全体で73.7%。
150差が831395、Tの数が718065で、全体で86.4%。
300差が294099、Tの数が277287で、全体で94.2%。
450差が83745、Tの数が81886で、全体で97.7。

単純なシステムながらそこそこの予測精度だと思いました。

レートは整数じゃないですが、全く同じレート同士だとTにしてないです。今気づきました。


【memetorの個人的な体感】
レートみながらクラン戦やっているのですが、クランのレーティングはそこそこ妥当に感じます。
個人のレーティングは調子とかもあるんでしょうが、不当に低く評価されているだろう人をチラホラみかけます。
半端無いSRとかがR1700台だったりしてガッカリします。
試合数が少ないのが原因なのか、味方に恵まれてないのかどっちかだろうとは思います。
自分が一番力を発揮できるチームにいるといいですね。

レーティングで高く評価されすぎ、というのは良く分からないです。
自分より弱い人しか評価できません。強い人は自分より強いことしか分かりません。


【生データ】
<高い方のレート、低いほうのレート、高いほうが勝ったかどうか>
という3項目のcsvファイル置いときます。これは整数です。特に使い道は無いです。
http://dl.dropbox.com/u/84268126/ava/validity_clan.csv

http://dl.dropbox.com/u/84268126/ava/validity_single.csv

0 件のコメント:

コメントを投稿