クローズドβ版利用状況レポートを再考しよう

もずくです。

ビギナー向け記事じゃないほうは、文字ベースでガンガンいきます。

いきなり余談ですが、私は通常のローマ字変換ではなく、独自の変換マップを使っています。ホームポジションからほぼ手を動かさないので、文章を書くのは結構ラクラクなんですよね。入力していて気持ちがいいです。キーボードも東プレですからサクサクです。

この類の話をはじめるとキリがないのでこのあたりで…

はじめに

この記事では運営さんの利用状況レポートにダメ出ししまくっていますが、ALISに否定的であるわけではありません。

ただ、ALISが信頼性を可視化するメディアを謳うのであれば、発信する内容の書き方には注意する必要がありますね…ということです。

最後までお読みいただければ、ちゃんとALISを応援していることがわかる…はず…（超長文です）

クローズドβ版利用状況レポート

皆さんは2018/06/09付の運営さんによる利用状況レポートは読まれたでしょうか？

運営さんの記事に「いいね」をつけても報酬にならないのに、さっきみたら「92いいね」でした。私も押しましたけども。

で、このレポートを読んで「うむむ～」と思った方は統計のリテラシーがある方かと思います。

私もついTwitterで呟いてしまいました…

このTwitterのスレッドを読んでいただければ私の主張はすべて書かれているのですが、統計用語も多いので、もう少し噛み砕いて説明してみようと思います。

なお、ここまで偉そうにいっておきながら、私は統計の専門家でもなんでもないので間違いがある可能性も高いです。おかしなところがあればTwitterでご指摘いただけると嬉しいです：）

母集団と標本

このレポートのどこがまずいかというと、

β版ALISの標本から想定される母集団が、比較されている対象とかなり異なる

ということなのですが、統計に馴染みのない人は「母集団？ ママさんバレーとか？」って感じかもしれません。

なので、まず母集団と標本の話をざっくりします。

例えば、スタバでMacを広げてドヤ顔したことのある日本人男性の割合を調べたいとします。

この統計を正確に調べるには、日本人男性すべてからの回答を集める必要があります。6000万人もいますから、やってられませんね。

なので、例えば、全国から無作為（ランダム）に2000人くらいの男性を選んで回答を集め、その結果をもって6000万人分を調べたことにします。

このとき、日本人男性全体のことを「母集団」、選んだ2000人のことを「標本」といいます（※1）。

標本の選び方

そして一番大事なことは、その2000人の標本の選び方が、ちゃんと6000万人の母集団を代表する人たちになっているか…という点です。

例えば、その標本2000人をすべて渋谷で集めたら、結果が偏るのは目に見えてますよね？

そんな馬鹿なことはしないでしょ～って思いますけど、調査の都合上、そうなっちゃうことってよくあります。

この例の場合、厳密にやるには、Macの所有率やスタバの利用率を考えて、できるだけ偏りがないようにする必要があります。

Macの所有率は収入に関係してそうな気もしますし、スタバの利用率は当然スタバが近くにあるかどうかで決まります。あとは地域・年齢・職業なども関係していそうです。

で、例えば年収について偏りがないようにするためには、標本2000人の年収分布が、母集団である6000万人の日本人男性の年収分布と同じ形になるように人を集めるのが理想です。

少なくとも、年収の平均に有意な差（※2）がないことを確認しておかなくてはなりません。

そういったポイントを考慮して、できるだけ偏りがでないように標本を選ぶのが統計をとるときの基本です。

☕ 2000人のアンケートを集計しますが、調べたいのはその2000人のことではなく、6000万人の母集団のほうです。だから常に「その標本は本当に母集団をちゃんと代表しているか」ということを心に留めておかなくてはなりません。

※1 ちなみに、日本人の統計をとりたいのであれば標本は2000人で十分だそうです。母集団が10万人以上はずっと2000人でいいそうです（正確には1537人）。統計的にそういう計算になります（参考サイト）。統計学ってそういうところがあるんですよね～　盲信している人多いですけども。

※2 有意な差（有意差）というのも統計用語です。母集団と標本の平均値が厳密に一致することはないので、このくらいのズレなら差があるとはいえないな～ということを求める統計手法があるので、それで調べたりします。

二群の比較

さて、運営さんのレポートのように、他のサービスに比べて自分のサービスが優れている…ということを示すためには、比較する二つの標本の統計値（平均とか）に有意差があることを示す必要があります。

比較する標本のまとまりのことを、統計学では「群」と表現することが多いです。今回の場合、二群の比較になります。

例えば、スタバ＋Macでドヤ顔をする人の割合のほうが、吉野家＋Macでドヤ顔をする人の割合よりも多い（スタバ＞吉野家）…ということを示したいとします。

そのために、スタバと吉野家で2000人ずつ標本を集めてきましょう。

比較したいのは、お店でMacを広げたときにドヤ顔をしたかどうか…なので、お店の中でMacを広げたことのある人だけを標本として集めることにします（※3）。

このときに大事なのは、比較したい二つの母集団（≒標本）の間に、調べたいこと以外の偏りが出ないようにすることです。

この二つの母集団の違いは1点だけ、「スタバ」か「吉野家」か、です。

それ以外の条件が一致していなくては正確な比較になりません。

例えば、最近（？）、スタバのようなお洒落な吉野家が登場したようです。

もし、吉野家の標本をそのお洒落な吉野家だけで集めてきたら、スタバよりもドヤ顔している人の割合が高くなるかもしれません。

それはフェアな比較じゃない、ちゃんと全国のスタバと吉野家からランダムに選ばないとダメでしょう…！ って思いますよね？

そのくらいが見抜けるようになれば、あなたの統計学センスは10級レベルです。

※3 スタバと吉野家から2000人を集めるとき、Macを広げたことのある人から2000人ではなく、単純にお客さんから2000人を集めると、そもそもの客数や店でMacを広げる人の割合が異なるので、標本数が足りなくなる可能性があります。

ALISの継続率は4倍…？

やっと本題です。

ここまでのポイントを押さえた上で、運営さんの利用状況レポートはどうなっているか見てみたいと思います。

まずはこのグラフについて。

この結果に対して、レポートでは

通常Webブラウザよりも粘着性が高いとされてる一般的なスマートフォンアプリの週間継続率と比較して、ALISは約4倍ほど高い結果

という主張がされています。

グラフだけ見ると、確かにALISの継続率がAndroidアプリの4倍くらいになっています。

でも、ここでそれぞれの母集団を考えてみましょう。

ALISの標本は次のとおり：

A. ALISのクローズドβのローンチを待ち焦がれていた事前登録者たち
B. 3日坊主を解消したいというALISの目的を知っているかもしれない人たち
C. ブログを書こうとしている人たち（※4）

一方、比較対象の標本は次のような感じ：

a. 理由は様々だが既存のサービス（アプリ）を始めてみようと思った人たち
b. 3日坊主を解消する…という謳い文句は特に目にしていない
c. ブログに限らず、いろんなアプリが混ざっている

これでは、スタバは都内で、吉野家は全国で標本を集めたような状態になっていますよね。

想定される母集団は、それぞれ以下のようなものになるかと思います。

ALISの母集団： 日頃から新しいものに対するアンテナが高く、新サービスがどんなものか試したい、本当に3日坊主にならなくて済むのか挑戦してみたい、ブログを書いてみたい…という人たち

比較対象の母集団： 自ら新しいことを始めようと思った人も含まれるが、なんか流行っているから入れてみたとか、友人から進められて始めてみたとか、一時的に暇だからなんかアプリ入れてみた…という人も混ざっている。続けようという意気込みが特にあるわけでもなく、アプリの内容はブログに限定されていない。

想定される母集団がかなり違ってしまっていますね。母集団がこのくらい異なると、ALISであるか否かに関わらず、上のほうの条件を満たすサービスならどれも同じくらいの継続率になるかもしれません。

※4 なお、このグラフが「ブログ（ALIS）」と「アプリ全般（Android）」の比較になっている点に対しては、レポートでも補足として、アプリのどのジャンルでも継続率が同程度（10～15%程度）であることが別のグラフで示されています。ただ、AndroidのPublicationsジャンルは30%を超える継続率になっているので、引用されているAdjust記事のデータにおいて「ブログ」がどのジャンルでカウントされているのか明記してほしいところです。

置かれた条件の違い

また、その他の条件もいろいろと異なります。特にALISに有利に働きそうなのが次の2点です。

i. クローズドβ解禁までの期間が長かったため、記事を書き溜めたり、記事の計画を立てていた人たちが一定数いる。

ii. 新サービスローンチ直後の黎明期であり、見知らぬユーザ同士の間に親近感が生まれ、盛り上がっている。また、登録者が限定されていることもあって、それまでに実績のない人（ブログ初心者も含む）でも人気になれるチャンスがある

これは相当大きな違いです。ドヤ顔の例でいうと、渋谷と全国で標本を集めるくらいかもしれません。

新サービスの黎明期って、知らない人たち同士が一気に仲良くなって、別のSNSなども使ってあーだこーだ議論して、とにかく楽しいんです。最近だとMastdonなんかもそうでした。半年くらいはその熱が残っているので、本当の検証はそれからだと思います。

ブログ三日坊主と継続ブロガーの比較

次はこれについて。

このデータは同じALISユーザの比較なので、条件はかなり揃っています。

ただ、前述したように、新サービスの黎明期＆登録者限定という条件は、はじめちゃんが書き続けることへの追い風になるかと思います。

逆に、継続ブロガーの場合、まず、すでに継続しているブログで書いたほうが収益が大きいという可能性があります。確か、自分のブログの内容をコピペしても構わないという条件があったかと思いますが、ブロガーのプライドとしてそれはしない人が多いでしょう。

また、自分の記事が「いいね」されたり人気ランキングに出てくるということの感動が、はじめちゃんに比べて継続ブロガーは小さいのではないかと思います。あとは、ぽっと出のビギナーたちに人気ランキングで負けてしまってつまらない…と感じている人もいるかも…です。

本当にはじめちゃんが続けやすいブログであることを主張するには、ALIS以外のブログの「黎明期＆登録者限定」のデータと比較する必要があります。少なくとも黎明期のサービスと比較したいところです。

もしくは、β版の間には叶わないと思いますが、ALISの黎明期が終わった後に同様の検証をすれば、この部分の偏りは解消されます。

さらには、「3日坊主を解決する」というALISの謳い文句が、はじめちゃんにはプラスに働いている可能性があります。

そんな言葉だけで…と思われるかもしれませんが、評価実験において、その目的を知っているかどうかは結果に大きく影響します。意識的にせよ無意識的にせよ、その目的を果たすための効力がソレにはあるのだ…というプラセボ効果（プラシーボ効果）が働くからです。

ALISのロジックで3日坊主を解決できることをきちんと証明したかったのであれば、その目的は伏せておくべきだったと思います。

フィードバックやつながりを得られやすい…？

最後にこのコア仮説についてです。

まず、レポートにある「従来のSNSにはなかったフィードバック」というのは、

ALISトークンを活用した評価システムがあるからこそ、ALISユーザーは記事を評価するモチベーションが生まれます。この仕組みゆえに、ALISで初めて記事を作成した方も初期の段階から何かしらのフィードバックが得られることになります。

という部分を読むかぎり、「トークンがもらえる」ということだと思います。

この点について気になるのは、同じ仕組みを持つ従来のSNS（私が知っているものではSteemitとsola）への言及がないことです。

初めて書いた記事にも「いいね」が付きやすいという点はSteemitやsolaでも同様です。Steemitにもビギナーを支えるコミュニティや仕組みがありますし、solaはそもそもフォロワーの概念がなくて誰彼のコンテンツが次々と巡ってくるシステムです。

国内においてはALISが初めてのクリプトSNS（ブログ）であり、従来の国内SNSに対してアドバンテージを持っていることは確かです。

しかし、私がレポートに期待したのは、クリプトSNSにおけるALISのアドバンテージでした。レポートに書かれている範囲では、同じことがSteemitやsolaにも言える気がして、それらとの間にも違いがあったのかどうかわかりません。

また、「（従来のSNSにはなかった）つながりが得られやすい」というのは、新サービスローンチ直後の黎明期に共通する盛り上がりではないか…という疑問が残ります。

この点については、次のレポートで詳しく報告されるということなので期待しています。

どうすればよかったのか

これが学術論文なら、ニ群の母集団が（比較する要因以外）できるだけ一致するように標本を集め直して再検証するしか採録の道はありません。とはいえ、他のSNSの黎明期のデータなど手に入るとは思えません。

それならば、検証の目的そのものを、手に入るデータの範囲で主張できる内容に変えてしまうのも一つの方法です。そもそも、期間のすべてが黎明期になってしまうβ版で「継続率」を検証すること自体が厳しい実験計画だったのです。

もう一つの方法としては、検証方法を変えて、インタビュー中心のフィールドワークにしてしまうのも手ですね。他のSNSの黎明期を体験したユーザに、ALISとの違いを具体的に聞いてみるということです。インタビューはすでに動いているようですし、その点をきちんと押さえて欲しいです。

とはいえ、このレポートは学術論文ではないので、そこまでする必要もないように思います。

今回のレポートはマーケティングの目的でMediumとALISに寄稿されたものだと思いますし、私のように細かいところを気にする人でなければ、「おお～すげ～！」となってその目的は果たされたと思います。

しかし、ALISは信頼度を可視化することを目的としたメディアなので、運絵のALIS記事にはできるだけ嘘がないようにしたいところです。

今回のレポートに関しては、

・比較対象と母集団が異なってしまっていることと、継続率が自然に上がるような条件下にあることについて（長くなり過ぎない範囲で）補足しておく。

・統計学的にそうだと言い切れない結果や考察については「断言表現」を避ける。

といった書き方にすることで、記事の内容が嘘になってしまうことを避けられるかと思います。

ALISはうまくいってると思います

以上、書きたいように書いてきましたが、本音としては「いや、ALISうまくいってるよ」と思っています。

なんというか、ここまでの持っていきかたがマーケティングとして非常に上手だな、と。マーケティングについては私は微塵も知らないのですが、素人なりにそう感じます。マーケティング系アンバサダーのRickyさんもそう言ってたし。

それに、

・Steemitとの直接比較を避ける（solaはたぶんライバルですらない）
・3日坊主を解消する…と先に暗示をかけておく

などはわざとやってるんだろうな…というところもあります。

なによりも、アンバサダーやコアユーザたちを中心に日夜TwitterやDiscordで盛り上がっているALISのコミュニティが、ALISの一番の特徴だと思います。

どんなSNSでも黎明期にはコミュニティが自然発生して盛り上がるわけですが、私の印象として、ALISコミュニティのこの“感じ”は、今後もうまく伸びていきそうな気がしています。

それはALIS自体のシステム設計やロジックによるものではなく、ALISの置かれた（偶然も含む）環境と条件のおかげかもしれませんが、そういったタイミングやラッキーもすべて含めてALISなので。

応援しています。

［記事一覧］［Twitter］［sola］［Monappy］