フィードバックの行方を問う

こんにちは、ハッカー部のホーさんです。

ALISへの物申し企画、遅まきながら参加させていただきます。
私が申し上げたいのは以下の二点です。

１、私たちのフィードバックはどこへ行った？

２、その数字、本当に正しい？

それぞれについて以下に述べます。

私たちのフィードバックはどこへ行った？

みなさん、Discordで機能の要望を挙げたことあリますか？だいたいの場合、「開発の優先度を検討します」って言われますよね。

常々疑問だったのですが、私たちのフィードバックは、どう検討され、どう結論づけられたのでしょうか？

これが分からないってとっても不便じゃないですか？

せめて、これまでの要望リストとその優先順位（高、中、低）とその理由のコメントくらいあれば、ああ、この機能は出す予定だけど開発が追いついてないんだなとか、この機能はこういう理由で実装しないんだなとか、わかるんですけど、そういう情報って出てませんよね。

ALISがオープンにしているソースコードに、機能改善のコード提案をするにしても、「初めから実装しないことが結論づけられている」機能を作ったところで、突っ返されて終わりです。これは悲しい。

さらに言うと、これまでどんな要望が出たのかも、Discordの過去ログをはるか彼方まで遡らないと出てきません。今のままじゃあ、自分が感じている不満点が、まだ誰も言っていないことなのか、他の人がすでに言っているけど反映されてないのか、すぐにはわからない。だから「機能の不満があるのにDiscordに書かない」人がたくさんいます。

ALISには、UIやデザインなどに”哲学がある”ので、何か要望出してもバッサリカットされるかもしない。それは仕方ありませんが、「検討します」と言うならば「検討した結果、こうすることにしました」はないんでしょうか？

私が疑問に思っているのは、ユーザーのフィードバックが一方的ではないですか、ということです。双方向のコミュニケーションなしに、果たして私たちは「ALISをよくしよう」と継続的に思えるのでしょうか。

その数字、本当に正しい？

運営の公式文書を見てると、たまに「その数字本当に正しい？」と思うことがあります。

例えば、昨日出たこの記事「ALISとMyTokenの業務提携を発表」ですが、以下のような文章があります。

国内発のプロジェクトとしては最大規模のコミュニティを有し、β版にも関わらず毎日100件以上の仮想通貨・ブロックチェーン関連の記事が投稿されるなど、順調にプロジェクトを推進しています。

ここで、記事数の推移をグラフ化したものを見てみましょう。

6月の半ばまでは、確かに100件以上投稿がありました。でも、最近は50件程度の日も珍しくない。それなのに毎日100件以上というのは、実態を知ると「んん？」と首を傾げたくなります。

他にも、少し前に話題になった「ALISの報酬ロジックのひとつの「大問題」を解剖する」での0.01の壁問題では、その後「WP(ホワイトペーパー)の数字はあくまで概念を伝えるためのものである」とのコメントを出し、ひとまずの決着を得ましたが、WP時点で（今も）唯一の"トークンを持つ意義"に繋がる、とてもセンシティブなパラメータであるにも関わらず、ちょっと計算すると「あれ？」と思うような数字を、注釈もなしに"とりあえず"出してしまうのも、数字に対して雑な印象を抱かざるを得ません。

また、リテンションが高いことについて何かと言及されます。でも、公式が出しているリテンションのデータは、開始1ヶ月までのごく短い期間ですよね。ベータ版なんですから、常に最新のデータで語るべきではないでしょうか。

てことで、最近のデータをもとにリテンション分析してみました！

ここでは、リテンションを可視化する代表的な分析手法であるコホート分析を用います。詳しくはこちらの記事をみてね。

この図の見方をざっくり説明すると、縦軸はベータ版公開後何週目に初めて記事を投稿したかを示していて、横軸はその後何週間後に継続して投稿しているのが何パーセントか、を表しています。

公式からリテンションに関する報告がされたのはベータ版開始後1ヶ月程度の情報をベースにしていましたから、確かに1週間後のリテンションが60%を超えるような時期もありましたが、最近は40%程度に落ちてきています。

グラフの見方

1週間後のリテンション（再投稿率）は、横軸の数字が「２」のところです（左から２番目の列）。数字が「２」の列を上から見ていくと、上から５番目の62%という数字のあたりが、ちょうど運営がリテンション報告を出したところです。下にいくと、最近のリテンションの数字（40%程度）になります。

他のWEBサービスの1週間後リテンション率が16%程度だから4倍くらい高い！と言うような論調でしたが、最近の数字を見ると4倍というのは言い過ぎだし、そもそも"ローンチ直後のリテンション率の比較じゃないですよね？" 

比較している先のWEBサービスは、いろんなアプリの平均でしょうから、公開後しばらく経って落ち着いた状態と考えて良いでしょう。それに対して、ALISはベータ版開始後1ヶ月くらいのものすごい高いリテンションのところの数字を抜き出して、4倍高いと言っているのです。3ヶ月経って、徐々に数字が落ちていますので、本来の実力は、もっと低いところにあるのではないかと思います。

とにかく、「都合の良い数字を抜き出し、都合の良いデータと比較している」ので、これはデータ分析というにはちょっと、、という印象を受けました。

そろそろ辛くなってきたので以上にします！

好き勝手に書いてきましたが、最後に、シャーロックホームズの（Pythonに入門した人には有名な）一節を引用して、記事を締めたいと思います。自戒を込めて。

データなしに理論を立てるのは、致命的な誤りだ。（ボヘミアの醜聞）