検証の邪魔になるかもしれないは、考えない方が良いのでは？

トークンポケット中村です。

運営の検証の邪魔になる可能性があるので〜という記事を見ました。

....それ、逆に検証結果にバイアスをかけることになると感じます。

運営の検証のことなんて、使う側は考えない方が、自然な状態だと思いませんか？(例えばABテストをユーザーが内容を知りながら使ったら、結果が歪むと思いませんか？)

得てして、カスタマーヒアリングやクライアントのヒアリングなどでも聞かれる側が頭が良すぎて、「これが答えて欲しいんだろうな」という予測をして回答してくれたりします。

で、多くの企業がニーズがある、検証できたといって間違えるわけです。

(なお、Alisのチームの皆さんの元職場のリクルートの企画は、基本的には検証時にしか起きない誤謬を注意するように最初に教わります。)

何を検証しているかを教えると、その検証結果に即したように人間は動いちゃうのです。さらにいえば、検証内容を予測し始めるものなのです。

だからこそ、検証の邪魔になるかも？という意見は極力持たない方が良いと思います。

Alisの野望はとてつもなくでかく、解がないものです。答えを度重なる実験で見つけようとしていると思うので、バイアスなく実験するためにも、好きなようにAlisを使ってみれば良いと思います。(という記事もバイアスをかけますがね笑)

トークンポケットをよろしくお願いいたします。