イオアニダスは言った。「この20年間,利用できる情報が急激に増え,ゲノム学やその他のテクノロジーが進化したことで,興味深い変数を大量に測定することができるようになった。私たちには,それらの情報を活かして役立つ予測をすることが求められている。もちろん,私たちが全く進化していないとは言わない。これだけの数の論文があるのに,何も進展がないとしたら悲しいからね。でも,同数の発見がないことは確かだ。知識を生み出すことに本当に貢献しているものはほとんどない」
おそらく,これがビッグデータの時代に予測が失敗するようになった理由だろう。利用できる情報が急激に増えたことで,精査しなければならない仮説も大幅に増えたのである。たとえば,現在,アメリカ政府は4万5000の経済統計を発表している。これらのデータをすべて組み合わせて検証しようとすれば——アラバマ州の住宅ローンの金利と失業率には因果関係があるかなど——10億の仮説を検証することになる。
しかし,データのなかの意味のある関係——相関関係ではなく因果関係を示し,世界の動きを説明するもの——は桁違いに少ない。情報が増えるペースでは増えていない。つまり,インターネットや印刷機が発明される前とくらべて,世の中の真実が増えているわけではないのである。ほとんどのデータはノイズにすぎない。宇宙のほとんどが何でもない空間で占められているのと同じだ。
ネイト・シルバー 川添節子(訳) (2013). シグナル&ノイズ:天才データアナリストの「予測学」 日経BP社 pp.272-273
PR