I'm Standing on the Shoulders of Giants.

[PR]

×

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

ある夢が，実生活で起こる一連の出来事と，いくつかの点で完全に一致する確率が，１万回に１回だと仮定しよう。これはとても起こりそうもない確率で，１万回夢を見ても，９９９９回は正夢ではないことを意味している。同時に，ある夢がいつか経験と一致するかどうかは，他の夢が別のときに経験と一致するかどうかとは無関係である，と仮定する。したがって，現実と一致しない夢が２度続く確率は，確率の掛け算の原理によって，（9999/10000）×(9999/10000)である。同様に，続けてN夜，現実と一致しない夢を見る確率は9999/10000のN乗。そして，１年間続けて正夢を見ない確率は9999/10000の365乗となる。
　9999/10000の365乗はおおよそ0.964であるから，１年間，毎晩夢を見続けても，約96.4パーセントの人が一度も正夢を見ないことになる。しかし，これは同時に，毎晩夢を見ている人のうち約3.6パーセントの人が正夢を見る，ということでもある。3.6パーセントというのはそれほど小さな数字ではない。人々は年間に何百万という数の正夢を見ていることになる。たとえ正夢を見る確率を100万分の１に変えたとしても，アメリカほどの大きさの国では，偶然に正夢を見る人の数が膨大であることに変わりはない。別に超能力に頼らなくてもよいのである。正夢を見た人がたくさんいることを説明する必要はない。説明が必要なのは，このような夢を見る人がいない場合である。

ジョン・アレン・パウロス　野本陽代（訳）　(1990).　数字オンチの諸君！　草思社　pp.79-80

PR

意味付け

このことを心に留めて，株式分析について考えてみよう。ある銘柄，あるいは株式市場そのものの毎日の上げ下げは，これらのXやOのように，まったくでたらめに起こるわけではない。しかし，そのなかには偶然が関与する部分がかなりある，といっていいだろう。ところが，市場が終わった後でなされる整然とした分析を見ると，そんなことは考えないに違いない。評論家はつねに，どの上げ，あるいはどの下げであっても説明できる。使い古された手口を用意しているからである。つねに，利食い，連邦政府の赤字，その他，弱気の展開を説明するものがあり，会社の収益の向上，利率の上昇，その他，強気の展開を説明するものがある。評論家が，その日あるいは１週間の市場の動きは，主にでたらめな変動によるものである，と述べることはまずないといっていいだろう。

ジョン・アレン・パウロス　野本陽代（訳）　(1990).　数字オンチの諸君！　草思社　pp.64-65

ノイズとシグナル

情報の量は急増しているが，それに比例して有益な情報が増えているわけではない。ノイズに対するシグナルの比率は低下していると言ってもいいかもしれない。私たちは，この２つを区別できるようにならなければいけない。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.495

犯罪に近い

イスラエルの政治家で，小さなテロは許容すると公言する者はいないが，実際に国がおこなっているのはそういうことだ。国民が恐怖にとらわれれば国が機能しなくなり，テロリストの思うつぼだからだ。国の戦略のなかでは，テロが起きた直後でもできるだけ普通の生活を送れるようにすることに主眼がおかれている。たとえば，警察は爆発後4時間以内には現場を片付け，人々にすみやかに仕事，買い物，レジャーに戻ってもらうようにする。小さなテロは，脅威というより犯罪に近い感覚で扱われている。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.488

これも気をつけろ

これだけは言いたい。科学は自分の仕事にとってそれほど重要ではないという予測者，あるいは，予測は自分の仕事にとってそれほど重要ではないという科学者には気をつけた方がいい。この２つの活動は本質的に切り離せないものだ。「科学なんて気にしない」という予測者は，「食べ物はどうでもいい」と言うコックのようなものだ。科学を科学たらしめるものや予測に科学的な意味合いを与えるものは，客観的な世界にある。私たちの関心が，方法や原則，モデルにしか向かわないとき，予測は失敗する。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.445

温度測定機関

予測の正確性を測るにはまず物差しがいる。気候学者の場合，その選択肢はほとんどない。世界中の土地や海に設置した温度計を読んで，地球の温度を推測している主な機関は４つある。NASA（GISSの気温記録を保有している），NOAA（アメリカ大洋大気庁。国立気象局を管理している），英国と日本の気象庁である。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.435

気候学者と気象学者

気象予報者と気候学者の間では意見が対立することが多い。気象学者の多くは，あからさまに（あるいは暗黙のうちに）気候学に批判的な立場をとる。
　気象予報者は長年，予測精度を上げようと努力してきたにもかかわらず，今でも予報が外れれば怒りのメールを受け取る。24時間後の天気を予想するのは非常に難しいことなのだ。気候学者と同じような技術を駆使している気象予報者が，今から数十年後の気候を予測できると思うはずがない。
　両者の間にあるのは，コンセンサスの例と同じように，言葉の意味の問題だ。気候とは，地球が到達する長期的な均衡のことであり，天気は，そこからの短期的な逸脱を意味する。気候を予測する人は，北半球全体で平均雨量が多いか少ないかといったことには関心があるが，2062年11月22日にアメリカのタルサで雨が降るかどうかには関心がない。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.426

安易な因果関係

統計モデルにデータを入れれば，勝手に処理してくれて，現実の世界があらわれるとなればどんなに楽だろう。状況によっては——特に野球のようにデータが豊富な分野であれば——この仮定にはかなりの妥当性がある。しかし，それ以外の分野で安易に因果関係をとらえても，よい結果にはつながらない。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.411

タダ飯はない

セイラーの言う「ノーフリーランチ」とは，現実の社会でタダでありつける昼食がほとんどないように，市場で魅力的な機会を見つけて長期にわたって利益をあげ続けるのが不可能に近いことを意味する。たとえ魅力的な機会に遭遇したとしても，取引コストやリスクなどの取引上の制約があるため，実際に利用するのは難しい。フリーランチが幻に終わることは，過去の統計データが示している。
　これに対して，効率的市場仮説の２つ目の主張である「価格は正しい」は，どうも疑わしい。現に，パーム株とスリーコム株の価格の歪みは，市場価格が正しいのであれば起こりえない。ある意味で同じ価値を持つ商品が異なる価格で取引されているのだから，少なくともどちらかの価格が間違っているはずだ。
　市場には不均衡が存在する。バブルは壊すより，見つけるほうが簡単なのだ。これは，ベイズの国における究極の問いかけ——市場が暴落すると本当に思うなら，なぜそれに賭けないのか——が，取引や資金に制約のある現実の世界では，いつも有効であるとは限らないことを意味している。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.399-400

群れる

これが群れるということだ。そして，市場ではこうした傾向が強まっているようだ。さまざまな市場価格の動きの間に関連性が見えるようになってきたことから，それがうかがえる。みんながあらゆるものに少しずつ投資し，同じ戦略を利用しているのだろう。これが情報時代のリスクの1つである。多くの情報を共有しているため，独自性が失われてしまう。独自性を追求する代わりに，自分と同じような考えをもつ人を探し，「友だち」や「フォロワー」の数を競っている。史上では，問題の多い投資家が価格を引っ張ることがある。そうして価格が形成されるのである。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.395

自由主義市場とベイズ

自由市場主義とベイズの定理は，同じ知的伝統から生まれている。アダム・スミスとトーマス・ベイズは同時代に生きた人物で，２人ともスコットランドで教育を受け，哲学者デイヴィッド・ヒュームの影響を強く受けている。スミスの“見えざる手”はベイズ的なプロセスをあらわしていると言ってもいいかもしれない。そこでは，価格は需要と供給の変化を受けて徐々に更新されて，最終的にはある地点で均衡する。ベイズの根拠も“見えざる手”なのかもしれない。お互いの考えを議論しながら，合意に達しないときには賭けをしながら，徐々に考えを改めていく。どちらも群衆の知恵を利用して合意点を探すプロセスである。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.366

言い訳

ときとして私たちは，運というものを予測が外れたことの言い訳に使おうとする。金融危機が表面化した際の格付け会社のように。けれども，予測が外れた本当の理由は，現実に存在する以上のシグナルをキャッチしようとしたことにある。
　この問題を解決する1つの方法は，もっと厳しく予測を評価することだ。結果を評価することで，安定的に正しく予測できるようになる分野もあるだろう。もう１つは，結果ではなくプロセスを重視する方法だ。データにノイズが非常に多いときにはこの方法しかないだろう。ノイズが多すぎて，どの予測が正しいのかわからないときは，予測者の姿勢や適性に注目しよう。それらは予測の結果と相関があるはずだ（ある意味，私たちは予測者がどのくらい正確な予測をするかを予測していると言える）。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.361

気をつけろ

たとえば，「コンピュータはヤンキースがワールドシリーズを制すると予想している」といった文章が思い浮かぶときは，気をつけた方がいい。それが，より正確な文章（「コンピュータ・プログラムのアウトプットによれば，ヤンキースがワールドシリーズを制することになるだろう」）を簡略化したものであれば大丈夫だ。世界中に情報があふれる現代では，人間より速く計算できる機械は間違いなく役に立つ。
　けれども，予測者を観察したときに，コンピュータを生き物のように，あるいはモデルに意思があるように考えていると感じたときには，それは思考が欠如しているサインかもしれない。予測者のバイアスや盲点は，間違いなくコンピュータ・プログラムに反映される。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.320-321

GIGO

コンピュータはとにかく計算が速い。しかも誠実だ。疲れ知らずで，感情的にもならないし，途中で分析方法を変えたりもしない。
　しかし，だからといってコンピュータが完璧な予測をするということにはならない。人間より正確に予測ができるかどうかもわからない。GIGO（garbage in, garbage out＝ゴミを入れればゴミしか出てこない）という単語がこの問題を要約している。お粗末なデータをコンピュータに入力したり，意味のない指示を入れたところで，いい結果は出ない。わらを紡いでも金にならないのと同じである。また，コンピュータは戦略を練ったり，世界がどう動くかについての理論を構築するといった，創造性や想像力を必要とするタスクを得意としない。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.316

完璧は不可能

私は信念に完璧な客観性，合理性，正確性を持たせることは不可能だと思っている。けれども，主観性，非合理性，そして間違いを少しでも減らす努力はできる。自分の信念にもとづいて予測をすることは，自分自身を試す一番の（そしておそらくは唯一の）方法である。もし真実にとって客観性が重要であり，予測が，個人の認識が真実にどこまで近づいたかを検証する一番よい方法であるなら，もっとも客観的な人はもっとも正確な予測をする人だということになる。客観性を実験結果に見いだすフィッシャーの統計的手法は，このような作業には向かない。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.283-284

０か１００か

私がここで問いかけたいのは，物事のなかに「絶対に確実である」あるいは「絶対に間違いである」と信じたほうがいいものがあるかどうか，ではない。ただ，そう主張することについて，よく考えてみてほしいのだ。あることについて０パーセントの確率だと思っている人が，１００パーセントの確率だと思っている人と議論したところで，有益なものは何も生まれない。ヨーロッパで印刷機が発明されたころの宗教間の争いなど，多くの争いはこのような前提から生まれたのだろう。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.283

ノイズばかり

イオアニダスは言った。「この20年間，利用できる情報が急激に増え，ゲノム学やその他のテクノロジーが進化したことで，興味深い変数を大量に測定することができるようになった。私たちには，それらの情報を活かして役立つ予測をすることが求められている。もちろん，私たちが全く進化していないとは言わない。これだけの数の論文があるのに，何も進展がないとしたら悲しいからね。でも，同数の発見がないことは確かだ。知識を生み出すことに本当に貢献しているものはほとんどない」
　おそらく，これがビッグデータの時代に予測が失敗するようになった理由だろう。利用できる情報が急激に増えたことで，精査しなければならない仮説も大幅に増えたのである。たとえば，現在，アメリカ政府は4万5000の経済統計を発表している。これらのデータをすべて組み合わせて検証しようとすれば——アラバマ州の住宅ローンの金利と失業率には因果関係があるかなど——10億の仮説を検証することになる。
　しかし，データのなかの意味のある関係——相関関係ではなく因果関係を示し，世界の動きを説明するもの——は桁違いに少ない。情報が増えるペースでは増えていない。つまり，インターネットや印刷機が発明される前とくらべて，世の中の真実が増えているわけではないのである。ほとんどのデータはノイズにすぎない。宇宙のほとんどが何でもない空間で占められているのと同じだ。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.272-273

確率的に見る

ベイズの定理を使うときには，世の中を確率的に見ることが要求される。たとえ確率の問題だとは思いたくないような問題でもだ。形而上的に考えれば世界は不確実であるといった立場をとる必要はない。ラプラスは，惑星の軌道から分子の動きにいたるまで，すべてはニュートンの法則に支配されていると考えていたにもかかわらず，ベイズの定理の発展に寄与した。ベイズの定理が取り組んでいるのは認識論的な不確実性——人間の知識の限界——なのである。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.271

よいモデルは

よいモデルは，たとえ予測が当たらなくても役に立つ。「どんな予測もたいてい間違うことがわかる。すると，なぜ間違うのか理解しようとする。そして間違ったときにどうするのか，間違ったときのコストを最小にするにはどうすればいいのかを考える」とオゾノフは言った。
　心にとめておいてほしいのは，モデルは世界の複雑さを理解するためのツールであって，世界そのものの代用品にはならないという点だ。これが重要なのは，予測するときだけではない。マサチューセッツ工科大学（MIT）の神経科学者トマソ・ポッジオは，私たちの脳による情報処理は推定作業の連続だと見ている。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.253

自己成就予言

予測が自ら実現することを「自己成就予言」という。一例に大統領予備選挙がある。多数の候補者が立候補している選挙戦で世論調査が発表されたときに，この現象が見られることがある。有権者は自分の票を無駄にせず，勝てそうな候補者を支援したいと思う。そんなときに世論調査が発表されれば，どの候補者に投票すればいいかという指標となる。2012年，アイオワ州の共和党党員集会では，最終段階になってCNNが，リック・サントラムの支持率が前回から約10パーセント伸びて16パーセントになったという調査結果を発表した。この発表以前にサントラム優勢という結果を示した調査がほかになかったことを考えれば，統計的には外れ値だったかもしれない。しかし，この世論調査のおかげでサントラムに好意的なマスコミ報道が増え，有権者のなかにはイデオロギー的に近いミシェル・バックマンやリック・ペリーからサントラムに乗りかえる人が出てきた。やがて世論調査は自らの運命を実現した。サントラムがアイオワ州を制したのである。

ネイト・シルバー　川添節子（訳）　(2013).　シグナル＆ノイズ：天才データアナリストの「予測学」　日経BP社　pp.237-238