I'm Standing on the Shoulders of Giants.

読んだ本から個人的に惹かれた部分を抜き出します。心理学およびその周辺領域を中心としています。 このBlogの主な目的は,自分の勉強と,出典情報付きの情報をネット上に残すことにあります。書誌情報が示されていますので,気になった一節が見つかったら,ぜひ出典元となった書籍をお読みください。

   
カテゴリー「算数・数学・統計」の記事一覧

妥当か信頼できるか

データの入手可能性が決まると,進むべき正しい道は,次の2つの問いを投げかけることである。測定値は妥当か。測定値は信頼できるか。妥当性の概念は測定が正確かどうかに関係し,信頼性の概念は測定値が毎回同じように不正確あるいは正確かということに関係する。したがって,信頼性は妥当性とは異なるのである。測定値に予測可能な誤りがあった場合,この誤りは測定値を無効にするが,測定値はそれでもまだ信頼できる。1人当たりGDPに関していえば,水準となる推計が不正確であったとしても,この不正確さが時を越えて同じであるとしたら,それは経済変化wp理解するために有用であり続けるのである。同様に,すべての国の国民所得が同一の誤りによって間違って測定されたとしても,各国間の比較は行うことができる。だが,残念ながら,アフリカにはこれは当てはまらない。アフリカの開発統計には妥当性と信頼性の両方に問題がある。その基本的な理由は,GDPが,大部分,記録されていない経済を集計しているということにある。統計学的推論によれば,いったん妥当な測定を行えば,つまり,いったんすべての経済活動が算定されるなら,以前に記録されていない経済活動だけでなく,すべての「新しい」活動が「経済成長」であると理解されることになる。包括性からはほど遠いが,それは予見可能な将来に到達可能な目標ではないのだろう。したがって,すべてのGDP統計は,真理性と妥当性の両方の問題を抱えている。

モルテン・イェルウェン 渡辺景子(訳) (2015). 統計はウソをつく:アフリカ開発統計に隠された真実と現実 青土社 pp.49

調査データと管理データ

データには「調査データ」と「管理データ」の区別がある。調査は統計局が個々の主体から回答を収集するための道具である。統計局が調査を実施することができるか否かは,そのための財源を確保できるかどうかにかかっている。というのは通常,正規の予算からの引当金では事務所の基本的な運営費しか賄えないからである。管理データは日常的な統治を円滑に運ぶために公的機関によって収集され,そこには国家の野心や活動範囲が反映される。データの入手可能性は,国によって,またその時の環境によって異なるが,これが最終推計の質を決定するのである。

モルテン・イェルウェン 渡辺景子(訳) (2015). 統計はウソをつく:アフリカ開発統計に隠された真実と現実 青土社 pp.45

統計局

国民所得推計の質は,このように,統計局での活動の質の所産なのである。国民経済計算部門は,統計局のさまざまな部署で作成されたデータ,とりわけ人口,農業生産および工業生産,価格についてのデータに依存している。これらのデータ供給は,データ収集者の人数や,データの収集・処理に利用できる資金の水準によって左右される。しばしば統計局は,他の公的機関や民間団体から提供されたデータに依拠する。例えば,農業のデータは主として農業省やそれに相当する部署からもたらされる。建設業,鉱業,電気,水,金融,通信,運輸といった少数の大規模な運営者が支配している部門では,統計局はこれらの民間団体や公的機関からのデータ提供に依存している。

モルテン・イェルウェン 渡辺景子(訳) (2015). 統計はウソをつく:アフリカ開発統計に隠された真実と現実 青土社 pp.44-45

人間の要因

データの質に関する最も差し迫った問題は,データを利用する人間の無知である。経済統計の妥当性,信頼性を分析する能力を最も備えている学者たちは,しばしば自分自身データの利用者であり,したがって学者の仕事にとって不可欠なデータセットの土台を崩すことには消極的である。データへの懸念を表明するとしても,通常,脚注で慎重な言い回しで警告するのがせいぜいである。国際機関がデータの主要な提供者であり,発信者であるが,彼らのプログラムや計画はしばしばターゲットや指標と結びついている。そのため,実際的なアプローチはデータを額面通り受け入れることから始まる。私的に,あるいは技術的な協議においては助言が与えられるかもしれないし,データ作成の段階で直接的圧力が加えられることがあるかもしれない。また,国内政治の場で,この問題について透明な議論が行われることはほとんど,もしくは,全くない。経済的リテラシーの欠如が問題であり,統計が国内議論の最重要項目となる場合には,技術的議論は政治課題へと移行する。こうして,データの質の問題は二重に曖昧にされるのである。

モルテン・イェルウェン 渡辺景子(訳) (2015). 統計はウソをつく:アフリカ開発統計に隠された真実と現実 青土社 pp.38-39

パターン,集計データ

一般的に,企業が個人のデータを所有しても,ビジネス上のメリットはない。たとえば,ボブが火曜日の二時半にどこにいたかがわかっても,生産性については何もわからない。企業がもっと注目すべきなのは,「チームや部署はどのように協調しているのか」「人々の満足度や生産性を高める行動や対話とはどういうものなのか」というような,全般的なパターンや集計データなのである。データの集計は,プライバシーを保護する唯一の方法でもある。

ベン・ウェイバー 千葉敏生(訳) (2014). 職場の人間科学:ビッグデータで考える「理想の働き方」 早川書房 pp.45

新しいデータ,新しい観測手法

新しいデータは人間の世界観を根底からくつがえす力を持っている。私たちは一定のレンズを通して世界を見ると,必ずその尺度で現実をとらえる理論を築き上げてしまう。私たちの先祖は,夜空に輝く光の点を見て,光の点が複雑な球体の表面上を回っていると考えた。望遠鏡が発明されると,実際には見た目より大きな光の点があることや,その周囲を回る天体すらあることがわかった。すると,現実のモデルを見直せざるをえなくなった。
 新しい観測手法は,科学のあらゆる分野に大きな変化をもたらしてきた。たとえば,望遠鏡は天文学の研究に革命をもたらし,顕微鏡は生物学や化学の研究に革命をもたらした。しかし,社会学にはこの種の革命は起きていない。研究者たちは,いまだにペンと紙のアンケート,人間による観察,サクラを使った実験を用いて,社会の無数の現象を解明しようとしているのだ。

ベン・ウェイバー 千葉敏生(訳) (2014). 職場の人間科学:ビッグデータで考える「理想の働き方」 早川書房 pp.24

効果量

報告されている効果の大きさは,統計学者のジャコブ・コーエンが示唆した規定にしたがって,小または弱,中または中程度,大または強の3段階にわけてあらわした。小の効果は,統計的比較を利用しなければ感知できないものである。具体的な例をあげるなら,15歳と16歳の少女の平均身長の1センチ強の違いは小の効果である。中の効果は,肉眼でわかる程度に大きい。たとえば,14歳と18歳の少女の平均身長の2,3センチの違いがこれにあたる。大の効果は,当の現象の2グループ間に重なりがほとんどないときのものである。たとえば,13歳と18歳の少女の平均身長の違いがこれである。これらの効果の大きさが違うことは,13歳と18歳の少女では年齢の違いが身長の決定要因であるが,15歳と16歳の少女では身長の違いの決定要因として年齢はあまり重要ではないことを教えてくれる。容貌の小の効果対大の効果にも同じ理屈があてはまる。大の効果は,容貌が性格の印象,社会の反応,行動の重要な決定要因であることを意味し,小の効果は,容貌以外の影響が比較的大きな役割をはたしていることを意味する。

レズリー・A・ゼブロウィッツ 羽田節子・中尾ゆかり(訳) (1999). 顔を読む:顔学への招待 大修館書店 pp.21

科学の文法

ともあれ,観察という実在世界の事柄,理論(一般法則)という言語世界の事柄,この2つを結ぶ構造を科学は持っている。ばらばらと起こる現象をまとめ上げ,理論や一般法則として言語化するのは統計の役割なので,統計学は科学の文法と呼ばれる。これにより我々は一般化され言語化された理論を構築し,それを個別の事象に適用させることが出来る。

津田敏秀 (2011). 医学と仮説:原因と結果の科学を考える 岩波書店 pp.34

大戦争を防ぐべき

2つの世界大戦による死者は,130年間に起きたすべての戦争の死者の77パーセントを占めるというのは,驚くべき発見である。戦争は,べき分布によく見られる80:20の法則にさえしたがわず,80:2の法則にしたがう——死者のうち約80パーセントが,たった2パーセントの戦争で命を落としているのだ。この著しく偏った比率が教えているのは,世界が戦争による死をなくそうとするなら,まず大戦争を防ぐべきということである。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.399

戦争のプロセス

戦争がなぜべき分布になるのか,その理由は正確にはわからなくても,べき分布の特徴(スケールフリーとファットテール)が意味するのは,戦争には規模に関係のない,なんらかの根源的プロセスが存在するということである。もともとの規模の大小にかかわらず,武装した連合体はつねに少しだけ大きくなり,戦争はつねに少しだけ長くなり,損失はつねに少しだけ増大する可能性があるのだ。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.397

戦争被害はべき分布

このようにべき分布では,規模をグンと大きくしても頻度は急には下がらず,ゆるやかに減る。言いかえれば,極地が出現する確率はきわめて低いが,天文学的な低さではない。この違いは重要だ。身長6メートルの人に出会う可能性は天文学的確率であり,ないと命を賭けて言ってもいい。けれども人口2000万人の都市や,20年間連続のベストセラーが出現する可能性はきわめて小さくはあるが,それが現実になると想像することは十分できる。戦争の場合,それが何を意味するかは改めて指摘するまでもないだろう。1億人の犠牲者を出す戦争が起きる可能性はきわめてまれだし,10億人となればさらに可能性は低い。しかしこの核兵器の時代には,身の毛もよだつような想像と,べき分布の数学は同じ結論を指している——その可能性は決して天文学的に低いわけではないのだと。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.389

べき分布に注目する理由

科学者がべき分布に興味をもつ理由は2つある。第1に,なんの共通性もないと思われる事象の測定結果に,べき分布が頻繁にあらわれるということだ。最も初期に発見されたべき分布の1つは,1930年代に言語学者G.K.ジップが作成した,英語の語の使用頻度に関するグラフである。大きなコーパス(言語資料)を使って語の使用回数を調べると,10余りの語がきわめて頻繁に(1パーセント以上,つまり100語に1語以上の頻度で)使用されている。the(7パーセント),be(4パーセント),of(4パーセント),and(3パーセント),a(2パーセント)などがこれにあたる。次に約3000語(confidence, junior, afraidなど)が中程度の頻度で(1万語に1回程度)使われ,1万語(embitter, memorialize, titularなど)が100万語に1回使用される。そして100万語に1回をはるかに下回る頻度で使われる語が数十万語ある(kankedort, apotropaic, deliquensceなど)。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.386

確率は視点の問題

確率とは視点の問題だ。十分近いところまでズームインすれば,個々の事象には決定的要因がある。コイン投げでさえ,初期条件や物理法則によって結果が予測できるし,熟練したマジシャンならその法則を利用して毎回,表を出すこともできる。だが多くの事象が視野に入るようにズームアウトすると,膨大な数の要因が時に相殺し,ときに同一方向に向かった結果を見ることになる。物理学者で哲学者のアンリ・ポワンカレの説明によれば,私たちが決定論的な世界に偶然の作用を見るのは,ささいな原因がたくさん積み重なって重大な結果をもたらすが,誰も気づかない小さな原因が誰の目にも明らかな重大な結果をもたらすか,いずれかの場合だという。組織的暴力を例にとれば,まず戦争をしたい人間がいて,その人間は好機がくるのを待つ。好機はやってくることもあれば,こないこともある。敵の側が交戦を決断することもあれば,撤退を決断することもある。弾丸が飛び,爆弾が破裂する。人が死ぬ……。これらの事象は個別に見れば,神経科学や物理学や生理学の法則で決まるかもしれない。だが総体としてみると,そこに関わる多数の原因がシャッフルされて,時として極端な組み合わせを生むことがある。20世紀前半,世界はあらゆるイデオロギー的・政治的・社会的潮流によって危機にさらされたうえに,一連の極度の悪運にも見舞われたのだ。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.379-380

ランダムに始まりランダムに終わる

では,もし戦争がランダムに始まりランダムに終わるのなら,その歴史的傾向を追求することは無意味なのだろうか。そんなことはない。ポワソン過程における「ランダムネス」は,連続的な事象のあいだにはなんら関係は存在しないことを示している。事象発生器はサイコロと同様,記憶をもたないのだ。だがこれは,大きな時間の流れのなかで,確率はつねに一定であることを意味するわけではない。軍神マースの気が変わって,1のぞろ目が出たときではなく,サイコロの目の合計が3や6,あるいは7になったときに戦争を起こすようにするかもしれない。だが長い年月の間にこうした確率の変化があったとしても,ランダムであることに変わりはない——すなわち,ある戦争の勃発が,ほかの戦争の勃発する可能性を高くしたり,低くしたりはしないという事実は変わらないのだ。そのように確率の変化するポワソン過程を,非定常的ポワソン過程と呼ぶ。したがって,戦争の起きる確率が一定の歴史的な時間をへて減少するという可能性はあるのだ。それは,変数が減少する非定常的ポワソン過程で生じる。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.375

戦争はポワソン分布

戦争がポワソン的傾向をもつことは,錯覚上のクラスターに星座を見出そうとする物語としての歴史観を揺るがし,人類の歴史に壮大なパターンや周期や弁証法を読み取ろうとする仮設を混乱させる。凄惨な戦争があったからといって,世界が戦争にうんざりして平和な休息期間が訪れるわけではないけれど,好戦的な2つの国が咳をすると,たちまち伝染病のように戦争が地球全体に広がるというわけでもない。また,平和が長く続くと戦争への欲望が増大し,やがて突然,激しく爆発するということもない。軍神マースはただひたすらサイコロを振り続けるだけなのだ。ほかにもリチャードソンと同時代またはその後に,戦争のデータについての研究が6つほど行われたが,結論はすべて同じだった。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.374

次の雷の確率

たとえばあなたの住んでいる場所では,1年中いつでも落雷の可能性があるとしよう。落雷はランダムにどの日でも同じ確率で発生し,その頻度は1ヵ月に1度の割合だとする。さて月曜日の今日,あなたの家に雷が落ちた。次に落雷がある可能性が最も高いのはいつだろうか?
 答えは「明日」の火曜日である。たしかに確率はさほど高くはない。およそ0.03(月に1回)だ。では次の落雷が明後日の水曜日になる確率はどうだろうか。そうなるためには2つの条件が必要だ。まず水曜日に雷が落ちることで,確率は0.03。もう1つは前日の火曜日に雷が落ちないこと——さもないと「次」は水曜日ではなく火曜になってしまう。この確率の計算式は,火曜日に雷が落ちない確率(0.97つまり1マイナス0.03)×水曜日に雷が落ちる確率(0.03)となり,計算結果は0.0291で火曜日に落ちる可能性より少し低くなる。では木曜日ならどうだろうか。それには火曜にも水曜にも雷は落ちず,木曜に落ちることが必要だ。すると0.97×0.97×0.03で,確率は0.0282となる。金曜日はどうか。0.97×0.97×0.97×0.03で0.274。このように1日進むごとに,確率は下がっていく。「次に落雷がある日」になるには,それまで雷の落ちない日がずっと続く必要があり,日数が多くなるほど,その可能性は低くなるからだ。厳密な言い方をすれば,確率は指数関数的に低下する。次の落雷が今日から30日後に起きる確率は,0.97の29乗×0.03で,1パーセントをほんの少し上回るだけだ。
 だが,これを正しく理解している人はほとんどいない。私はインターネットで100人にこれとおなじ質問を——「次に」の文字を見落とさないように,わざわざイタリック体にして——してみた。結果は,「どの日も確率は変わらない」と答えた人が67人だった。これは直観的には正しいように見えるが,誤っている。もし次に落雷がある日になる確率がどの日でも同じなら,1000年後でも1ヵ月後でも変わらないということになる。つまり落雷がない日が1000年続く可能性と,1ヵ月続く可能性が同じということになってしまう。残りの回答者のうち19人は,最も確率が高いのは1ヵ月後と答えた。「明日」と正しく推測できたのは,100人中たった5人だった。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.368-369

お手上げ

最終的には,1990年代の犯罪率低下を理解するためには,規範の変化——これは,その30年前の犯罪率の上昇を説明するのにも有効だった——に注目しなければらないということだ。警察改革がアメリカ,とりわけニューヨークの暴力犯罪の急減に寄与したことはほぼ間違いないとはいえ,刑務所や警察をアメリカのように増強したわけではないカナダや西ヨーロッパでも,犯罪は(度合いこそ異なるが)減少した。頭の固い犯罪統計学者のなかにも,お手上げ状態となり,犯罪減少の主要な理由は数量化が困難な文化的・心理学的変化にあるとの結論に至った者もある。

スティーブン・ピンカー 幾島幸子・塩原通緒(訳) (2015). 暴力の人類史 上巻 青土社 pp.237

NP困難問題

計算機科学者の間で“うまく解ける”問題とは,問題の規模が10倍になっても,100倍ないし1000倍程度の時間をかければ解ける問題のことをいう。このような問題は,規模が100倍になれば計算量は1万倍以上になるが,計算機が10万倍速くなればたちどころに解ける。
 ところが,ごく当たり前の問題の中に,問題の規模が10倍になると,どのように工夫しても,2^10倍=1000倍の計算量が必要になると思われる,厄介な問題が存在することが明らかになったのである。
 規模が100倍なら計算量は2^100倍,すなわち10^30倍になる。計算機が100万(10^6)倍速くなっても,このような問題を普通のやり方で解こうとすると何兆年もかかる。しかも世の中は,このような“うまく解けない問題”,すなわち「NP困難問題」が溢れているというのである。
 この結果,わが国でも70年代に入ると,難しい問題を解くためのアルゴリズムや,ソフトウェア研究の重要性が認識されるようになった。京都大学,大阪大学,東京工業大学などの有力大学に,情報科学科・情報工学科・計算機科学科が出来たのはこの頃である。
 しかしどの大学も,その規模は一学科分(教官定員15人,学生定員40人程度)で,米国の有力大学に匹敵する“ソフトウェア中心の”計算機科学科は,どこにもなかった。政府・産業界・学界は,依然としてソフトウェアを軽視していたのである。

今野 浩 (2012). 工学部ヒラノ助教授の敗戦:日本のソフトウェアはなぜ敗れたのか 青土社 pp.16-17

基準というものは

米国の疫学者であり衛生工学者のウィリアム・セジウィック氏(1855〜1921)の言葉に,このようなものがある。

 「基準というものは,考えるという行為を遠ざけさせてしまう格好の道具である」

 基準値はいったん定められると,あたかもある種の「権威」のようになり,その根拠を深く考えることなく使ってしまいがちである,という戒めである。ある基準値を使いまわして決められた基準値は,ときに十分な安全を確保しているとはいいがたかったり,まったく理屈に合っていなかったりする。当初の目的とはかけ離れた,ちぐはぐなものになってしまうのである。

村上道夫・永井孝志・小野恭子・岸本充生 (2014). 基準値のからくり:安全はこうして数字になった 講談社 pp.17-18

機械的な演習ではない

長年にわたり,統計的推論は時には加熱するほどの論争の対象であった。異なる推論法は異なる結果を招くが,手法を理解している統計学者により慎重に用いられるのであれば,似たような結論が導かれることが実験的に示されている。これは統計学の芸術的な側面であり,統計解析を実行することはたんに,数学の機械的な演習ではないということを意味する。推論の理論的な理解と同様,データおよびその生成された背景を理解する必要がある。

David J. Hand 上田修功(訳) (2014). 統計学 サイエンス・パレット012 丸善出版 pp.115

bitFlyer ビットコインを始めるなら安心・安全な取引所で

Copyright ©  -- I'm Standing on the Shoulders of Giants. --  All Rights Reserved
Design by CriCri / Photo by Geralt / powered by NINJA TOOLS /  /