無限のパラドクス〜数学から見た無限論の系譜〜を読んで

理工系の新書として有名なレーベルの「BLUE BACKS」の本で、足立恒雄先生の著書、「無限のパラドクス」を読みました。

この本は、現代の無限論にたどり着くまでの歴史的経緯について非常に簡潔に分かりやすく書かれており、高校レベルの数学の知識があれば難なく読むことが出来ると思います。

無限論とは別に読んでいて感動したこと(ライプニッツの夢)

この本の中盤で、ライプニッツ(1646〜1716)の話が出てきます。この本によると、論理学の分野で「AならばB」のように、一般命題に文字をわりあてるのはライプニッツが始めたことだそうです。ライプニッツが夢見たのは「全ての論証を記号化し、算術問題に還元すること」。これを実現すると、裁判などで、データを投入するだけで後は計算機が計算して公平な判決を下してくれる。このような事を夢見ていたそうです。

少し前ならば、なんて夢物語なのだろうと私も思いました。しかし、人工知能、バックデータ解析といった用語がトレンドな現代、ライプニッツの夢見たことは現実味を帯びてきています。将来的にコンピュータに仕事を奪われると予想される職業に「弁護士」が入っているのですから。

人工知能が判決を下す。なんか、少し前のノイタミナのアニメで「PSYCHOPATH」という作品が人気を博しましたが、それを思い出します。警官の持つ拳銃型の「ドミネーター」という武器が、対象者の犯罪係数を算出し、その数値を元にその場で刑が執行されます。この犯罪係数が高いとその場で死刑執行も行われます。この世界はコンピュータ(最後にその中身も明かされる)に支配された人間の物語とも言えます。興味がありましたら見てみてください。映画化もされていた...かと思います(多分)。

科学が発達し、SF作品なども豊富な現代でこそ、想像のつくような世界を400年前の偉人が夢見ていたというのは想像もつきません。現代に生きる人々の中にも、私たちが理解出来ない様な未来をイメージして研究に取り組む天才もいるのかもしれないと思うと、私たちが夢物語だと思っていることも、500年も経てば現実化してるんでしょうか。最も最近の技術革新は10年前には映画の中の事だったことが当たり前のように行われるような進歩の仕方をしているので、それ以上となるとやはり想像できません（笑）。

なんだか、最終的に書評でもなんでもない所に帰着しましたが、興味深い本でしたので是非オススメしたいと思います。

また、著者の無限に関する本として別に「無限の果てになにがあるか」というものもありますのでそちらも読んでみてください。共に興味深い内容となっています。

日記的なの「統計の誤用を防ぐ書籍」

本日新宿の紀伊国屋に立ち寄りました。現在紀伊国屋では

「ダメな統計学を防ぐための書籍」

フェア？をやってるのか、理工書の階に行くと、中央のわかりやすい所にコーナーが設置されています。そこで見つけたフリーペーパーで「ダメな統計学を防ぐための書籍11冊」が紹介されていました(まあ、そのコーナーに置いてある本なんですが)どれも欲しい本ばかりなのですが、なにぶん学生故にお金が無いため買うことが出来ません...

あぁ、早く就職してお金が欲しい今日このごろです。

ちなみに、そのフリーペーパーの内容はブログに掲載されてる内容なので、次のリンクをクリックしてくれれば飛びますので(∩´｡•ω•)⊃ﾄﾞｿﾞｰ

http://id.fnshr.info/2017/01/27/no-sdw/:ダメな統計学 11冊

「ダメな統計学~悲惨なほど完全なる手引書~」レビュー

先月あたりに本屋によった際に見つけ、ずっと気になっていた「ダメな統計学~悲惨なほど完全なる手引書」をついに購入してしまいました。

2017年2月時点でAmazon、確率・統計カテゴリ1位を獲得したベストセラーです。

 ※上記画像はAmazonにリンクしています

内容としては、科学者が陥ってしまいがちな統計の誤用だったり、その原因、なぜ間違いなのかについて書かれています。

この本の原著というか、元となっているものは英語版、日本語版共にオンラインで見ることが出来るみたい。

英語の場合は「Statistics Done Wrong」

日本語の場合は「ダメな統計学」

で検索すれば出てくるので検索してください。ってか、下にリンクつけときますのでクリックすれば飛ぶようになってます。

日本語↓

id.fnshr.info

英語↓

Welcome — Statistics Done Wrong

 評価　★★★★★

アマゾンレビューするなら私は★５つです。

実践向けの統計学書があふれかえる世の中で、統計の誤用という視点から、誤用に文句をいうだけでなく、原因を解説し、防ぐ方法まで説明してくれる良書です。

統計学という分野は非常に応用範囲の広い分野であるのですが、曖昧さをおおいに含んだ分野でもあります。その為、使い方次第で誤解を生むことも多いです。最近はデータ分析がトレンドなためか、Excelで統計みたいな、実際に使う系の本が沢山出ています。また、科学の世界でも統計は必ず使われますが、統計をキチンと学んで使われていることは少ないと思われます。統計を使う場合、既に確立された手法を用いれば良く、また、Excelのようなソフトには統計の機能がついているため、ツールとしての側面が強い気がします。そのためか統計の曖昧な部分について知らずに使い、勘違いを生む原因になっている気がします。

この本では、科学の世界で日常的に使われている統計における、間違いやその原因について分かりやすく解説されています。

この本の目次は以下のようになっています。

1. 統計的有意性入門
2. 検定力と検定力の足りない統計
3. 疑似反復：データを賢く選べ
4. p値と基準率の誤り
5. 有意性に関する間違った判断
6. データの二度づけ
7. 連続性の誤り
8. モデルの乱用
9. 研究者の自由：好ましい雰囲気？
10. 誰もが間違える
11. データを隠すこと
12. 何ができるだろうか

ここで解説される原因は、手法的な面だけにとどまりません。研究者が統計を誤ってしまう環境的背景のような面についても解説されています。また、各章の最後には「ヒント」という項目が設けられており、そこではその章で解説されたダメな統計学を回避する方法を教えてくれています。

また、ページ下部の注釈が結構面白く、本文よりもそっちが気になってしまったりもします。

解説に出てくる論文などは、参考文献のページに網羅されていますのでもっと深く知りたいという人にも親切ですね。参考文献の数は数えてみたら191個ありました(笑)。

対象読者：統計学の経験がある人

数式がガリガリ出てくる本ではなく、ほぼほぼ文章ですので、読みにくいということは全く無いと思います。読み物としての本です。ただ、統計に全く触れたことのない人が読むには、統計用語が頻繁に出てくるため厳しいと思います。

統計学を普段使いしてる人や、統計学を学んでいる学生におすすめだと思います。

感想

私は大学で統計学を専門にすべく勉強しています。その中でいつも考えているのは「統計学が専門」というのはどういうことかということです。統計学はどの分野でも使われています。心理や経済学の学生なんかは統計を頻繁に使うと聞きます。物理なんかもそうですね。実際、日本では統計に関する専門書は、経済学者や、心理学者、物理学者が書いているということも多いです。みんな多かれ少なかれ統計を知っているのです。そしたら、統計を専門にするとはどういうことなのか？他の分野で統計をバリバリ使っている人との差は何所に生まれるのかというのをずっと思っていました。この本はその疑問に対する一つの答えを教えてくれた気がします。統計的手法の成り立ち、理論に精通し、それぞれの手法の留意点を知り、誤りを正せるレベルが求められているんだと私は思いました。一言に統計学と言っても幅広いので全てに精通することは難しいのかもしれませんが、自分が専門とする領域を見つけ、その部分だけでもまずは上記のレベルに達することができればと思います。

「統計でウソをつく法」は「ダメな統計学」ででてくる関連書籍の一つです。

ガウス積分

統計学を学んでいるとよく出てくるのがガウス積分です。ガウス積分は求め方を知っていれば対して解を得るのは対して難しくは無いですが、いちいち求めるには少し手間です。なので、積分結果を覚えておく。公式的に暗記してしまうと、話がスムーズに進みますので次の公式を導出していきたいとおもいます。は実数定数として
$$
\int_{-\infty}^{+\infty}e^{-A(x-a)^2} dx = \sqrt{\frac{\pi}{A}}
$$

証明)
と置くと、は
$$
I^2 = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} e^{-A(x-a)^2 -A(y-a)^2} dxdy = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} e^{-A\{(x-a)^2 + (y-a)^2\}} dxdy
$$
と書くことができる。
ここで
$$
\left\{
\begin{array}{ccc}
x-a & = & r \cos \theta \\
y-a & = & r \sin \theta
\end{array}
\right.
$$
と置く。ヤコビアンは
$$
J = \left|
\begin{array}{cc}
\frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\
\frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta}
\end{array}
\right|
= \left|
\begin{array}{cc}
\cos \theta & -r \sin \theta \\
\sin \theta & r \cos \theta
\end{array}
\right| = r
$$
よって
\begin{eqnarray}
I^2 &=& \int_0^{2\pi} \int_0^{+\infty} e^{-A\{(r\cos \theta)^2 + (r\sin \theta)^2\}} |J| dr d\theta \\
&=& \int_0^{2\pi} \int_0^{+\infty} e^{-Ar^2} r dr d\theta \\
&=& \int_0^{2\pi} d\theta \int_0^{+\infty} re^{-Ar^2} dr \\
&=& [\theta]_0^{2\pi} [-\frac{1}{2A} e^{-Ar^2}]_0^{+\infty} \\
&=& 2\pi \cdot \frac{1}{2A} \\
&=& \frac{\pi}{A} \\
\therefore I &=& \sqrt{\frac{\pi}{A}} \;\;\;\;\; \because I > 0
\end{eqnarray}

参考文献

小寺平治(2014):『明快演習　数理統計』,共立出版

多変量解析~同時分布(Joint Distribution)~

久々にこのブログを書きます...前回書いたのはいつだったか...。最近はTexにまとめてるんでこっちのことを完全に忘れてました...

研究室に配属されて、多変量解析の勉強が本格的に始まってきました。まだ、ほとんどやっていないに等しいですが、気が向いた時に学んだことを覚え書きしていこうと思います。

自分が勉強に使っているのは研究室指定の
T.W.Anderson『An Introduction to Multivariate Statistical Analysis』

です。これの流れに沿って勉強をすすめていこうと思います。

累積分布関数(1変量の場合)

多変量に入る前に1変量について見ていきます。1変量の累積分布関数(cumulative distribution function)は次のように定義される

分布関数は次の性質を持つ。

1. 任意の に対して でありかつ

2.は単調非減少である.

3. は右側連続である.

指数分布について密度関数と分布関数を見てみる。
指数分布の密度関数は


であり、分布関数は

で与えられる。

密度関数は分布関数の微分で定義され、次の関係が成り立つ。
$$
f(x) = \frac{d}{dx}F(x) \Leftrightarrow F(x) = \int_{-\infty}^x f(u)du
$$

また、この他に密度関数は次の性質を満たす。

• 
• 

2変量の場合

次は2変量の場合について考える。2つの確率変数を考える。c.d.f.がすべての実数の組について次で定義される。
$$
F(x,y) = Pr\{ X \le x, Y \le y\}
$$
ここで考えているは絶対連続の場合。つまり、ほとんど至る所(almost everywhere)で偏導関数が存在する場合を考える。つまり、ほとんど至る所で次が成り立つ。
\begin{eqnarray}
\frac{\partial^2 F(x,y)}{\partial x \partial y} &=& f(x,y) \\
F(x,y) &=& \int_{-\infty}^y \int_{-\infty}^x f(u,v)dudv
\end{eqnarray}
が成り立つものとして考える。ここで非負関数はとの密度関数と呼ばれる。この関数は以下の性質を持つ。

• 
• 

ほとんど至る所(almost everywhere)

ここで直接は関係無いが、少し気になるalmost everywhere について考えてみる。

定義

ほとんど至る所

を命題関数とする.が-零集合である時、は"ほとんど至る所"で成立する.

ここで-零集合とは、なるを-零可測集合といい、これが存在して、なる集合を-零集合という。
ここで、とし、をc.d.f.とする。命題関数を

$$
P(\boldsymbol{\omega}) = \left\{
\begin{array}{cc}
TRUE & if \;\; F(\boldsymbol{\omega})\;has\;a\;partial\;derivative\;at\;the\;point\;\boldsymbol{\omega} \\
FALSE & elsewhere
\end{array}
\right.
$$
で与える。先程述べた、偏導関数がほとんど至る所でん存在するとは、集合
$$
\{ \boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R} :P(\boldsymbol{\omega}) = FALSE\}
$$
が-零集合であることを意味する。つまり
$$
\mu(\{ \boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R} : P(\boldsymbol{\omega}) = FALSE\}) = 0
$$
これは、上の点について、偏導関数が存在しない点の集合の測度が0であることを意味する。

p変量の場合

今、個の確率変数を考える。そのc.d.f.は
\begin{equation}
F(x_1,\ldots,x_p) = Pr\{X_1 \le x_1,\ldots,X_p \le x_p\}
\end{equation}
がすべての実数の集合によって定義される。密度関数はが絶対連続であるならば
\begin{equation}
\frac{\partial^p F(x_1,\ldots,x_p)}{\partial x_1 \ldots \partial x_p} = f(x_1,\ldots,x_p)
\end{equation}
で与えられ、また
\begin{equation}
F(x_1,\ldots,x_p) = \int_{-\infty}^{x_p} \cdots \int_{-\infty}^{x_1} f(u_1,\ldots,u_p) du_1 \ldots du_p
\end{equation}
が成り立つ。次元ユークリッド空間の任意の可測集合をとする時、確率変数がに属する確率は
\begin{equation}
Pr\{(X_1,\ldots,X_p) \in R\} = \underset{R}{\idotsint} f(x_1,\ldots,x_p) dx_1\ldots dx_p
\end{equation}
確率要素はほぼ確率
に等しい。
もしが連続であるならば、同時積率は次で定義される。
\begin{equation}
E(X_1^{h_1}\cdots X_p^{h_p}) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} x_1^{h_1} \cdots x_p^{h_p} f(x_1,\cdots,x_p) dx_1\cdots dx_p
\end{equation}

参考図書

T.W. Anderson(2003):『An introduction to Multivariate Statistical Analysis』, John Wiley & Sons
梅垣寿春,塚田真,大矢雅則(2015) : 『測度・積分・確率』,共立出版

書いてから気づいたんですが、似たような記事を前回も書いてあるみたいです...今回のが少し内容が重くなってるんでまあいいかなと...

数理統計学の勝利~ニューヨークタイムズのネイト・シルバーの数理モデル予測が全50州で的中~(外部記事)

統計学がアメリカで政治学者相手に大勝したようですね。
政治学者はどのような思考回路で政治予測や分析をしてるかはわかりませんが、計算機によって膨大なデータを処理することになったこの時代、1人の人間が持つ経験や思考では、もはや上回ることはできないでしょう。

ネイト・シルバー - Wikipedia

以下引用

New York Timesの選挙予測専門家、ネイト・シルバーは昨夜、大統領選の勝敗を全50州で的中させた。 その一方で、いわゆる政治専門家たちの予想はほとんどが外れた。中には笑うしかないような外れ方をした者もいる。

ネイト・シルバーについてはテレビのゲストに呼ばれる政治専門家が口を揃えて「リベラルに偏った見解」と非難してきた。しかしシルバーは今回も彼の作った数理的予測モデルが古臭い専門家の勘や生半可な統計に基づく推測より圧倒的に優れていたことを証明した。

残る疑問は、数理モデルのこれほどの有効性を見た後でもテレビのプロデューサーたちは時代遅れの政治専門家なるものを番組に使い続けるつもりなのかどうかという点だけだ。

シルバーの数理モデルの特長は、どんな政治専門家もとうてい考慮しきれないほど膨大な量の数値を入力として用いるところにある。シルバー・モデルでは各種の世論調査の結果を、規模、質、時期などによって重み付けし、過去の同種の選挙結果と照合される（もちろんそれ以外にもさまざまな高度な統計処理が用いられている）。

今回、予測を100票も外した〔大統領選挙人の総数は538人〕専門家はこんなことを言っていた。曰く、オバマ大統領にはもはや伝えるべきメッセージがない、問題意識がない、 過去4年間の業績に対する説明責任を果たしていない、それを有権者は見ぬいている…。そう書いたのはクリントン大統領の元補佐官、ディック・モリスだが、彼の予測と現実はグランドキャニオンくらいかけ離れていた（ロムニーが325票獲得するというモリスの予測は100票以上外れていた）。

シルバーのアプローチの成功はテレビ局にジレンマを与えている。第一に、この種の議論を理解するためには視聴者に数学の素養が必要だ。仮に古臭い政治評論家を数理統計学者で置き換えたとしても、今度は番組同士で自分たちの予測の優位性を説明するためには面倒な統計学の議論が必要になる。視聴者はそんな議論にはすぐに飽きてしまうだろう。

第2に、ショッキングな選挙予測を報じて視聴率を取りに行けなくなる。視聴率を稼げる意外な結果は、ほとんどの場合不正確な予測だ。ところがシルバー・モデルは多数の世論調査を詳しく分析して平均を出しているので概ね常識的で安定した（番組としては退屈な）結果が出る。

しかしシルバー・モデルが与えるもっとも大きく、破壊的な影響は、伝統的な選挙キャンペーンや政治評論はもはや選挙結果に決定的な影響を与えることはないという事実が明らかになってしまうことだ。シルバー・モデルは選挙の数ヶ月前からオバマの勝利がほぼ確実であると予測していた。選挙は現職有利というのがセオリーであり、ロムニーにはそれを覆すだけのカリスマが欠けており、共和党内でさえそれは意識されていた。また他の重要な要素、景気や失業率に選挙運動は何の影響も与えることができない。選挙を前に景気が上向けば保守系の挑戦者は苦戦を免れない。

つまり、「アメリカ人はもはやオバマのリベラルな社会政策を見放した」云々という「専門家」たちの御託宣はまったく現実とは関係がなかったわけだ。テレビに毎日現れる政治評論家、選挙専門家の発言は大部分がたわごとだった。しかしテレビのプロデューサーたちは派手な党派的な議論、不正確だが一般受けしやすい選挙予測などによって視聴率を稼ごうとする強い動機を持っている。シルバーは今回、ひとつの戦闘には勝ったものの、戦争に勝つのはまだ先のことになりそうだ。

〔日本版〕ネイト・シルバーはアメリカでもっとも注目されている選挙専門家。シカゴ大学経済学部を卒業した後、2002年に、KPMG会計事務所に勤務中にメジャー・リーグ野球選手の統計的評価システムPECOTAをを開発した。これは映画「マネー・ボール」で日本でも知られるようになったセイバーメトリクスをオンライン化したもので、2007年にはPECOTAをBaseballProspectus社に売却して、選挙予測の分野に進出。2008年のブッシュ対ゴアオバマ対マケインの大統領選で50州中49州の勝敗を的中させ、いちやく注目されるようになった。現在、FiveThirtyEightブログはニューヨークタイムズの一部となっている。著書にThe Signal and the Noiseなどがある。）

元記事↓
大統領選でニューヨークタイムズのネイト・シルバーの数理モデル予測が全50州で的中―政治専門家はもはや不要？ | TechCrunch Japan

統計学は理系だけでなく文系分野と考えられるところでも非常によく使われています。実務の面での汎用性は現状、"最強の学問"です

多変量解析~多変量正規分布の標準化~

1変量の時の標準化はそんなに苦では無いですよね?ここではp変量の多変量正規分布の標準化をやっていきたいと思います。

まずは多変量正規分布の確認

とする。 は正定値行列より なる正則行列 が存在する。

多変量正規分布

標準化

とする。これの逆変換が で与えられる。

ヤコビアンを求めておきます。

$$
J(y_1,\cdots,y_p) = \mod \left|
\begin{array}{ccc}
\frac{\partial x_1}{\partial y_1} & \cdots & \frac{\partial x_1}{\partial y_p} \\
\vdots & \ddots & \vdots \\
\frac{\partial x_p}{\partial y_1} & \cdots & \frac{\partial x_p}{\partial y_p}
\end{array}
\right|
= \mod \left|
\begin{array}{ccc}
c_{11} & \cdots & c_{1p} \\
\vdots & \ddots & \vdots \\
c_{p1} & \cdots & c_{pp}
\end{array}
\right| = \mod |C|
$$

また、 より

この時、

である。これらから

以上から はp変量標準正規分布正規分布 に従うので変数変換 は標準化である。

参考文献

特に無し

ベクトル微分

多変量解析を勉強するにあたって、必要になることがあるのがベクトルの微分である。

まずはまとめから

$$
\begin{eqnarray}
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} &=& \boldsymbol{C} \tag{1} \\
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} &=& (A + A^{\mathrm{T}})\boldsymbol{\beta} \tag{2}
\end{eqnarray}
$$

これらを証明していく。ベクトルの微分を考えていくうえでは、面倒だが、成分を
考えていくことになる。

(1)の証明

$$
\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta} = c_1\beta_1 + c_2\beta_2 + \cdots + c_p\beta_p
$$

より

$$
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_i} = c_i
$$

ただし

よって

$$
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} = \left(
\begin{array}{c}
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_1} \\
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_2} \\
\vdots \\
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_p}
\end{array}
\right)
= \left(
\begin{array}{c}
c_1 \\
c_2 \\
\vdots \\
c_p
\end{array}
\right)
=\boldsymbol{C}
$$

(2)の証明

$$
\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta} = \sum_{i=1}^p\sum_{j=1}^p a_{ij}\beta_i\beta_j
$$

より

$$
\begin{eqnarray}
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_k} &=& \sum_{j=1}^p a_{kj}\beta_j + \sum_{i=1}^p a_{ik}\beta_i \\
&=& (a_{k1},\cdots,a_{kp})\boldsymbol{\beta} + (a_{1k},\cdots,a_{pk})\boldsymbol{\beta} \\
&=& \{(a_{k1},\cdots,a_{kp}) + (a_{1k},\cdots,a_{pk})\}\boldsymbol{\beta} \\
&=& (\boldsymbol{a}_k + \boldsymbol{a}_k^{\mathrm{T}})\boldsymbol{\beta}
\end{eqnarray}
$$

ここで

$$
A = \left(
\begin{array}{cccc}
a_{11} & a_{12} & \ldots & a_{1p} \\
a_{21} & a_{22} & \ldots & a_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
a_{p1} & a_{p2} & \ldots & a_{pp}
\end{array}
\right)
\\
A^{\mathrm{T}} = \left(
\begin{array}{cccc}
a_{11} & a_{21} & \ldots & a_{p1} \\
a_{12} & a_{22} & \ldots & a_{p2} \\
\vdots & \vdots & \ddots & \vdots \\
a_{1p} & a_{2p} & \ldots & a_{pp}
\end{array}
\right)
$$

であるから、

$$
\frac{\partial\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta}}{\partial\boldsymbol{\beta}}
= \left(
\begin{array}{c}
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_1} \\
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_2} \\
\vdots \\
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_p}
\end{array}
\right)
= (A + A^{\mathrm{T}})\boldsymbol{\beta}
$$

となる。

参考文献

特に無し

多変量解析1 多変量分布他

多変量分布

今回は多変量解析です。線形代数の知識が必要になってきて私は少し苦手
です...。
しかし今の時代、1変量でデータ解析なんて殆ど無いでしょうからちゃんとべんきょうしなきゃですなあ。

2変量の場合について

まずは2変量の場合について見ていきましょう。まず、確率変数(random variables = r.v.) を考えます。 に対して、累積分布関数(cumlative distribution function = c.d.f.)は次で定義されます。

$$
F(x,y) = Pr\{X\le x, Y\le y \}
$$

累積分布関数が絶対連続(absolutely continuous)であるとき、偏微分がほとんどいたるところで存在し

絶対連続 - Wikipedia

$$
\frac{\partial^2F(x,y)}{\partial x \partial y} = f(x,y)
$$

及び

$$
F(x,y) = \int_{-\infty}^y \int_{-\infty}^x f(u,v)dudv
$$

が成り立つ。

※

p変量

次にp変量の場合を考える。 をr.v.とする。c.d.f.は

$$
F(x_1,x_2,\cdots,x_p) = Pr(X_1 \le x_1,X_2 \le x_2,\cdots,X_p \le x_p)
$$

が絶対連続の時、密度関数(density function)は

$$
\frac{\partial^p F(x_1,x_2,\cdots,x_p)}{\partial x_1\partial x_2 \cdots\partial x_p} = f(x_1,x_2,\cdots,x_p)
$$

また、

$$
F(x_1,\cdots,x_p) = \int_{-\infty}^{x_p}\cdots\int_{-\infty}^{x_1}f(u_1,\cdots,u_2)du_1\cdots du_p
$$

周辺分布(Marginal Distribution)

再び2変量で見ていきます。確率変数 の累積分布関数(c.d.f.)が与えられた時 の周辺分布関数は

\begin{eqnarray}
Pr\{X\le x\} &=& Pr\{X\le x,Y \le \infty\} \\
&=& F(x,\infty)
\end{eqnarray}

で与えられ、これを と表記する。また

\begin{eqnarray}
F(x) &=& \int_{-\infty}^{x}\int_{-\infty}^{\infty}f(u,v)dvdu \\
&=& \int_{-\infty}^{x}f(u)du
\end{eqnarray}

となる。 に対しても同様に求めることができる。

さて再びp変量について考えていきます。r.v. のc.d.f.として が与えられたとする。この時、周辺分布は

\begin{eqnarray}
Pr\{X_1\le x_1,\cdots,X_r\le x_r\} &=& Pr\{X_1\le x_1,\cdots,X_r\le x_r,X_{r+1} \le \infty,\cdots,X_p\le \infty\} \\
&=& F(x_1,\cdots,x_r,\infty,\cdots,\infty)
\end{eqnarray}

ここで の周辺密度は

$$
\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(u_1,\cdots,u_p)du_{r+1}\cdots du_{p}
$$

で与えられる。

今日はここまで

まだ定義とか書いただけだけどここまでだな...勉強始めたばかりでまだ良く見えてこない...

参考文献

Anderson T.W.(1958)『An Introduction to Multivariate Statistical Analysis』 John Wiley & Sons

最小二乗法(単回帰)

理系の大学に入って、最初の年。物理学などの実験をかせられるところも多いだろう。その時、実験値に対して最小二乗法をしてグラフを書け！みたいなことを言われると思う。
私自身が物理学の実験を行っていた時も最小二乗法を使っていたが、何をしている課さっぱりわからなかった。実験前の授業で前準備として前で物理科の教授が高速で最小二乗法の導出を行っていたが当時はとりあえず実験データを与えられた式に当てはめて、その値をただ使っていただけだった。

ここでは、最小二乗法とは何がしたいのか。そしてその導出を行う。

記号の確認

最小二乗法に入る前に、各記号の定義?を確認しておく。

\begin{eqnarray}
\bar{x} &=& \frac{1}{n}\sum_{i=i}^n x_i \\
\bar{y} & =& \frac{1}{n}\sum_{i=1}^n y_i \\
s_x^2 &=& \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 \\
s_y^2 &=& \frac{1}{n}\sum_{i=1}^n (y_i - \bar{y})^2 \\
r_{xy} &=& \frac{s_{xy}}{s_x s_y} = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^n (x_i - \bar{x})^2 \sum_{i=1}^n(y_i - \bar{y})^2}}
\end{eqnarray}

上から、 の平均、分散、 と の相関係数である。

※相関係数は直線的関係を図る尺度である。

単回帰,重回帰,説明変数,従属変数

相関係数 が に近く正(負)の相関が認められる時、一方の変数を他方の変数の1次関数として表すことができると考えられる。つまり、 を の関数として考えた時、

$$
y = a + bx
$$

というモデルを考えることができる。このモデルを線形回帰モデル、このモデルを用いた分析を回帰分析という。

この時 を説明変数(独立変数) を 従属変数(被説明変数)という。

説明変数が1個 ・・・・・ 単回帰

説明変数が2個以上 ・・・ 重回帰

となる。

最小二乗法(単回帰)

ここでは説明変数が一つの単回帰の最小二乗法について説明する。
個の観測値 を考える。この時、 個の観測値に対して、

\begin{eqnarray}
y_i &=& a + bx_i
\end{eqnarray}

という回帰モデルを考える。観測値が一つの直線上に乗ることはありえないので、
回帰式の誤差を小さくする を推定値とすることになる。

回帰式の誤差

\begin{eqnarray}
y_i -(a + bx_i)
\end{eqnarray}

しかし、このまま足してしまうと、値に正負が存在するため、誤差の大きさを図ることができないそのため最小二乗法では上記の式を二乗したものをすべて足し合わせたものを用いる。つまり

\begin{equation}
\mathcal{Q} = \sum_{i=1}^n\{y_i - (a + bx_i)\}^2
\end{equation}

これは非負値の二次式であり、これを について偏微分した式を とするような が を最小化する である。よって以下の連立方程式の解が求める推定値 である。

\begin{eqnarray}
\left\{
\begin{array}{l}
\frac{\partial \mathcal{Q}}{\partial a} = -2\sum_{i=1}^n\{y_i - (a+bx_i)\} = 0 \\
\frac{\partial \mathcal{Q}}{\partial b} = -2\sum_{i=1}^n x_i\{y_i - (a+bx_i)\} = 0 \\
\end{array}
\right.
\end{eqnarray}

\begin{eqnarray}
\Leftrightarrow \left\{
\begin{array}{l}
\sum_{i=1}^n\{y_i - (\hat{a}+\hat{b}x_i)\} = 0 \\
\sum_{i=1}^n x_i\{y_i - (\hat{a}+\hat{b}x_i)\} = 0 \\
\end{array}
\right.
\end{eqnarray}

\begin{eqnarray}
\Leftrightarrow \left\{
\begin{array}{l}
\sum_{i=1}^n y_i = \hat{a}n + \hat{b}\sum_{i=1}^n x_i \\
\sum_{i=1}^n x_i y_i = \hat{a}\sum_{i=1}^n x_i + \hat{b}\sum_{i=1}^n x_i^2
\end{array}
\right.
\end{eqnarray}

\begin{eqnarray}
\Leftrightarrow \left\{
\begin{array}{l}
\bar{y}= \hat{a} + \hat{b}\bar{x} \\
\frac{1}{n}\sum_{i=1}^n x_i y_i = \hat{a}\bar{x} + \hat{b}\frac{1}{n}\sum_{i=1}^n x_i^2
\end{array}
\right.
\end{eqnarray}

\begin{eqnarray}
\Leftrightarrow \left\{
\begin{array}{l}
\hat{a} = \bar{y} - \hat{b}\bar{x} \\
\frac{1}{n}\sum_{i=1}^n x_i y_i - \bar{x}\bar{y} = \hat{b}(\frac{1}{n}\sum_{i=1}^n x_i^2 - \bar{x}^2)
\end{array}
\right.
\end{eqnarray}

\begin{eqnarray}
\Leftrightarrow \left\{
\begin{array}{l}
\hat{a} = \bar{y} - \hat{b}\bar{x} \\
\hat{b} = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n(x_i - \bar{x})^2} = \frac{s_{xy}}{s_{x^2}} = \frac{r_{xy}s_y}{s_x}
\end{array}
\right.
\end{eqnarray}

したがって推定された回帰直線は

\begin{equation}
\hat{y} = \hat{a} + \hat{b}x = \bar{y} + \hat{b}(x-\bar{x}) = \bar{y} + (\frac{s_{xy}}{s_{x^2}})(x-\bar{x})
\end{equation}

これを推定回帰直線または標本回帰直線という。これを式変形すると

\begin{eqnarray}
(\frac{\hat{y} - \bar{y}}{s_y}) &=& r_{xy}(\frac{x-\bar{x}}{s_x})
\end{eqnarray}

とかける。この形は覚えやすいので、覚えておくといいだろう。

まとめ

最小二乗法の考え方の基本は誤差を小さくすることにある。この点だけ気をつけていれば、後の操作は極めて当然のものだと思えるだろう。最後にもう一度推定値を示しておく。

\begin{eqnarray}
\left\{
\begin{array}{l}
\hat{a} = \bar{y} - \hat{b}\bar{x} \\
\hat{b} = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n(x_i - \bar{x})^2} = \frac{s_{xy}}{s_{x^2}} = \frac{r_{xy}s_y}{s_x}
\end{array}
\right.
\end{eqnarray}

参考文献

高澤俊幸・勝野健太郎・服部真・山内恒人(2005)『モデリング』社団法人 日本アクチュアリー会.
稲垣宣生(2013)『数理統計学』(数学シリーズ)裳華房.

【デレステ】ありすPが33万円分1000連越えの爆死をしたそうですが、検定してみたいと思う。

デレステのガシャ確率は本当に正しいのか？消費者には見えないガシャ確率を統計的に考える

twitterを眺めていたら、最近よく見るソシャゲ爆死記事を見つけました。今回目にしたのは1000連越えのデレステガシャをして目的のキャラ(橘ありす)のSSレアが出なかったということ。

多分これが目的のヤツです。

いましたいました。

提供割合を見てみると...

SSレアは1.5%、SSレアの種類は26種類。

ほうほう....

となると、目的のありすが当たる確率は単純計算で

と考えられます。

ここでは、何連して全くでなければ、この示されてる確率が怪しくなってくるか...

つまりは、何連して目的のキャラが出なかったら運営に文句言えるのか、を、検定していきます。

先の計算から、運営が示している(？)「はじめての表情」橘ありすが1回のガシャで当たる確率は

$$
p_0=\frac{15}{26000}
$$

になります。私たちは本当にこの確率なの？もっと低いんじゃないの？と疑ってるわけですので以下のように検定問題を考えます。

\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : p = p_0 = \frac{15}{26000} \\
H_1 : p < p_0
\end{array}
\right.
\end{eqnarray}

は帰無仮説、は対立仮説になります。これを有意水準5%で検定していきます。

統計量は

$$
T = \frac{\hat{p}-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}
$$

になります。

ここで、棄却域を考える。
標本数は大きいと考えるのでこの統計量は標準正規分布に近似的に従う。
この検定は片側検定なので、有意水準5%で棄却域は

$$
T<-z(0.05)
$$

となる。つまり、統計量Tが標準正規分布左側５％の値よりも小さいなら帰無仮説は棄却され、運営側が提示している確率より、実際の確率は低いと言える。

これを用いて、何回引いて出ないならば運営に文句が言えるのかを考える。

n回ガシャして、1回もありすは出ないので標本比率はとなる。

これを用いて実現値は

$$
T^*= \frac{0-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}
$$

これに、他の値も代入して先の不等式をnについて解くと

\begin{eqnarray}
\frac{0-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} &<& -z(0.05) \\
n &>& z(0.05)^2\frac{1-p_0}{p_0} \\
\therefore n &>& 4659.3
\end{eqnarray}

となり、標本数が4660以上の時、帰無仮説は棄却されます。

以上から、SSレア各キャラの提供割合が等しいと仮定して計算した場合、上記の回数、4660回ガシャをして目的のカードが出なかったらまず、運営の表示している提供割合は正しいと考えることは統計的にはできません。

つまり、今回のありすPさんは1000連越えのガシャを回して出ていませんが、この試行回数ではまだ運が悪かったと言わざるを得ません。

ありすのガシャ出現確率は上がっているそうですが...それでもほんのすこしでしょう...。4000ガシャは覚悟したほうがいいのかもしれません。

現状、デレステ運営に文句をいうことはできないということになります。

さてところで、デレステ運営に文句を言える4660回ガシャをするにはどれくらいお金がかかるのでしょうか....

すべて有償ジュエルで賄うとして考えます。

上の画像を見てみると8400個9800円がおそらくいちばん単価が小さいのだと思われます。（PS4の最新ゲーム１つ買える...）
一回のガシャに必要なスタージュエルは250個。4660回ガシャしたいので

$$
250 \times 4660 = 1,165,000
$$

1,165,000個のスタージュエルが必要になります。これを満たす数8400個9800円のスタージュエルのセット数は

$$
1165000/8400 \simeq 138.7
$$

より139セット買う必要がある。

つまり、運営に文句を言える4660回ガシャを引くためには

$$
9800 \times 139 = 1,362,200
$$

より約136万2200円の課金が必要になってきます。(うわあ....)

100万以下の課金はぬるいと...そういうことですかね...
目的のキャラを当てようと思って課金するのは完全に泥沼ルートです...

ソシャゲの闇は深い。

ガンマ(Gamma)関数とガンマ分布

普段勉強していてガンマ関数の取り扱いに難があるのでここにまとめいておこうと思います。

ガンマ関数

定義

$$
\Gamma(s) = \int_{0}^{\infty}x^{s-1}\mathrm{e}^{-x}dx \;\;\;\;\;(s > 0)
$$

ガンマ関数は上記の式で表されます。 は収束条件です。

特徴

ガンマ関数の主な特徴を列挙していきます。

$$
\Gamma(s+1) = s\Gamma(s)
$$

の時、

$$
\Gamma(n) = (n-1)!
$$

になる。ただし、

$$
\Gamma(1) = \int_{0}^{\infty}\mathrm{e}^{-x}dx = [-\mathrm{e}^{-x}]_{0}^{\infty} = 1
$$

証明
$$
\begin{eqnarray}
\Gamma (s+1) & = & \int_{0}^{\infty}x^s\mathbb{e}^{-x}dx \\
& = & [x^s(-\mathbb{e}^{-x})]_{0}^{\infty} + s\int_0^{\infty}x^{s-1}\mathbb{e}^{-x}dx \\
& = & s\Gamma (s) \;\;\;\;\; (\because s>0)
\end{eqnarray}
$$

置換

による置換
より、
$$
\Gamma (t) = \int_0^{\infty} u^{2(t-1)} \mathbb{e}^{-u^2} 2udu = 2\int_0^{\infty} u^{2t-1} \mathbb{e}^{-u^2}du
$$

となる。これを用いて

$$
\begin{eqnarray}
\Gamma (\frac{1}{2}) &=& 2\int_0^{\infty} x^{2\frac{1}{2}-1} \mathbb{e}^{-x^2}dx \\
&=& 2\int_0^{\infty}\mathbb{e}^{-x^2}dx \\
&=& 2\frac{\sqrt{\pi}}{2} \\
&=& \sqrt{\pi}
\end{eqnarray}
$$

これはよく使われるので覚えておいたほうがいいと思います。

注)

と置く。

$$
\begin{eqnarray}
I^2 &=& \int_0^{\infty}\mathbb{e}^{-x^2}dx \int_0^{\infty}\mathbb{e}^{-y^2}dy \\
&=&\int_0^{\infty}\int_0^{\infty} \mathbb{e}^{-(x^2+y^2)}dxdy \\
\end{eqnarray}
$$

ここで、 と置くと。

$$
\begin{eqnarray}
I^2 &=& \int_0^{\frac{\pi}{2}}\int_0^{\infty}\mathbb{e}^{-r^2} r drd\theta \\
&=& \frac{\pi}{2}\cdot [-\frac{1}{2}\mathbb{e}^{-r^2}]_0^{\infty} \\
&=& \frac{\pi}{4} \\
\therefore I &=& \frac{\sqrt{\pi}}{2} \;\;\;\; (\because I > 0)
\end{eqnarray}
$$

ガンマ分布

確率密度関数

定義にガンマ関数が用いるためガンマ分布という。 で表記する。
で正の定数 (パラメータ)をとり、確率変数 の確率密度関数は

$$
f_X(x) = \frac{\lambda^a}{\Gamma(a)}x^{a-1}\mathbb{e}^{-\lambda x}
$$

で与えられる。

再生性

ガンマ分布は再生性を持ち、 で独立のとき

$$
X + Y ～ \Gamma(a+b,\lambda)
$$

となる。積率母関数を用いて求める。

期待値

ガンマ分布の期待値を求めていく。
とする。

$$
\begin{eqnarray}
E(X) &=& \int_0^{\infty}x\frac{\lambda^a}{\Gamma(a)}x^{a-1}\mathbb{e}^{-\lambda x}dx \\
&=& \frac{\lambda^a}{\Gamma(a)} \int_0^{\infty}x^a \mathbb{e}^{-\lambda x}dx \\
&=& \frac{\lambda^a}{\Gamma(a)}\int_0^{\infty}(\frac{u}{\lambda})^a \mathbb{e}^{-u} \frac{1}{\lambda}du \\
&=& \frac{\lambda^a}{\Gamma(a)}\frac{1}{\lambda^{a+1}}\int_0^{\infty}u^a \mathbb{e}^{-u}du \\
&=& \frac{1}{\lambda} \frac{\Gamma{(a+1)}}{\Gamma(a)} \\
&=& \frac{a}{\lambda}
\end{eqnarray}
$$

となる。

分散

次に分散を求めていく。

$$
\begin{eqnarray}
E(X^2) &=& \int_0^{\infty}x^2\frac{\lambda^a}{\Gamma(a)}x^{a-1}\mathbb{e}^{-\lambda x} \\
&=& \frac{\lambda^a}{\Gamma(a)}\int_0^{\infty}x^{a+1}\mathbb{e}^{-\lambda x}dx \\
&=& \frac{\lambda^a}{\Gamma(a)}\frac{\Gamma(a+2)}{\lambda^{a+2}} \\
&=& \frac{a(a+1)}{\lambda^2} \\
\therefore \;\;\; V(X) &=& E(X^2) -(E(X))^2 \\
&=& \frac{a(a+1)}{\lambda^2} - \frac{a^2}{\lambda^2} \\
&=& \frac{a}{\lambda^2}
\end{eqnarray}
$$

積率母関数

積率母関数は

$$
m_X(t) = (\frac{\lambda}{\lambda - t})^a
$$

で与えられる。

導出
$$
\begin{eqnarray}
m_X(t) &=& E(\mathbb{e}^{tX}) \\
&=& \int_0^{\infty} \mathbb{e}^{tx}\frac{\lambda^a}{\Gamma(a)}x^{a-1}\mathbb{e}^{-\lambda x}dx \\
&=& \frac{\lambda^a}{\Gamma(a)}\int_0^{\infty}x^{a-1}\mathbb{e}^{-(\lambda-t)x}dx \\
&=&\frac{\lambda^a}{\Gamma(a)}\int_0^{\infty}(\frac{u}{\lambda-t})^{a-1}\mathbb{e}^{-u}\frac{du}{\lambda-t} \\
&=& \frac{\lambda^a}{\Gamma(a)}\frac{\Gamma(a)}{(\lambda-t)^a} \\
&=& (\frac{\lambda}{\lambda-t})^a
\end{eqnarray}
$$

まとめ

確率密度関数	積率母関数	期待値	分散

参考文献

藤田岳彦(2014)『弱点克服　大学生の確率・統計』東京図書
江川博康(2014)『弱点克服　大学生の微積分』東京図書