統計・確率のお勉強

統計学を中心に色々勉強するブログ

FACT FULNESS読みました

久しぶりの投稿です(いつも)。 2ヶ月くらい前?だったかに受けた応用情報処理技術者の合格通知がやっときました。一応IT企業に勤めているからと思って取得したのですが、普段コーディングとかしかしてないんであんまり内容が身近に感じないんですよね。業…

はてなブログでjavascriptが書けることを知った

足し算するだけのコードを試しに書いてみた。 最近仕事でjavascriptを書く機会があったこともあり、ふと思った。普段書いてるブログってjavascript埋め込めたら結構色々なことできね?と。 調べたらはてなブログはjavascriptを埋め込むことができるらしい。 …

ベイズ統計:パラメータの点推定

久しぶりなので少し短めに・・・ 大学卒業して少し統計離れてましたけど、土日やることもないので、前々から気になっていたベイズ統計の勉強でも少しづつ始めていこうと思います。 パラメータの点推定 点推定 未知であるパラメータの値をデータから推定する…

正規性の検定(Shapiro-Wilk検定)

正規性の検定 データを分析するにあたり、 データが正規分布に従う データが独立な標本である といった仮定を置くことは多い。そのような場合に分析をする際、これら二つの仮定が満たされているか確認する必要が出てくる。そのための手法として統計的仮説検…

収益率の相関を見る

相関係数 二つの銘柄の収益率データを とする。この時相関係数は$$ corr(X,Y) = \frac{ \sum_{t=1}^T (x_t - \bar{x})(y_t - \bar{y}) }{\sqrt{\sum_{t=1}^T (x_t - \bar{x})^2} \sqrt{\sum_{t=1}^T (y_t - \bar{y})^2} } $$で定義される。今回は散布図行列…

<時系列データ分析>ボラティリティを見る〜Pythonと株価データを使ってお勉強〜

ボラティリティ ちゃんと本を読むまでボラティリティ のことを単純に標準偏差だと思っていたが、どうやら定義がいくつかあるようだ。詳しくはないのでWikipediaから引用する。 金融工学においてボラティリティ(volatility)とは、広義には資産価格の変動の…

<時系列データ解析> 株価をプロット〜Pythonと株価データを使って勉強する〜

主に参考にする本 「現場ですぐ使える時系列データ分析 データサイエンティストのための基礎知識」を中心に勉強して行きたいと思う。 この本にした理由は 内容がそこまで難しくない Rで実行し、手を動かしながら学べるスタイル 扱うデータが株価と自分の興味…

学生時代にやっておくべきこと1位はなぜかいつも「海外旅行」

マ○ナビからメールが来た 「社会人に聞いた!内定者が入社までにやっておいた方がいい遊びTOP10!」 という記事がメールマガジンで紹介されてたので気になって見てみました。 そこには次のようにランキング形式でやっておいた方がいい遊びが紹介されていまし…

カイ二乗分布の自由度を大きくしていくと同じ平均, 分散の正規分布と変わらなくなる話

カイ二乗分布 カイ二乗分布は大丈夫だと思いますが, のとき,$$ \sum_{i=1}^n X_i^2 \sim \chi_n^2 $$となります. 自由度 のカイ二乗分布に従うということです. カイ二乗分布が正規分布 に近づいていく様子 今回は自由度 が大きくなるにつれて, カイ二乗分布…

統計学を学ぶのにおすすめの問題集3冊

統計学を勉強しようと考えている方向けにレベル別におすすめの問題集を紹介する。統計検定やアクチュアリー等を考えている人にも十分なレベルを備えている問題集達なのでぜひ参考にしてください。※統計検定準1級以上は範囲が広がるためここにある問題集だけ…

標本(不偏)分散の期待値, 分散[正規分布]

正規分布に従う確率変数の期待値, 分散等は統計に関連する本ならばまず間違いなく載っています. しかし, 標本(不偏)分散の期待値, 分散となってくるとなかなか取り扱っている本もサイトも少ない気がします. 定義から求めればいいといえばいいのですが, バカ…

Daftでグラフィカルモデルを作成してみる[Python]

森北出版の「Pythonで体験するベイズ推論」を読み進めていたら、2章で、Pythonのdaftというライブラリを用いて、グラフィカルモデルを作っていたのですが、そのソースコードは載っていなかったので自分で作ってみました。作ったのは以下のグラフィカルモデル…

多項分布

多項分布 多項分布 基本性質 確率関数 期待値 分散 共分散 多項分布の例 参考文献 基本性質 確率関数 期待値 分散 共分散 確率関数 1回の試行でk通りの可能な結果のいずれか1つのみが生じ、とする。この試行を独立にn回繰り返したときに、が生じる回数をと…

「分かりやすい説明」という聞き手(読み手)の怠慢

「説明力」を求められる理系 最近、世の中から、特に理系に求められる能力として説明力がある。Wikipediaのような集合知、そこそこ専門的な知識でもググれば、その内容(理解できるかは別として)をすぐにでも確認することのできる時代に、専門用語をならべて…

ベータ関数,ベータ分布

ベータ関数 定義 が正の定数のとき、下記右辺の定積分を、の関数と考え、ベータ関数と呼ぶ。$$ B(p, q) = \int_0^1 x^{p-1} (1-x)^{q-1} dx \;\;\; (p,q > 0) $$ ベータ関数とガンマ関数の関係 ベータ関数と、ガンマ関数の間には次の関係がある。 $$ B(p,q) …

一般逆行列の定義と存在

大学教養レベルで扱う線形代数では、逆行列は「正則行列(非特異行列)」である必要があり、がフルランクであることが逆行列を持つ必要十分条件であった。しかし、行列が特異(逆行列を持たない、フルランクでない)である場合でも、逆行列を持つように、逆行列…

無限のパラドクス〜数学から見た無限論の系譜〜を読んで

理工系の新書として有名なレーベルの「BLUE BACKS」の本で、足立恒雄先生の著書、「無限のパラドクス」を読みました。 この本は、現代の無限論にたどり着くまでの歴史的経緯について非常に簡潔に分かりやすく書かれており、高校レベルの数学の知識があれば難…

日記的なの「統計の誤用を防ぐ書籍」

本日新宿の紀伊国屋に立ち寄りました。現在紀伊国屋では 「ダメな統計学を防ぐための書籍」 フェア?をやってるのか、理工書の階に行くと、中央のわかりやすい所にコーナーが設置されています。そこで見つけたフリーペーパーで「ダメな統計学を防ぐための書…

「ダメな統計学~悲惨なほど完全なる手引書~」レビュー

先月あたりに本屋によった際に見つけ、ずっと気になっていた「ダメな統計学~悲惨なほど完全なる手引書」をついに購入してしまいました。 2017年2月時点でAmazon、確率・統計カテゴリ1位を獲得したベストセラーです。 ※上記画像はAmazonにリンクしています 内…

ガウス積分

統計学を学んでいるとよく出てくるのがガウス積分です。ガウス積分は求め方を知っていれば対して解を得るのは対して難しくは無いですが、いちいち求めるには少し手間です。なので、積分結果を覚えておく。公式的に暗記してしまうと、話がスムーズに進みます…

多変量解析~同時分布(Joint Distribution)~

久々にこのブログを書きます...前回書いたのはいつだったか...。最近はTexにまとめてるんでこっちのことを完全に忘れてました...研究室に配属されて、多変量解析の勉強が本格的に始まってきました。まだ、ほとんどやっていないに等しいですが、気が向いた時…

数理統計学の勝利~ニューヨークタイムズのネイト・シルバーの数理モデル予測が全50州で的中~(外部記事)

統計学がアメリカで政治学者相手に大勝したようですね。 政治学者はどのような思考回路で政治予測や分析をしてるかはわかりませんが、計算機によって膨大なデータを処理することになったこの時代、1人の人間が持つ経験や思考では、もはや上回ることはできな…

多変量解析~多変量正規分布の標準化~

1変量の時の標準化はそんなに苦では無いですよね?ここではp変量の多変量正規分布の標準化をやっていきたいと思います。 まずは多変量正規分布の確認 とする。 は正定値行列より なる正則行列 が存在する。 多変量正規分布 標準化 とする。これの逆変換が で…

ベクトル微分

多変量解析を勉強するにあたって、必要になることがあるのがベクトルの微分である。まずはまとめから $$ \begin{eqnarray} \frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} &=& \boldsymbol{C} \tag{1} \\ \fr…

多変量解析1 多変量分布他

多変量分布 今回は多変量解析です。線形代数の知識が必要になってきて私は少し苦手 です...。 しかし今の時代、1変量でデータ解析なんて殆ど無いでしょうからちゃんとべんきょうしなきゃですなあ。 2変量の場合について まずは2変量の場合について見ていきま…

最小二乗法(単回帰)

理系の大学に入って、最初の年。物理学などの実験をかせられるところも多いだろう。その時、実験値に対して最小二乗法をしてグラフを書け!みたいなことを言われると思う。 私自身が物理学の実験を行っていた時も最小二乗法を使っていたが、何をしている課さ…

【デレステ】ありすPが33万円分1000連越えの爆死をしたそうですが、検定してみたいと思う。

デレステのガシャ確率は本当に正しいのか?消費者には見えないガシャ確率を統計的に考える twitterを眺めていたら、最近よく見るソシャゲ爆死記事を見つけました。今回目にしたのは1000連越えのデレステガシャをして目的のキャラ(橘ありす)のSSレアが出なか…

ガンマ(Gamma)関数とガンマ分布

普段勉強していてガンマ関数の取り扱いに難があるのでここにまとめいておこうと思います。 ガンマ関数 定義 $$ \Gamma(s) = \int_{0}^{\infty}x^{s-1}\mathrm{e}^{-x}dx \;\;\;\;\;(s > 0) $$ガンマ関数は上記の式で表されます。 は収束条件です。 特徴 ガン…

損保数理の問題集

久々の更新です。最近は問題集での勉強をメインでやっているので、余り書くことがなくて...問題集をやっていて思うのが大学1,2年で以下に勉強していなかったかというね...確率統計の勉強をしてるわけですが、実際に問題を解いてて思うのが、微積が結構できな…

正規分布

連続型モデルで、統計確率の中でも最も有名で重要な分布である正規分布について。正規分布は で表される。 確率密度関数 確率密度関数は上記で表される。平均は 分散が また、 の時、標準正規分布と呼ばれ、で確率密度関数は表される。 標準化 標準化を行う…