バナナでもわかる話

開設当初は計量経済学・統計学が専門の大学院生でした。今はデータを扱うお仕事をしています。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

統計

一様分布の上限の推定量の比較

一様分布の不偏推定量、最尤推定量の導出を行い、各推定量の比較を行います。

統計検定1級対策問題集~一様分布編~

さて、意外と鬼門な一様分布に関する想定問題(及び過去問)とその解答例を作成して見ました。目次 離散一様分布の期待値、分散、歪度 連続一様分布の期待値、分散、歪度、積率母関数 変数変換後の分布 max,minの分布 最尤推定量 逆関数法 二番目に小さいもの…

機械学習のバイアスバリアンス分解を古典的な統計学から丁寧に解説する

今日は、バイアスバリアンス分解の話をしようと思います。 目次 はじめに 古典的な統計学におけるMSEの分解 パラメータの推定 MSEの分解 機械学習におけるバイアスバリアンス分解 予測と分類 オーバーフィット バイアスバリアンス分解 まとめ double descent…

単純パーセプトロンとマージンに関するまとめ

今日は単純パーセプトロンの話をします。 実際の現場で役に立っているのは多層パーセプトロンや、SVMですが、その基礎となるパーセプトロンについて理解しておくことは重要ですので、とりあえず一通りまとめていきます。 目次 単純パーセプトロンとは何か 数…

統計検定1級対策解説~MCMC編1~

統計検定1級の範囲表によると、いつのまにやらMCMCやベイズが追加されていますね。しかし、公式教科書は2013年出版の物しか出ていないため、その辺の範囲には対応していません。そこで、一通り何個かの記事を通して解説を行い、関連問題も上げていこうと思い…

統計検定1級対策解説~一様最強力検定編~

今回は、一様最強力検定の話をします。目次 仮説検定 帰無仮説と対立仮説 誤差の確率 一様最強力検定 単純仮説 証明 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 仮説検定 とりあえず、ザックリと仮説検定の話をしていきます。仮…

統計検定1級対策解説~情報量基準編~

今回はAICです。 AIC周りの話は、カルバックライブラー情報量とAICにどういう結びつきがあるのか概要を知っておくことが重要になってきます。 AICとは 何の役に立つんだって話 オーバーフィットとは AICの式の意味 AICを使ってみる 余談(機械学習でよく使わ…

統計検定1級対策問題集~フィッシャー情報量編~

統計検定1級では、フィッシャー情報量を求める問題が頻出しています。そこで、フィッシャー情報量についてまとめました。目次 フィッシャー情報量とは フィッシャー情報量の第二の導出 フィッシャー情報量(行列)の具体例 ベルヌーイ分布 正規分布 スポンサ…

十分統計量に関する小話

ここ最近、統計検定関連の記事が続いていますね。統計検定の範囲の中に「十分統計量」という単元があります。前に2記事くらい練習問題記事を書きましたが、今回は十分統計量についてツラツラ思っていることを書いていきます。完全に個人の感想です。 スポン…

統計検定1級対策問題集~最尤推定量編~

統計検定1級では、最尤推定量を求める問題が頻出しています。そこで、最尤推定量を求める問題についてまとめました。目次 一様分布 パラメータ1つの場合 パラメータが2つの場合 ベルヌーイ分布 ポアソン分布 正規分布 指数分布 スポンサーリンク (adsbygoogl…

統計検定1級対策問題集~十分統計量編2~

十分統計量に関する問題2記事目です。目次 ラオブラックウェルの定理 ラオブラックウェルの定理とは ラオブラックウェルの定理証明 フィッシャーネイマンの分解定理 負の二項分布 ガンマ分布 一様分布 リンク スポンサーリンク (adsbygoogle = window.adsbyg…

統計検定1級対策問題集~十分統計量編1~

今回は十分統計量に関する問題をまとめていきます。少し量が多いので、2回に分けます。 目次 十分統計量とは フィッシャーネイマンの分解定理 フィッシャーネイマンの分解定理 ベルヌーイ分布 ポアソン分布 正規分布 分解定理を使わない例 スポンサーリンク …

統計検定1級対策問題集~ベータ分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回はベータ分布関連。 ガンマ分布の時と同様、部分積分をループさせる計算がい…

統計検定1級対策問題集~ガンマ分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回はガンマ分布関連。 ガンマ関数の処理に慣れるまでは難しいかもしれません。 …

統計検定1級対策問題集~指数分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回は指数分布関連。 今回はそんなに難しい話はないです。 スポンサーリンク (ad…

統計検定1級対策問題集~正規分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回は正規分布関連。 多変量正規分布はまた別記事でやるとして、今回は1変量の正…

統計検定1級対策問題集~負の二項分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回は負の二項分布関連。 統計検定1級は、割と分布の畳み込みと、モーメント関連…

統計検定1級対策問題集~ポアソン分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回はポアソン分布関連。 統計検定1級は、割と分布の畳み込みと、モーメント関連…

統計検定1級対策問題集~二項分布編~

統計検定1級対策のために役立ちそうな計算問題をまとめるやつやっていきます。 統計検定前の最終チェックや、統計検定の勉強何をすれば分からないという場合に活用ください。 今回は二項分布関連。 統計検定1級は、割と分布の畳み込みと、モーメント関連の計…

企業でのデータ解析は、「動くコードが書ける」だけではダメみたい

こんにちは! 最近ブログの更新が滞ってしまっていて申し訳ないです。前にもお伝えしていた通り、某社で1か月ほどデータサイエンティストとしてインターンをさせていただいています。今回は、そこで勤めてみて、初めて知ったことを雑記していこうと思います…

1週間で知識ゼロの初心者がSQL操作を身に着ける方法

インターン先で急にSQLが必要と言われ、急遽身に着ける必要が生じ、本当に何も知らない状態からのスタートだったのですが、結構簡単に身について、今はそこそこスムーズにデータを取り出すことが出来るようになりました。メモがてら何をやったか書いていこう…

ゼロ過剰負の二項回帰のStanによる実装

今回は、ゼロ過剰負の二項回帰モデルをやりたいと思います。 なんか名前がゴツゴツしいですね。 とりあえず、今回もStanコードを書くのがメインなので、モデル部分はザックリいきます。目次 モデル ゼロ過剰とは 負の二項分布 負の二項回帰 Stanによる実装 …

階層ベイズ生存解析を用いたwebサイトの訪問者分析に関するStanでの実装

今回も少し難しめの話。 前回生存解析についてまとめたので、生存解析を使っているマーケティングモデルでも勉強してみようかと探してみたところ、次の論文があったので、論文モデルを整理しながらStanで実装してみようと思います。前回の生存解析の記事 www…

Rで行える生存解析を出来る限り初歩から解説してみる~ハザード率、cox比例ハザード、ログランク検定等~

今回は生存解析をやろうと思います。 生存解析に関する解説をしているブログは巷に溢れかえっていますが、他のブログよりもハザード率の解説を丁寧に行うことにより差別化を図っていければいいなと思っています。目次 ハザード率(Hazard Rates) 2種類のハザ…

消費者の情報探索行動の目的を反映した購買モデルをStanで実装する

今回も中々高度な話をやっていきます。消費者は何か物を買うときに「情報探索行動」を行います。 しかし、情報探索行動は特に物を買う気の無い消費者も行います。 例えば、特に買いたいものはないけど、流行をチェックするために服屋をぶらつくだとか、本屋…

多項プロビットモデルの最尤推定をRで行う方法と数理、気を付けるべき点

今回は多項プロビットモデルです。少々高度な内容になります。目次 多項プロビットモデル 具体例 数式 与えられているデータ 購買情報を踏まえた尤度 GHKアルゴリズム Rによる多項プロビット回帰 使用するデータ mlogit.data関数 mlogit関数 実行&結果 多項…

Rで多変量正規分布の最尤推定量を求める

今回は多変量正規分布についてやっていこうと思います。目次 多変量正規分布とは 求めたいパラメータ 使用する関数 mvnorm関数 optim関数 Rで実装 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 多変量正規分布とは n次元確率変数ベ…

R言語で勾配とヘシアンを出力する関数を作成する

Rには、微分して値を出力したり、ヘシアンを出力する既存関数としてderiv関数というものがあるみたいなのですが、 なんかネットで調べて試してみても、何か使い方がよくわかんなかったので、まどろっこしくなって作りました。関数形と微分したい変数名、変数…

Rで線形回帰において総当たり法を行う関数を作成する

今回は、前回書いた0と1の組み合わせを全て出力する関数を応用して、説明変数選択の自動化(総当たり法)を行ってみたいと思います。 ちなみに前回書いた記事とはこちら Rで任意の個数の0と1の組み合わせパターンを出力する関数を作る - バナナでもわかる話 何…

Rで任意の個数の0と1の組み合わせパターンを出力する関数を作る

今回はタイトルのような関数を作ってみたいと思います。 0と1の組み合わせってなんやねんっていうと、例えば2個のもので考えるならこんな感じ。この組み合わせの総数はあるので、手作業で頑張るのは個数が大きくなってくるとしんどいです。 ※5個の時点で32パ…