バナナでもわかる話

開設当初は計量経済学・統計学が専門の大学院生でした。今はデータを扱うお仕事をしています。統計学・経済学・投資理論・マーケティング等々に関する勉強・解説ブログ。ときどき趣味も。極力数式は使わずイメージで説明出来るよう心掛けていますが、時々暴走します。

統計学雑記

一様分布の上限の推定量の比較

一様分布の不偏推定量、最尤推定量の導出を行い、各推定量の比較を行います。

機械学習のバイアスバリアンス分解を古典的な統計学から丁寧に解説する

今日は、バイアスバリアンス分解の話をしようと思います。 目次 はじめに 古典的な統計学におけるMSEの分解 パラメータの推定 MSEの分解 機械学習におけるバイアスバリアンス分解 予測と分類 オーバーフィット バイアスバリアンス分解 まとめ double descent…

統計検定1級対策解説~情報量基準編~

今回はAICです。 AIC周りの話は、カルバックライブラー情報量とAICにどういう結びつきがあるのか概要を知っておくことが重要になってきます。 AICとは 何の役に立つんだって話 オーバーフィットとは AICの式の意味 AICを使ってみる 余談(機械学習でよく使わ…

十分統計量に関する小話

ここ最近、統計検定関連の記事が続いていますね。統計検定の範囲の中に「十分統計量」という単元があります。前に2記事くらい練習問題記事を書きましたが、今回は十分統計量についてツラツラ思っていることを書いていきます。完全に個人の感想です。 スポン…

企業でのデータ解析は、「動くコードが書ける」だけではダメみたい

こんにちは! 最近ブログの更新が滞ってしまっていて申し訳ないです。前にもお伝えしていた通り、某社で1か月ほどデータサイエンティストとしてインターンをさせていただいています。今回は、そこで勤めてみて、初めて知ったことを雑記していこうと思います…

1週間で知識ゼロの初心者がSQL操作を身に着ける方法

インターン先で急にSQLが必要と言われ、急遽身に着ける必要が生じ、本当に何も知らない状態からのスタートだったのですが、結構簡単に身について、今はそこそこスムーズにデータを取り出すことが出来るようになりました。メモがてら何をやったか書いていこう…

消費者の情報探索行動の目的を反映した購買モデルをStanで実装する

今回も中々高度な話をやっていきます。消費者は何か物を買うときに「情報探索行動」を行います。 しかし、情報探索行動は特に物を買う気の無い消費者も行います。 例えば、特に買いたいものはないけど、流行をチェックするために服屋をぶらつくだとか、本屋…

多項プロビットモデルだけで1冊書いてる本を見つけた

今日大学の図書館の書庫を彷徨っていたら、面白そうな本を見つけました。Multinomial Probit: The Theory and Its Application to Demand Forecasting なんとこの本、multinomial probit(多項プロビットモデル)だけで1冊の本になっているらしく、多項プロビ…

Rで行える線形回帰分析法の一覧とその方法~最小二乗法・最尤法・ベイズ~

今回は、線形回帰分析に関するRでの分析法を1記事にまとめておこうと思います。目次 線形回帰分析とは シミュレーション用データ 最小二乗法 計算 Rによる最小二乗法 最小二乗法の特徴 最尤法 計算 Rによる最尤推定 最尤法の特徴 ベイズ 解説 Rstanによる実…

ベイズモデルの識別条件は非ベイズのそれとは違ったっぽい

前記事、疑問をなんとなく放り投げておしまいといった記事を書いたのですが www.bananarian.net わかったので補足記事書きます。スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 前回までの疑問(噂) 非ベイズでは識別不可能なモデルで…

相関関係から因果関係を判断するために注意すべきこと

今日は因果関係の話でも。スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 「収入が増えれば消費が増える」とか「広告を打てば売上が上がる」とかいったことを考えるにあたって、簡単に回帰分析をしてみましょう~!みたいな話はよく…

識別条件を満たさないモデルをベイズで解釈する(?)

今回の記事は、ちょっとある噂を耳にしたのでそれに関する検証をしようかと思います。「識別条件を満たさないモデルでもベイズだと(どういう意味合かはわからないが)解釈出来るらしい」という話を耳にしまして。 ちょっとどういう意味合いで解釈できるのか、…

相関係数の目安と解釈と注意点~舐めてかかると痛い目を見る話~

株式分析、回帰分析等々様々な場面で話題になる相関係数なんなら最近は高校でも習います。 「あー、知ってる知ってる。1か-1に近いほど直線になるんでしょう。」 でもちょっと待ってほしいんです。相関係数って意外と奥が深くて難しい代物だったりするんです…

多重共線性を回避するためのVIF基準の解釈について

前回、多重共線性の注意点を上げた後に、相関以外にも多変量での関係を見る必要があり、その方法の一つとしてVIF基準があるという話をしました。 www.bananarian.net 今回はそのVIF基準をどう解釈すべきかについて説明します。 ちなみに海外のサイトですが、…

多重共線性とは~回避の方法として相関を見るだけでは.....

線形回帰分析(単回帰,重回帰)を学ぶときによく注意すべき点として多重共線性問題というものがあります。 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 多重共線性は教科書次第で結構色々説明が違っていて、 ※これは単に教科書が想…

(株)ALBERT【3906】の株価上昇が止まらない件

ALBERTっていうAI・データサイエンス系の企業があるんですが、この企業の株価の爆上がりがいつまで経っても終わらないともっぱらの話題なのでそろそろ記事にしておきます。 (株)ALBERT【3906】とは 公式サイトはここです。 www.albert2005.co.jp AI人材の育…

統計学は最初から占い師や予知能力者を排除して物を考えている

統計学を勉強すると、やはり最初に教わるのは 不偏推定量 ではないでしょうか。 ※推定量等に関する解説記事はこちら bananarian.hatenablog.com 不偏推定量、まあ最近ではあまり重要な概念では無くなってきているんですが、個人的にこの概念は面白い意味合い…

純文系の私がガチガチの統計学を習熟した方法と経緯

結構ブログ記事ではゴリゴリ統計学や機械学習の話を記事にしている私ですが、実は生粋の文系でして、数学も大学入学時点で数学ⅠAⅡBまでしかやっていませんでした。 今回はそんな私が一体どんな本を読んで勉強してきたら、こんな記事を書くまでになったのかを…

伝統的な統計学とベイズ統計学とは

今回は、 伝統的な統計学とベイズ統計学の違いについての話 (実は違いと書くと怒られるのですが、これも後述) をしようと思います。 私事ですが、今私は愛知観光を終えたバスの中でスマホから記事を書いています。よって数式等は書くのが面倒なので一切使い…

統計学と機械学習の違いとは?

最近、機械学習やら人工知能やらAIやらその手の言葉をよく聞きます。ほうほうと思って勉強してみると、「あれ、機械学習と統計学って一緒じゃね?」と思ってみたりもしちゃうわけです。そんでもって何となく、「AIも機械学習も同じもの?なの?」とか考えて…

【初心者向け】推定値と推定量、真の値の区別は統計を勉強する上で重要です

統計カテゴリが現状マルコフ連鎖で埋まっていて、とっつきにくさがあるので、もう少し基本的な記事も書いていきます。この手の記事については統計学雑記カテゴリに入れていこうと思うので、ご覧ください。 統計学の最初の山 大学の講義、統計検定、職場で必…