Bayes

導入 Answers of exercises on Hoff, A first course in Bayesian statistical methods (標準ベイズ統計学の演習問題の解答例) を更新(10-4を追加)したので、このブログでもその内容をほんの少しだけ触れようと思います。 まず、この問題と教科書本文の関係について簡単に説明します。 以前 Hoff/標準ベイズのM-Hアルゴリズムがworkすることの証明でつまずいた話 という記事を書きましたが、Hoff (2009) では10章でM-Hアルゴリズムがうまくいくことの-証明を以下のステップで行っています。 M-Hアルゴリズムは、 irreducible (非可約), aperiodic (非周期的), positive recurrent (正再帰的) なマルコフ連鎖を生成する。 Ergodic Theoremより、\(s \to \infty\)で \(\mathrm{Pr}(x^{(s)} \in A) \to \pi(A)\) for any set \(A\); \(\frac{1}{S} \sum g(x^{(s)}) \to \int g(x) \pi(x) dx\). を満たす\(\pi\)が一意に存在する。 このような\(\pi\)は定常分布と呼ばれ、以下の性質を持つ If \(x^{(s)} \sim \pi\), and \(x^{(s+1)} \) is generated from the Markov chain starting at \(x^{(s)}\), then \(\mathrm{Pr}(x^{(s+1)} \in A) = \pi(A)\)....

はじめに Hoff (2009)およびHoff et al. (2022) 10.4.2 Why does the Metropolis-Hastings algorithm work? (メトロポリス・ヘイスティングスアルゴリズムはなぜうまくいくのか) で行われている証明について、つまずいた点があったので自分の中の整理がてら書いてみます。 Hoffの証明の流れ Hoff (2009)およびHoff et al. (2022)では、 M-Hアルゴリズムによって生成されたマルコフ連鎖が目標分布\(p_0\)を近似できる理由の証明が以下の流れで行われています。 M-Hアルゴリズムは、 irreducible (非可約), aperiodic (非周期的), positive recurrent (正再帰的) なマルコフ連鎖を生成する。 Ergodic Theoremより、\(s \to \infty\)で \(\mathrm{Pr}(x^{(s)} \in A) \to \pi(A)\) for any set \(A\); \(\frac{1}{S} \sum g(x^{(s)}) \to \int g(x) \pi(x) dx\). を満たす\(\pi\)が一意に存在する。 このような\(\pi\)は定常分布と呼ばれ、以下の 性質 を持つ If \(x^{(s)} \sim \pi\), and \(x^{(s+1)} \) is generated from the Markov chain starting at \(x^{(s)}\), then \(\mathrm{Pr}(x^{(s+1)} \in A) = \pi(A)\)....

久しぶりの投稿です。(読んでくれてる人はおそらく一人ですが) 自分の修論にアップデートを加えたものが、arXivにアップロードされました。 論文: Babasaki, K., Sugasawa, S., McAlinn, K. and Takanashi, K. (2024). Ensemble doubly robust Bayesian inference via regression synthesis. (arXiv:2409.06288) この論文では、 マクリン先生が作ったBayesian Predictive Synthesis (BPS)というアンサンブル手法を因果推論、特に平均因果効果(ATE)推定の文脈で拡張し、doubly robust Bayesian regression synthesis という手法を提案してます。 詳しくは論文を読んでもらえるとありがたいです。 この論文を読むうえでは以下の論文を読むことをお勧めします。 McAlinn, K. & West, M. (2019). Dynamic Bayesian Predictive Synthesis in Time Series Forecasting. (Journal of Econometrics 210: 155-169) Sugasawa, S., McAlinn, K., Takanashi, K. and Airoldi, E. A. (2023). Bayesian causal synthesis for meta-inference on heterogeneous treatment effect....

こんにちは。 大学のある授業で、中妻先生の名著『Pythonによる ベイズ統計学入門 (実践Pythonライブラリー)』 の 3.1 節までを友達のけいごくんと一緒にスライドにまとめて発表したので、そのスライドを公開します。 発表資料のリンク この資料は emacs の org-mode で作りました。 発表の内容とは関係なく、reveal.js や org-re-reveal の使い方を調べながら試行錯誤するのにとても時間がかかりました。 そのその甲斐あって、 1 番の目的であった、学部生に対してドヤ顔をかますことができました。 今度、暇なときに org-re-reveal の使い方や tips をまとめてみようと思います。 では、また今度。