Hoff

導入 Answers of exercises on Hoff, A first course in Bayesian statistical methods (標準ベイズ統計学の演習問題の解答例) を更新(10-4を追加)したので、このブログでもその内容をほんの少しだけ触れようと思います。 まず、この問題と教科書本文の関係について簡単に説明します。 以前 Hoff/標準ベイズのM-Hアルゴリズムがworkすることの証明でつまずいた話 という記事を書きましたが、Hoff (2009) では10章でM-Hアルゴリズムがうまくいくことの-証明を以下のステップで行っています。 M-Hアルゴリズムは、 irreducible (非可約), aperiodic (非周期的), positive recurrent (正再帰的) なマルコフ連鎖を生成する。 Ergodic Theoremより、\(s \to \infty\)で \(\mathrm{Pr}(x^{(s)} \in A) \to \pi(A)\) for any set \(A\); \(\frac{1}{S} \sum g(x^{(s)}) \to \int g(x) \pi(x) dx\). を満たす\(\pi\)が一意に存在する。 このような\(\pi\)は定常分布と呼ばれ、以下の性質を持つ If \(x^{(s)} \sim \pi\), and \(x^{(s+1)} \) is generated from the Markov chain starting at \(x^{(s)}\), then \(\mathrm{Pr}(x^{(s+1)} \in A) = \pi(A)\)....

はじめに Hoff (2009)およびHoff et al. (2022) 10.4.2 Why does the Metropolis-Hastings algorithm work? (メトロポリス・ヘイスティングスアルゴリズムはなぜうまくいくのか) で行われている証明について、つまずいた点があったので自分の中の整理がてら書いてみます。 Hoffの証明の流れ Hoff (2009)およびHoff et al. (2022)では、 M-Hアルゴリズムによって生成されたマルコフ連鎖が目標分布\(p_0\)を近似できる理由の証明が以下の流れで行われています。 M-Hアルゴリズムは、 irreducible (非可約), aperiodic (非周期的), positive recurrent (正再帰的) なマルコフ連鎖を生成する。 Ergodic Theoremより、\(s \to \infty\)で \(\mathrm{Pr}(x^{(s)} \in A) \to \pi(A)\) for any set \(A\); \(\frac{1}{S} \sum g(x^{(s)}) \to \int g(x) \pi(x) dx\). を満たす\(\pi\)が一意に存在する。 このような\(\pi\)は定常分布と呼ばれ、以下の 性質 を持つ If \(x^{(s)} \sim \pi\), and \(x^{(s+1)} \) is generated from the Markov chain starting at \(x^{(s)}\), then \(\mathrm{Pr}(x^{(s+1)} \in A) = \pi(A)\)....