Hoff/標準ベイズのM-Hアルゴリズムがworkすることの証明でつまずいた話
はじめに Hoff (2009)およびHoff et al. (2022) 10.4.2 Why does the Metropolis-Hastings algorithm work? (メトロポリス・ヘイスティングスアルゴリズムはなぜうまくいくのか) で行われている証明について、つまずいた点があったので自分の中の整理がてら書いてみます。 Hoffの証明の流れ Hoff (2009)およびHoff et al. (2022)では、 M-Hアルゴリズムによって生成されたマルコフ連鎖が目標分布\(p_0\)を近似できる理由の証明が以下の流れで行われています。 M-Hアルゴリズムは、 irreducible (非可約), aperiodic (非周期的), positive recurrent (正再帰的) なマルコフ連鎖を生成する。 Ergodic Theoremより、\(s \to \infty\)で \(\mathrm{Pr}(x^{(s)} \in A) \to \pi(A)\) for any set \(A\); \(\frac{1}{S} \sum g(x^{(s)}) \to \int g(x) \pi(x) dx\). を満たす\(\pi\)が一意に存在する。 このような\(\pi\)は定常分布と呼ばれ、以下の 性質 を持つ If \(x^{(s)} \sim \pi\), and \(x^{(s+1)} \) is generated from the Markov chain starting at \(x^{(s)}\), then \(\mathrm{Pr}(x^{(s+1)} \in A) = \pi(A)\). ...