マルコフ連鎖における「エントロピー」とは何か？直感的に理解する

マルコフ連鎖が持つエントロピーの概念について解説します。確率的な推移の中で情報量がどのように変化し、システムの予測不可能性がどう決定されるのか、その背後にある数理的背景を深掘りします。

確率熱力学がそのあたりをカバーしてるね。

じゃあ、マルコフ連鎖のエントロピーってどうやって計算するんだ？ちゃんと定義されてるのか？もしそうなら、かなり見つけにくい場所にあるな。

例として挙げられてるマルコフ連鎖は、エッジのラベルが逆になってる（npであるべきところがqpで、qpであるべきところがnpになってる）。それはともかく、提示された例のエントロピーは一体いくつになるんだ？

マルコフ連鎖の厄介なところは、各状態が依存し合っている点だよ。だから単純に状態を羅列するだけじゃ、隣接する状態同士が依存しているという基本条件を無視することになっちまう。

もしマルコフ連鎖がエルゴード的（ergodic）なら、定常分布のエントロピーについて議論できるんじゃないか？その場合は、定常分布の確率を使った $-\sum p_i lg(p_i)$ で計算できるってことか？

記事ではエントロピーがどう進化するかについて触れられているけど、エルゴード的なマルコフ連鎖という文脈だと、これって第2固有値の大きさと関係があるのか？