確率・情報理論のことがわかりやすくまとまっているサイト
確率の基礎からベイズの定理、情報源、符号化etc...
ベイズの定理の例が理解のきっかけになった!
高校生のための情報理論入門
http://izumi-math.jp/sanae/report/joho/joho.htm
ベイズの定理
http://d.hatena.ne.jp/pashango_p/20090809/1249805193
相互情報量・2元対称通信路
http://akita-nct.jp/yamamoto/lecture/2007/5E_info/index.html