フィルタ理論，情報理論

■フィルタ理論
・パルス信号に雑音が入った場合，実際に雑音があったかどうか．必要な信号をフィルタによって取り出す．
・線形フィルタは入力と出力信号に線形関係がある
・集合平均を定義．これは入力信号の平均値が積分の内側に入る．集合平均は時間一定であることに注目．
・出力の自己相関関数は時間tと時間t+τの相関関係を表す．入力の自己相関関数として書き下せる．
・入力と出力の相互相関関数は，フィルタを外側に出してxの自己相関関数を用いて表せる．

パワースペクトル密度
・自己相関関数のフーリエ変換．伝達関数(フィルタのフーリエ変換と入力関数のフーリエ変換)の積で書き下せる．
・出力のパワーはy^2の期待値として表せて，パワースペクトル密度のフーリエ逆関数の計算を行う．

相互スペクトル密度関数
・相互相関関数を積分して書き下せる．τの積分とtの積分に分ける．

全部入力xに関する変数で書き下せている．

h(t)をどのようにおくべきか．
・信号成分，ピーク時間，雑音成分で表される信号対雑音比(SNR)を最大化させる．

今泉：パワースペクトル密度とは？
→自己相関関数とtで変動する部分に分けたもの．イメージ的には波の振幅．

斉藤：自己相関関数でフィルターの伝達関数を2乗しているのはなぜか？
→自己相関関数でRyy(τ)が出てきている．そこにフィルターの関数を入れ込んで計算している

羽藤：変数を波として扱っているところがポイント

・信号の存在自体が情報．信号の存在を拾うためのフィルタを設計する．
・信号成分と雑音成分をyftとyntに分けて計算する．yftは伝達関数×F
・SNRの分母の部分はH×自己相関数関数の1/2π．
・雑音が時間で一定であると仮定．
・この条件下でSNRを解く．シュバルツの不等式を用いてHとFでSNRを上から抑える．Hを複素共役として置く．
・フィルタのフーリエ変換が分かったので，その逆フーリエ変換により求まる．

今泉のだと，パルスが教師データ，フィルタがSVM．

仲西：どっかの角度帯だけ計算したい．それをフーリエ変換で求めてそのままではわからないから逆フーリエ変換を行った．

■情報理論
・情報を定量的に扱うことで発展．
・loga(1/事象Aが起こる確率)により定量化．ログをとるのは情報の加法性を満たし，範囲も限定できるから．a=2だといつもつかうbit．

エントロピー
・情報は事象の集合として成り立っている．平均情報量を個々の情報量と生起確率の和で表される．
・自転車をよく使うB君はエントロピーが低い．

・情報量の時間変化を考える．
確率が不変なものを...

・アルファベットの生起確率は与えられているが，文字を選んでも文章にはならない．それ以前の事象に依存する情報源をマルコフ情報源という．
・情報伝送速度：時間帯別の情報源の伝送速度といったものをどう扱うか．情報源エントロピーを伝送平均時間で割って求める．
・Yはエントロピーが高いが伝送速度は遅い．受け取る側の情報エントロピーは小さい．
・通信路容量は情報源エントロピーを伝送平均時間で割ったものを最大化させたもの．
・ラグランジュの未定乗数法を用いて微分すると，情報iの伝送速度を与えたときの通信速度の最大値を求められる．

伊藤：通信の容量の話は確率過程的な話と結びついていなかった気がするが．
浦田：あんまり時間ごとの変動という話はあんまり出ていない．確率的な現象としてはとらえている．情報量の時間変化は
斉藤：情報の圧縮を考えたとき，0とか1とかの列になる．近くに送られたものは圧縮できるだろうと考えて相関関係などから圧縮理論を考える．そういうところで関係があるのかも．
浦田：アルファベットを1文字ずつ読んでいくと時間が増える，3文字前とか考えると英語っぽくなる．
羽藤：確率速度の話とかやった方がいいかもしれない．