manifold learning in sklearn

sklearn で Manifold Learning

• Manifold Learningは非線形な高次元のデータを次元圧縮する時に使われる．
• sklearnでも色々なアルゴリズムの実装が提供されている．
• 複数のアルゴリズムの比較はこのサンプルを見ると分かる．

fit とtransformを別々に実行可能

• LLE
• Isomap

Isometric Mapping

• Isomap
• Multi-dimensional Scaling (MDS)やKernel PCAの拡張版とみなせる
• 全点間の測地距離を考慮した低次元埋め込み
• 以下の手順で埋め込みを行う
  1. 最近傍探索
  2. 最短距離グラフ探索
  3. 部分固有値分解

Locally Linear Embedding

• LLE
• 局所近傍間の距離を保つ展示原空間への射像を見つける (局所PCAのようなもの)
• 以下の手順で低次元空間への射像を計算
  1. 最近傍探索
  2. 重み行列計算
  3. 部分固有値分解

Spectral Embedding

• SpectralEmbedding
• sklearnの実装はLaplacian Eigenmaps
• グラフラプラシアンのスペクトル分解を使って低次元空間への射像を見つける
• 以下の手順で低次元空間への射像を計算
  1. 重み行列計算
  2. グラフラプラシアン構築
  3. 部分固有値分解

Multi-Dimensional Scaling

• MDS
• 高次元空間中の距離を低次元空間中の距離に反映させる (近いものは近く，遠いものは遠く)