参考 自分なりの理解として、重要そうだと感じたのは TPEでのPIやEIで考える基準値はそこまでの最良値ではなく分割基準のの方 で分割してモデル化するという性質からそこで積分を分けて式変形すると綺麗になる 前提 Tree-Structured Parzen Estimator (TPE)…

前回はParallel Scanの逆伝播と状態空間モデルの離散化について確認した。今回は残りの細かい部分として Mambaの高速化工夫 実はBはオイラー法 Gated RNNとの関係 について確認する。 訂正 前回の記事で Mambaの論文ではメモリ使用量を抑えるために、値を保…