前回はParallel Scanのforwardについてある程度確かめた。今回はParallel Scanの逆伝播と状態空間モデルの離散化について確認する。 Parallel Scanの逆伝播 Mambaの論文ではメモリ使用量を抑えるために、値を保持しておくのではなく逆伝播時に再計算をすると…

Mambaが気になったので触ってみることにした。大規模な実験を回すのは大変なので、元論文で使われていた人工的なタスクのInduction Headsをやる。 元論文 https://arxiv.org/abs/2312.00752 p.6 Figure 2 Mamba とりあえず動かしてみることを優先してMamba自…

前書き 多腕バンディット問題は強化学習のとても基本的な設定だが、そこにはすでに探索と知識利用のトレードオフが存在しており、そのバランスをいかに取るかを見ることができる。MCTSなども各ノードでの行動選択はほぼ多腕バンディット問題そのものなので、…

まだソースコードはほとんど読んでおらず、とりあえずexampleの通りに利用する形で、速度と精度を簡単に検証する。 データ AWSIM西新宿v1.2.0を用いて、シミュレータのGTつきデータを取得した。経路は以下の通り。 点群マッチングには関係ないが、様子を把握…

昨日見た時点では160位とかだった。 方針概要 シード0000 領域を縦線 or 横線で2つに分断していくこと繰り返すような操作を考える。途中まではKDTreeみたいな気持ちで、Depthが奇数のときは縦、偶数のときは横みたいにすることを意識していた。それを全日で…

転職して一年経ったので振り返り。もちろん書けないことは書かないので、公開情報（つまりGitHub）を主に参照する。 まず、GitHubのアカウントはそのままのものを使っているので、だいぶContributionsに色が付くようになった。 https://github.com/SakodaShi…