今週はあまりなにもした感じがしない。PC環境の問題とかに対処していて、具体的なアルゴリズムの実装に手を付けられていない。AHC022に時間を取られたのもある。
NeRF
先週Pose微分を実装してわりと満足してしまったのと、Pose微分があってもAWSIMデータではどうにもならなさそうなのでモチベーションが落ちており、ほとんど触っていない。とはいえ現実的にはここをやっていった方が実が大きいとも諭されたのでぼちぼちやっていく所存。
結局もっと性能向上が必要で、実践的な道としては
といったところを理解して取り込んでいかないといけないのだと思う。今のところC++で実装しているけど、つまり移植が必要なので、論文を芯から理解する必要がある。Pythonで既存再現実装からちょちょっとROS 2ノード実装を生やして終わり、という方針も多少は考えた方が良いのかもしれない。
3D Gaussian Splattingも気になってはいるけど、また実装を大きく変更する必要があるとすると大変なので気後れしている。
世界モデル
こっちも全然実装は進めていない。Dreamer V2の潜在変数って離散的ではあれど別にVQ-VAEではないということを知ったくらい。やっぱりデータを手に入れる手段が見えていないので、実装できたところで検証する手段がないところがネックになっている。MILEが示してる通り、CARLAでデータ生成するという方針で考えた方が良いのかもしれない。
こちらも実装をC++で進めたいわけだけど、そうするとPythonと比べて動かせるシミュレータとかに制限が出やすくてつらい。MuJoCoとか上手く使えるんだろうか。
その他
基本的にしばらくやっていくことはNeRFと世界モデルの二本柱にしていきたい。
