今週は出社が多くて大変だった。
NeRF
先週はInstant-NGP系統だとPose微分できないのではとか意味不明なことを言ってしまっていたが、よく考えたら普通にできると思い直した。Zip-NeRFのPyTorch実装とかを参考に手元のC++実装にも追加してみたが、精度と速度が劣化していまっている。いままで使っていたコードにPose微分を追加する方が簡単かもしれない。
自動運転の教師-生徒フレームワーク
全然知らなかったけど、
- 教師 : シミュレータなどでGT的な情報を入力として含められるモデル
- 生徒 : 実際に運用されるセンサのみを入力としたモデル
という感じで2つのモデルを作って、それらで蒸留だかなんだかする方法があるらしい。
- CaT: Coaching a Teachable Student
- DriveAdapter: New Paradigm for End-to-End Autonomous Driving to Alleviate Causal Confusion
自動運転技術がどういう方向に進んでいくのか全然わからない。なんにせよシミュレータを頑張るという選択肢はわりとあるんだろうなぁ。
Unityを調べ始めた
そういういろいろもあって（？）、事情もあって、多少はUnityを知っている必要が出てきたのでちょっとずつ調べている。全くの知識0からスタートなので、まずはこういうゲームエンジンの文化に慣れなければいけない。あの軸の表示はギズモって言うんだ。
MoE
Transformerの改良はいろいろあるけど、なんだかんだ広く効果ありそうと見られているのはMixture of Expert（MoE）系の手法に思える。From Sparse to Soft Mixtures of Expertsとか。
にしても、やっぱりGoogle DeepMindの研究だと完全にJAXなのだなぁ。最近自分でなにかニューラルネットワークを手書きするということも少なくなってきたので、逆にもうPyTorchではなくJAXのことを考えても良いのかもしれない。いや、やっぱりC++向けのLibTorch相当のものがないと辛いか。
画像ベースの自然言語処理モデル
(H, W) = (16, 8464)とかいう横長の画像としてやっていっているらしい。そういう特殊なレンダリングだけじゃなくてWebページとかもやれるようになると良さそうな雰囲気。
