業務の方はあまり面白い話がなく、やや停滞感がある。やることも今まではとはちょっと違う方向になりそうな雰囲気もあり、どうなんだろう。なんにでも興味をもってやれる方が良いのはそうだけど、現実的にはねぇ。 LLMで多腕バンディット 先週からちょっとず…

背景 唐突にLLMでMulti-Armed Banditを解きたくなった。 全く読んでいないけれど という論文もある。 ブラウザでのChatGPT4で数回試した感じだとそこそこ理屈立ててやってくれたので、ある程度やれるのではないかという期待。 実装 正規分布でスコアを返す3…

今週も全体的にはやる気が出ていない。基本的に週記以外の記事を出せていない週は良くなく、今週に関してはさっき無理やり一つ出したけど……という程度。そういう調子が悪いときがもう1ヶ月以上続いている。どうにもならないな。 NeRF プルリクエストはあまり…

Gaussian Splattingの基本的な概念は、まぁ3D空間にたくさんガウス分布を配置するのねという程度にはわかるが、細かいところとして以下の2点が疑問になっていた。 色はどのようにつけるのか？ 論文では球面調和関数（Spherical Harmonics）の係数を保持する…

月曜日休みだったし、出社も多くなかったのに、なんか疲労感がある。 TPE NDTによる初期Pose推定にTPEを使うプルリクエストがマージされた。あまり完成度には満足していない。Yaw角だけで一周するという性質を考慮させる部分が理論的に変なはずだし、一様分…

NeRF NeRFベース自己位置推定をautoware.universeに統合する作業をしていた。 差分が大きいのでまともなやり方ではマージされないだろうなぁ。精度も十分ではないので、もうちょっと開発が進んでからでも良いのかもしれない。このブランチを育てることになる…

NeRF F2-NeRFをだいぶリファクタリングしていた。もう全然原形を留めていない。そろそろリポジトリも移し替える時期になってきていそう。 外部ライブラリへの依存が減り、使っているのがLibTorch、OpenCV、Eigen、gtsamあたりなので、LibTorch以外はかなり許…

今週もあまり作業できないままだった。 NeRF 他の手法（neuralsim）をちょっと確認したくらい。学習にLiDARも使ったり、車特有の事情を考慮したり、そりゃそういう工夫をすればF2-NeRFをそのまま使うよりかは3次元再構成も上手くできるだろう。それを移植し…

今週も調子は良くなかった。モチベーションが上がってこない。 NeRF 水曜日に有給休暇取って作業して、ここまで性能が出ることを確認できたところで結構満足してしまった。もちろんやろうと思えばこの先もいろいろあるんだけど、目標を失っている。どうせオ…

概要 Autowareのlogging_simulatorを使って、ARタグベース自己位置推定向けに公開されているデータを使ってNeRFベース自己位置推定を動かした。AWSIMの環境変化が少ないデータでなら、ある程度の精度が出せるようになってきた。 背景 先日、AutowareのARタグ…

今週はずっと調子が悪かった。というか、AHC023とアーマードコア6に時間を取られていた。なのでNeRFも世界モデルも特に進捗なし。遊びの週だったな。 AHC023 難しかった。それなりに時間をかけたのにさっぱりスコアが伸びなかった。できれば振り返りまでして…

今週は身体的に大変な業務があって疲労していた。アーマードコアに時間を取られているところもあり、やはり世界モデルは特に触れていない。 NeRF Zip-NeRFは読んだけれども、思ったより簡単に実装できそうな内容でもなかった。これはかなり苦労することにな…

主な工夫は2点 Instant-NGPにMip-NeRFの円錐での光線キャスティングを組み込んだ Mip-NeRF360で導入したproposal MLPの学習損失に良くないところがあったので改良した 工夫1. Instant-NGPへの円錐光線キャスティング導入 前提として、まずMip-NeRFでやってい…

今週はNeRFの調査・実装を中心に進めていたので世界モデル系はノータッチ。アーマードコア6が出たので時間を取られている。 NeRF 座標のWarping まずMip-NeRF 360を読んだが、自動移動走行の文脈だとどの程度必要な改造なのかはよくわからない。屋外だと空な…

NeRFのうち、いくつかの手法はカメラPoseについても勾配が繋がっているので、それを勾配法で最適化したくなるのは自然な気持ちである。 しかし、理屈として勾配が繋がっているのはわかるが、実装的にはどうするんじゃいという話がすぐにはわからない。特に、…

主な工夫は3つ 空間のWarping オンライン蒸留 新しい正則化項 1. 空間のWarping 遠いところをNeRFが扱える空間に持ってくるために、無限遠を一定球内に潰してくるようなWarpingを考える。 Figure 2 をの滑らかな座標変換関数とする。具体的には とする。 Mip…

今週はあまりなにもした感じがしない。PC環境の問題とかに対処していて、具体的なアルゴリズムの実装に手を付けられていない。AHC022に時間を取られたのもある。 NeRF 先週Pose微分を実装してわりと満足してしまったのと、Pose微分があってもAWSIMデータでは…

結果 暫定テスト88位。 手元でシステムテストと同じ条件でデータを作って回してみた結果では、などに苦労しているのでもっと落ちるかもしれない。 実行時間117msec、コード長177行という、かなりシンプル目でAHCらしからぬ感じの提出になって面白かった。最…

f2-nerfに位置微分を追加した 先週時点ではGridEncoderについての違う実装から位置に関する微分周りを移植してこようとしていたが、速度も精度も低下してしまったので、結局f2-nerfにもともとあったautogradの関数に位置に関する勾配計算も追加した。 学習に…

今週は出社が多くて大変だった。 NeRF 先週はInstant-NGP系統だとPose微分できないのではとか意味不明なことを言ってしまっていたが、よく考えたら普通にできると思い直した。Zip-NeRFのPyTorch実装とかを参考に手元のC++実装にも追加してみたが、精度と速度…

今週はだいたいNeRFのことを考えていた。一番の興味としては、NeRFを通したカメラPoseの最適化にある。直接法のようなSLAMの一種としてNeRFを使いたい。もちろん認識とかに応用できればそれに越したことはないが、レンダリングそのものにはそこまで興味がな…

今週思ったことなど。 内発報酬 強化学習の内発報酬について、単純に予測不可能な状態を優先すると、ランダムノイズを出すようなテレビの前に居座り続けるということが発生しうる。これはLarge-Scale Study of Curiosity-Driven Learningでnoisy-TV problem…

出典 概要 現状の自動運転はPerception, Prediction, Planningといったモジュール化されたタスクに分解して実現することが多いが、これだと情報伝達のインターフェース部分で情報が落ちてしまう。この論文では、ある程度モジュール化はしつつ、それらをTrans…

4月に転職をして、3ヶ月以上が経過した。現在は株式会社ティアフォーというところで労働をし、対価として金銭を得ている。要するにAutowareの開発に携わっている。勤め先を明言する趣味はないけれど、自分のGitHubページを見ると察することができそうなので…

OrienterNetというものがあります。 カメラ画像とマップの画像（OpenStreetMapの画像）を突き合わせて自分がどこにいるのかを推定するニューラルネットワークだそうです。 Meta社が関わっているのでAR向けのようにも見えますが、論文中ではKITTIデータセット…

出典 メモ やっていること RGB-DカメラをもとにSLAMを行う（この際に使うSLAMはRtab map*1） SLAMをやるときに得た画像を、LSeg*2にかけて特徴量を得て、Depthを使って上面図に投影する 投影したマップと単語の埋め込みの類似度を計算することで、好きな単語…

つまりは白旗宣言である。 2022年8月1日から一日一問、AtCoder ProblemsがRecommendするのに従って解いていた。計212日になる。 その結果のレート変動は1839→1739(-100)だった。この歳になるともうこういう結果にいちいち悲しんだり悔しがったりする元気も起…

急にNeRFに興味が出て調べていたところ、とても良い入門記事があり、 コードも公開されている ので、これをもとに自分でも実装してみた。Pythonで書かれているものをPythonで写経するのは流石に面白みに欠けるので、LibTorchを使ってC++で実装した。 （実はC…

tokuminiさんのToyota Programming Contest 2023 Spring Qual B（AtCoder Beginner Contest 290）での成績：672位 パフォーマンス：1665相当 レーティング：1815→1801 (-14) :( https://atcoder.jp/users/tokumini/history/share/abc290?lang=ja A〜E問題ま…

tokuminiさんのAtCoder Regular Contest 156での成績：487位 パフォーマンス：1856相当 レーティング：1810→1815 (+5) :) https://atcoder.jp/users/tokumini/history/share/arc156?lang=ja A、B問題を40分・1WAで解いて平々凡々な成績。 今回も順位表は見な…