前回は一つのデータで動かせたものの、歪み補正の扱いが間違っていたり、それに伴ってPSNRの計算が正常でないなどの問題があった。
今回は歪み補正の問題を修正し、10シーン分について動かした。
歪み補正
WayveScenes101データセットの画像は基本的に歪みがある状態のデータなのでtrain.shにおける --undistort True はそのままで使いたい。
しかし、そのままやるとdata_parserとdata_managerの2回歪み補正がかかってしまう。よって
のように無理やり2回目のundistortを行わないようにするとある程度上手くいくようになった。
学習結果
まだセグメンテーションだけの使用であり、移動物のBboxアノテーションは作成していないためその機能は使えていない。
| シーン番号 | PSNR | Front-forward | Right-backward | コメント |
|---|---|---|---|---|
| 001 | 22.4 | 移動物が多く、消えたり現れたりしてしまう。これは移動物体のアノテーションとしてBBoxをちゃんと作れば解消できるのかもしれない | ||
| 002 | 20.6 | 雨および霧っぽい環境だが、それでものすごく影響されているとも思えない。背景部分が自車の回転に影響を受けてしまっているところは気になる。もしかするとそこはそういう仕様なのだろうか | ||
| 003 | 19.5 | 他のシーンもそうだが、序盤が崩れがちである。太陽光のフレアが影響していそうなので新規視点で作ると見栄えが微妙になりそうに感じる。Rightの動画の方だと木がだいぶ曖昧になっている | ||
| 004 | 20.1 | 前回も使用したシーン。個人的な感覚ではPSNR 20.1よりはもう少し高いのではないかという気がする。コードをちらっと見た限りでは特におかしいところは見つけられなかった | ||
| 005 | 21.5 | 移動物がとても厳しい。Rightカメラでの自転車を漕いでいる人の写り方が不思議に思える。移動をちゃんと追いかけられてしまっている？ | ||
| 006 | 21.2 | 単なる直進シーンにしてはぼやけがちに見える。太陽光が厳しいのと、自車の移動速度が大きいせいだろうか。Rightカメラの崩れ方が特徴的。背景のrandomが透けて見えている？ | ||
| 007 | 24.1 | 後半ほぼ止まっているからかPSNRが高い。木の枝の間に膜が張ったような見え方になる。 | ||
| 008 | 20.8 | 大きな旋回があるシーン。それ自体で近距離物体の見え方が大きく崩れるという印象はないが、やはり空の動きが奇妙だ。自車の動きに変に追従してしまっている | ||
| 009 | 20.3 | 自車の移動速度が大きく、苦労している。細かいピッチの動きがあることも難しさを高めているのかもしれない | ||
| 010 | 20.2 | ピッチの動きがすごいが、そこまで影響されていなさそう。やはり自車が止まると右手に見える木などもかなり上手く再構成できている。一方で移動物体の影響は大きい |
ここまで見て
- 自車の速度が重要そうに思われる。それは物体が写っているフレーム数の大小ということでもあるのかもしれない
- 空モデルは奇妙なのでそこはコードをもっと見に行って良さそう
- 移動物体についても対処を真面目に考えないと、物体の操作をしたいわけじゃなくとも再構成自体がまともにできない
- PSNRの計算については再度確認する
などのことを感じた。次の週ではそのあたりを確認していきたい。
