前書き ViT（sサイズモデル）の学習が進行中である。予定していた最大学習ステップ数の1/5程度をこなし、やや収束の気配が見えてきたので一度このタイミングでお試し評価を行ってみる。また今回は単に検証損失を全体で計測するだけでなく、個別の局面につい…

ViTについての実験をいくつか。 10ブロック、256chを長期学習 Google Colab Pro+を使って7日かけていつもの10倍、1.6Mステップ回した。 左: Policy損失 右: Value損失 Policy損失はResNet（20ブロック・256ch）より良くなる。Value側がひどい。 速度差もある…

前回は10ブロック・256chの、今まで基本的に用いてきた大きさのネットワークで軽く学習を回した。 正月休みの時間があったため、今回は大きめのResNetで使用データ数も多くして学習を回した。 前回との学習の差分 項目 前回 今回 備考 ネットワークの大きさ …