tokuminiさんのToyota Programming Contest 2023 Spring Qual B（AtCoder Beginner Contest 290）での成績：672位 パフォーマンス：1665相当 レーティング：1815→1801 (-14) :( https://atcoder.jp/users/tokumini/history/share/abc290?lang=ja A〜E問題ま…
tokuminiさんのAtCoder Regular Contest 156での成績：487位 パフォーマンス：1856相当 レーティング：1810→1815 (+5) :) https://atcoder.jp/users/tokumini/history/share/arc156?lang=ja A、B問題を40分・1WAで解いて平々凡々な成績。 今回も順位表は見な…
01/29に受けたやつの結果が出たので。 Listening 260 Reading 365 Total 625 もうちょっと取れるかなーと思っていたけど全然だった。英語苦手ですね。本当に。 5年半前（2017/07/01）に受けたときの結果は、 Listening 270 Reading 355 Total 625 で、なにも…
tokuminiさんのAtCoder Grand Contest 061での成績：624位 パフォーマンス：1247相当 レーティング：1858→1810 (-48) :( https://atcoder.jp/users/tokumini/history/share/agc061?lang=ja 0完だが面白かったので良し。 今回はコンテスト始まる前から「順位…
tokuminiさんのＳｋｙ株式会社プログラミングコンテスト2023（AtCoder Beginner Contest 289）での成績：419位 パフォーマンス：1937相当 レーティング：1849→1858 (+9) :) https://atcoder.jp/users/tokumini/history/share/abc289?lang=ja E問題まで20分も…
tokuminiさんのTHIRD プログラミングコンテスト 2022 （AtCoder Heuristic Contest 017）での成績：288位 パフォーマンス：1510相当 レーティング：1763→1772 (+9) :) https://atcoder.jp/users/tokumini/history/share/ahc017?lang=ja 以下、途中でのパフォ…
tokuminiさんのToyota Programming Contest 2023 Spring Qual A（AtCoder Beginner Contest 288）での成績：302位 パフォーマンス：2172相当 レーティング：1807→1849 (+42) :) https://atcoder.jp/users/tokumini/history/share/abc288?lang=ja A~Eまでの5…
前回に考えたように、時系列モデルに表現を突っ込む際には1次元化して投入したくなる。CチャンネルだとしてC×9×9の要素数になるため、そこまでCを大きくはできない。具体的にはC=8くらいを想定している。 C = 8として学習する際に、方法としては ResNetを通…
たとえば動画的な連続フレームをRNNなどの時系列予測モデルに入力してその先を予測させたいということは環境モデルを考えているとよくある。 その場合、H×W×C的なデータを できるだけそのままH×W×Cで扱う（ConvLSTMなど） 256次元など1軸にflattenして扱う …
tokuminiさんのAtCoder Regular Contest 155での成績：1022位 パフォーマンス：445相当 レーティング：1893→1807 (-86) :( https://atcoder.jp/users/tokumini/history/share/arc155?lang=ja A問題に全ての時間を投入して13WAで0完。Ratedコンテストでは自己…
tokuminiさんのユニークビジョンプログラミングコンテスト2023 新春 (AtCoder Beginner Contest 287)での成績：414位 パフォーマンス：1910相当 レーティング：1891→1893 (+2) :) https://atcoder.jp/users/tokumini/history/share/abc287?lang=ja A〜E問題…
tokuminiさんのAtCoder Regular Contest 154での成績：907位 パフォーマンス：1356相当 レーティング：1938→1891 (-47) :( https://atcoder.jp/users/tokumini/history/share/arc154?lang=ja 3ヶ月ぶりの水色パフォーマンス。 今回のコンテストは、全体的に…
tokuminiさんのウルシステムズプログラミングコンテスト2023(AtCoder Beginner Contest 286)での成績：263位 パフォーマンス：2090相当 レーティング：1919→1938 (+19) :) #AtCoder #ウルシステムズプログラミングコンテスト2023(ABC286) https://atcoder.jp…
要約 常に先手側から盤面を見るようにするとややレートは落ちるがある程度やれる。 背景 今のところ、手番ごとに(1)盤面を180度ひっくり返したり、(2)手駒の入力順番を入れ替えたりして、常に手番側から見るように入力特徴量を作成している。こうすることの…
要約 Value分布の学習にTwo-hotエンコーディングを試してみたけど特に明確な効果はなかった。 背景 を読んでいたところ、Criticの学習でtwohotエンコーディングをすると書いてあった。 これ自体はこの論文の新規性というわけではないはずで、実際に33から36…
A~Fの6完 tokuminiさんのAtCoder Beginner Contest 285での成績：198位 パフォーマンス：1999相当 レーティング：1910→1919 (+9) :) #AtCoder #ABC285 https://atcoder.jp/users/tokumini/history/share/abc285?lang=ja ギリギリ黄色パフォーマンスに届かず…
A,C問題を解いて2完。 tokuminiさんのAtCoder Regular Contest 153での成績：475位 パフォーマンス：1911相当 レーティング：1910→1910 (±0) :| #AtCoder #ARC153 https://atcoder.jp/users/tokumini/history/share/arc153?lang=ja A問題を通したあとB問題で…
Twitterで面白そうな論文を紹介しているツイートなどを見かけたらとりあえずブックマークに入れておいているが、それがだいぶ溜まってきたので適当に放出する。古い方から見ているので、今回は2021年あたりのから10個。 (1)競プロのデータセットを作った論文…
概要 テキストをレンダリングして画像化してTransformerに入力する方法でも、簡単なVisual Question Answeringなどではある程度性能出るらしい。 基本的にはCLIPと似た形式で対比学習をする。Figure 1を見るのが早い。 所感 自然言語も画像として扱おうとい…
だいぶ更新が途絶えているので賑やかしに。 一応、Twitterが買収どうのこうのでちょっときな臭いかもと思っており、少しずつTwitterへの依存を薄めていった方が良いのかもしれないという狙いもある。 最近の感じ コンピュータ将棋をやる気も起きず、競技プロ…
出典 概要 Discrete autoencoderでRGB画像を埋め込み、自己回帰Transformerで世界モデルとして学習させる。 Atariゲームにおける2時間分のプレイデータで、10ゲーム/26ゲームにおいて人間のスコアに達した。 メモ 実環境との作用経験はモデルの学習にしか使…
画像と言語を一つのモデルで扱うマルチモーダルモデルについての研究。 特に、追加の学習をせずにFew-shotの例示で新規問題へ適応することを重視しているらしい。 記事 最近ありがちな、実利用時に数個のプロンプト的な例示を行うとそういうタスクが解ける的…
前回 前回は第6章のオドメトリによる地図構築の部分まで行い、それから第7章以降にある内容を写経していったのだが、第7章の部分だけを実装というのはやや難しく、結局全部実装することになってしまった。（継承とポインタによって実行後に構成を切り替えて…
（半分日記） なんの因果かSLAMをやっていく必要に迫られており、慌てて勉強をしている。具体的には以下の本を買って読みつつ、コード部分について写経を始めている。 SLAM入門: ロボットの自己位置推定と地図構築の技術作者:友納 正裕株式会社オーム社Amazo…
Continuous Integrationにちょっと興味が出ているので練習する。 目標 GitHub Actionsを触る プッシュ時に自動的にビルド・Formatter適用・Linter適用ができるようにする Googleテストを触る 上のGitHub Actionsと連動して自動テストまでできると良い 今回は…
ViTをSサイズまで学習させた SサイズというのはScaling Vision Transformersに従った分類。 将棋だとパッチ分割のサイズは関係ないので要約すると以下のサイズ。 対局結果 手元の2080tiマシンで計測。vs水匠5(4Thread)、1手1秒 モデル NPS Policy損失 Value…
ViT対局させた 初期局面から100戦しかやってないので参考程度だが、明らかに弱かった。vs水匠5。 Google Compute Engine環境での対局 Intel(R) Xeon(R) CPU @ 2.30GHz 4Thread GPU : T4 time(Miacis) = 1000msec, time(水匠5) = 250msec 結果 モデル Policy…
前書き ViT（sサイズモデル）の学習が進行中である。予定していた最大学習ステップ数の1/5程度をこなし、やや収束の気配が見えてきたので一度このタイミングでお試し評価を行ってみる。また今回は単に検証損失を全体で計測するだけでなく、個別の局面につい…
ViTについての実験をいくつか。 10ブロック、256chを長期学習 Google Colab Pro+を使って7日かけていつもの10倍、1.6Mステップ回した。 左: Policy損失 右: Value損失 Policy損失はResNet（20ブロック・256ch）より良くなる。Value側がひどい。 速度差もある…
前回は10ブロック・256chの、今まで基本的に用いてきた大きさのネットワークで軽く学習を回した。 正月休みの時間があったため、今回は大きめのResNetで使用データ数も多くして学習を回した。 前回との学習の差分 項目 前回 今回 備考 ネットワークの大きさ …
