Twitterのブックマーク整理

 Twitterで面白そうな論文を紹介しているツイートなどを見かけたらとりあえずブックマークに入れておいているが、それがだいぶ溜まってきたので適当に放出する。古い方から見ているので、今回は2021年あたりのから10個。

(1)競プロのデータセットを作った論文

 AtCoderのデータも含まれていて、確か自分の提出も入っていたんじゃなかったかな。こういうのを使ってなにかやるみたいなの、ぼんやりと思いつつなにも手を付けていない。

(2)Easy To Hard

 (同じ重み層を使って)何回ループするかを動的に決定できるネットワークについて、推論時にループする回数を増やせば精度が上がるとするEasy To Hardの論文。結局手元では上手く再現できなかったなぁ……。

(3)言語モデルにおけるカリキュラム学習

 まともに読んでないけど、言語モデルにおけるカリキュラム学習は特に有効ではないらしい。どちらも門外漢なので「ふーん」としか言えないな。

(4)単眼Depth推定をスマホで動かす

 論文ではないけど、これだけ綺麗に出て高速に動くものなのかとちょっと驚いた記憶。リポジトリの方は3日前にもコミットがあるくらい、ちょこちょこ更新が入っている。

(5)ViTの改良

 こういうの、結局1年半経っても流行っていないのなら結局あまり良くないということなのだろうか……。

(6)Dropoutありの順伝播2回同士の結果を近づける正則化

 アイデアを雑に眺めたところでは、ほーなるほどねという感じはする。最近はこういうテクを入れてまでNNの限界までチューニングするぞという気概が薄れてきてしまっている。

(7)Muesli実装

 大渡さんがMuesliの実装をしていたやつ。なんか当時の自分これを全然追いかけてなかったし、今もよくわからないままなんだけど、どうしてこんなに惹かれてないんだっけ。一回読んでみても良い気はする。

(8)状態空間モデルのなにか

 何度か読もうと思って挑戦してその度に挫折している。時系列問題を扱える手法の択は多く持っておきたいという気持ちだけはある。

(9)自動ラベリング

 ちょっと英文がよくわからなくて読み取りづらいけど、リアルタイムではなく巨大モデルでこれくらいできるということ? 逆光とかもあるのにかなり安定しているのはすごい。

(10)ViTでセグメンテーション系をやるやつ

 当時はもっとこういうのに興味があったけど、今はまたちょっと離れつつあるな〜。

その他

その他雑多