Twitterで面白そうな論文を紹介しているツイートなどを見かけたらとりあえずブックマークに入れておいているが、それがだいぶ溜まってきたので適当に放出する。古い方から見ているので、今回は2021年あたりのから10個。
(1)競プロのデータセットを作った論文
Can Transformers crack the coding interview? We collected 10,000 programming problems to find out. GPT-3 isn't very good, but new models like GPT-Neo are starting to be able to solve introductory coding challenges.
— Dan Hendrycks (@DanHendrycks) 2021年5月21日
paper: https://t.co/90HrYv4QW9
dataset: https://t.co/NGrS7M3VPx pic.twitter.com/XkghbY4eLp
AtCoderのデータも含まれていて、確か自分の提出も入っていたんじゃなかったかな。こういうのを使ってなにかやるみたいなの、ぼんやりと思いつつなにも手を付けていない。
(2)Easy To Hard
Paper on deep thinking and algorithm learning:https://t.co/1EoshQiIvn
— Tom Goldstein (@tomgoldsteincs) 2021年7月9日
Replacing depth with recurrence:https://t.co/DRsW6aMN8W
Code, including easy-to-use dataloaders for easy-to-hard learning experiments:https://t.co/mMuPCA1d6X
Thanks to @A_v_i__S @micahgoldblum @g27_arjun
(同じ重み層を使って)何回ループするかを動的に決定できるネットワークについて、推論時にループする回数を増やせば精度が上がるとするEasy To Hardの論文。結局手元では上手く再現できなかったなぁ……。
(3)言語モデルにおけるカリキュラム学習
"Curriculum learning for language modeling",
— 午後のarXiv (@arxivml) 2021年8月5日
Daniel Camposhttps://t.co/jtEdi8lnmS
まともに読んでないけど、言語モデルにおけるカリキュラム学習は特に有効ではないらしい。どちらも門外漢なので「ふーん」としか言えないな。
(4)単眼Depth推定をスマホで動かす
50x improved real-time Mono-Depth estimation neural network for iOS/Android Smartphones (CPU/GPU/NPU) sees obstacles and allows Bot to bypass them regardless of the type of object, even in an environment different from the trainee (high Zero-shot accuracy) https://t.co/ke4jKj5JXi https://t.co/0wDvfvFlxV pic.twitter.com/G1ATbSED20
— Alexey Bochkovskiy (@alexeyab84) 2021年8月13日
論文ではないけど、これだけ綺麗に出て高速に動くものなのかとちょっと驚いた記憶。リポジトリの方は3日前にもコミットがあるくらい、ちょこちょこ更新が入っている。
(5)ViTの改良
https://t.co/xBZrsaywb0
— akira (@AkiraTOSEI) 2021年9月2日
ViTでは異なるwindow(token)の結合が弱いが、異なるwindowに所属するものを一度混合させるShuffle Transformerを提案。2行追加するだけで実装が可能で、計算コストを維持したまま先行研究を超える結果。 pic.twitter.com/dDY8BlbjCu
こういうの、結局1年半経っても流行っていないのなら結局あまり良くないということなのだろうか……。
(6)Dropoutありの順伝播2回同士の結果を近づける正則化
https://t.co/Qtp3MJP1lY
— akira (@AkiraTOSEI) 2021年9月15日
Dropoutを使ったネットワークで2回順伝播させた結果の分布を近づける正則化R-Dropを提案。2つの結果のKL距離の損失を追加するだけで簡単に実装が可能。NLP, CVにおいて18ものタスク全てで精度が上昇し、複数のタスクでSotA性能を達成した。 pic.twitter.com/3hzbd8tufd
アイデアを雑に眺めたところでは、ほーなるほどねという感じはする。最近はこういうテクを入れてまでNNの限界までチューニングするぞという気概が薄れてきてしまっている。
(7)Muesli実装
強化学習アルゴリズムのMuesliを実装しました。
— Katsuki Ohto @人工知能は諦めない (@kohto_ai) 2021年11月4日
(探索が必須だと思われていた)囲碁9路で探索なしでそこそこ強くなることが示されたアルゴリズムです。https://t.co/aAlMiMNUZA
大渡さんがMuesliの実装をしていたやつ。なんか当時の自分これを全然追いかけてなかったし、今もよくわからないままなんだけど、どうしてこんなに惹かれてないんだっけ。一回読んでみても良い気はする。
(8)状態空間モデルのなにか
(1/n)
— Albert Gu (@_albertgu) 2021年11月3日
Excited to release 2 preprints that describe our progress on sequence modeling for long-range dependencies!https://t.co/bOMrLGihZs (NeurIPS ‘21)https://t.co/vziQWpZCPM
We build a new class of state space models that improve perf. on the Long Range Arena by 20 points! pic.twitter.com/yISoKPcbls
何度か読もうと思って挑戦してその度に挫折している。時系列問題を扱える手法の択は多く持っておきたいという気持ちだけはある。
(9)自動ラベリング
1/3 Some panoptic segmentation eye candy 🌈🤩 from a new project we are bringing up. These are too raw to run in the car, but feed into auto labelers. Collaboration of data labeling a large (100K+), clean, diverse, multicam+video dataset and engineers who train the models pic.twitter.com/RTERAxyRO0
— Andrej Karpathy (@karpathy) 2021年11月30日
ちょっと英文がよくわからなくて読み取りづらいけど、リアルタイムではなく巨大モデルでこれくらいできるということ? 逆光とかもあるのにかなり安定しているのはすごい。
(10)ViTでセグメンテーション系をやるやつ
Masked-attention Mask Transformer for Universal Image Segmentation
— AK (@_akhaliq) 2021年12月3日
abs: https://t.co/8MZPUvOMyk
project page: https://t.co/C7UvxmZW9V
sota for panoptic segmentation (57.8 PQ on COCO), instance segmentation (50.1 AP on COCO) and semantic segmentation (57.7 mIoU on ADE20K) pic.twitter.com/Um7omLcXgf
当時はもっとこういうのに興味があったけど、今はまたちょっと離れつつあるな〜。
その他
その他雑多
Facebookが2020年に公開したBlender Botの改良版を公開。数日~数週間、数カ月にわたる記憶を保持すると共に、外部(インターネット)検索を使用しての対話が可能になっている。https://t.co/bxrtz4FED7
— piqcy (@icoxfog417) 2021年7月18日
最先端 NLP 勉強会で使った論文紹介スライドです。
— sho_yokoi (@sho_yokoi) 2021年9月16日
不均衡データへの対処法を Balanced error の観点で整理した上で「softmax 内のスコア関数を log p(y) だけ補正すれば良いよ」という指針を与えてくれる論文です。https://t.co/qTMU0KGF41
自己教師あり表現学習に関する最新動向(2020-2021年)をまとめました。主に画像分野で流行っている対照学習ベースの方法について、3つのトレンドと、その代表的な研究事例をいくつか紹介しています。万能な事前学習済みモデルを得るための戦いに興味がある方は是非!https://t.co/oagg8dbPSZ
— mi141 (@mi141) 2021年12月13日