2021-05-22から1日間の記事一覧

Measuring Coding Challenge Competence With APPSを読んだメモ

(GitHubリポジトリ) 概要 自然言語の問題文を入力としてコードを出力する、競技プログラミングに似た形式のタスクについて、APPという新しいデータセットを構築した。 データセットについてGPTモデルを評価したところ、簡単な問題についてAC率が0%~4%程度で…