前回の続き。
patienceを7にしてAdamでもやってみました。
optimizer = tf.train.AdamOptimizer(learning_rate=0.001)
結果は次の通りです。
| epoch | Loss | Move Accuracy | Value Accuracy |
|---|---|---|---|
| 1 | 4.4521 | 0.2929 | 0.6807 |
| 2 | 4.1956 | 0.3232 | 0.6873 |
| 3 | 4.1133 | 0.3335 | 0.6898 |
| 4 | 4.0703 | 0.3424 | 0.6890 |
| 5 | 4.0683 | 0.3443 | 0.6880 |
| 6 | 4.1143 | 0.3480 | 0.6846 |
| 7 | 4.1600 | 0.3477 | 0.6800 |
| 8 | 4.1749 | 0.3476 | 0.6822 |
| 9 | 4.2409 | 0.3456 | 0.6787 |
| 10 | 4.2836 | 0.3483 | 0.6772 |
| 11 | 4.2952 | 0.3469 | 0.6761 |
| 12 | 4.3597 | 0.3464 | 0.6791 |
5epochで損失が下がりきっており、収束は速いのですが、収束した値の性能はあまり良さそうではありません。
またここから損失が再び下がっていくということはないように思えます。
今までの結果をグラフ化すると
となります。patienceが小さすぎるということはないのかなぁと思えるのですが、もっとやったら違うのかもしれません。またそもそも学習データ量が少なすぎる可能性もあり、たとえば2015年の棋譜を使う、あるいはやねさんが公開されている(まだ公開されているのでしょうか？)ものを使うなどのことをしなければならないのかもしれません。
