2022-02-01から1ヶ月間の記事一覧

RNNの勾配消失・爆発問題

TransformerのようなモデルはNLPの多くの領域を席巻していますが、LSTMやGRUのようなRNNモデルは、シーンによってはそれなりの価値を持っていますので、やはり見習うべきモデルです。RNN勾配の相関分析は、最適化の観点から分析モデルを考える優れた例であり…

Character Picture Grid

Say you have a list of lists where each value in the inner lists is a one-character string, like this: _________________________________________________________________ _________________________________________________________________ Copy…