前回の続きで、転移学習を扱っていこうと思います。 ちなみに↓が前回の記事です。 mamomamoru.hatenablog.com 前回の記事をみてもらえればわかると思いますが、前回はMNISTデータの0〜4までの数字を使ってDNNを作成しました。今回は、そのモデルを再利用して…

さて今回は、Google Colaboratory(ちなみにGoogle Colaboratoryは無料で深層学習に必須なGPUやTPUを使用できるので超便利)を使って、前回記事で紹介した実践的なガイドに沿ったDNNを構築してみました。 また今回はデフォルト通り、MNISTデータに対してモデル…

深層ニューラルネットの訓練 今回は、深層ニューラルネットワーク(以下DNN)の問題点を挙げ、その解決法を示します。 深層ニューラルネットの訓練 勾配消失/爆発問題 勾配消失 勾配爆発 Xavierの初期値とHeの初期値 活性化関数 バッチ正規化 勾配クリッピング…