今週は別のモデルで学習を試していました。
EfficientNetB3がパラメータ数が少ない割にimagenet等での精度が良いため、転移学習を行なってみました。
結果は学習が全然進まなかったです。
GPUで行ったところ、学習が早く、今までTPUが使えてなかった疑惑が浮上しました。
今までは全画像を読み込まず、バッチサイズ分だけ画像読み込みして、学習を行う(fit_generator)ことで、メモリの使用を抑えていましたが、TPUを使用するとなるとtensorflowではできないかもしれないので、Pytorchも検討しています。
また、自作モデルで学習してみたところ、既存モデルを使用したFinetunigや転移学習と大した差は出なかったです。
まだ複数入力のモデルができていないため作成を行い、TPUを使用できているかを早めに確認したいと思います。