月: 2020年12月

様々な学習を行っていました。

以前言っていたTPU学習をPytorchで実装しました。
TPUメモリが1コア8GBで8コアあるっぽいのですが、並列処理を行おうとしました。
画像とラベルデータをTPUメモリに載せようとしましたが、単なるメモリにしか乗らず、クラッシュしたため断念しました。

結局TensorFlowを用いてGPUでの学習を行っています。
EfficientNetB3をFinetuningしていますが、精度が一定の値から下がらず困っています。

今週は別のモデルで学習を試していました。

EfficientNetB3がパラメータ数が少ない割にimagenet等での精度が良いため、転移学習を行なってみました。
結果は学習が全然進まなかったです。

GPUで行ったところ、学習が早く、今までTPUが使えてなかった疑惑が浮上しました。
今までは全画像を読み込まず、バッチサイズ分だけ画像読み込みして、学習を行う(fit_generator)ことで、メモリの使用を抑えていましたが、TPUを使用するとなるとtensorflowではできないかもしれないので、Pytorchも検討しています。

また、自作モデルで学習してみたところ、既存モデルを使用したFinetunigや転移学習と大した差は出なかったです。

まだ複数入力のモデルができていないため作成を行い、TPUを使用できているかを早めに確認したいと思います。