BERTで推論を高速化できるTorchScriptを試してみる

TorchScriptはPyTorchのコードをモデルを最適化して、C++のコードでも動作可能にする機能です。 https://pytorch.org/docs/stable/jit.html 動作環境 Google Colabで動作確認しました。 日本語のBERTモデルをTorchScriptで変換 MASK部分を予測する日本語のBERTモデルを使用して動作確認をします。 モデルを取得する際にt … 続きを読む BERTで推論を高速化できるTorchScriptを試してみる

Close Bitnami banner
Bitnami