Torch TensorRT で Int8 量子化を試す
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
事前準備 Torch TensorRTに関しては下記記事をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/mast […]
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
AutoProcessor と AutoModelForCTC HuggingFaceでは各モデルに必要な前処理とモデルのロードを自動的に選択できるAutoProcessor と AutoModelForCTCがあります。 これ使用することで少ないコードでいろんなモデルを試せます。 https://huggingface.co/docs/transformers/v4.21.1/en/autocl […]