Torch TensorRT で Int8 量子化を試す
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
MONTH
2022年8月
Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化
事前準備 Torch TensorRTに関しては下記記事をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/mast […]
Torch TensorRTのfxによるTensorRT変換可能なノードの可視化
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
HuggingFace の AutoProcessor と AutoModelForCTC で使用可能な音声認識モデルを確認する
AutoProcessor と AutoModelForCTC HuggingFaceでは各モデルに必要な前処理とモデルのロードを自動的に選択できるAutoProcessor と AutoModelForCTCがあります。 これ使用することで少ないコードでいろんなモデルを試せます。 https://huggingface.co/docs/transformers/v4.21.1/en/autocl […]
