CATEGORY

Python

HuggingFaceのモデルLayoutLMV2を利用したOCR

https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LayoutLMv2/RVL-CDIP/Fine_tuning_LayoutLMv2ForSequenceClassification_on_RVL_CDIP.ipynb 動作確認はGoogle Colabで行います。下記に動作方法を記述しています。 必要なライブラリを […]

DeepStreamとTriton Inference Serverを用いて物体検出を行う

DeepStreamは動画データに対して前処理からDeep Learningによる動画解析までを高速に行えるアプリケーションです。 DeepStreamで扱えるのはTensorRTエンジンに変換可能もしくは変換済みのモデルになります。変換できないケースは対応できません。 Triton inference Serverの機能が加わったのでTensorRTエンジンに変換できないモデルでも扱うことができ […]

PyTorchで量子化を考慮した学習したモデルを量子化 ( GPU )

量子化を考慮した学習については前回記事を書いたので、こちらをご覧ください。 前回の記事はCPUでしか動作確認していませんでしたが、GPUで動作確認できたので、その内容について記述します。 動作環境 Google Colabを使用しました。設定方法は下記記事をご覧ください。 動作確認 必要なライブラリの導入 下記のコードで必要なライブラリをインストールします。 必要なライブラリをインポートします。 […]

HuggingFaceでConvBertの質問応答を試す

ConvBertとは 上図の(a)がSelf Attentionで全体の情報を各トークンで考慮しています。(b)のDynamic convolutionは一つの入力のみを考慮しています。(c)のSpan-based dynamic convolutionは窓幅を設定して、その窓幅分の局所的な情報を取得しています。図の例では窓幅3になっています。 実際のそれぞれのレイヤー構成は上図のようになっていま […]

BERTで推論を高速化できるTorchScriptを試してみる

TorchScriptはPyTorchのコードをモデルを最適化して、C++のコードでも動作可能にする機能です。 https://pytorch.org/docs/stable/jit.html 動作環境 Google Colabで動作確認しました。 日本語のBERTモデルをTorchScriptで変換 MASK部分を予測する日本語のBERTモデルを使用して動作確認をします。 モデルを取得する際にt […]

TRTorchを使用してPyTorchの推論を高速化する

TRTorchについて 以降は下記のリンクを元に記述しています。 https://www.nvidia.com/en-us/on-demand/session/gtcfall20-a21864/ PyTorchはpython依存しているがTorchScriptを使用するとC++からも使用可能になります。モデル静的な構造に変換します。 PyTorchのモデルをTorch Script形式に変換してC […]

Close Bitnami banner
Bitnami