CATEGORY

Python

PyTorchで量子化を考慮した学習したモデルを量子化 ( GPU )

量子化を考慮した学習については前回記事を書いたので、こちらをご覧ください。 前回の記事はCPUでしか動作確認していませんでしたが、GPUで動作確認できたので、その内容について記述します。 動作環境 Google Colabを使用しました。設定方法は下記記事をご覧ください。 動作確認 必要なライブラリの導入 下記のコードで必要なライブラリをインストールします。 必要なライブラリをインポートします。 […]

HuggingFaceでConvBertの質問応答を試す

ConvBertとは 上図の(a)がSelf Attentionで全体の情報を各トークンで考慮しています。(b)のDynamic convolutionは一つの入力のみを考慮しています。(c)のSpan-based dynamic convolutionは窓幅を設定して、その窓幅分の局所的な情報を取得しています。図の例では窓幅3になっています。 実際のそれぞれのレイヤー構成は上図のようになっていま […]

BERTで推論を高速化できるTorchScriptを試してみる

TorchScriptはPyTorchのコードをモデルを最適化して、C++のコードでも動作可能にする機能です。 https://pytorch.org/docs/stable/jit.html 動作環境 Google Colabで動作確認しました。 日本語のBERTモデルをTorchScriptで変換 MASK部分を予測する日本語のBERTモデルを使用して動作確認をします。 モデルを取得する際にt […]

TRTorchを使用してPyTorchの推論を高速化する

TRTorchについて 以降は下記のリンクを元に記述しています。 https://www.nvidia.com/en-us/on-demand/session/gtcfall20-a21864/ PyTorchはpython依存しているがTorchScriptを使用するとC++からも使用可能になります。モデル静的な構造に変換します。 PyTorchのモデルをTorch Script形式に変換してC […]

Rinnaの言語モデルを使って言語予測してみた

rinna社が日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化したので、試してみる記事になります。 https://prtimes.jp/main/html/rd/p/000000009.000070041.html 下記が以前、言語モデルを作成した記事になります。 下記の記事も参考にTwitterからのデータを取得して、言語モデルをファインチューニングしてみます。 Twitt […]

TwitterのデータをBERT(HuggingFace)でポジティブ・ネガティブ分析を行う

ポジネガ分析について 本記事は後半部分が有料になっています。 本記事の価値は下記です。 Twitterのデータをポジティブ・ネガティブ分析が可能になるこどでマーケティング分析が可能に Google Colabで動作できるようにしているので環境構築が不要かつ再現がしやすい Hugging Faceの使用方法が分かるため、他の自然言語処理の分析への応用がしやすくなる 購入しない方が良い方 Python […]

2021年4月版:Twitter APIを使用してデータを取得する

Twitterの認証処理 Twitterにログインして下記リンクにログイン https://developer.twitter.com/en/portal/dashboard Create Projectをしておくと新しいTwitter APIを使用できるのでプロジェクト作成から行います。 新しいTwitter APIは下記をご覧ください。 https://developer.twitter.co […]

HuggingFaceのwav2vecで音声認識をしてみる

Wav2Vec 下記の論文で紹介された手法になります。 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations https://arxiv.org/pdf/2006.11477.pdf 大きな特徴は事前学習とファインチューニングのフェーズに分かれており、事前学習ではラベルデータが必要ない。つまり […]

ubuntu /dev/nvme0n1p2 cleanが発生したときの対応方法

たまにGPUドライバーを更新したときに出るので対処方法を備忘録として記述します。 検証環境は下記です。 Ubuntu 18.04 メモリ:64GB GPU: Geforce 1080 CPU : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz 再起動をすると下記のような状態になってしまいます。 Ctrl + Alt + F1もしくはF2,F3でターミナル画面にアクセ […]

Close Bitnami banner
Bitnami