自然言語処理が簡単にできるhugging faceで日本語の言語モデルを作成
動作環境 Google Colabで動作確認しました。 下記の記事で環境構築方法を記述しています。 言語モデルについて シンプルに説明すると単語データが与えられたときに次の単語候補を予測するモデルです。 例えば下記のようなデータが与えられたとき ”今日は日曜焼き肉定食を” 次の候補として ”たべる” を出力するようなモデルです。 データの準備 下記のページにある”How to fine […]
動作環境 Google Colabで動作確認しました。 下記の記事で環境構築方法を記述しています。 言語モデルについて シンプルに説明すると単語データが与えられたときに次の単語候補を予測するモデルです。 例えば下記のようなデータが与えられたとき ”今日は日曜焼き肉定食を” 次の候補として ”たべる” を出力するようなモデルです。 データの準備 下記のページにある”How to fine […]
Hugging Faceについて hugging faceはTransoformerやGPTなど自然言語処理で高い性能を発揮したモデルを簡単に使用できるライブラリです。 使用できるモデル一覧は下記です。 https://huggingface.co/transformers/pretrained_models.html 日本語のモデルは下記になります。 cl-tohoku/bert-base-ja […]
Grad-CAM 下記のように’Cat’と分類した場合にどこに注目したか分かる仕組みになります。 予測値”Tigar Cat”に寄与が高い(勾配が大きい)部分を取得しています。 Grad-CAMは、予測クラス値の寄与の大きいところ(勾配の大きいところ)が分類予測を行う上で、重要という発想の手法です。勾配に関しては最後の畳み込み層(以下最後のconv層)の予測クラス値に対する勾配が用いられます。 動 […]
日本語対応しているOCRのオープンソースがあったので試してみました。 https://github.com/JaidedAI/EasyOCR 動作環境 環境はGoogle Colabを使用しました。 動作検証 内部のコードはPyTorchベースで実装されているのでGPUで動作するため、RUNTIMEはGPUで動作させます。 Runtime->Change runtime type で下記の画面にな […]
Metric Learning Metric Learningを使用すると顔認証、画像検索、異常検知などに適用できます。識別では対応できない未知の顔、画像、データに対応できる点がメリットです。 下記は顔認証の例になります。顔の投影角度が変わっても距離を小さくできていることが分かります。 Schroff, Florian, Dmitry Kalenichenko, and James Philbin […]
参考情報 今回は下記の記事を参考に記述しています。 https://pytorch.org/tutorials/beginner/transformer_tutorial.html 動作確認した環境はGoogle Colabになります。設定方法は下記の記事に記述しました。 Transformerとは複数のAttention処理を使用しているモデルになります。Attention Is All You […]
参考情報 下記の記事を参考にしました。 https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Google Colabで動作確認をしました。設定方法は下記記事に記述しています。 モデルの作成 下記のコードでLeNetのモデルを作成します。 モデルの重みとバイアスを確認します。 下記のようにパラメータを確認できます。 モデル […]
参考情報 下記の記事を参考にしています。 https://pytorch.org/tutorials/beginner/audio_preprocessing_tutorial.html Google Colabを使用して動作確認しました。下記に手順を載せています。 Google Colabでは予め必要なライブラリがインストールされていますがtorchaudioはインストールされていないのでインス […]
下記のサイトにアクセス https://github.com/BlazingDB/blazingsql 下記の中から”Data Visualization”を選択するとGoogle Accountを持っていれば使用可能になります。 アクセスに成功すると下記のようにJupyter Notebookが現れます。 BlazingContextを作成します。 NYC Taxi データ・セットがS3で公開さ […]
blazingSQL blazingSQLは下記のようなイメージになります。RAPIDsはGPU Data Frameに対して複数のインターフェースを用意しているようです。 blazingSQLはSQLインターフェースを使って大規模データにアクセスできます。 上記の画像は下記から取得しました。 https://docs.blazingdb.com/docs 下記のサイトで簡単に試すことができます。 […]