自然言語処理が簡単にできるhugging faceで日本語の言語モデルを作成

動作環境 Google Colabで動作確認しました。 下記の記事で環境構築方法を記述しています。 言語モデルについて シンプルに説明すると単語データが与えられたときに次の単語候補を予測するモデルです。 例えば下記のようなデータが与えられたとき ”今日は日曜焼き肉定食を” 次の候補として ”たべる” を出力するようなモデルです。 データの準備 下記のページにある”How to fine […]

画像分類の際に判断根拠を把握するGrad-CAMをPyTorch(Google Colab)で簡単に使用する

Grad-CAM 下記のように’Cat’と分類した場合にどこに注目したか分かる仕組みになります。 予測値”Tigar Cat”に寄与が高い(勾配が大きい)部分を取得しています。 Grad-CAMは、予測クラス値の寄与の大きいところ(勾配の大きいところ)が分類予測を行う上で、重要という発想の手法です。勾配に関しては最後の畳み込み層(以下最後のconv層)の予測クラス値に対する勾配が用いられます。 動 […]

簡単にOCR処理ができるEasyOCRをGoogle Colabで試してみた

日本語対応しているOCRのオープンソースがあったので試してみました。 https://github.com/JaidedAI/EasyOCR 動作環境 環境はGoogle Colabを使用しました。 動作検証 内部のコードはPyTorchベースで実装されているのでGPUで動作するため、RUNTIMEはGPUで動作させます。 Runtime->Change runtime type で下記の画面にな […]

画像検索に使用できるMetric LearningをGoogle Colabで試してみた

Metric Learning Metric Learningを使用すると顔認証、画像検索、異常検知などに適用できます。識別では対応できない未知の顔、画像、データに対応できる点がメリットです。 下記は顔認証の例になります。顔の投影角度が変わっても距離を小さくできていることが分かります。 Schroff, Florian, Dmitry Kalenichenko, and James Philbin […]

PyTorchでモデルの枝刈りを行い軽量なモデルを作成する

参考情報 下記の記事を参考にしました。 https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Google Colabで動作確認をしました。設定方法は下記記事に記述しています。 モデルの作成 下記のコードでLeNetのモデルを作成します。 モデルの重みとバイアスを確認します。 下記のようにパラメータを確認できます。 モデル […]

GPUを用いたBlazingSQLによる高速なデータの可視化

下記のサイトにアクセス https://github.com/BlazingDB/blazingsql 下記の中から”Data Visualization”を選択するとGoogle Accountを持っていれば使用可能になります。 アクセスに成功すると下記のようにJupyter Notebookが現れます。 BlazingContextを作成します。 NYC Taxi データ・セットがS3で公開さ […]

GPUでSQL操作を高速化可能なBlazingSQLを試してみました

blazingSQL blazingSQLは下記のようなイメージになります。RAPIDsはGPU Data Frameに対して複数のインターフェースを用意しているようです。 blazingSQLはSQLインターフェースを使って大規模データにアクセスできます。 上記の画像は下記から取得しました。 https://docs.blazingdb.com/docs 下記のサイトで簡単に試すことができます。 […]

Close Bitnami banner
Bitnami