ubuntu /dev/nvme0n1p2 cleanが発生したときの対応方法
たまにGPUドライバーを更新したときに出るので対処方法を備忘録として記述します。 検証環境は下記です。 Ubuntu 18.04 メモリ：64GB GPU: Geforce 1080 CPU : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz 再起動をすると下記のような状態になってしまいます。 Ctrl + Alt + F1もしくはF2,F3でターミナル画面にアクセ […]
Hugging Face のポジネガ、言語モデル、固有表現抽出、要約、翻訳が行えるpipelineを試す
環境構築 Google Colabで環境構築します。 下記にHuggingFaceのパイプラインの情報があります。 https://huggingface.co/transformers/main_classes/pipelines.html パイプラインで実行可能なタスクは下記になります。 ConversationalPipeline FeatureExtractionPipeline Fill […]
Hugging Faceで文章要約を試してみた
下記の部分にその記述があります。 https://huggingface.co/transformers/task_summary.html#summarization 環境構築 Google Colabで環境構築を行います。 下記の記事に手順を記述しています。 ライブラリを導入します。 モデルとTokenizerをまとめて扱えるpipelineを使用します。 このパイプラインはデータの前処理から […]
Hugging Face のコードで翻訳処理が簡単にできるか試してみた
環境構築 Google Colabで動作確認をします。下記のリンクに環境構築方法を記述しています。 翻訳 まず必要なライブラリを導入します。 下記のコードで動作確認をします。 使用した例文はhuggingfaceが提供しているテストデータの中の一部を抜粋しました。 下記サイトからテストデータを取得できます。 https://huggingface.co/Helsinki-NLP/opus-mt-e […]
condaを使用してcudaとcuDNNを複数バージョン共存して使用できるか確かめてみた
TensorFlowで依存するcuda, cuDNNの各バージョン Tensorflowは依存するcuda、cuDNNが異なるので検証に最適なのでTensorFlowで試してみます。 minicondaを導入します。下記リンクからインストーラを取得できます。 https://docs.conda.io/en/latest/miniconda.html 下記リンクに各TensorFlowバージョンの […]
SHAPをGPUで加速できるか試してみました
参考にした記事は下記です。 https://medium.com/rapids-ai/gpu-accelerated-shap-values-with-xgboost-1-3-and-rapids-587fad6822 環境構築 NVIDIA GPU CLOUDからRAPIDSのコンテナを取得して実行します。 下記記事でNVIDIA GPU CLOUDの設定方法を記述しました。 SHAPのCPUパ […]
機械学習の説明性を簡単に付与できるSHAPを試す
環境構築 環境構築はGoogle Colabで行います。 Google Colab上でpipで必要なライブラリをインストールします。 https://github.com/slundberg/shap 下記のコードをベースに処理をみていきます https://github.com/slundberg/shap/blob/master/notebooks/overviews/An%20introdu […]
自然言語処理が簡単にできるhugging faceで日本語の言語モデルを作成
動作環境 Google Colabで動作確認しました。 下記の記事で環境構築方法を記述しています。 言語モデルについて シンプルに説明すると単語データが与えられたときに次の単語候補を予測するモデルです。 例えば下記のようなデータが与えられたとき ”今日は日曜焼き肉定食を” 次の候補として ”たべる” を出力するようなモデルです。 データの準備 下記のページにある”How to fine […]
自然言語処理が簡単にできるhugging faceで言語分類モデルを作成
Hugging Faceについて hugging faceはTransoformerやGPTなど自然言語処理で高い性能を発揮したモデルを簡単に使用できるライブラリです。 使用できるモデル一覧は下記です。 https://huggingface.co/transformers/pretrained_models.html 日本語のモデルは下記になります。 cl-tohoku/bert-base-ja […]
画像分類の際に判断根拠を把握するGrad-CAMをPyTorch（Google Colab）で簡単に使用する
Grad-CAM 下記のように’Cat’と分類した場合にどこに注目したか分かる仕組みになります。 予測値”Tigar Cat”に寄与が高い（勾配が大きい）部分を取得しています。 Grad-CAMは、予測クラス値の寄与の大きいところ(勾配の大きいところ)が分類予測を行う上で、重要という発想の手法です。勾配に関しては最後の畳み込み層(以下最後のconv層)の予測クラス値に対する勾配が用いられます。 動 […]
