TwitterのデータをBERT(HuggingFace)でポジティブ・ネガティブ分析を行う

ポジネガ分析について 本記事は後半部分が有料になっています。 本記事の価値は下記です。 Twitterのデータをポジティブ・ネガティブ分析が可能になるこどでマーケティング分析が可能に Google Colabで動作できるようにしているので環境構築が不要かつ再現がしやすい Hugging Faceの使用方法が分かるため、他の自然言語処理の分析への応用がしやすくなる 購入しない方が良い方 Python […]

2021年4月版:Twitter APIを使用してデータを取得する

Twitterの認証処理 Twitterにログインして下記リンクにログイン https://developer.twitter.com/en/portal/dashboard Create Projectをしておくと新しいTwitter APIを使用できるのでプロジェクト作成から行います。 新しいTwitter APIは下記をご覧ください。 https://developer.twitter.co […]

HuggingFaceのwav2vecで音声認識をしてみる

Wav2Vec 下記の論文で紹介された手法になります。 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations https://arxiv.org/pdf/2006.11477.pdf 大きな特徴は事前学習とファインチューニングのフェーズに分かれており、事前学習ではラベルデータが必要ない。つまり […]

ubuntu /dev/nvme0n1p2 cleanが発生したときの対応方法

たまにGPUドライバーを更新したときに出るので対処方法を備忘録として記述します。 検証環境は下記です。 Ubuntu 18.04 メモリ:64GB GPU: Geforce 1080 CPU : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz 再起動をすると下記のような状態になってしまいます。 Ctrl + Alt + F1もしくはF2,F3でターミナル画面にアクセ […]

Hugging Faceで文章要約を試してみた

下記の部分にその記述があります。 https://huggingface.co/transformers/task_summary.html#summarization 環境構築 Google Colabで環境構築を行います。 下記の記事に手順を記述しています。 ライブラリを導入します。 モデルとTokenizerをまとめて扱えるpipelineを使用します。 このパイプラインはデータの前処理から […]

Hugging Face のコードで翻訳処理が簡単にできるか試してみた

環境構築 Google Colabで動作確認をします。下記のリンクに環境構築方法を記述しています。 翻訳 まず必要なライブラリを導入します。 下記のコードで動作確認をします。 使用した例文はhuggingfaceが提供しているテストデータの中の一部を抜粋しました。 下記サイトからテストデータを取得できます。 https://huggingface.co/Helsinki-NLP/opus-mt-e […]

SHAPをGPUで加速できるか試してみました

参考にした記事は下記です。 https://medium.com/rapids-ai/gpu-accelerated-shap-values-with-xgboost-1-3-and-rapids-587fad6822 環境構築 NVIDIA GPU CLOUDからRAPIDSのコンテナを取得して実行します。 下記記事でNVIDIA GPU CLOUDの設定方法を記述しました。 SHAPのCPUパ […]

機械学習の説明性を簡単に付与できるSHAPを試す

環境構築 環境構築はGoogle Colabで行います。 Google Colab上でpipで必要なライブラリをインストールします。 https://github.com/slundberg/shap 下記のコードをベースに処理をみていきます https://github.com/slundberg/shap/blob/master/notebooks/overviews/An%20introdu […]

Close Bitnami banner
Bitnami