CATEGORY

Python

SparkがGPU対応したようなので試してみた

*注意書き:クラスター環境ではなくGPUが動作するか確かめただけなので注意してください。 動作環境 OS: Ubuntu CPU(1枚): Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz GPU(1枚): Geforce 2080 Ti Memory: 64GB 下記の記事に簡単な試す手法が記述されていたので環境構築して試してみます。 https://nvidia […]

cumlを用いてGPUでxgboostの学習を高速化できるか試す

Xgboostによる推論高速化 前回のブログではxgboostの推論がcumlで高速化できるかを試してみました。 推論速は約7倍ほど早くなりました。 今回は下記のコードを参考にしました。 https://github.com/rapidsai/xgboost-conda/blob/branch-0.13/notebooks/XGBoost_Demo.ipynb 環境構築、動作環境は前回の記事を参考 […]

cumlを用いてGPUでxgboostの推論が高速化するか試す

XGboostについて Deep LearningはGPUを高速化するので有名ですが、機械学習の分野で有名なxgboostも高速化します。詳細は下記をご覧ください。 https://rapids.ai/xgboost.html XGboostは勾配ブーストを用いた決定木によるクラス分類や下記を行うモデルです。 数式をなるべく除いてイメージだけ説明してみます。下記のようなデータ・セットを用意します。 […]

PyProfでPyTorchのGPU上での動作をプロファイルする

DLProfのDeepLearningのプロファイリング 前回のブログではDLProfでプロファイリングしてTensorboardで確認しました。 Pyprofのプロファイリング 今回は別の方法でプロファイルする方法を確認してみます。pyprofだとDLProfと異なり、レイヤーごとの時間が分かるので動作がクリティカルに重いレイヤーを把握するのに役立ちます。 https://github.com/ […]

DLProfでDeep LearningのGPUでの動作内容を把握してみた

DLProfについて Deep LearningのGPU上での動作を確認できるツールが出たようなのでどのような情報が確認できるか確かめてみました。 参考にしたのは下記の2つの記事です。本ブログではよくPyTorchを使用しているためPyTorchで動作確認しました。 https://docs.nvidia.com/deeplearning/frameworks/tensorboard-plugin […]

音声データの特徴抽出(メル尺度、MFCC)処理をDALIで高速化できるか試した。

前回の記事でスペクトラム変換は高速に処理できることが確認できました。音声処理ではスペクトラム変換以外にメル尺度に基づいたスペクトラム変換やMFCC変換処理もよく使用されます。これらの処理も高速に処理できるか試してみます。 メル尺度 音高の知覚尺度です。下記の図を見れば分かりますが約5000[Hz]以下では急激に増加し、そこからなだらかになっています。つまり周波数の増加量と人間が知覚する音の高さは比 […]

音声データをDALIで高速に処理できるようなので試した

画像データに対するDALIの適用 以前、画像データをDALIで高速化できるか試してみました。 音声データも処理できるようなので試してみました。 https://github.com/NVIDIA/DALI/blob/master/docs/examples/audio_processing/spectrogram.ipynb 環境構築 今回もGoogle Colaboratoryで動作確認します。 […]

pytorchで物体検出モデルSSDを簡単に使用する

SSD(Single Shot MultiBox Detector)とは 物体検出に主に使用されるモデル SSD: Single Shot MultiBox Detector の論文で提唱された手法です。 細かい部分は他の方がブログで説明されていますので省きますが、主要な部分は複数のスケールの特徴量を使用して物体検出性能を上げる手法になります。 この複雑なモデルを簡単に使えるような内容を公開してく […]

Google Colabの環境で画像の前処理を高速化するDALIで学習が高速化出来るか試してみた

DALIとは 画像の前処理をCPUで処理している場合、その処理が複雑になればなるほど時間がかかるので、その処理をGPUにして高速化しようとする試みです。 前処理の高速化とCPUとGP間のデータ転送の時間も削減できます。下記が公式のリンク https://docs.nvidia.com/deeplearning/sdk/dali-developer-guide/docs/index.html 検証環 […]

Jupyterもしくはブラウザ上でGPUの状態を可視化出来るダッシュボード

GPUの状態の可視化について GPUの状態を可視化できれば、GPUを効率よく使用してDeep Learningのモデルを作成できているかを確認できます。またcudfなどのGPUを利用したデータの前処理でも効率よく使用できているか効果を確認できます。 本記事では”GPU Dashboards in Jupyter Lab“を使ってGPUの状態を可視化してみます。 可視化できる […]

Close Bitnami banner
Bitnami