PyProfでPyTorchのGPU上での動作をプロファイルする
DLProfのDeepLearningのプロファイリング 前回のブログではDLProfでプロファイリングしてTensorboardで確認しました。 Pyprofのプロファイリング 今回は別の方法でプロファイルする方法を確認してみます。pyprofだとDLProfと異なり、レイヤーごとの時間が分かるので動作がクリティカルに重いレイヤーを把握するのに役立ちます。 https://github.com/ […]
MONTH
2020年8月
DLProfでDeep LearningのGPUでの動作内容を把握してみた
DLProfについて Deep LearningのGPU上での動作を確認できるツールが出たようなのでどのような情報が確認できるか確かめてみました。 参考にしたのは下記の2つの記事です。本ブログではよくPyTorchを使用しているためPyTorchで動作確認しました。 https://docs.nvidia.com/deeplearning/frameworks/tensorboard-plugin […]
音声データの特徴抽出（メル尺度、MFCC）処理をDALIで高速化できるか試した。
前回の記事でスペクトラム変換は高速に処理できることが確認できました。音声処理ではスペクトラム変換以外にメル尺度に基づいたスペクトラム変換やMFCC変換処理もよく使用されます。これらの処理も高速に処理できるか試してみます。 メル尺度 音高の知覚尺度です。下記の図を見れば分かりますが約5000[Hz]以下では急激に増加し、そこからなだらかになっています。つまり周波数の増加量と人間が知覚する音の高さは比 […]
音声データをDALIで高速に処理できるようなので試した
画像データに対するDALIの適用 以前、画像データをDALIで高速化できるか試してみました。 音声データも処理できるようなので試してみました。 https://github.com/NVIDIA/DALI/blob/master/docs/examples/audio_processing/spectrogram.ipynb 環境構築 今回もGoogle Colaboratoryで動作確認します。 […]
pytorchで物体検出モデルSSDを簡単に使用する
SSD(Single Shot MultiBox Detector)とは 物体検出に主に使用されるモデル SSD: Single Shot MultiBox Detector の論文で提唱された手法です。 細かい部分は他の方がブログで説明されていますので省きますが、主要な部分は複数のスケールの特徴量を使用して物体検出性能を上げる手法になります。 この複雑なモデルを簡単に使えるような内容を公開してく […]
Google Colabの環境で画像の前処理を高速化するDALIで学習が高速化出来るか試してみた
DALIとは 画像の前処理をCPUで処理している場合、その処理が複雑になればなるほど時間がかかるので、その処理をGPUにして高速化しようとする試みです。 前処理の高速化とCPUとGP間のデータ転送の時間も削減できます。下記が公式のリンク https://docs.nvidia.com/deeplearning/sdk/dali-developer-guide/docs/index.html 検証環 […]
