GPUを用いたBlazingSQLによる高速なデータの可視化
下記のサイトにアクセス https://github.com/BlazingDB/blazingsql 下記の中から”Data Visualization”を選択するとGoogle Accountを持っていれば使用可能になります。 アクセスに成功すると下記のようにJupyter Notebookが現れます。 BlazingContextを作成します。 NYC Taxi データ・セットがS3で公開さ […]
YEAR
2020年
GPUでSQL操作を高速化可能なBlazingSQLを試してみました
blazingSQL blazingSQLは下記のようなイメージになります。RAPIDsはGPU Data Frameに対して複数のインターフェースを用意しているようです。 blazingSQLはSQLインターフェースを使って大規模データにアクセスできます。 上記の画像は下記から取得しました。 https://docs.blazingdb.com/docs 下記のサイトで簡単に試すことができます。 […]
PyTorchの量子化とQuantization aware trainingについて
量子化とQuantization aware training ベータ版ですがPyTorchでの量子化とQuantization aware trainingについて記述された記事が公開されています。今回はこの内容を試してみたいと思います。注意点としてCPUでのみしか実行できないようです。（2020年9月24日時点） https://pytorch.org/tutorials/advanced/s […]
GPU dashboardでGPUクロックを確認できるようにする
環境構築と動作方法 環境構築や動作確認方法は下記の記事を参考にしてください。 GPUクロックの確認のための修正 Rapidsのdockerコンテナに入り、下記のコードを編集します。GPUクロックの項目を追加します。 /opt/conda/envs/rapids/lib/python3.6/site-packages/jupyterlab_nvdashboard/server.py 下記のコードを編 […]
Triton Inference Serverを使って簡単に画像分類を行う
Triton Inference Server 今回はTriton Inference Serverを使ってみます。推論用のサーバーを立ててHTTP/RESTもしくはGRPC経由で動作可能です。クライアント側から推論処理をしたいデータをサーバーに送って処理を行います。 下記のような特徴があります。 複数のフレームワークをサポート：ONNXやSavedModelなど 複数のモデルの同一GPUでの同時 […]
グラフデータの探索処理をcuGraphで高速化できるか検証した
環境情報 GPUでグラフデータを高速に解析できるcuGraphを発見しました。 https://github.com/rapidsai/cugraph NGCからdockerコンテナを取得して動作確認をしました。NGCの設定方法は下記をご覧ください。 構築環境は下記です。 ハードウェア CPU: Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz Memory: 64 […]
SparkがGPU対応したようなので試してみた
*注意書き：クラスター環境ではなくGPUが動作するか確かめただけなので注意してください。 動作環境 OS: Ubuntu CPU(1枚): Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz GPU(1枚): Geforce 2080 Ti Memory: 64GB 下記の記事に簡単な試す手法が記述されていたので環境構築して試してみます。 https://nvidia […]
cumlを用いてGPUでxgboostの学習を高速化できるか試す
Xgboostによる推論高速化 前回のブログではxgboostの推論がcumlで高速化できるかを試してみました。 推論速は約7倍ほど早くなりました。 今回は下記のコードを参考にしました。 https://github.com/rapidsai/xgboost-conda/blob/branch-0.13/notebooks/XGBoost_Demo.ipynb 環境構築、動作環境は前回の記事を参考 […]
cumlを用いてGPUでxgboostの推論が高速化するか試す
XGboostについて Deep LearningはGPUを高速化するので有名ですが、機械学習の分野で有名なxgboostも高速化します。詳細は下記をご覧ください。 https://rapids.ai/xgboost.html XGboostは勾配ブーストを用いた決定木によるクラス分類や下記を行うモデルです。 数式をなるべく除いてイメージだけ説明してみます。下記のようなデータ・セットを用意します。 […]
PyProfでPyTorchのGPU上での動作をプロファイルする
DLProfのDeepLearningのプロファイリング 前回のブログではDLProfでプロファイリングしてTensorboardで確認しました。 Pyprofのプロファイリング 今回は別の方法でプロファイルする方法を確認してみます。pyprofだとDLProfと異なり、レイヤーごとの時間が分かるので動作がクリティカルに重いレイヤーを把握するのに役立ちます。 https://github.com/ […]
