Python で不動産物件ごとに価格と地図上の位置を把握する
関係のあるブログ 以前のブログでスクレイピング処理をしました。 スクレイピングしたデータを処理しやすくするために前処理をします。 地図上で物件の情報を見れると有用です。今回は下記のように物件を金額ごとに色分けして、値段も万円単位で確認できるようにしました。 Python で不動産物件の経度緯度情報を取得する 必要なライブラリを取得します。 geopyを使用して住所から経度緯度情報を取得します。ただ […]
CATEGORY
Python
スクレイピングしたデータを解析しやすくする
前回の記事でスクレイピングをしました。そのデータを今回は使用します。 データの前処理 必要なライブラリをインポートします。 前回スクレイピングしたデータを読み込みます。 価格を取得するための関数を作成します。数字と漢字が混じっているだけなので数字だけ抽出する形にします。 抽出した”販売価格”を”販売価格(万円)”に入れ替えます。 年を抽出する関数を作成します。 抽出した”築年月”を”築年”に入れ替 […]
中古不動産物件をスクレイピングする
suumoのサイトを使用します。suumoのサイトは整理されているのでスクレイピングしやすいのがメリットです。 使用するライブラリ retry: スクレイピング処理をする場合に失敗した場合の再度スクレイピング処理をする際の設定ができます。 下記に各種パラメータの説明があるので、それを元に設定ができます。 https://pypi.org/project/retry/ BeautifulSoup4: […]
Torch TensorRT で Int8 量子化を試す
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化
事前準備 Torch TensorRTに関しては下記記事をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/mast […]
Torch TensorRTのfxによるTensorRT変換可能なノードの可視化
準備 Torch TensorRTの機能については下記をご覧ください Torch TensorRTの環境はdockerを使用すると簡単に用意できます。 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/maste […]
HuggingFace の AutoProcessor と AutoModelForCTC で使用可能な音声認識モデルを確認する
AutoProcessor と AutoModelForCTC HuggingFaceでは各モデルに必要な前処理とモデルのロードを自動的に選択できるAutoProcessor と AutoModelForCTCがあります。 これ使用することで少ないコードでいろんなモデルを試せます。 https://huggingface.co/docs/transformers/v4.21.1/en/autocl […]
HuBERT: 教師なし学習＋ファインチューニングで動作する音声認識モデル
HuBERTは下記の論文で紹介されている手法です。 下記の論文 HuBERT: Self-Supervised Speech RepresentationLearning by Masked Prediction of Hidden Units : https://arxiv.org/pdf/2106.07447.pdf 教師なし学習の手法は下記の図で示されます。 音声データからMFCCで特徴量抽 […]
HuggingFaceのモデルLayoutLMV2を利用したOCR
https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LayoutLMv2/RVL-CDIP/Fine_tuning_LayoutLMv2ForSequenceClassification_on_RVL_CDIP.ipynb 動作確認はGoogle Colabで行います。下記に動作方法を記述しています。 必要なライブラリを […]
DeepStreamとTriton Inference Serverを用いて物体検出を行う
DeepStreamは動画データに対して前処理からDeep Learningによる動画解析までを高速に行えるアプリケーションです。 DeepStreamで扱えるのはTensorRTエンジンに変換可能もしくは変換済みのモデルになります。変換できないケースは対応できません。 Triton inference Serverの機能が加わったのでTensorRTエンジンに変換できないモデルでも扱うことができ […]
