Python

pandasは遅い！大量データの高速化、最適化のノウハウを公開！

pandas(Pythonのデータ処理用のライブラリ)は、条件を指定してデータを取り出したりするのに便利なライブラリです。 しかし、kaggleのコンペのように1億レコード(行)もある大量データだと、メモリ不足に陥ったり、処理速度が遅くなることがありませんか？ そこで、この記事ではpandasをつかったデータの最適化(メモリ容量の最適化)、高速化について解説します！   メモリ容量の最適 […]

HEROKU(ヘロク)公式のgunicorn＋Flask＋python構成でWEBアプリのデプロイするまでの手順

この記事でわかること ・python＋Flaskで作ったWEBアプリを最速で公開する方法がわかる ・WEBアプリを公開するときに発生しやすいエラーの対処方法がわかる   概要 この記事では、HEROKUを使って、gunicorn＋Flask＋python構成でWEBアプリを公開するところまで紹介します。 また、筆者が遭遇したエラーについても補足します。 プログラミング初心者がWEBアプリ […]

【自然言語AI】日本語bert先生にMASKを使った質問で恋愛相談してみた！

bertは、Googleの検索で使われるなど、自然言語処理の分野ではよく使われています。 文章の一部をMASKする(隠す)ことにより、MASKした単語を文章の前後関係から予測することができます。 では、MASKを使って恋愛に関する問題を解決できるのか？検証してみました。   bertとは bertとは、「Bidirectional Encoder Representations from […]

pythonのdatasetでcloseできない！コネクションが切れない！更新が反映されないときの対処法

PythonのDBライブラリであるdatasetは、ORMライブラリのためSQL文を書かずにmysqlを操作が可能です。 ものすごく便利なライブラリーなのですが、クセが少なからずあるようです。 筆者は、以下の２つの問題で大変苦労しました。 任意のタイミングでコネクションを切断できなくてコネクションがたまり続ける 別コネクションの更新が、反映されない やっと解消方法がわかったので記事にしたいと思いま […]

PythonでブログのSEO調査ツール作成！競合10サイトでキーワード使用割合を出してみた

今回の一枚！モデルのユッコ様   SEO、競合サイトの調査・分析ツールは、有料で高価なものが多い。 その結果、ツールを使えるのは、企業でなければ導入が難しいのが現状です。 競合サイトが使っているキーワードの調査くらいなら、自分でプログラミングすればできるのは？ と言うわけで、Pythonで調査用のプログラムを作ってみました。   どんな調査ツールなの？ 今回作成したものは、競合 […]

【データあり！】Djangoでmysqlのリレーション(join)を実現するには？

■この記事を読むとわかること Djangoでmysqlの簡単なjoinの方法が分かる joinされた側のデータがどこにあるのか分かる   データの準備 説明の前に、どのようなデータを扱うのか解説します。 今回は、本と(本の)ジャンルの管理の例で解説します。 ジャンルマスターがあり、本には必ずジャンルマスターのIDを持っている状態になります。   扱うデータについて ■ジャンルマ […]

2時間以内でawsにkaggleの分析(訓練)できる環境(jupyter notebook)を作る！

このブログでは、こんな事がわかります！ awsに深層学習(Deep Learning)に特化したGPUサーバー(インスタンス)の作り方がわかる awsのインスタンス上でjupyter notebookの起動方法がわかる kaggle apiを使ってから学習に必要なデータの取り出し方がわかる   今回の一枚は、以前、撮影させていただいたポートレートモデルの「ゆっこ様」   概要 […]

【python】画像の機械学習に必須！transformsのComposeの挙動を写真を使って解説！

この記事でわかること ・pythonを使って画像の読み込み方法がわかる ・transformsのComposeの使い方がわかる。 PyTorchで画像の前処理としてtransformsのComposeがよく使われます。 Composeは、一括で加工ができるため大変便利ですが、Composeの挙動が意外に分かりづらかったりします。 今回は、Composeを使うと、画像がどのように変換されるか解説しま […]

OpenCVで明るさ(輝度),色相,彩度をグラフに描画・さらに明るさ調整

Kaggleのコンペで戦っている人 今、kaggle(AIコンペ)で画像処理系のコンペを戦っているんだ。極端に明るさがおかしい画像があるかもしれないから、何千枚もある画像から暗い画像だけ抽出して、補正したいだ。そんなことはできるかな？ 問題解決娘 ありますよ。今回は、ポートレートモデルの翡翠さんにご協力を頂いて暗い画像の検出、暗い画像を明るくする例で解説します。     簡単な […]

【すぐ実装できる！】OpenCVで明るさ、色彩、彩度のヒストグラムを描画する！明るさを調整する！

今回は、Pythonから画像処理ライブラリーOpenCVを呼び出して、 明るさ(輝度)を取得する 色相を取得する 彩度を取得する 明るさ、色相、彩度のヒストグラムを描画する 明るさを調整する(明るくする、暗くする) について解説します。   明るさ、色相、彩度を取得！明るさ調整の実装方法 ※もしソースコードが表示されない場合は、以下のURLをクリックして開いてみてください。 gistへの […]