Kaggle・Google QUEST Q&A Labelingコンペでメダルを逃す方法を共有！
■この記事を読むとわかること ・Google QUEST Q&A Labelingコンペの内容がわかる ・kaggle初心者のあるあるがわかる ・メダルのゲットを失敗する思考が分かる 序章・コンペの振り返り Kaggleの Google QUEST Q&A Labelingコンペが終了しました。 今回もメダルを逃してしまいました。 このブログでは、コンペの振り返りの意 […]
kaggleで戦うならMongoDBは必須！csvファイルを5分以内でimport(インポート)できる
この記事を読むとわかること ・CSVファイルをmongoDBにインポートする方法がわかる ・インポートにかかる時間が5分以内であることが分かる ・なぜ、kaggleで戦うのにmongoDBを使うと良いのかわかる なぜkaggleを戦うのにDBを用意するの？ kaggleで提供されるCSVデータは、10M以上あり、エクセルで開こうとするとかなり重くなります。 重いときは1Gを超えること […]
Googletransで大量にリクエストしたらブロックされた！対処方法5選！
この記事で分かること ・Googletransを使ったGoogle翻訳の使い方が分かる ・GoogletransのPythonの実装例が分かる ・Googletransがなぜ不安定と言われているかわかる ・Googletransはいきなり使えなくなることがある。その対処方法が分かる メイド見習い 1万語ほど翻訳したら急に翻訳できなくなってしまったんだ。 翻訳を試みても「Expecti […]
colabですぐ試せる！サクッとseq2seqで英語から日本語翻訳を試す
この記事でわかること 機械学習のseq2seqの仕組みがわかる seq2seqを使うとどんなことができるかわかる seq2seqを利用した英語から日本語に翻訳するpythonのプログラミング例がわかる kerasでモデルを作る方法がわかる seq2seqとは 特徴は？ seq2seqを使うとこんな事ができます。 ・長い文章を要約することができる ・対話の応答。自動返信のチャットが良い […]
kerasのLSTMを使って文章生成を実装するサンプル
この記事でわかること 文章の生成方法がわかる kerasのLSTMの使い方がわかる 概要 kerasを使えば、LSTMで文章の生成が意外に簡単にできてしまいます。 しかも、LSTMの詳しいロジックを知らなくても、実装できてしまうのがkerasのすごいところだと思います。 LSTMとは LSTMとは「Long Short Term Memory」の略で、長期的な時系列の依存関係を学習す […]
ニューラルネットワークをkerasで10行ほどで実装する簡単なサンプル
kerasを使えば、簡単なニューラルネットワークであれば10行ほどで実装できてしまいます。 ニューラルネットワークの実装は難しそうだな〜と思っている方に参考になると思います！ 今回は、cos関数の描画という簡単なサンプルを使って、ニューラルネットワーク、kerasの使い方を説明します。 kerasでニューラルネットワークを実装する まず、kerasを使う部分だけ抜き出すと以下のような […]
Kaggleのnotebooks(kernel)においてConnectionErrorエラーでLINEからのメッセージ受信に失敗するときの対処方法
この記事でわかること kernelからLINEへメッセージ送信後、ConnectionErrorエラーで失敗したときの対象方法がわかる kernelとLINE Notifyの連携方法がわかる LINE Notifyと連携させると、何が便利かわかる いきなり結論！ConnectionErrorエラーが出たときの対処方法 Kaggleのnotebooks(kernel)にLINE Not […]
Kaggleのコンペで評価でモデルの精度が上がったのにpublic scoreが悪くなったときに読む記事
以下のような疑問にお答えします 自分でモデル評価したら精度上がったのに、kaggleに提出したら精度が悪いと言われた。 なぜそんなことが起きるのかわからない。 そのような疑問に歴20年の現役エンジニアが回答します。 今回は、評価スコアが改善したのにpublic scoreが悪くなってしまう原因を事例を挙げて解説しますね。 記事を読み進める上での前提条件 この記事を読み進める上での前提 […]
【機械学習の分類問題の検証】AUC評価指標ってわかりずらくないですか？
「AUC評価指標」とは何？ そのような疑問に歴20年の現役エンジニアが回答します。 混同行列についての復習 前回、混同行列についてオタクかどうか判断するカメラアプリの例で解説しました。 混同行列のTP,FN,TN,FP について簡単に復習します。 ■真陽性・TP(True-Positive) ポジティブ(正例)に分類すべきものをちゃんとポジティブに分類でき […]
pandasからnumpyに変換してmath.logの計算するまでのフロー
この記事でわかること pandasのnumpyの変換方法がわかる １行でmathを使った計算方法(記述方法)がわかる pandasからnumpyに変換してmath.logの計算するまでのフロー pandasにY軸にあたるデータが有る。それを取り出してlog関数を通して出力したい。 その実現方法がわかったのでメモ。 手順 ①pandasからnumpyに変換する y = t […]