分位点回帰を使った推定値の分布評価と不確かさ評価について気になっていたので試してみました。 記事タイトル及び検証ではLightGBMを使っていますが、他の手法でも同じ考え方を適用できるはずです。 以下の検証に関するコードはgithubにあげてあります。 qu…

この記事は、YOTO(YOU ONLY TRAIN ONCE)の雰囲気を掴むことを目的として、不均衡データ対策の損失関数にYOTOを適用して画像分類してみた記録です。 YOTOを使うことで、1つのモデルでMajorクラスの性能が良いモデル or Minorクラスの性能が良いモデルをテスト…

ReZeroという最近提案されたDeep learning関連の手法を画像認識(Cifar100)で試したのでその記録です。 結論としては、Cifar100での画像認識では効果なかったです。(なんかミスしている可能性もなくはない) 本記事の概要 ReZeroの概要 ReZeroの実装 ReZeroの…

KaggleのBengali.AI Handwritten Grapheme Classificationコンペに参加して24位(2059チーム中)でソロ銀メダルを取れました。ついでにkaggle expertになりました。 以下ではその記録についてまとめます。 本記事の概要 コンペ概要 私の取り組み 興味深かった…

「Rethinking Normalization and Elimination Singularity in Neural Networks」をざっと読んだのでそのメモです。 arxiv.org github.com 論文の概要 画像認識に使うDeep neural network (DNN)の構造お話。 Batch normalization (BN)はDNNでとてもよく使われ…

Kaggleの雲コンペに参加したので、実施事項や思ったことを記録しておきます。 1. 雲コンペ 衛星写真にうつった雲を種類ごとに検出して分類するタスクについて、その精度を競います。 Understanding Clouds from Satellite Images | Kaggle 特徴は以下のとお…

前回の記事に引き続き、Deep learningの不確かさ評価についてです。 今回は、「Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles」という論文で紹介されているアンサンブルで不確かさを評価する手法の検証を実施しました。 検証…

Deep learningの推定結果の不確かさってどうやって評価するのか疑問を持っていました。 Dropoutを使ったサンプリングをすることで不確かさ評価をできるということなので、kerasで実装して検証してみました。 以下の検証に関するコードはgithubにあげてありま…

WGAN-gpについて理解するため、WGAN-gpを簡単な2次元問題に適用し、その挙動を観察してみました。また、GANとの違いを比較しました 前にGANでやったことの続きです。 簡単な2次元問題でGANの基礎理解を深める(python, keras) - st1990のblog 以下の検証に関…

2019年7月6日に日本ディープラーニング協会のG検定を受験して合格しました。 せっかくなのでG検定の難易度や対策方法等を記録しておきます。 受験される際の参考にしていただければ幸いです。 記事の概要 まとめ 受験した感想 G検定とは 試験形式 合格基準 …

GANについて理解するため、GANを簡単な2次元問題に適用し、その挙動を観察してみました。実装にはpythonとkerasを使いました。 mnistの文字生成などがGANの導入としてよく紹介されていますが、文字等の画像データはデータ分布形状という観点での観察が難しい…

実数値遺伝的アルゴリズム（Real coded genetic algorithm, 以下RCGA）を使って深層強化学習をしてみたのでその記録です。 RCGAについてはこちらの記事を参考にしてください。 st1990.hatenablog.com 以下の検証に関するコードはgithubにあげてあります。 gi…

レコメンドの手法であるMatrix Factorizationについて勉強したのでその記録です。 以下の検証に関するコードはgithubにあげてあります。 github.com 1. 本記事の概要 レコメンドの手法であるMatrix Factorizationについての概要 Matrix FactorizationのNeura…

mixupについて調べて実装したのでまとめました。 以下の実装や検証はgithubにあげています。 github.com 1. 本記事の概要 data augmentationの1種であるmixupについて概要をまとめました。 2つ以上のサンプルを混合できるよう、mixupの拡張を検討しました。 …