Subscribe to Our Bi-Weekly AI Newsletter

ノイズ除去オートエンコーダ

オートエンコーダは、次元削減、つまり特徴の選択と抽出に使用されるニューラルネットワークです。入力データより隠れ層の多いオートエンコーダは恒等写像といって入力データがそのまま出力データになる無意味な学習に終わってしまう危険性があります。

ノイズ除去オートエンコーダは、基本的なオートエンコーダの延長物であり、その確率的バージョンを表したものです。ノイズ除去オートエンコーダは、オートエンコーダが復元、またはノイズ除去しなければならない入力データをランダムに破壊することにより(ノイズを導入したりなどして)、恒等関数の危険性を解消しようとするものです。

パラメータと破壊のレべル

入力に適用するノイズの量は百分率形式を使用します。通常、30%または0.3で問題ありませんが、使用データが非常に小規模な場合は、少し値を増やすことをお勧めします。

ノイズ除去オートエンコーダの入力/開始

単一スレッドのノイズ除去オートエンコーダを設定するのは簡単です。

マシンを作成するには、単にオートエンコーダのインスタンスを作成し、以下のサンプルのようにcorruptionLevelまたはノイズを設定します。

このようにして、MNISTのデータを使って可視層一つと隠れ層一つでノイズ除去オートエンコーダを設定します。このネットワークは学習率が0.1、モメンタムが0.9で、損失関数に復元の交差エントロピーを採用しています。

Chris Nicholson

Chris Nicholson is the CEO of Skymind and co-creator of Deeplearning4j. In a prior life, Chris spent a decade reporting on tech and finance for The New York Times, Businessweek and Bloomberg, among others.

A bi-weekly digest of AI use cases in the news.