差分

このページの2つのバージョン間の差分を表示します。

--- programming:neural-network [2017/10/17 09:03] – dot
+++ programming:neural-network [2017/11/08 02:15] (現在) – dot
@@ 行 6: / 行 6: @@
 深層学習: deep learning = deep(multi layer) Artificial Neural Network
-AIにブレイクスルーをもたらした要因(:?:ほんとに?合ってる?)
+Neural Network にブレイクスルーをもたらした要因
   * Backpropagation(バックプロパゲーション): どこで学習が間違ったのかを学習させる仕組み。誤差逆伝播法と言う。
     * 勾配算出を高速化することに成功した。
+    * 偏微分を利用することで、重みを変えると結果にどれくらいの影響があるかを考えながら重みの調整ができるようになった。
   * Convolutional Neural Network(CNN,畳み込みニューラルネットワーク): パターンを見つける。例えば別角度から見たリンゴもリンゴだと識別するための方法。
@@ 行 22: / 行 23: @@
 {{:programming:perceptron.png?400|}}
-Perceptron(パーセプトロン): NAND論理演算が可能。NANDを組みわせると全ての演算(ブール演算)が可能。(functionally complete ,完全性)これは昨今のコンピュータでも同様だが、Input(入力)に対するweight(重み付け)に学習結果を反映させることでNAND論理演算のOutput(出力)は変わる。これが機械学習における学習の基本である。
+Perceptron(パーセプトロン): NAND論理演算が可能。NANDを組みわせると全ての演算(ブール演算)が可能(functionally complete ,完全性という)。この完全性は昨今のコンピュータにも当然備わっているが、ニューラルネットに置いてはInput(入力)に対するweight(重み付け)に学習結果を反映させることでNAND論理演算のOutput(出力)が変わる。これが機械学習における学習の基本である。
 ===== Convolutional Neural Network =====
@@ 行 53: / 行 54: @@
     * cross entropy(交差エントロピー):
     * Softmax cross entropy(ソフトマックス交差エントロピー):
+  * Convolutional Neural Network(CNN,畳み込みニューラルネットワーク):Convolution Layer (畳み込み層)と Pooling Layer (プーリング層)からなる Neural Network
+    * Convolution Layer: 入力されたニューロンの一部(局所領域やwindowと言う)に対して畳み込み演算をする。局所領域をスライドしながらニューロン全体に対して畳み込み演算を行い「特徴マップ」を求める。
+    * Pooling Layer: 入力されたデータを規則を適用して圧縮する。
+      * Max Pooling: 局所領域内で最大の値を採用する。
+      * Average Pooling: 局所領域内の値の平均値を採用する。
 ==== Dataset ====
@@ 行 58: / 行 65: @@
   * mnist: Mixed National Institute of Standards and Technology database
     * 手書きの数字「０～９」に正解ラベルが与えられているデータセット
+====== 機械学習の種類 ======
+  * 教師あり学習: 学習の答えを用意する
+    * 分類問題: 画像などを**仕分け**する
+      * 画像の場合、ピクセルを行列として扱うことで学習する
+    * 回帰問題: 数値などから傾向を学習し、今後の変動などを**推測**する
+  * 教師なし学習: 学習の答えを用意しない
 ====== Tools ======