Artificial Neural Network(ANN, 人口ニューラルネットワーク): 脳内におけるニューロンの動きを人工的にシミュレーションする手法

深層学習: deep learning = deep(multi layer) Artificial Neural Network

AIにブレイクスルーをもたらした要因(ほんとに?合ってる?)

• Backpropagation(バックプロパゲーション): どこで学習が間違ったのかを学習させる仕組み。誤差逆伝播法と言う。
• Convolutional Neural Network(CNN,畳み込みニューラルネットワーク): パターンを見つける。例えば別角度から見たリンゴもリンゴだと識別するための方法。

Reference

• Wikipedia
  • Japanese
  • English

Perceptron(パーセプトロン): NAND論理演算が可能。NANDを組みわせると全ての演算(ブール演算)が可能。(functionally complete ,完全性)これは昨今のコンピュータでも同様だが、Input(入力)に対するweight(重み付け)に学習結果を反映させることでNAND論理演算のOutput(出力)は変わる。これが機械学習における学習の基本である。

Convolutional Neural Network(CNN,畳み込みニューラルネットワーク): 画像認識で成果を上げている。

Reference

• How do Convolutional Neural Networks work?
  • English
  • Japanese

• feature(特徴量):
• Epoch: 計算が実時間で終わるようにDatasetからデータをサンプリングする。これを「ミニバッチ手法」と言う。しかしながら、Dataset全体を網羅した学習をしたいため、確率的にDataset全体を網羅するように処理をn回繰り返す。このn回を1Epochと言う。
  • Epoch = Dataset全体数 / Batch Size

• activation function(活性化関数): 学習結果にメリハリをつけてニューロン発火「する」「しない」を明確にする。閾値以下を0、閾値以上を1のように分類するために使うため「正規化」とも言う。
  • sigmoid function(シグモイド関数): (-∞,∞)→(0,1) の変換を行い 0.0-1.0 の範囲に正規化する。
  • ReLU(Rectified Linear Unit, ramp function, ランプ関数):max(0,x)
  • tanh(tanh関数):双曲線関数の一つであるタンジェント関数
• affine transformation(アフィン): 入力全て(i1-in)に重み付け(w1-wn)を掛けて、さらにバイアス(b)に重み付け(w)を掛けたものを足した総和。
  • affine = (i1*w1 + i2*w2 + … in*wn) + bw

• mnist: Mixed National Institute of Standards and Technology database
  • 手書きの数字「０～９」に正解ラベルが与えられているデータセット

• Neural Network Console by sony

• Neural Network Libraries by sony
• TensorFlow by google