ニューラルネットワークの歴史と手法1

2.3K Views

May 10, 22

スライド概要

大学院で使っているニューラルネットワークについての資料です.パーセプトロンまで書かれています.

profile-image

コンピュータを使って色々計算しています

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

ニューラルネットワークの 歴史と⼿法1 パーセプトロンまで 公⽴⼩松⼤学 藤⽥ ⼀寿 かなりマニアックな部分があります. 必ず元論文をチェックしましょう!!

2.

⼈⼯ニューラルネットワークのよくある説明 神経科学 • ⼈⼯ニューラルネットワークは脳の構造・機能の模倣から発展した. 脳 ⼈⼯ニューラル ネットワーク 神経細胞 ネットワーク化 ⼈⼯ニューロン ニューロンモデル ⼈⼯ニューラルネットワーク ⼈⼯ニューロンを組み合わせることで,様々な機能を実現できる.

3.

よく⾔われるニューラルネットワークの歴史 • 1943年McCullochとPittsによりニューロンモデルが提案される. • 1957年Rosenblattがパーセプトロン(ニューラルネットワーク)を発表する. • 1969年MinskyとPapertがパーセプトロンが線形分離不可能な問題が解けないこと を⽰し,ニューラルネットワークの研究が下⽕になる. • 1986年Backpropagationによりパーセプトロンの多層化が容易にできるようになり ,線形分離不可能な問題を解けるようになる. • 性能の頭打ち,サポートベクターマシンなどの他の⼿法の発展によりニューラルネ ットワークの研究が下⽕になる. • 2012年深層ニューラルネットワークが画像識別のコンペで優勝し深層ニューラル ネットワークが注⽬される. ニューラルネット ワークブーム 1950 1960 1957,1958 パーセプトロン 1943 McCulloch-Pitts model ニューラルネットワ ークブーム 冬の時代 1970 1969 Minsky and Papert Perceptrons 1973 SOM 1980 1990 冬の時代 2000 1986 Backpropagation 1980 Neocognitron 1983 Kohonenʼs SOM ニューラルネットワ ークブーム(深層学 習ブーム) 2010 2012 AlexNet 1995 Support vector machine 2020

4.

ニューラルネットワークの歴史 • 1873年 ゴルジ染⾊ • 1982年 Hopfield model • 1987年 Neuron doctrine • 1906年 Receptive field • 1986年 Backpropagation, Autoencoder, Recurrent network • 1914年 All or none law • 1946年 McCulloch-Pitts model • 1949年 Hebbian learning • 1957年 Perceptron • 1968年 Primary visual cortex • 1969年 Rectified linear • 1973年 Self organizing map • 1980年 Neocognitron • 1989年 LeNet • 1997年 LSTM • 2002年 Liquid state machine • 2006年 Deep belief network • 2012年 Dropout • 2012年 Alexnet • 2015年 ResNet 詳しくはQiitaをみてね.https://qiita.com/KazuhisaFujita/items/b40f2363558c373bde55

5.

神経科学の萌芽

6.

ゴルジ染⾊(⿊い反応) 1873年 • ゴルジが発明した神経細胞の染⾊⽅法 • この染⾊法により脳の内部構造の理解が深まった. 海⾺のスケッチ(Golgi, 1886) 元の文献をチェックしていない.

7.

ニューロン 1891年,シナプス 1897 • Waldeyere-Heartzが独⽴した神経単位をニューロン,ニューロンとニ ューロンのつなぎ⽬をシナプスと命名した.

8.

Neuron doctrine(ニューロン説)(1880s,1890s年) • Cajal(カハール)らが提唱した脳の構造の考え⽅. • 脳は独⽴したニューロンからなる. • シナプス間隙が電⼦顕微鏡により確認され,Neuron doctrineが正しいこと が分かった (Birks et al., 1960). • ⼀⽅ゴルジはReticular theory(網状説)を提唱した. • 脳全体が合胞体(syncytium)であり、共通の細胞質を持つ連続した組織の塊 である (Gazzaniga MS et al., 2013). Cajalによる海⾺のスケッチ 元の文献をチェックしていない.

9.

Receptive field(受容野)(1906年) • ⼀つの神経細胞が受け持つ領域のこと. 126 3 触覚 の 生理学 に 密接 に 連絡 す る 周 辺皮質領野で, ど の よ う に 触覚情報が処理 さ れ て い る の か を • この考え⽅が畳み込みニューラルネットワークニューラルネットワー クの畳み込みに対応する. 概観す る . 3.3.1 2 つ の体性感覚野 開頭 し て 覚醒状態 に あ る ヒ ト の 中 心後回皮質 の 各点 を 電気刺激す る と , 対側 に あ る 特定 の 体部位 で触感覚が体験 さ れ る . こ の現象 を 利 用 し て , 対側体表面全体 に わ た る 皮質 内表現であ る 体部位局在再現が構成 さ れた 39). こ の ホ ム ン ク ル ス と • 脳の視覚処理のRetinotopic mapに対応. • 畳み込みニューラルネットワークにも第1次視覚野に⾒られるガボールフィ ルタ様の受容野が現れる. 呼 ばれ る 半身 像 は ヒ ト と 相似 で は な く , 手, 足, 口 な ど の皮府無毛部 と そ の 他の 部位 と の 対比が, 著 し く 誇張 さ れ て 描 かれ て い る ( 図 3 . 16) . ホ ム ン ク ル ス は ヒ ト の 忠実 な コ ピ ー で は な く , 各部位が機械受容 ユ ニ ッ ト 密度 に比例 し て 拡縮 さ れ て い る . 皮 質 内 ニ ュ ー ロ ン か ら み る と , 手指 の よ う に 大 き く 誇張 し て 描 か れ た 皮 膚部位 に 対応 す る 皮質ニ ュ ー ロ ン で は , そ れ を 活性化す る 皮膚領域が地図上 の 面 積 に 反比例 し て 小 さ く な る . 例 え ば指尖 は 腹部 の 約 1/ 100 で あ る . 1 次体性感覚 野の下方, 外側溝 の 縁 に 沿 っ た 内壁 で は , 別 の 両側性体部位局在再現が構成 さ れ 例 体性感覚野では,体表面の特定の場所に対応し たニューロンがある(Somatotopic map). ニューロンの位置は体の場所と対応している. 図 3 . 16 ヒ ト の 1 次体性感覚野に お け る ホ ム ン ク ノレ ス 像 (内川恵二編,聴覚・触覚・前庭感覚) Penfield and Rasmussen, 1950の文献の図の改変 対側 の 大 ま か な投射位置 と 密度 が 表現 さ れ て い る . 右 図 は 左 右 を 合体 さ せ, ヒ ト 型 に表現 し 体部位局在再 現 を 比織的 に 表現. 実 際 に は 3 次元か ら 2 次元 へ の 写 像 で あ る た め , 複 雑 な 地 図 と な る . 左図では, Sherrington, C S (1906); Hartline (1938) 元の文献を詳しくチェックしていない

10.

All or none law (全か無かの法則) (1914年) • 神経細胞の応答の基本的なルール • 膜電位が閾値を越えると活動電位を発する(発⽕する). • 簡単に⾔うと,神経細胞への⼊⼒が⼀定の値(閾値)より⼤きいと1を出⼒する . • ⼊⼒の⼤きさによらず,活動電位の⼤きさは⼀定である. • 簡単に⾔うと,⼊⼒の⼤きさによらず,神経細胞の出⼒は1で⼀定である. 入力 出力 活動電位の最大値 入力の閾値 t0 t0 time 入力が閾値をこえると活動電位を発する. 活動電位の大きさは一定である. この図は単純化のため活動電位(膜電位)を線で表現して いるが,実際の膜電位変化は幅を持っている. ⼊⼒が閾値を超えたら出⼒をするという現象を活性化関数でステップ関数として表現して いる. シグモイド関数を確率と捉えると,⼊⼒が⼩さいと発⽕率が低く,⼊⼒が⼤きいと発⽕率 が⾼いと⾒ることができる.ここでの発⽕率は,単体のニューロンのものとも解釈できる が,ニューロン集団のものだと解釈するのが妥当だろう. ReLUはどのように解釈すればよいか? Adrian E. D. (1914). The all-or-none principle in nerve. The Journal of physiology, 47(6), 460–474. 元の文献を詳しくチェックしていない. 実際のニューロンはそこまで単純ではない.

11.

神経科学の理論的研究の始ま り

12.

線形閾値素⼦ • 神経細胞の数理モデル • ⼊⼒𝑥! が神経細胞に伝わる強さ (接続の強度) 𝑤! を結合荷重 (シナプス荷重,重み)と⾔ う. • ⼊⼒と重みをかけたものの総 和が閾値 ℎ を超えたら1を出⼒. • PSP (Post-synaptic potential)の 総和が閾値を超えるとスパイクが 発⽣する現象をモデル化. • All or None law (全か無かの法則) 現代人の立場からMcCulloch-Pittsのニューロンモデルを書き直したものと言え るだろう.このスライドの記述は生物よりに書いている. 閾値 ⼊⼒𝑥" 𝑥# 出⼒ " 𝑤! 𝑥! 𝑤# 𝑥$ ℎ 𝑤" 𝑓(⋅) 𝑦 ! 閾値を超えたら1を出⼒ そうでなければ0を出⼒ 𝑤$ 結合荷重 EPSPにより脱分極した膜電位が閾値を 超えると発⽕する. シナプス後ニューロンからスパイクが到 達するとEPSPが発⽣する. (Gerstner and Kistler, Spiking neuron models)

13.

線形閾値素⼦の数式表現 • ⼊⼒を 𝑥! ,重みを 𝑤! とするとニューロンの出⼒ 𝑦 は次のように書ける. • 𝑦 = 𝑓 ∑! 𝑤! 𝑥! − ℎ • 𝑓(⋅)は活性化関数, ℎは閾値である. • 𝑓(⋅)はステップ関数である. 1 •𝑓 𝑥 =, 0 if 𝑥 > 0 otherwise ⼊⼒𝑥" 𝑥# 𝑤" ' 𝑤! 𝑥! 𝑤# 𝑥$ 閾値 ℎ 出⼒ 𝑦 𝑓(⋅) ! 閾値を超えたら1を出⼒ そうでなければ0を出⼒ 𝑤$ 結合荷重 シナプス荷重 活性化関数 0 𝑓(𝑥) 𝑥

14.

AND演算を実現する • AND演算を実現するために図のような2⼊⼒1出⼒のネットワークを考 える. • 𝑤" = 𝑤# = 1, ℎ = 1.5とすると,⼊⼒と出⼒の関係は次のように書ける. • 𝑦 = 𝑓(𝑥" + 𝑥# − 1.5) • この式はAND演算を実現している. • 重みや閾値を⼈間の決め打ちではなく⾃動で決めたい!! AND演算 𝑥! 𝑥" 𝑦 0 0 0 1 0 0 1 0 0 1 1 1 ネットワークの各数値 𝑥! 𝑥" 𝑥! + 𝑥" − 1.5 𝑦 ネットワーク ⼊⼒𝑥" 𝑤" 𝑦 𝑥# 𝑤# 0 0 0 1 −1.5 −0.5 0 0 1 0 −0.5 0 1 1 0.5 1

15.

McCulloch-Pitts neuron neural network model (1946年) • McCullochとPittsは1946年の論⽂でニューラルネットワークで様々な論理演算が できるといっている. • 閾値論理素⼦の提案 • 神経細胞は論理計算を⾏える. • McCulloch-Pittsのneuron model • ニューラルネットワークの提案 • 様々な論理演算をするネットワークを構築することができる. • McCullochとPittsの論⽂に記載されている前提条件 • ニューロンの活動は全か無かの法則に従う. • ニューロンを興奮させるためには、ある期間内に⼀定の数のシナプスが興奮していなけれ ばならない.この数は以前の活動やニューロン上の位置に依存しない. • 神経系の中で唯⼀の重要な遅延はシナプスの遅延である. • 抑制性シナプスの活動は,その時点でのニューロンの興奮を絶対に阻⽌する. • ネットワークの構造は時間とともに変化しない. (McCulloch and Pitts 1946) 分かりにくい論文

16.

前提条件に対する私⾒ • McCullochとPittsの論⽂に記載されている前提条件 • ニューロンの活動は全か無かの法則に従う. • これをベースにステップ関数やシグモイド関数が考えられている. • ニューロンを興奮させるためには、ある期間内に⼀定の数のシナプスが興奮していなけれ ばならない.この数は以前の活動やニューロン上の位置に依存しない. • 現在のニューラルネットワークでも,ニューロンの応答の履歴はそのニューロンの応答に影 響を与えない(フィードバックとして間接的に影響を受ける場合はあるだろうが). • 現在のニューラルネットワークでも,シナプスの位置を考慮しない • 神経系の中で唯⼀の重要な遅延はシナプスの遅延である. • シナプスの遅延は現在のニューラルネットワークでは考慮されていないが,リカレント構造 で遅延を実現している. • しかし,個々で⾔う遅延は各ニューロン(各層)の処理を逐次的に⾏うといった意味ともと れる.現在のニューラルネットワークもその考え⽅で動いている. • 抑制性シナプスの活動は,その時点でのニューロンの興奮を絶対に阻⽌する. • 現在のニューラルネットワークでは興奮性と抑制性のシナプスの区別をつけていない. • ネットの構造は時間とともに変化しない. • これも現在のニューラルネットワークにつながる考え⽅だろう. • 学習のときは変化するが,実際に利⽤するときはシナプス荷重を変化させない.

17.

McCulloch-Pitts neural network model McCullochとPittsによる様々なネットワーク. これらはすべて対応する論理計算が存在する. Kleene によるニューラルネットワークによる論理計 算の例. 黒丸は興奮,白丸は抑制性結合を表す. P三角の中の数字は閾値を表す. つまり,J, K, Lが発火し,M, Nが発火しなければPは 発火するネットワークである. これを論理式になおすと 0 ⋅𝑁 0 𝑃 =𝐽⋅𝐾⋅𝐿⋅𝑀 となる. (Kleene, 1951) (McCulloch and Pitts, 1946)

18.

McCulloch-Pitts neural network model • McCullochとPittsの研究から,神経細胞 が論理素⼦であると考えれば,論理素⼦ で実現できるあらゆる計算を脳が⾏うこ とができると考えることもできる. • ニューラルネットワークでNAND回路も実 装可能なので,ニューラルネットワーク であらゆる論理回路が当然実現可能だろ う. • この研究の段階ですでに,時間遅れ,フ ィードバック接続など考えられている. この考えは後のリカレントネットワーク で開花する. (McCulloch and Pitts, 1946)

19.

Hebbian learning(ヘブ学習)(1949年) • Hebbが提案した脳の学習の理論 • シナプス前ニューロンが繰り返し発⽕し,シナプス後ニューロンの発 ⽕を助けたとき,そのシナプスは成⻑する. ニューロンの応答 ニューロンの応答 time time 学習によりシナプスが成長する. ニューロンの応答 time Hebbの本では,当時おばあさん細胞説とpopulation codingが議論されていて,population codingが 主流であると述べている.Hebbはおばあさん細胞説に基づき議論している.なかなか面白い. ニューロンの応答 time (Hebb, 1949)

20.

線形閾値素⼦を⽤い⾃動で⽬的の演算を実現するには • 線形閾値素⼦の重みを変えることで,線形閾値素⼦の演算能⼒が変わ る. • 重みの変更(シナプスの学習)を,ネットワークにさせたい演算に合 わせて⾏えば良い. • しかし,どのように学習すればネットワークに意図した演算をさせる ことができるだろうか?

21.

ニューラルネットワーク研究 の隆盛と冬の時代

22.

よく⾒るパーセプトロンの説 明

23.

パーセプトロンの説明 • ⼼理学者Rosenblattが開発したニューラルネットワーク(1957, 1958) • 識別問題がとける. • 教師あり学習(答えとネットワークの出⼒を⽐べ,それの結果から重 みの計算を⾏う)

24.

識別問題 • データにラベルを付ける問題 判断 学習 未知のデータ 2 2 2 1 2 1 2 1 2 2 2 1 2 2 2 1 ラベル付きデータ(答え がついているデータ)を 用意する. 三⾓データに1,丸データに2というラベルが 付いている. 1 2 1 ラベルがついているデ ータを分けるための線 (識別境界面)を見つ ける. ⽤意された三⾓データと丸データをそれぞれ1と2のラベル を付けられる線を⾒つける.データの場所が線の左なら1, 右なら2のらべるが付けられる. 1 2 1 学習により習得した識 別境界⾯を使い,未知 のデータを分ける. 未知のデータを⼊⼒し,ラベルを付ける.ネットワ ークは未知のデータが線より左なら1,右なら2のラ ベルを付ける.

25.

パーセプトロン • 2クラス問題が解ける(ラベルが2種類のみ) . • ⼊⼒層と出⼒層からなる. • ⼊⼒層は⼊⼒の値そのものを出⼒層のニューロンに送る. • 出⼒層は閾値素⼦である. 出⼒層 ⼊⼒層 x0 x1 w0 w1 y 出⼒ wi 重みベクトル 𝒘 = 𝑤% , 𝑥" , … , 𝑤! , … , 𝑤& xi 入力ベクトル 𝒙 = 𝑥% , 𝑥" , … , 𝑥! , … , 𝑥& ' '

26.

パーセプトロンの数式表現 • ⼊⼒ベクトル𝒙 = 𝑥* , 𝑥" , … , 𝑥! , … , 𝑥+ , • ただし𝑥7 = 1である.𝑤7 𝑥7 をバイアスという. • 重みベクトル𝒘 = 𝑤* , 𝑥" , … , 𝑤! , … , 𝑤+ , , • 𝑦 = 𝑓 ∑+ !-* 𝑤! 𝑥! = 𝑓(𝒘 ⋅ 𝒙) •𝑓 𝑢 =, 1 if 𝑢 ≥ 0 −1 otherwise 出⼒層 ⼊⼒層 x0 w0 w1 y 出⼒ x1 wi 入力ベクトルと重みベクトルの内積(𝒘! 𝒙 = 𝑤 𝑥 cos 𝜃)が正か 負かを基準に,入力ベクトルを分ける.言い換えれば,入力ベク トルと重みベクトルがおおよそ同じ方向を向いている(入力ベク トルが重みベクトルに対し, 90度)かどうか調べている. 重みベクトル 𝒘 = 𝑤% , 𝑥" , … , 𝑤! , … , 𝑤& xi 入力ベクトル 𝒙 = 𝑥% , 𝑥" , … , 𝑥! , … , 𝑥& ' '

27.

パーセプトロンの学習 • 出力が1になるデータと出力が-1になるデータを用意する. • あるデータを入れて,間違ったら次の式で重みを更新する. • 𝒘 ← 𝒘 + 𝜆𝒙𝑡 • tは答えで1もしくは-1の値をとる.λは学習率である. 入力層 出力層 x0=1 w0 x1 wi xi 出⼒ w1 y

28.

重み修正の様⼦ 1. 出力を1にしなければならないとこ ろを-1になってしまったため,w に入力xを足した. 2. 識別境界面が更新された. 3. 出力を1にしなければならないとこ ろを-1になってしまったため,w に入力xを足した. 4. 識別境界面が更新された.その結 果,赤丸と青丸が境界面で正しく 区分けされた. 1 2 3 4

29.

パーセプトロンの学習例 • ⼊⼒層は3つのユニット,出⼒層は1つのユニットで構成されるネット ワークを考える. • このネットワークでAND演算を実現してみよう. ネットワークに覚えさせる⼊ 出⼒の関係(AND演算) x0 x1 x2 t 1 0 0 -1 1 0 1 -1 1 1 0 -1 1 1 1 1 ここではTrueを1,Falseを-1としている. 出⼒層 ⼊⼒層 x0 x1 w0 w1 wi xi y 出⼒

30.

パーセプトロンの学習例 • 初期値:𝑤* = 0, 𝑤" = 1, 𝑤# = 1, 𝜆 = 0.5とする. • このとき,出⼒は𝑦 = 𝑓(𝑥" + 𝑥# )と書ける. • ネットワークにそれぞれの⼊⼒を代⼊してみる. • 𝑥* = 1, 𝑥" = 0, 𝑥# = 0を⼊⼒すると,𝑦 = 1となり不正解 • 𝒘 + 𝜆𝒙𝑡 = 0,1,1 + 0.5× 1,0,0 × −1 = (−0.5, 1, 1) • この学習により,出⼒は次のようになる. • 𝑦 = 𝑓(−0.5𝑥* + 𝑥" + 𝑥# )

31.

パーセプトロンの学習例 • 𝑦 = 𝑓(−0.5𝑥* + 𝑥" + 𝑥# ) • 𝑥* = 1, 𝑥" = 0, 𝑥# = 1を⼊⼒すると,𝑦 = 1となり不正解なので学習す る. • 𝒘 + 𝜆𝒙𝑡 = −0.5,1,1 + 0.5× 1,0,1 × −1 = (−1, 1, 0.5) • この学習により,出⼒は次のようになる. • 𝑦 = 𝑓(−𝑥* + 𝑥" + 0.5𝑥# )

32.

パーセプトロンの学習例 • 𝑦 = 𝑓(−𝑥* + 𝑥" + 0.5𝑥# ) • 𝑥* = 1, 𝑥" = 1, 𝑥# = 0を⼊⼒すると,𝑦 = 1となり不正解なので学習す る. • 𝒘 + 𝜆𝒙𝑡 = −1,1,0.5 + 0.5× 1,1,0 × −1 = (−1.5, 0.5, 0.5) • この学習により,出⼒は次のようになる. • 𝑦 = 𝑓(−1.5𝑥* + 0.5𝑥" + 0.5𝑥# )

33.

パーセプトロンの学習例 • 𝑦 = 𝑓(−1.5𝑥* + 0.5𝑥" + 0.5𝑥# ) • 𝑥* = 1, 𝑥" = 1, 𝑥# = 1を⼊⼒すると,𝑦 = −1となり不正解なので学習す る. • 𝒘 + 𝜆𝒙𝑡 = −1.5,0.5,0.5 + 0.5× 1,1,1 × 1 = (−1, 1, 1) • この学習により,出⼒は次のようになる. • 𝑦 = 𝑓(−𝑥* + 𝑥" + 𝑥# )

34.

パーセプトロンの学習例 • 𝑦 = 𝑓(−𝑥* + 𝑥" + 𝑥# ) • 𝑥* = 1, 𝑥" = 0, 𝑥# = 0を⼊⼒すると,𝑦 = −1となり正解 • 𝑥* = 1, 𝑥" = 0, 𝑥# = 1を⼊⼒すると,𝑦 = 1となり不正解なので学習す る. • 𝒘 + 𝜆𝒙𝑡 = −1,1,1 + 0.5× 1,0,1 × −1 = (−1.5, 1, 0.5) • この学習により,出⼒は次のようになる. • 𝑦 = 𝑓(−1.5𝑥* + 𝑥" + 0.5𝑥# )

35.

パーセプトロンの学習例 • 𝑦 = 𝑓(−1.5𝑥* + 𝑥" + 0.5𝑥# ) • 𝑥* = 1, 𝑥" = 1, 𝑥# = 0を⼊⼒すると,𝑦 = −1となり正解 • 𝑥* = 1, 𝑥" = 1, 𝑥# = 1を⼊⼒すると,𝑦 = 1となり正解 • 𝑥* = 1, 𝑥" = 0, 𝑥# = 0を⼊⼒すると,𝑦 = −1となり正解 • 𝑥* = 1, 𝑥" = 0, 𝑥# = 1を⼊⼒すると,𝑦 = −1となり正解 • よって,すべての⼊⼒に対し正解したので学習を終了する. 出⼒層 ⼊⼒層 x0 AND演算ができ るニューラルネッ トワーク x1 xi 𝑤% = −1.5 𝑤" = 1 y 𝑤# = 0.5 出⼒

36.

よく⾔われるパーセプトロンの⽋点 • 線形分離不可能な問題は解けない • 例:XOR問題が解けない • これは2層のパーセプトロンの問題である. • 多層化が難しく,Activation functionの連続関数化とBackpropagationにより多 層化問題が解消したと⾔われる. • MinskyとPapertによる指摘によりニューラルネットワークブームが終 わったと⾔われることが多い. • どうでも良いが,RosenblattとMinskyは同じ⾼校出⾝(1年違い?)であっ た. (0, 1) (1, 1) (0, 1) (1, 1) (0, 0) (1, 0) (0, 0) (1, 0) AND XOR XORの場合,直線で分けられない(線形分離不可能). ANDの場合,直線で分けられる(線形分離可能). MinskyとPapertのPerceptronsではx=yを判別することができない ことを示している.

37.

Rosenblattのパーセプトロン

38.

Rosenblatt (1958) のパーセプトロン • • • • • • 4層もしくは3層構造である. ランダム接続を持つ. 受容野構造を持つ. 層内,層間の抑制性結合を持つ. フィードバック接続を持つ. 脳のモデルでもあり,並列計算機でもある. • フィードフォワード学習である(Rosenblatt, 1962). • 誤差のバックプロパゲーションも考えている(Rosenblatt, 1962). • これらを⾒ると,かなり先進的なモデルであったことが伺える.

39.

パーセプトロンのネットワーク構造 • Rossenblatt, 1958で提案されたパーセプトロンは4層で構成される. • 閾値素子で構成される(all-or-nothing rule). • Retina (S-points)の出力はAIに送られる.興奮性と抑制性の接続を想定している.AIはRetinaに受容野を持ち,重 みはある点を中心に指数関数的に減衰する.AIは省略される事がある. • AIとAIIはランダムに接続している. • AIIとRはランダムに接続している.接続は相互接続(フィードフォワードとフィードバック)である.

40.

Rossenblattのsimple perceptron (1958) • Rossenblattは3層のパーセプトロンも提案している. • RossenblattもMinskyとPapertも基本的に3層のパーセプトロンについ て議論している. モデル図.点線は抑制性接続. Rossenblatt曰くベン図.白丸は抑制性接続.色付きの領域はR1が応答 したときに活性化するunitsのセット. A-unitはそれぞれランダムにretinaに接続している. ランダム接続は,輪郭線というより同期領域を捉える(Rossenblattは時間変化も考慮している). 抑制性接続により,R1が応答した場合,R2に関連するunitsのセットの応答は抑えられる. 学習するためには,A-unitか接続を変更する必要がある.

41.

Rossenblattのパーセプトロンではランダム接続がある. • RetinaとA-unitsはランダムに接続している. • ランダム接続には含蓄がある.

42.

ランダム接続の含蓄(役割) • 2層のパーセプトロンは線形分離可能な問題しか解けない. • 線形分離不可能な問題を解くにはどうすればよいか? • ⼊⼒をどうにか変形して線形分離可能にする. • ランダム接続で⼊⼒を変換し,偶然線形分離可能な形になることを期待す る. S-units A-units x0 ランダム接続で変換 R-units 出力 x1 y xi 入力 線形分離不可能 A-unitsの出力 線形分離可能になるかも あくまでも概念図 です. ランダム接続で変換

43.

ランダム接続の含蓄(受容野) • ⼊⼒の特徴を捉える特別な接続(受容野)を考えることもできる. • 特別な接続を作るのは難しい.⼀⽅で,ランダム接続を作るのは簡単 である(Minsky and Papert, 1968). • 畳み込みニューラルネットワークは,局所特徴を学習により捉える接続を 作ることができる. 極端な例を考えると,S-unitsとA-unitsの接 続を文字の形にしてしまえば,A-unitsは文字 それぞれの文字に対応して応答する.Xの形 の接続を持つA-unitはXのみに応答する.し かし,そのような接続では,文字の大きさが 変わると対応できない. MinskyとPapertはS-unitsとA-unitsの接続 について色々考察している. 受容野 (Minsky and Papert, 1968)

44.

ランダム接続の含蓄(深い多層パーセプトロン) • 通常,層間の接続はランダムな値で初期化される. • ランダムなネットワークは,⼊⼒を何らかのパターンに変換する. • 深いネットワークでは,⼊⼒層に近いランダムなネットワークが⼊⼒を変換し,そのランダムネット ワークの出⼒パターンを出⼒層に近いネットワークが学習するという現象が起こる. • ランダムネットワークの出⼒パターンを⽤いればデータを識別できてしまうため,⼊⼒に近い層は学 習する必要がない. • つまり,深い多層パーセプトロンではランダムネットワークと識別ネットワークの2重構造になる. • この構造は,Rosenblattのパーセプトロンと同じである. • 以上のような現象が起こるため,無闇にネットワークを深くしてもランダムネットワークが⼤きくな るだけで意味がないかもしれない. ランダムな値に初期化 入力 ランダムな値のまま 出力 入力 学習が進む 出力 学習 出⼒層に近いネットワークがランダムネットワークで変換されたパターンを覚える.

45.

ランダム接続の含蓄(結局運次第か) • パーセプトロンの識別能⼒はランダム接続で⼊⼒の特徴を捉えられる かどうかで決まる.つまり,運次第ということである. • ニューラルネットワークの能⼒は運次第であるという考え⽅は,深層 ニューラルネットワークにも当てはまるかもしれない. • 深層ニューラルネットワークでは,当たりのランダムな接続が存在し,当 たりの接続を探しそれを学習すれば⾼性能になるという,宝くじ仮説とい うものもある (Frankle and Carbin, 2019).(この説明は不正確なため元論 ⽂をチェックしよう)

46.

ランダム接続の含蓄(Liquid state machine) • ランダム接続を持つニューラルネットワークは現在盛んに研究されてい る. • Rosenblattのパーセプトロンは層間をランダムに接続した. • 現在よく研究されているランダム接続を持つニューラルネットワークは,層 内の接続がランダムであるニューラルネットワークである. • Liquid state machine (Maass, 2002), Echo state network (Jaeger, 2001; 2002), リザーバーコンピューティング • Rosenblattはパーセプトロンで時系列を学習させることに限界を感じていた ようだ(Rosenblatt, 1958).しかし,Liquid state machineなどでは層内 接続をランダムにし接続間の信号伝達に時間遅れを⼊れることで,時系列の 特徴を捉えることを可能にしている. liquid or reserver • Rosenblattは惜しい所まで来ていた. 入力 出力

47.

フィードバック接続 • A層とR層にフィードバック接続がある. • • • • これは,現在のリカレントニューラルネットワーク(RNN)に繋がる. RNNは時系列を学習できるニューラルネットワークである. 現在,⾃然⾔語処理などで活⽤されている(代表的な例が⾃動翻訳). Rosenblattはパーセプトロンで時系列を学習させることの限界を Rosenblatt, 1958のまとめで述べている. • Rosenblattのパーセプトロンが連続時間であることが影響しているのだろ うか(RNNは離散時間)?

48.

パーセプトロンの学習 • RosenblattのNeurodynamicsに書かれている学習 • Hebbian learningを採⽤している. • α-system reinforcementの例 • ユニットiが活性化したとき,それと接続するユニットjとの間の重みは次の式で 更新される. • Δ𝑤!% = 𝜂 𝑤#$ i j • MinskyとPepertのPerceptronsに書かれている学習の1例 • 今Percetronの学習として伝わっている,学習⼿法が書かれている.

49.

パーセプトロンは脳型ニューラルネットワークである. • Rossenblattも脳の⽣理学的,解剖学的知⾒に基づきパーセプトロンを 作成,考察している. • 連続時間を考慮したモデル. • そもそものニューラルネットワークは脳のニューラルネットワークの モデルであった. • 時代が進むにつれニューラルネットワークが⼈⼯ニューラルネットワーク になった.

50.

パーセプトロンは並列計算をするコンピュータである • パーセプトロンは並列計算をするコンピュータも⽬指している. • コンピュータの歴史 • • • • • • • 1946年 ENIAC 1951年 UNIVAC 1 汎⽤コンピュータ 1952年 IBM701 商⽤科学技術計算機 1954年 IBM704 Rosenblattこれを使ってパーセプトロンを動かす. 1956年 FORTRAN プログラミング⾔語 1961年 IBM7030 1964年 System/360 メインフレーム おまけ コンピュータの計算力が小さい時代,シミュレーションはコンピュ ータを使うのではなく電気回路でやっていた(数理モデルを等価回 路に置き換え,実際にその電気回路を組み,その回路に電流を流す ことで数理モデルを解く).

51.

Rosenblattのc-system • Rosenblattの開発したc-systemは畳み込みニューラルネットワークの 元祖と呼べるかもしれない. (Rosenblatt, 1967)

52.

よく⾔われるニューラルネットワークの冬の時代 • パーセプトロンの当時,ニューラルネットワークがブームになったと ⾔われている. • しかし,MinskyとPaperとのPerceptronsという書籍で,パーセプト ロンの限界が⽰された(パーセプトロンは線形分離不可能な問題が解 けない)ため,ニューラルネットワークの研究が下⽕になり,冬の時 代が訪れたと⾔われている. • 本当にそうなのだろうか?