查看完整版本 : Recurrent Neural Network

先前想了解多一點 Recurrent Neural Network ，於是看了：
[url=http://denizyuret.github.io/Knet.jl/latest/rnn.html]http://denizyuret.github.io/Knet.jl/latest/rnn.html[/url]

後來找到了：
[url=https://github.com/karpathy/recurrentjs]https://github.com/karpathy/recurrentjs[/url]
[url=https://github.com/karpathy/char-rnn]https://github.com/karpathy/char-rnn[/url]

後者當中提到了我覺得一定要看的：
[url=http://karpathy.github.io/2015/05/21/rnn-effectiveness/]http://karpathy.github.io/2015/05/21/rnn-effectiveness/[/url]
其一重點是， RNN 可以模仿到人類寫程式碼！！！

另一條 link 提到有 web demo ：
[url=https://cs.stanford.edu/people/karpathy/recurrentjs/]https://cs.stanford.edu/people/karpathy/recurrentjs/[/url]

可以試到簡單的 RNN 是如何。

原來 AI 早已發展到這個地步！

[quote]原帖由 [i]xianrenb[/i] 於 2018-3-26 08:47 AM 發表 [url=http://computer.discuss.com.hk/redirect.php?goto=findpost&pid=477455626&ptid=27334353][img]http://computer.discuss.com.hk/images/common/back.gif[/img][/url]
先前想了解多一點 Recurrent Neural Network ，於是看了：
[url=http://denizyuret.github.io/Knet.jl/latest/rnn.html]http://denizyuret.github.io/Knet.jl/latest/rnn.html[/url]

後來找到了：
[url=https://github.com/karpathy/recurrentjs]https://github.com/karpathy/recurrentjs[/url]
[url=https://github.com/karpathy/char-r]https://github.com/karpathy/char-r[/url] ... [/quote]

雖然個 web demo 好簡單，但都見到咁樣等同於造個電子腦出來！

個 neural network ／程式會自動分析到句子、詞語的結構，模仿產生輸出。

某程度上，幾恐怖。

[quote]原帖由 [i]xianrenb[/i] 於 2018-3-26 08:47 AM 發表 [url=http://computer.discuss.com.hk/redirect.php?goto=findpost&pid=477455626&ptid=27334353][img]http://computer.discuss.com.hk/images/common/back.gif[/img][/url]
先前想了解多一點 Recurrent Neural Network ，於是看了：
[url=http://denizyuret.github.io/Knet.jl/latest/rnn.html]http://denizyuret.github.io/Knet.jl/latest/rnn.html[/url]

後來找到了：
[url=https://github.com/karpathy/recurrentjs]https://github.com/karpathy/recurrentjs[/url]
[url=https://github.com/karpathy/char-r]https://github.com/karpathy/char-r[/url] ... [/quote]

我看， RNN 其實是一種 dynamic 的 2D data flow neural network 。

在不同 time-step ，整個 neural network 就好似 shift 去了另一個位置，中途接納上一個 time-step 的中途輸出作為中途輸入。
而 input 及 output layer 都對應不同的 time-step 的 input 及 output data 。
亦即是上一個 time-step 的部份計算，會流入至該 time-step 的部份來計算，此為一個 data flow 方向。
另一個 data flow 方向，就是轉統 neural network 的 layer-to-layer 的 data flow 方向。