assembly.jc 2018-2-25 19:49
最近發現一個講解 NN 和 Deep Learning 不錯的 Blog,是入門級,適合初學者。作者 Nielsen 是小弟見過說理說得最清楚的一個,數學上的 Notation 也標示得很明確,中間還夾雜一javascript 的小程式,幫助讀者理解。例如 chapter 3 的 cross-entropy,二個簡單的例子,就講明左 cross-entropy 為何比 Quadratic Cost function 好。
之前小弟介過一個傳統的開源OCR,準確率約 80%左右,但 Nielsen 在 chapter 1, 2 介紹的一個簡單 ANN,辨認數字可以達到90%以上準確率。用 Python 寫成,去除 comments,只有70多行。小弟無裝 python 2.7,未有試玩。
但按他在 chapter 2 backpropage 的介紹,用 java implements 左一個 ANN,嘗試 Learning 去解決 XOR 的問題。如果唔熟 numpy,看小弟的 Java code 可能比較易理解當中的運作,程式如下:
[[i] 本帖最後由 assembly.jc 於 2023-10-22 04:02 編輯 [/i]]
assembly.jc 2018-2-26 00:25
[quote]原帖由 [i]煙民母親生賤種[/i] 於 2018-2-25 08:03 PM 發表 [url=http://computer.discuss.com.hk/redirect.php?goto=findpost&pid=475892780&ptid=27270411][img]http://computer.discuss.com.hk/images/common/back.gif[/img][/url]
現在已經有好多NN framework, 出名之有: [url=https://www.tensorflow.org/]https://www.tensorflow.org/[/url]
如自己 implement, 相當艱矩。:fst_016: [/quote]
煙兄說得對,目前無須去 implement NN framework,如果用 java 有 DeepLearning4j,這些 adhoc coding 只是引證對基本的 NN 原理理解是否正確而已。
例如,Perceptron,一個簡單的規則: 如果分類正確,保持不變,如分類錯誤,就將 2 個 vectors 相加(或相減),如果提供的 data samples 可以分成2類,最後都會成功。但理由是什麼呢? 其實都是基於 vectors 加減的幾何意義。coding 甚至 visualize 結果可以清楚引證原理和加深認識。身邊的好多朋友都問過小弟,是否需要了解這些原理? 答案是如果目前已經有工具解決到你的問題,其實無必要。如果你想創造新的東西,就另作別論了。
assembly.jc 2018-2-28 12:30
[quote]原帖由 [i]煙民母親生賤種[/i] 於 2018-2-26 12:48 AM 發表 [url=http://computer.discuss.com.hk/redirect.php?goto=findpost&pid=475910971&ptid=27270411][img]http://computer.discuss.com.hk/images/common/back.gif[/img][/url]
祝你目標早日達成。但人的一生時間有限, 當沉醉於某一界別的東西, 很快就日落了。這個新興的東西, 涉及的範疇很廣泛, 不是一個人可輕易掌握。現在發展這東西的, 是以團隊為單位。對我來說, 玩玩無妨。深入底層研究, ... [/quote]
謝謝。
如果只是了解基本的原理,有大學程度的數學底子就夠了。發展而言,反而是受限於資源,就以 chapter 6 為例,最終版本的認字CNN,只數個 layers,作者說就要 trains 一日了。如果過百個 layers,所需的資源可想而知...
assembly.jc 2018-2-28 12:31
[quote]原帖由 [i]fitcat07[/i] 於 2018-2-26 11:03 AM 發表 [url=http://computer.discuss.com.hk/redirect.php?goto=findpost&pid=475926256&ptid=27270411][img]http://computer.discuss.com.hk/images/common/back.gif[/img][/url]
Thanks. Look great. [/quote]
Enjoy!
assembly.jc 2018-2-28 12:52
再介紹一下較進階的書籍: MIT 的 deep learning,完全免費。
[url=http://www.deeplearningbook.org/]http://www.deeplearningbook.org/[/url]
但 MIT 的唔似之前所介紹的咁 friendly,Part 1 的 math Basics 對初學者沒有幫助,只是說書中要用的數學工具,如讀者唔理解,還是需要另外找參考資料。但 Part 1 對 Machine Learning 有很好的概括介紹,沒有數學背景也看得明。可惜的是 Part 2, 3 如沒有數學底子的會發現相當難跟上。
rhwlam 2018-2-28 20:43
[quote]原帖由 [i]assembly.jc[/i] 於 2018-2-28 12:52 發表 [url=http://computer.discuss.com.hk/redirect.php?goto=findpost&pid=476043897&ptid=27270411][img]http://computer.discuss.com.hk/images/common/back.gif[/img][/url]
再介紹一下較進階的書籍: MIT 的 deep learning,完全免費。
[url=http://www.deeplearningbook.org/]http://www.deeplearningbook.org/[/url]
但 MIT 的唔似之前所介紹的咁 friendly,Part 1 的 math Basics 對初學者沒有幫助,只是說書中要用的數學工具,如 ... [/quote]
謝謝分享! 樓主真是有心有熱誠之人. :loveliness: