12.2-1 中共人物的情感預測
(長條圖)
12.2-2 中共人物的情感預測
(長條圖)
類神經網絡(Artificial Neural Network)或稱深度學習(deep learning)則是近年大放異彩的機械學習演算法，在許多領域都有令人驚艷的表現，例如語音、圖像辨識、翻譯、聊天機器人、商品推薦、自動駕駛、專家問答、自動生成(創作)等等不勝玫舉，Aphago 圍旗打敗世界冠軍的故事更膾灸人口。
它的操作程序是，建置多個層級的神經元，由參數決定資料在不同層級間傳遞，最後得出預測值，和已知值作比較，再以梯度下降的方式，回頭去調整參數，如此遞迴進行，逐漸減小差異，達到穩定，取得最適的參數，模型即訓練完成。由於訓練的資料量龐大，要不斷遞廻計算，頗為耗時，對記憶體與電腦設備的要求也很高，常常也會因為訓練資料不足，而效果欠佳。
另外一點值得注意，深度學習長在預測，與傳統的迴歸分析有很大的不同。迴歸分析由於過於簡化，預測能力通常很低，但模型易於解釋變數間的關係，可以和現有的理論相互參照。而深度學習的運算邏輯更像是個黑盒子，參數多達數萬，我們不知道哪一個參數產生影響，或代表什麼意義，只知道它的預測能力很強。不過在日常應用中我們通常只在乎預測結果，因此深度學習可以泛於在日常應用，反而比較少用於社會科學研究中的因果推論。
深度學習的演算法有許多，皆有其適合的領域與任務，端看使用者如何應用。例如卷積神經網路 （CNN）較適合應用於圖像辨識任務，遞迴神經網路 (RNN)則適合文字生成、翻譯、或語音辨識等資料具有前後關係的領域，生成對抗網路 （GAN）則較常用於圖像生成。
類神經網絡雖然應用廣泛，就我們而言，只關心與文字探勘有關的部分。我們也不打算直接跑類神經網絡。因為這需要巨量的資料，才能得出較好的結果。我們的做法是直接將人民日報的資料導入預訓練好的模型 (Pre-training) 來接續訓練。簡單地說，就是透過預訓練模型取得字詞向量 (word embedding ) ，再進行後續的處理。 這種方法是目前最常見的深度學習訓練方法，利用神經網路在前一個任務中學習到的知識去學習下一個任務。
另外一點值得一提，這些演算法都有考慮字詞順序的問題，字詞順序更動，形成的向量就不一樣。類神經網絡，配合預訓練模型，進行文本分類，效果提昇很多，這對我們而言很重要 。
好，現在請大家進入本章的學習包。