QQ在線
企業(yè)微信
資訊
330
自2012年以來，隨著欣頓（Hinton）、樂昆 （LeCun）和吳恩達（Andrew Ng）對深度學習的研究，使其在機器學習方面的應用取得了顯著成就，深度學習成為計算機科學的一個新興領域。谷歌、臉譜、百度、騰訊等互聯(lián)網(wǎng)公司紛紛投入巨資研究深度學習，并興起了基于深度學習的創(chuàng)業(yè)大潮。然而，對深度學習原理的困惑。對其應用的質(zhì)疑也一直存在。在ImageNet目標檢測中，人臉識別率已達99.5%，甚至超越人眼的識別準確率，在此情況下，深度學習何以為繼？又該如何提升？深度學習是處于熱潮的初始？還是強弩之末？是一直所向披靡？還是很快走向終點？作為沉寂了20余年的神經(jīng)網(wǎng)絡領域，深度學習到底還能走多遠？
神經(jīng)網(wǎng)絡與人腦的區(qū)別：
目前，深度學習在幾個主要領域都獲得了突破：在語音識別領域，深度學習用深層模型替換聲學模型中的混合高斯模型，錯誤率降低了30%；在圖像識別領域，通過構造深度卷積神經(jīng)網(wǎng)絡，將Top5錯誤率由26%降低至15%，又通過加大加深網(wǎng)絡結構，進一步降低到11%；在自然語言處理領域，深度學習與其他方法水平相當，但免去了繁瑣的特征提取步驟。深度學習是最接近人類大腦的智能學習方法。
然而，與人腦相比，深度學習目前在處理問題的能力上還有不小的差距。當前的深層網(wǎng)絡在結構、功能、機制上都與人腦有較大差距。從結構上看，人腦有1000億左右的神經(jīng)元，這些神經(jīng)元形成了1000到1萬層的連接。而目前的深層網(wǎng)絡通常只有幾百萬個神經(jīng)元，層數(shù)不超過10，因此深層網(wǎng)絡的規(guī)模遠小于人腦。另外，人腦是高度結構化的，每一個部分執(zhí)行一個特定的功能，而且不同部分之間會協(xié)作，但深層網(wǎng)絡在高度結構化方面目前還沒有太多考慮。從功能上看，人腦善于處理各種問題，能夠完成復雜任務。而當前深層網(wǎng)絡的功能單一，基本是用處理識別與分類問題，沒有綜合處理問題的能力。從機制上看，人腦的數(shù)據(jù)存儲與處理機制更為復雜。人腦中的數(shù)據(jù)以知識的形式組織起來，存儲與應用密切相聯(lián)，而當前計算機的數(shù)據(jù)存儲方式遠遠沒有做到這一點。人的感知器官并非感知器，而是依靠大量的反饋搜尋有用的信息。另外人腦具有知識反饋機制，在深層網(wǎng)絡中并未得到體現(xiàn)。而研究者的研究對象從一個函數(shù)變成了一個過程，難度驟然增大。
人腦的學習能力是通過先天進化和后天學習得到的。先天進化可以理解為物種在長時間學習大量知識后演變得到的結果，后天學習包括對新接觸知識的總結與演繹。而深度學習的網(wǎng)絡結構是由人來設計的，網(wǎng)絡參數(shù)是從訓練數(shù)據(jù)集中學習得到的。就數(shù)據(jù)量而言，人腦在先天進化與后天學習中所接觸的數(shù)據(jù)量遠大于深層網(wǎng)絡。
深度學習的局限性：
隨著大數(shù)據(jù)的出現(xiàn)和大規(guī)模計算能力的提升，深度學習已然成為非?；钴S的計算機研究領域。然而，在不斷的研究中，深度學習的局限性也日益突顯。
缺乏理論支持，對于深度學習架構，存在一系列的疑問：卷積神經(jīng)網(wǎng)絡為什么是一個好的架構？深度學習的結構需要多少隱層？在一個大的卷積網(wǎng)絡中到底需要多少有效的參數(shù)？雖然深度學習在很多實際應用中取得了突出的成效，但這些問題一直困擾著深度學習的研究人員。深度學習方法常常被視為黑盒，大多數(shù)的結論都由經(jīng)驗而非理論來確認。不論是為了構建更好的深度學習系統(tǒng)，還是為了提供更好的解釋，深度學習都需要更完善的理論支撐。
缺乏短時記憶能力，人類大腦有驚人的記憶功能，不僅能夠識別個體案例，也能分析輸入信息之間的整體邏輯序列。這些信息序列包含有大量的內(nèi)容，信息彼此間有著復雜的時間關聯(lián)性。例如在自然語言理解的許多任務（如問答系統(tǒng)）中需要一種方法來臨時存儲分隔的片段，正確解釋視頻中的事件，并能夠回答有關問題，需要記住視頻中發(fā)生事件的抽象表示。而包括遞歸神經(jīng)網(wǎng)絡在內(nèi)的深度學習系統(tǒng)，卻不能很好地存儲多個時間序列上的記憶。近年來，研究人員提出了在神經(jīng)網(wǎng)絡中增加獨立的記憶模塊，如長短時記憶（Long Short-Term Memory，LSTM）、記憶網(wǎng)絡（memory networks）、神經(jīng)圖靈機（neural Turing machines）和Stack增強遞歸神經(jīng)網(wǎng)絡（stack-augmented recurrent neural network），雖然有一定的成果，但仍需擴展更多新思路。
缺乏執(zhí)行無監(jiān)督學習的能力，無監(jiān)督學習在人類和動物的學習中占據(jù)主導地位，我們通過觀察能夠發(fā)現(xiàn)世界的內(nèi)在結構，而不是被告知每一個客觀事物的名稱。雖然無監(jiān)督學習可以幫助特定的深度網(wǎng)絡進行“預訓練”，但最終能夠應用于實踐的絕大部分深度學習方法都是純粹的有監(jiān)督學習。因為無標記數(shù)據(jù)遠遠多于標記數(shù)據(jù)，因此無監(jiān)督學習具有巨大的研究潛力。找到合適的無監(jiān)督學習算法，對深度學習的發(fā)展至關重要。
深度學習未來的發(fā)展方向：
深度學習在人臉識別、目標檢測等領域都取得了很大進展，識別準確率甚至超過人類，但這并不代表深度學習的發(fā)展已走到盡頭。以下幾個方面的研究對深度學習的繼續(xù)發(fā)展具有重大意義。
1. 開發(fā)深度學習的演繹能力：人類在學習的過程中，除了對已有知識的歸納總結，還伴隨對知識的演繹推理，如對定理進行推論等。當前的深度學習還停留在對數(shù)據(jù)的歸納上。如果深層網(wǎng)絡對數(shù)據(jù)的歸納能力達到飽和，提升其演繹推理能力將是深度學習繼續(xù)發(fā)展的突破口。
2. 提升綜合處理問題的能力：當前的深度學習主要用于處理單一問題，但一套模型往往不能通用于多個問題，如人臉識別、語音識別等。但人腦可以實現(xiàn)這一功能，比如視覺皮層可以輔助聽覺等。因此，提升深層網(wǎng)絡綜合處理問題的能力對于人工智能的實現(xiàn)具有重要意義。
3. 減少對硬件的依賴：隨著GPU及高性能并行計算的發(fā)展，硬件設備的數(shù)據(jù)處理能力得到巨大提升。但過度依賴硬件會造成深度學習偏離人的思維，而陷入計算機思維。與計算機相比，人腦的計算速度極慢，但功耗極低，且能夠完成復雜的任務。學習人腦，使用相對弱的硬件來實現(xiàn)強大的功能，是使深度學習向人工智能發(fā)展的關鍵。
綜上所述，深度學習通過建立類似于人腦的分層模型結構，對輸入數(shù)據(jù)逐層提取從底層到高層的特征，從而建立從底層信號到高層語義的映射關系。但在規(guī)模、功能、機制、設計等方面，當前深度學習所采用的深層網(wǎng)絡與人腦存在很大差異。雖然深度學習在很多方面取得了巨大成功，但仍存在一些缺陷。當前的深度學習框架缺乏理論支撐，不能很好地存儲時間序列上的記憶，缺少對無標記數(shù)據(jù)的學習能力。這些缺陷限制了深度學習的進一步發(fā)展。深度學習作為計算機科學的新興領域，還有很長的路要走。深度學習掀起了機器學習的新浪潮，在語音圖像的智能識別與理解等方面取得了很大進展。但深度學習還面臨著一系列難題，在對知識的演繹能力、對問題的綜合處理能力等方面還有很大的提升空間，在深層網(wǎng)絡的設計規(guī)則上也需要進一步探索。
