檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
1956年，F(xiàn)rankRosenblatt發(fā)明了最早的神經(jīng)網(wǎng)絡(luò)-權(quán)重加權(quán)感知機Perceptron，它可以通過權(quán)值調(diào)整輸出，模擬人類學習過程。
發(fā)表時間：2020/6/27論文鏈接：https://arxiv.org/abs/2006.15437推薦原因該論文介紹的工作是致力于預(yù)訓練圖神經(jīng)網(wǎng)絡(luò)，以期GNN能夠學習到圖數(shù)據(jù)的結(jié)構(gòu)和特征信息，從而能幫助標注數(shù)據(jù)較少的下游任務(wù)。
深度學習對語音識別產(chǎn)生了巨大影響。語音識別在 20 世紀 90 年代得到提高后，直到約 2000 年都停滯不前。
隨著數(shù)據(jù)集的規(guī)模迅速增長，超越了計算能力的增速，機器學習應(yīng)用每個樣本只使用一次的情況變得越來越常見，甚至是不完整地使用訓練集。在使用一個非常大的訓練集時，過擬合不再是問題，而欠擬合和計算效率變成了主要的顧慮。
之前聽說深度學習的只是很少的人，作為通信專業(yè)的學生，系里也只有幾個幾個老師研究深度學習，但近兩年，越來越多的老師偏向這個方向，像研究電力計算機視覺，圖像處理的老師都有涉及到深度學校方向，去年學校還聯(lián)合多個專業(yè)開設(shè)了人工智能專業(yè)，橫跨自動化、電子、電力和計算機四個專業(yè)。
當有其他未分類的數(shù)據(jù)可用時，無監(jiān)督特征學習也比Dropout更有優(yōu)勢。
在學術(shù)界，深度學習從 2006 年開始收到關(guān)注的原因是，在數(shù)以萬計樣本的中等規(guī)模數(shù)據(jù)集上，深度學習在新樣本上比當時很多熱門算法泛化得更好。不久后，深度學習在工業(yè)界受到了更多的關(guān)注，因為其提供了一種可擴展的方式訓練大數(shù)據(jù)集上的非線性模型。
正則化在深度學習的出現(xiàn)前就已經(jīng)被使用了數(shù)十年。線性模型，如線性回歸和邏輯回歸可以使用簡單、直接、有效的正則化策略。許多正則化方法通過對目標函數(shù) J 添加一個參數(shù)范數(shù)懲罰 ?(θ)，限制模型（如神經(jīng)網(wǎng)絡(luò)、線性回歸或邏輯回歸）的學習能力。
我們也可以將PCA視為學習數(shù)據(jù)表示的無監(jiān)督學習算法。這種表示基于上述簡單表示的兩個標準。PCA學習一種比原始輸入低維的表示。它也學習了一種元素之間彼此沒有線性相關(guān)的表示。這是學習表示中元素統(tǒng)計獨立標準的第一步。要實現(xiàn)完全獨立性，表示學習算法必須也去掉變量間的非線性關(guān)系。
卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。 這些良好的性能是網(wǎng)絡(luò)在有監(jiān)督方式下學會的，網(wǎng)絡(luò)的結(jié)構(gòu)主要有稀疏連接和權(quán)值共享兩個特點，包括如下形式的約束：1、 特征提取。每一個神經(jīng)元從上一層的局部接受域得到突觸輸人
深度學習在計算機視覺、語音識別、自然語言處理等內(nèi)的眾多領(lǐng)域中均取得了令人難以置信的性能。但是，大多數(shù)模型在計算上過于昂貴，無法在移動端或嵌入式設(shè)備上運行。因此需要對模型進行壓縮，且知識蒸餾是模型壓縮中重要的技術(shù)之一。1.
但TensorFlow、Keras和PyTorch這3種深度學習計算框架我們都要學習，一個好的深度學習項目不能因為使用了不同的框架而使我們錯過它們。
反之，機器學習通常優(yōu)化代理損失函數(shù)，但是在基于提前終止（第 7.8 節(jié)）的收斂條件滿足時停止。通常，提前終止使用真實潛在損失函數(shù)，如驗證集上的 0 − 1 損失，并設(shè)計為在過擬合發(fā)生之前終止。與純優(yōu)化不同的是，提前終止時代理損失函數(shù)仍然有較大的導(dǎo)數(shù)，而純優(yōu)化終止時導(dǎo)數(shù)較小。
1.1 打開Anaconda Prompt1、conda create -n pytorch python=3.7.0：創(chuàng)建名為pytorch的虛擬環(huán)境，并為該環(huán)境安裝python=3.7。2、activate pytorch：激活名為pytorch的環(huán)境1.2 確定硬件支持的CUDA
深度學習算法在許多情況下都涉及到優(yōu)化。例如，模型中的進行推斷（如 PCA）涉及到求解優(yōu)化問題。我們經(jīng)常使用解析優(yōu)化去證明或設(shè)計算法。在深度學習涉及到的諸多優(yōu)化問題中，最難的是神經(jīng)網(wǎng)絡(luò)訓練。甚至是用幾百臺機器投入幾天到幾個月來解決單個神經(jīng)網(wǎng)絡(luò)訓練問題，也是很常見的。
維數(shù)災(zāi)難發(fā)生在計算機科學的許多地方，在機器學習中尤其如此。 由維數(shù)災(zāi)難帶來的一個挑戰(zhàn)是統(tǒng)計挑戰(zhàn)。如圖5.9所示，統(tǒng)計挑戰(zhàn)產(chǎn)生于 x 的可能配置數(shù)目遠大于訓練樣本的數(shù)目。為了充分理解這個問題，我們假設(shè)輸入空間如圖所示被分成網(wǎng)格。
深度學習中分類與回歸常用的幾種損失函數(shù)，包括均方差損失 Mean Squared Loss、平均絕對誤差損失 Mean Absolute Error Loss、Huber Loss、分位數(shù)損失 Quantile Loss、交叉熵損失函數(shù) Cross Entropy Loss、Hinge
通常，我們度量模型在訓練集中分出來的測試集 (test set)樣本上的性能，來評估機器學習模型的泛化誤差。
彼時，深度學習模型被認為是受生物大腦（無論人類大腦或其他動物的大腦）所啟發(fā)而設(shè)計出來的系統(tǒng)。盡管有些機器學習的神經(jīng)網(wǎng)絡(luò)有時被用來理解大腦功能 (Hinton and Shallice, 1991)，但它們一般都沒有被設(shè)計成生物功能的真實模型。深度學習的神經(jīng)觀點受兩個主要思想啟發(fā)。
現(xiàn)代深度學習的另一個趨勢是越來越多的人在訓練和測試集分布不匹配的情況下進行訓練，假設(shè)你要構(gòu)建一個用戶可以上傳大量圖片的應(yīng)用程序，目的是找出并呈現(xiàn)所有貓咪圖片，可能你的用戶都是愛貓人士，訓練集可能是從網(wǎng)上下載的貓咪圖片，而驗證集和測試集是用戶在這個應(yīng)用上上傳的貓的圖片，就是說，訓練集可能是從網(wǎng)絡(luò)上抓下來的圖片
