檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
我們幾乎從未知曉真實(shí)數(shù)據(jù)的生成過(guò)程，所以我們永遠(yuǎn)不知道被估計(jì)的模型族是否包括生成過(guò)程。然而，深度學(xué)習(xí)算法的大多數(shù)應(yīng)用都是針對(duì)這樣的情況，其中真實(shí)數(shù)據(jù)的生成過(guò)程幾乎肯定在模型族之外。深度學(xué)習(xí)算法通常應(yīng)用于極為復(fù)雜的領(lǐng)域，如圖像、音頻序列和文本，本質(zhì)上這些領(lǐng)域的真實(shí)生成過(guò)程涉及模擬整
那么有沒(méi)有合適的理論框架能夠處理增加/減少參數(shù)以抑制欠擬合/過(guò)擬合的機(jī)制呢？ 這首先得回到深度學(xué)習(xí)的本質(zhì)上來(lái)。學(xué)習(xí)的本質(zhì)是在輸入數(shù)據(jù)到輸出數(shù)據(jù)之間建立映射關(guān)系。數(shù)學(xué)上即定義了輸入到輸出的函數(shù)關(guān)系。那么，這樣的函數(shù)關(guān)系是如何建立的呢？實(shí)際上，深度學(xué)習(xí)的核心算法是反向傳播算法，它與物理上的變分法求解經(jīng)典運(yùn)動(dòng)方程是
數(shù)。這類網(wǎng)絡(luò)本質(zhì)上是多個(gè)矩陣組合在一起。Saxe et al. (2013) 精確解析了這類網(wǎng)絡(luò)中完整的學(xué)習(xí)動(dòng)態(tài)，表明這些模型的學(xué)習(xí)能夠捕捉到許多在訓(xùn)練具有非線性激活函數(shù)的深度模型時(shí)觀察到的定性特征。Dauphin et al. (2014) 通過(guò)實(shí)驗(yàn)表明，真實(shí)的神經(jīng)網(wǎng)絡(luò)也存在包
對(duì)抗樣本也提供了一種實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)的方法。在與數(shù)據(jù)集中的標(biāo)簽不相關(guān)聯(lián)的點(diǎn) x 處，模型本身為其分配一些標(biāo)簽 yˆ。模型的標(biāo)記 yˆ 未必是真正的標(biāo)簽，但如果模型是高品質(zhì)的，那么 yˆ 提供正確標(biāo)簽的可能性很大。我們可以搜索一個(gè)對(duì)抗樣本 x′，導(dǎo)致分類器輸出一個(gè)標(biāo)簽 y′ 且 y′
正如前面提到的，我們將操作的定義限制為返回單個(gè)張量的函數(shù)。大多數(shù)軟件實(shí)現(xiàn)需要支持可以返回多個(gè)張量的操作。例如，如果我們希望計(jì)算張量中的最大值和該值的索引，則最好在單次運(yùn)算中計(jì)算兩者，因此將該過(guò)程實(shí)現(xiàn)為具有兩個(gè)輸出的操作效率更高。我們還沒(méi)有描述如何控制反向傳播的內(nèi)存消耗。反向傳播經(jīng)
我們使用反向傳播作為一種策略來(lái)避免多次計(jì)算鏈?zhǔn)椒▌t中的相同子表達(dá)式。由于這些重復(fù)子表達(dá)式的存在，簡(jiǎn)單的算法可能具有指數(shù)運(yùn)行時(shí)間。現(xiàn)在我們已經(jīng)詳細(xì)說(shuō)明了反向傳播算法，我們可以去理解它的計(jì)算成本。如果我們假設(shè)每個(gè)操作的執(zhí)行都有大致相同的開(kāi)銷，那么我們可以依據(jù)執(zhí)行操作的數(shù)量來(lái)分析計(jì)算成
一些反向傳播的方法采用計(jì)算圖和一組用于圖的輸入的數(shù)值，然后返回在這些輸入值處梯度的一組數(shù)值。我們將這種方法稱為符號(hào)到數(shù)值的微分。這種方法用在諸如 Torch (Collobert et al., 2011b) 和 Ca?e (Jia, 2013) 之類的庫(kù)中。另一種方法是采用計(jì)算
卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。 這些良好的性能是網(wǎng)絡(luò)在有監(jiān)督方式下學(xué)會(huì)的，網(wǎng)絡(luò)的結(jié)構(gòu)主要有稀疏連接和權(quán)值共享兩個(gè)特點(diǎn)，包括如下形式的約束：1、 特征提取。每一個(gè)神經(jīng)元從上一層的局部接受域得到
1.1 打開(kāi)Anaconda Prompt1、conda create -n pytorch python=3.7.0：創(chuàng)建名為pytorch的虛擬環(huán)境，并為該環(huán)境安裝python=3.7。2、activate pytorch：激活名為pytorch的環(huán)境1.2 確定硬件支持的C
最常用的方法是輸出模型在一些樣本上概率對(duì)數(shù)的平均值。通常，我們會(huì)更加關(guān)注機(jī)器學(xué)習(xí)算法在未觀測(cè)數(shù)據(jù)上的性能如何，因?yàn)檫@將決定其在現(xiàn)實(shí)生活中的性能如何。因此，我們使用測(cè)試數(shù)據(jù)來(lái)評(píng)估系統(tǒng)性能，同訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)分開(kāi)。性能度量的選擇或許看上去簡(jiǎn)單且客觀，但是選擇一個(gè)與系統(tǒng)理想表現(xiàn)
是輸出模型在一些樣本上概率對(duì)數(shù)的平均值。 通常，我們會(huì)更加關(guān)注機(jī)器學(xué)習(xí)算法在未觀測(cè)數(shù)據(jù)上的性能如何，因?yàn)檫@將決定其在現(xiàn)實(shí)生活中的性能如何。因此，我們使用測(cè)試數(shù)據(jù)來(lái)評(píng)估系統(tǒng)性能，同訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)分開(kāi)。性能度量的選擇或許看上去簡(jiǎn)單且客觀，但是選擇一個(gè)與系統(tǒng)理想表現(xiàn)對(duì)應(yīng)的性能度量通常是很難的。
」換句話說(shuō)，介質(zhì)不重要，重要的是計(jì)算能力。當(dāng)前，最強(qiáng)大的 AI 系統(tǒng)采用機(jī)器學(xué)習(xí)的一個(gè)分支——深度學(xué)習(xí)，這些 AI 系統(tǒng)的算法通過(guò)處理互連節(jié)點(diǎn)隱藏層的大量數(shù)據(jù)來(lái)學(xué)習(xí)，這被稱為深度神經(jīng)網(wǎng)絡(luò)。顧名思義，深度神經(jīng)網(wǎng)絡(luò)受到了人類大腦中真實(shí)神經(jīng)網(wǎng)絡(luò)的啟發(fā)，它們的節(jié)點(diǎn)模擬真實(shí)神經(jīng)元?；蛘咧辽俑鶕?jù)
數(shù)據(jù)的維數(shù)很高時(shí)，很多機(jī)器學(xué)習(xí)問(wèn)題變得相當(dāng)困難。這種現(xiàn)象被稱為維數(shù)災(zāi)難 (curse of dimensionality)。特別值得注意的是，一組變量不同的可能配置數(shù)量會(huì)隨著變量數(shù)目的增加而指數(shù)級(jí)增長(zhǎng)。由維數(shù)災(zāi)難帶來(lái)的一個(gè)挑戰(zhàn)是統(tǒng)計(jì)挑戰(zhàn)。如圖5.9所示，統(tǒng)計(jì)挑戰(zhàn)產(chǎn)生于 x 的可能
大多數(shù)優(yōu)化算法的先決條件都是我們知道精確的梯度或是Hessian 矩陣。在實(shí)踐中，通常這些量會(huì)有噪聲，甚至是有偏的估計(jì)。幾乎每一個(gè)深度學(xué)習(xí)算法都需要基于采樣的估計(jì)，至少使用訓(xùn)練樣本的小批量來(lái)計(jì)算梯度。在其他情況，我們希望最小化的目標(biāo)函數(shù)實(shí)際上是難以處理的。當(dāng)目標(biāo)函數(shù)不可解時(shí)，通常
池化是一個(gè)幾乎所有做深度學(xué)習(xí)的人都了解的一個(gè)技術(shù)，大家對(duì)池化如何進(jìn)行前向傳播也都了解，池化的作用也了解一二。然而，池化如何回傳梯度呢，池化回傳梯度的原則是什么呢，最大池化與平均池化的區(qū)別是什么呢，什么時(shí)候選擇最大池化、什么時(shí)候選擇平均池化呢。主要用的池化操作有平均池化、最大池化、
衛(wèi)星云圖來(lái)預(yù)測(cè)未來(lái)的氣溫情況等。如果一套房子實(shí)際價(jià)格為500萬(wàn)元，通過(guò)回歸分析的預(yù)測(cè)值為499萬(wàn)元，則認(rèn)為這是一個(gè)比較好的回歸分析。在機(jī)器學(xué)習(xí)問(wèn)題中，常見(jiàn)的回歸分析有線性回歸（Linear Regression）、多項(xiàng)式回歸（Polynomial Regression）、邏輯回歸（Logistic
點(diǎn)和輸入?yún)^(qū)域之間形成一一對(duì)應(yīng)的關(guān)系。每個(gè)葉結(jié)點(diǎn)將其輸入?yún)^(qū)域的每個(gè)點(diǎn)映射到相同的輸出。決策樹(shù)通常有特定的訓(xùn)練算法，超出了本書的范圍。如果允許學(xué)習(xí)任意大小的決策樹(shù)，那么可以被視作非參數(shù)算法。然而實(shí)踐中通常有大小限制作為正則化項(xiàng)將其轉(zhuǎn)變成有參模型。由于決策樹(shù)通常使用坐標(biāo)軸相關(guān)的拆分，并
(Neal, 1996)比Dropout表現(xiàn)得更好 (Srivastava et al., 2014)。當(dāng)有其他未分類的數(shù)據(jù)可用時(shí)，無(wú)監(jiān)督特征學(xué)習(xí)也比Dropout更有優(yōu)勢(shì)。
(Tang and Eliasmith, 2010)。改善神經(jīng)網(wǎng)絡(luò)健壯性的方法之一是簡(jiǎn)單地將隨機(jī)噪聲添加到輸入再進(jìn)行訓(xùn)練。輸入噪聲注入是一些無(wú)監(jiān)督學(xué)習(xí)算法的一部分，如去噪自編碼器(Vincent et al., 2008a)。向隱藏單元施加噪聲也是可行的，這可以被看作在多個(gè)抽象層上進(jìn)行的數(shù)據(jù)集增強(qiáng)。Poole
求神經(jīng)元中的權(quán)重向量必須滿足這一條件，一般值為3或者4。有研究者發(fā)文稱在使用這種正則化方法時(shí)效果更好。這種正則化還有一個(gè)良好的性質(zhì)，即使在學(xué)習(xí)率設(shè)置過(guò)高的時(shí)候，網(wǎng)絡(luò)中也不會(huì)出現(xiàn)數(shù)值“爆炸”，這是因?yàn)樗膮?shù)更新始終是被限制著的。
