檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
幾乎所有的深度學(xué)習(xí)算法都用到了一個(gè)非常重要的算法：隨機(jī)梯度下降 (stochastic gradient descent, SGD)。隨機(jī)梯度下降是第4.3節(jié)介紹的梯度下降算法的一個(gè)擴(kuò)展。機(jī)器學(xué)習(xí)中的一個(gè)循環(huán)問(wèn)題是大的數(shù)據(jù)集是好的泛化所必要的，但大的訓(xùn)練集的計(jì)算代價(jià)也更大。
矩陣和向量相乘矩陣乘法是矩陣運(yùn)算中最重要的操作之一。兩個(gè)矩陣A和B的矩陣相乘是第三個(gè)矩陣C。為了使乘法可被定義，矩陣A的列數(shù)必須和矩陣B的行數(shù)相等。如果矩陣A的形狀是m x n，矩陣B的形狀是n x p，那么矩陣C的形狀是m x p。我們可以通過(guò)將兩個(gè)或多個(gè)矩陣并列放置以書(shū)寫(xiě)矩陣乘法
在機(jī)器學(xué)習(xí)中，我們也可以把信息論應(yīng)用在連續(xù)型變量上，而信息論中一些消息長(zhǎng)度的解釋不怎么使用。信息論是電子工程和計(jì)算機(jī)科學(xué)的許多領(lǐng)域的基礎(chǔ)。在本書(shū)中，我們主要使用信息論的一些關(guān)鍵思想來(lái)描述概率分布或者量化概率分布之間的相似性。
盡管如此，在計(jì)算資源受限制時(shí)，它們都是很有用的學(xué)習(xí)算法。通過(guò)思考復(fù)雜算法和 k-最近鄰或決策樹(shù)之間的相似性和差異，我們可以建立對(duì)更復(fù)雜學(xué)習(xí)算法的直覺(jué)。
條件數(shù)表明函數(shù)相對(duì)于輸入的微小變化而變化的快慢程度。輸入被輕微擾動(dòng)而迅速改變的函數(shù)對(duì)于科學(xué)計(jì)算來(lái)說(shuō)是可能是有問(wèn)題的，因?yàn)檩斎胫械纳崛胝`差可能導(dǎo)致輸出的巨大變化?？紤]函數(shù) f(x) = A−1x。當(dāng) A ∈ Rn×n 具有特征值分解時(shí)，其條件數(shù)為：這是最大和最小特征值的模之比。當(dāng)該數(shù)很大時(shí)
隨著深度學(xué)習(xí)技術(shù)的推廣以及其在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域的顯著成果，研究者提出了一系列以深度學(xué)習(xí)為基礎(chǔ)的跨模態(tài)檢索方法，極大地緩解了不同模態(tài)間相似性度量的挑戰(zhàn)，本文稱(chēng)之為深度跨模態(tài)檢索。
正切傳播也涉及到雙反向傳播(Drucker and LeCun, 1992) 和對(duì)抗訓(xùn)練(Szegedy et al., 2014a; Goodfellow et al., 2014b)。雙反向傳播正則化使Jacobian矩陣偏小，而對(duì)抗訓(xùn)練找到原輸入附近的點(diǎn)，訓(xùn)練模型在這些點(diǎn)上產(chǎn)生與原來(lái)輸入相同的輸出
只要能夠看到很多訓(xùn)練圖像并具有足夠的計(jì)算能力，就可以訓(xùn)練深度學(xué)習(xí)程序，從而準(zhǔn)確地識(shí)別照片中的對(duì)象。但是深度學(xué)習(xí)算法并不善于概括，也不善于將它們從一個(gè)上下文中學(xué)到的東西應(yīng)用到另一個(gè)上下文中。如果有可能的話，深度學(xué)習(xí)獲得相關(guān)的思考能力，大家比較期待哪些功能的實(shí)現(xiàn)
目前為止，無(wú)法得知深度神經(jīng)網(wǎng)絡(luò)是否允許某種可行的簡(jiǎn)化。相反，我們可以通過(guò)采樣近似推斷，即平均許多掩碼的輸出。即使是 10 − 20 個(gè)掩碼就足以獲得不錯(cuò)的表現(xiàn)。然而，一個(gè)更好的方法能不錯(cuò)地近似整個(gè)集成的預(yù)測(cè)，且只需一個(gè)前向傳播的代價(jià)。
Goodfellow et al. (2015) 可視化了最新神經(jīng)網(wǎng)絡(luò)的幾個(gè)學(xué)習(xí)軌跡，給了一個(gè)例子。這些可視化顯示，在突出的鞍點(diǎn)附近，代價(jià)函數(shù)都是平坦的，權(quán)重都為零。但是他們也展示了梯度下降軌跡能夠迅速逸出該區(qū)間。
通常，我們會(huì)更加關(guān)注機(jī)器學(xué)習(xí)算法在未觀測(cè)數(shù)據(jù)上的性能如何，因?yàn)檫@將決定其在現(xiàn)實(shí)生活中的性能如何。因此，我們使用測(cè)試數(shù)據(jù)來(lái)評(píng)估系統(tǒng)性能，同訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)分開(kāi)。性能度量的選擇或許看上去簡(jiǎn)單且客觀，但是選擇一個(gè)與系統(tǒng)理想表現(xiàn)對(duì)應(yīng)的性能度量通常是很難的。
在合理的范圍，增大batch_size有何好處batch在神經(jīng)網(wǎng)絡(luò)本來(lái)是作為計(jì)算加速的，通過(guò)把數(shù)據(jù)進(jìn)行統(tǒng)一大小，然后批量進(jìn)入神經(jīng)網(wǎng)絡(luò)模型，以此到達(dá)加速的效果。那么batch可以無(wú)限增大嗎？答案是否定的，小編也搜過(guò)這樣的答案，不妨看一下知乎的大牛：怎么選取合適的batch大小。以我的淺見(jiàn)
矩陣是二維數(shù)組，其中的每一個(gè)元素被兩個(gè)索引而非一個(gè)所確定。我們通常會(huì)賦予矩陣粗體的大寫(xiě)變量名稱(chēng)，比如A。如果一個(gè)實(shí)數(shù)矩陣高度為m，寬度為n，那么我們說(shuō)A ∈ R m*n。我們?cè)诒硎揪仃囍械脑貢r(shí)，通常使用其名稱(chēng)以不加粗的斜體形式，索引用逗號(hào)間隔。比如，A1;1 表示
如果允許學(xué)習(xí)任意大小的決策樹(shù)，那么可以被視作非參數(shù)算法。然而實(shí)踐中通常有大小限制作為正則化項(xiàng)將其轉(zhuǎn)變成有參模型。由于決策樹(shù)通常使用坐標(biāo)軸相關(guān)的拆分，并且每個(gè)子節(jié)點(diǎn)關(guān)聯(lián)到常數(shù)輸出，因此有時(shí)解決一些對(duì)于邏輯回歸很簡(jiǎn)單的問(wèn)題很費(fèi)力。
這對(duì)于深度學(xué)習(xí)而言，是災(zāi)難性的結(jié)果。 **所以，對(duì)于真正重要的特征來(lái)說(shuō)，一個(gè)特別重要的問(wèn)題是它的內(nèi)稟維度究竟是多少？** 在計(jì)算機(jī)視覺(jué)領(lǐng)域，在卷積神經(jīng)網(wǎng)絡(luò)中，只是機(jī)械的將每個(gè)子圖截取到的部分看作是特征，并沒(méi)有對(duì)每個(gè)圖進(jìn)行維度分析，這就留下了很多過(guò)擬合的隱患。
通常，我們會(huì)更加關(guān)注機(jī)器學(xué)習(xí)算法在未觀測(cè)數(shù)據(jù)上的性能如何，因?yàn)檫@將決定其在現(xiàn)實(shí)生活中的性能如何。因此，我們使用測(cè)試數(shù)據(jù)來(lái)評(píng)估系統(tǒng)性能，同訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)分開(kāi)。性能度量的選擇或許看上去簡(jiǎn)單且客觀，但是選擇一個(gè)與系統(tǒng)理想表現(xiàn)對(duì)應(yīng)的性能度量通常是很難的。
幾乎每一個(gè)深度學(xué)習(xí)算法都需要基于采樣的估計(jì)，至少使用訓(xùn)練樣本的小批量來(lái)計(jì)算梯度。在其他情況，我們希望最小化的目標(biāo)函數(shù)實(shí)際上是難以處理的。當(dāng)目標(biāo)函數(shù)不可解時(shí)，通常其梯度也是難以處理的。在這種情況下，我們只能近似梯度。這些問(wèn)題主要出現(xiàn)在第三部分中更高級(jí)的模型中。
用準(zhǔn)確的話總結(jié)就是，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，它使用了多層次的非線性信息處理和抽象，用于有監(jiān)督或無(wú)監(jiān)督的特征學(xué)習(xí)、表示、分類(lèi)和模式識(shí)別。深度學(xué)習(xí)即表征學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支或子領(lǐng)域，大多數(shù)人認(rèn)為近代深度學(xué)習(xí)方法是從 2006 開(kāi)始發(fā)展起來(lái)的。
為了實(shí)現(xiàn)數(shù)據(jù)高效的深度學(xué)習(xí)，本文提出的Self-Tuning方法設(shè)計(jì)了一種新的“偽標(biāo)簽組對(duì)比”機(jī)制，將標(biāo)記和未標(biāo)記數(shù)據(jù)的探索與預(yù)訓(xùn)練模型的遷移統(tǒng)一起來(lái)。
這個(gè)超參數(shù)在驗(yàn)證集上具有 U 型性能曲線。很多控制模型容量的超參數(shù)在驗(yàn)證集上都是這樣的 U 型性能曲線。在提前終止的情況下，我們通過(guò)擬合訓(xùn)練集的步數(shù)來(lái)控制模型的有效容量。大多數(shù)超參數(shù)的選擇必須使用高代價(jià)的猜測(cè)和檢查過(guò)程，我們需要在訓(xùn)練開(kāi)始時(shí)猜測(cè)一個(gè)超參數(shù)，然后運(yùn)行幾個(gè)步驟檢查它的訓(xùn)練效果
