檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
粹的線(xiàn)性模型，如邏輯回歸，由于它們被限制為線(xiàn)性而無(wú)法抵抗對(duì)抗樣本。神經(jīng)網(wǎng)絡(luò)能夠?qū)⒑瘮?shù)從接近線(xiàn)性轉(zhuǎn)化為局部近似恒定，從而可以靈活地捕獲到訓(xùn)練數(shù)據(jù)中的線(xiàn)性趨勢(shì)同時(shí)學(xué)習(xí)抵抗局部擾動(dòng)。對(duì)抗樣本也提供了一種實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)的方法。在與數(shù)據(jù)集中的標(biāo)簽不相關(guān)聯(lián)的點(diǎn) x 處，模型本身為其分配一些標(biāo)簽
2013)。隨機(jī)池化是構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)集成的一種隨機(jī)池化的形式 (見(jiàn)第 9.3 節(jié))，其中每個(gè)卷積網(wǎng)絡(luò)參與每個(gè)特征圖的不同空間位置。目前為止，Dropout仍然是最廣泛使用的隱式集成方法。一個(gè)關(guān)于Dropout的重要見(jiàn)解是，通過(guò)隨機(jī)行為訓(xùn)練網(wǎng)絡(luò)并平均多個(gè)隨機(jī)決定進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)了一
深度學(xué)習(xí)1. TensorFlow星標(biāo)：149000，提交數(shù)：97741，貢獻(xiàn)者：754TensorFlow是針對(duì)機(jī)器學(xué)習(xí)的端對(duì)端開(kāi)源平臺(tái)。它具備綜合靈活的工具、庫(kù)和社區(qū)資源，可以幫助研究者推動(dòng)先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)的發(fā)展以及開(kāi)發(fā)者更輕松地開(kāi)發(fā)和發(fā)布由機(jī)器學(xué)習(xí)支持的應(yīng)用。2. Ker
40 年代開(kāi)始，這些函數(shù)近似技術(shù)被用于導(dǎo)出諸如感知機(jī)的機(jī)器學(xué)習(xí)模型。然而，最早的模型都是基于線(xiàn)性模型。來(lái)自包括 Marvin Minsky 的批評(píng)指出了線(xiàn)性模型族的幾個(gè)缺陷，例如它無(wú)法學(xué)習(xí) XOR 函數(shù)，這導(dǎo)致了對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)方法的抵制。
得通過(guò)鼻檢測(cè)臉的隱藏單元 hi，那么丟失 hi 對(duì)應(yīng)于擦除圖像中有鼻子的信息。模型必須學(xué)習(xí)另一種 hi，要么是鼻子存在的冗余編碼，要么是臉部的另一特征，如嘴。傳統(tǒng)的噪聲注入技術(shù)，在輸入端加非結(jié)構(gòu)化的噪聲不能夠隨機(jī)地從臉部圖像中抹去關(guān)于鼻子的信息，除非噪聲的幅度大到幾乎能抹去圖像中
1999)。核機(jī)器的一個(gè)主要缺點(diǎn)是計(jì)算決策函數(shù)的成本關(guān)于訓(xùn)練樣本的數(shù)目是線(xiàn)性的。因?yàn)榈?i 個(gè)樣本貢獻(xiàn) αik(x, x(i)) 到?jīng)Q策函數(shù)。支持向量機(jī)能夠通過(guò)學(xué)習(xí)主要包含零的向量 α，以緩和這個(gè)缺點(diǎn)。那么判斷新樣本的類(lèi)別僅需要計(jì)算非零 αi 對(duì)應(yīng)的訓(xùn)練樣本的核函數(shù)。這些訓(xùn)練樣本被稱(chēng)為支持向量 (support
maxout 單元具有一些冗余來(lái)幫助它們抵抗一種被稱(chēng)為災(zāi)難遺忘（catastrophic forgetting）的現(xiàn)象，這個(gè)現(xiàn)象是說(shuō)神經(jīng)網(wǎng)絡(luò)忘記了如何執(zhí)行它們過(guò)去訓(xùn)練的任務(wù) (Goodfellow et al., 2014a)。
learning algorithm) 訓(xùn)練含有很多特征的數(shù)據(jù)集，然后學(xué)習(xí)出這個(gè)數(shù)據(jù)集上有用的結(jié)構(gòu)性質(zhì)。在深度學(xué)習(xí)中，我們通常要學(xué)習(xí)生成數(shù)據(jù)集的整個(gè)概率分布，顯式地，比如密度估計(jì)，或是隱式地，比如合成或去噪。還有一些其他類(lèi)型的無(wú)監(jiān)督學(xué)習(xí)任務(wù)，例如聚類(lèi)，將數(shù)據(jù)集分成相似樣本的集合。
當(dāng)計(jì)算圖變得極深時(shí)，神經(jīng)網(wǎng)絡(luò)優(yōu)化算法會(huì)面臨的另外一個(gè)難題就是長(zhǎng)期依賴(lài)問(wèn)題——由于變深的結(jié)構(gòu)使模型喪失了學(xué)習(xí)到先前信息的能力，讓優(yōu)化變得極其困難。深層的計(jì)算圖不僅存在于前饋網(wǎng)絡(luò)，還存在于之后介紹的循環(huán)網(wǎng)絡(luò)中（在第十章中描述）。因?yàn)檠h(huán)網(wǎng)絡(luò)要在很長(zhǎng)時(shí)間序列的各個(gè)時(shí)刻重復(fù)應(yīng)用相同操作來(lái)
的已知知識(shí)表示成先驗(yàn)概率分布 (prior probability distribution)，p(θ)（有時(shí)簡(jiǎn)單地稱(chēng)為 “先驗(yàn)”）。一般而言，機(jī)器學(xué)習(xí)實(shí)踐者會(huì)選擇一個(gè)相當(dāng)寬泛的（即，高熵的）先驗(yàn)分布，反映在觀測(cè)到任何數(shù)據(jù)前參數(shù) θ 的高度不確定性。例如，我們可能會(huì)假設(shè)先驗(yàn) θ 在有限區(qū)間中均勻分布。許多先驗(yàn)偏好于“更簡(jiǎn)單”
神經(jīng)網(wǎng)絡(luò)的弱點(diǎn)：“神經(jīng)網(wǎng)絡(luò)在處理多參數(shù)少量數(shù)據(jù)時(shí)，表現(xiàn)不錯(cuò)，但是這方面，人類(lèi)似乎做得更好。"杰夫·辛頓說(shuō)：“深度學(xué)習(xí)將無(wú)所不能”人工智能領(lǐng)域的缺口：“必須有更多的概念上的突破，在規(guī)模上，還需要加大。"神經(jīng)網(wǎng)絡(luò)的弱點(diǎn)：“神經(jīng)網(wǎng)絡(luò)在處理多參數(shù)少量數(shù)據(jù)時(shí)，表現(xiàn)不錯(cuò)，但是這方面，人類(lèi)似乎
差。這里，我們解釋為什么單是平滑先驗(yàn)不足以應(yīng)對(duì)這類(lèi)任務(wù)。有許多不同的方法來(lái)隱式地或顯式地表示學(xué)習(xí)函數(shù)應(yīng)該是光滑或局部不變的先驗(yàn)。所有這些不同的方法都旨在鼓勵(lì)學(xué)習(xí)過(guò)程能夠學(xué)習(xí)出函數(shù) f∗ 對(duì)于大多數(shù)設(shè)置 x和小變動(dòng) ?，都滿(mǎn)足條件f∗(x) ≈ f∗(x + ?).雖然 k-最近鄰
是高維的這會(huì)是一個(gè)非常大的數(shù)。對(duì)抗訓(xùn)練通過(guò)鼓勵(lì)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)附近的局部區(qū)域恒定來(lái)限制這一高度敏感的局部線(xiàn)性行為。這可以被看作是一種明確地向監(jiān)督神經(jīng)網(wǎng)絡(luò)引入局部恒定先驗(yàn)的方法。對(duì)抗訓(xùn)練有助于體現(xiàn)積極正則化與大型函數(shù)族結(jié)合的力量。純粹的線(xiàn)性模型，如邏輯回歸，由于它們被限制為線(xiàn)性而無(wú)法抵抗對(duì)抗樣本。神經(jīng)網(wǎng)絡(luò)能夠?qū)⒑瘮?shù)從
aggregating）是通過(guò)結(jié)合幾個(gè)模型降低泛化誤差的技術(shù)(Breiman, 1994)。主要想法是分別訓(xùn)練幾個(gè)不同的模型，然后讓所有模型表決測(cè)試樣例的輸出。這是機(jī)器學(xué)習(xí)中常規(guī)策略的一個(gè)例子，被稱(chēng)為模型平均（model averaging）。采用這種策略的技術(shù)被稱(chēng)為集成方法。模型平均（model avera
對(duì)于大多數(shù)神經(jīng)網(wǎng)絡(luò)，我們需要對(duì)許多輸出求和 (此處為描述簡(jiǎn)單，f(x) 為唯一輸出)。與切面距離算法一樣，我們根據(jù)切向量推導(dǎo)先驗(yàn)，通常從變換（如平移、旋轉(zhuǎn)和縮放圖像）的效果獲得形式知識(shí)。正切傳播不僅用于監(jiān)督學(xué)習(xí)(Simard et al., 1992)，還在強(qiáng)化學(xué)習(xí)(Thrun,
dropout），減小梯度計(jì)算中的隨機(jī)性而獲得更快的收斂速度。這種方法也可以在測(cè)試時(shí)應(yīng)用，能夠比權(quán)重比例推斷規(guī)則更合理地（但計(jì)算也更昂貴）近似所有子網(wǎng)絡(luò)的平均?？焖?Dropout在小神經(jīng)網(wǎng)絡(luò)上的性能幾乎與標(biāo)準(zhǔn)的Dropout相當(dāng)，但在大問(wèn)題上尚未產(chǎn)生顯著改善或尚未應(yīng)用。隨機(jī)性對(duì)實(shí)現(xiàn)Dropout的正則化效果
支持）中等（需優(yōu)化）中等（TorchScript）社區(qū)活躍度中等極高極高7. 學(xué)習(xí)資源官方文檔：Apache MXNetGitHub 倉(cāng)庫(kù)：apache/incubator-mxnet總結(jié)MXNet 是高效靈活的全棧深度學(xué)習(xí)框架，特別適合需要混合計(jì)算圖、多語(yǔ)言支持或邊緣設(shè)備部署的場(chǎng)景。
數(shù)據(jù)與算法的互動(dòng)：數(shù)據(jù)需要算法來(lái)提取特征，而算法依賴(lài)數(shù)據(jù)驗(yàn)證其有效性。例如，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像數(shù)據(jù)上的成功源于其局部感知特性與圖像空間結(jié)構(gòu)的契合。• 算力的賦能作用：算力使大規(guī)模數(shù)據(jù)訓(xùn)練和復(fù)雜算法（如自監(jiān)督學(xué)習(xí)）成為可能。例如，BERT的預(yù)訓(xùn)練需要數(shù)千GPU小時(shí)。• 邊際效應(yīng)：當(dāng)某
Ubuntu深度學(xué)習(xí)環(huán)境配置安裝組合：Anaconda+PyTorch(CPU版)或PyTorch(GPU版)開(kāi)源貢獻(xiàn)：陳信達(dá)，華北電力大學(xué)3.1 Anacond安裝Anaconda和Python版本是對(duì)應(yīng)的，所以需要選擇安裝對(duì)應(yīng)Python2.7版本的還是Python3.7版本
函數(shù)生成網(wǎng)絡(luò)，從而簡(jiǎn)化重建中的后端優(yōu)化過(guò)程。• Code SLAM，如之前所提，其通過(guò)神經(jīng)網(wǎng)絡(luò)提取出若干個(gè)基函數(shù)來(lái)表示場(chǎng)景的深度，這些基函數(shù)可以簡(jiǎn)化傳統(tǒng)幾何方法的優(yōu)化問(wèn)題。2. 深度學(xué)習(xí)重建算法和傳統(tǒng)三維重建算法進(jìn)行融合，優(yōu)勢(shì)互補(bǔ)CNN-SLAM13將CNN預(yù)測(cè)的致密深度圖和單目
