檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
第一步類似神經(jīng)網(wǎng)絡(luò)的隨機初始化初值過程，由于第一步不是隨機初始化，而是通過學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。所以深度學(xué)習(xí)的良好效果在很大程度上歸功于第一步的特征學(xué)習(xí)的過程。
下面用之前的廣告數(shù)據(jù)，來建立線性回歸模型，看看tensorflow2的一般建模過程。import numpy as np #1. 數(shù)據(jù)預(yù)處理：裝載廣告數(shù)據(jù) def loadDataSet(): x=[];y=[] f=open('./Ad.csv')
解決欠擬合問題的方法比較簡單，增加模型復(fù)雜度就可以了。常見的方法是增加隱藏層的數(shù)量或者增加隱藏層的節(jié)點數(shù)，或者二者同時增加。如果訓(xùn)練誤差持續(xù)下降，接近于0。而測試誤差在下降后變得平穩(wěn)，甚至略有上升。訓(xùn)練誤差和測試誤差的差距較大。這就是典型的過擬合情況。在建立神經(jīng)網(wǎng)絡(luò)模型的初始階段，
雖然隨機梯度下降仍然是非常受歡迎的優(yōu)化方法，但其學(xué)習(xí)過程有時會很慢。動量方法 (Polyak, 1964) 旨在加速學(xué)習(xí)，特別是處理高曲率、小但一致的梯度，或是帶噪聲的梯度。動量算法積累了之前梯度指數(shù)級衰減的移動平均，并且繼續(xù)沿該方向移動。動量的效果。
什么是神經(jīng)網(wǎng)絡(luò) 我們常常用深度學(xué)習(xí)這個術(shù)語來指訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程。有時它指的是特別大規(guī)模的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。那么神經(jīng)網(wǎng)絡(luò)究竟是什么呢？在這個文章中，我會說一些直觀的基礎(chǔ)知識。讓我們從一個房價預(yù)測的例子開始說起。 假設(shè)你有一個數(shù)據(jù)集，它包含了六棟房子的信息。
雖然相關(guān)性是數(shù)據(jù)元素間依賴關(guān)系的一個重要范疇，但我們對于能夠消除特征依賴更復(fù)雜形式的表示學(xué)習(xí)也很有興趣。對此，我們需要比簡單線性變換能做到更多的工具。
點擊訪問華為云深度學(xué)習(xí)官網(wǎng)
深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集，它通過接收大量數(shù)據(jù)并試圖從中學(xué)習(xí)來模擬人腦。在IBM對該術(shù)語的定義中，深度學(xué)習(xí)使系統(tǒng)能夠“聚集數(shù)據(jù)，并以令人難以置信的準確性做出預(yù)測。” 然而，盡管深度學(xué)習(xí)令人難以置信，但IBM尖銳地指出，它無法觸及人腦處理和學(xué)習(xí)信息的能力。
科技公司通過基于GAN的深度學(xué)習(xí)開發(fā)了一種名為“自動全身模型生成人工智能”的技術(shù)，他們完全是由人工智能虛擬而成，時尚品牌或廣告代理商因而可以不用支付模特酬勞，也不用負擔(dān)拍攝相關(guān)的人員、場地、燈光、設(shè)備、甚至是餐飲等成本，這意味著人工智能已經(jīng)完全可以取代人類模特拍攝時尚宣傳廣告了。
然后就是Python的介紹。包括常見的數(shù)據(jù)類型，基本算術(shù)運算，比較和布爾運算，如何載入額外的模塊和包。 基本數(shù)據(jù)結(jié)構(gòu)有列表、元組、字典和集合。控制結(jié)構(gòu)，內(nèi)建函數(shù)和自定義函數(shù)。 然后介紹numpy庫，他可以實現(xiàn)快速的算數(shù)運算，特別是矩陣運算，運算內(nèi)部是通過C語言實現(xiàn)的，所以比較快。他包含兩種基本數(shù)據(jù)類型
但是這個方法只適合少數(shù)結(jié)構(gòu)比較簡單的模型（比如線性回歸模型），不能求解深度學(xué)習(xí)這類復(fù)雜模型的參數(shù)。 所以下面介紹的是深度學(xué)習(xí)中常用的優(yōu)化算法：`梯度下降法`。其中有三個不同的變體：隨機梯度下降法、全數(shù)據(jù)梯度下降法、和批量隨機梯度下降法。
正向傳播（Forward Propagation FP）算法指輸入值通過神經(jīng)網(wǎng)絡(luò)得到輸出值的方法。正向傳播算法的計算圖如下：$sigma$表示sigmoid函數(shù)，也就是激活函數(shù)。包含損失函數(shù)的計算圖如下：得到$l_2$，通過$l$計算損失函數(shù)L，其中$l$表示求解損失函數(shù)的運算。
這樣做可以讓梯步下降法的數(shù)值更加穩(wěn)定，更容易找到合適的初始值和學(xué)習(xí)步長。 一個標準化的方法就是讓數(shù)據(jù)的每一列減去該列的均值，然后除以該列的樣本標準差（$sd(x)$）: !
```python #定義sigmoid函數(shù) def sigmoid(input): return 1.0/(1+np.exp(-input)) #通過隨機梯度下降法估計參數(shù) def logit_model(x,y,w,b,lr=0.1): for iter in range(60
資深的深度學(xué)習(xí)開發(fā)者都體會過手動求解的過程，不僅求導(dǎo)過程復(fù)雜，結(jié)果還很容易出錯。所以現(xiàn)有深度學(xué)習(xí)框架，都有自動微分的特性，幫助開發(fā)者利用自動微分技術(shù)實現(xiàn)自動求導(dǎo)，解決這個復(fù)雜、關(guān)鍵的過程。
學(xué)習(xí)步長$\alpha$是一個很重要的參數(shù)。 如果太小，算法會收斂的很慢。 如果太大，容易造成算法不收斂，甚至發(fā)散。 自變量的標準化，和因變量的中心化，是建立深度學(xué)習(xí)模型常用的數(shù)據(jù)預(yù)處理方法。
深度學(xué)習(xí)區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于： (1)強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；(2)明確了特征學(xué)習(xí)的重要性。也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更容易。
其核心思想是通過學(xué)習(xí)的方法，將龐大復(fù)雜的模型遷移到一個精簡的小模型上，盡量保持原有模型的特征和精度。
深度學(xué)習(xí)常用術(shù)語· 樣本（sample）或輸入（input）或數(shù)據(jù)點（data point）：訓(xùn)練集中特定的實例。我們在上一章中看到的圖像分類問題，每個圖像都可以被稱為樣本、輸入或數(shù)據(jù)點。· 預(yù)測（prediction）或輸出（output）：由算法生成的值稱為輸出。
線性模型相對比較簡單，但是他是學(xué)習(xí)比較復(fù)雜的深度學(xué)習(xí)模型的一個基礎(chǔ)，而且線性模型本身也具有廣泛的用途。 這里講了線性模型中的線性回歸模型和logistic模型。線性回歸模型用于處理`回歸問題`。logistic模型用于處理`分類問題`。 線性回歸模型可以寫作如下的形式： !
