檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
計(jì)算和集群計(jì)算的集大成者，云計(jì)算的基礎(chǔ)設(shè)施必須通過集群進(jìn)行管理控制，而作為擁有大量資源與節(jié)點(diǎn)的集群，必須具備一個強(qiáng)大的集群資源管理器（Cluster System Manager，CSM）來調(diào)度和管理集群資源。對于任何集群而言，集群資源管理器是整個集群能夠正常運(yùn)轉(zhuǎn)的大腦和靈魂，任
閉以及監(jiān)控資源狀態(tài)的腳本，同時還包括用于屏蔽和消除實(shí)現(xiàn)這些腳本所采用的不同標(biāo)準(zhǔn)之間差異的本地進(jìn)程。雖然在運(yùn)行多個實(shí)例時，資源彼此之間的交互就像一個分布式的集群系統(tǒng)，但是，這些實(shí)例服務(wù)之間仍然缺乏恰當(dāng)的HA機(jī)制和獨(dú)立于資源的集群治理能力，因此還需要后續(xù)集群組件的功能支持。（3）資源
3 導(dǎo)入Flink應(yīng)用代碼 開發(fā)環(huán)境配置完畢之后，下面就可以將2.3.2節(jié)中創(chuàng)建好的項(xiàng)目導(dǎo)入到IDE中，具體步驟如下所示： 啟動IntelliJ IDEA，選擇File→Open，在文件選擇框中選擇創(chuàng)建好的項(xiàng)目（quickstart），點(diǎn)擊確定，IDEA將自動進(jìn)行項(xiàng)目的導(dǎo)入； 如果項(xiàng)
互式解釋器（Scala-Shell），用戶能夠在客戶端命令行交互式編程，執(zhí)行結(jié)果直接交互式地顯示在客戶端控制臺上，不需要每次進(jìn)行編譯打包在集群環(huán)境中運(yùn)行，目前該功能只支持使用Scala語言進(jìn)行程序開發(fā)。另外需要注意的是在開發(fā)或者調(diào)試程序的過程中可以使用這種方式，但在正式的環(huán)境中則不建議使用。2
啟動Scala Shell交互式解釋器后，就可以進(jìn)行Flink流式應(yīng)用或批量應(yīng)用的開發(fā)。需要注意的是，F(xiàn)link已經(jīng)在啟動的執(zhí)行環(huán)境中初始化好了相應(yīng)的Environment，分別使用“benv”和“senv”獲取批量計(jì)算環(huán)境和流式計(jì)算環(huán)境，然后使用對應(yīng)環(huán)境中的API開發(fā)Flink應(yīng)用。以
用戶根據(jù)要求進(jìn)行環(huán)境的搭建。（4）Hadoop環(huán)境 對于執(zhí)行在Hadoop Yarn資源管理器的Flink應(yīng)用，則需要配置對應(yīng)的Hadoop環(huán)境參數(shù)。目前Flink官方提供的版本支持hadoop2.4、2.6、2.7、2.8等主要版本，所以用戶可以在這些版本的Hadoop Yar
3.2 安裝Scala Plugins 對于已經(jīng)安裝好的IntelliJ IDEA默認(rèn)是不支持Scala開發(fā)環(huán)境的，如果用戶選擇使用Scala作為開發(fā)語言，則需要安裝Scala插件進(jìn)行支持。以下說明在IDEA中進(jìn)行Scala插件的安裝： 打開IDEA IDE后，在IntelliJ IDEA菜單欄中選擇
utionEnvironment的execute()方法來觸發(fā)應(yīng)用程序的執(zhí)行，其中execute()方法返回的結(jié)果類型為JobExecutionResult，里面包含了程序執(zhí)行的時間和累加器等指標(biāo)。需要注意的是，execute方法調(diào)用會因?yàn)閼?yīng)用的類型有所不同，DataStream
即在所有候選的參數(shù)中，通過循環(huán)遍歷，嘗試每一種的可能性，表現(xiàn)最好的參數(shù)就是最終的結(jié)果。那么選用哪些數(shù)據(jù)集進(jìn)行調(diào)參呢，我們來具體分析一下。方法一，選擇整個數(shù)據(jù)集進(jìn)行測試。這種方法有一個非常明顯的問題，那就是設(shè)定k=1總是最好的，因?yàn)槊總€測試樣本的位置總是與整個訓(xùn)練集中的自己最接近，如圖3-10所示。
2 視頻監(jiān)控分析視頻監(jiān)控分析是利用機(jī)器視覺技術(shù)對視頻中的特定內(nèi)容信息進(jìn)行快速檢索、查詢、分析的技術(shù)。由于攝像頭的廣泛應(yīng)用，由其產(chǎn)生的視頻數(shù)據(jù)已是一個天文數(shù)字，這些數(shù)據(jù)蘊(yùn)藏的價值巨大，靠人工根本無法統(tǒng)計(jì)，而機(jī)器視覺技術(shù)的逐步成熟，使得視頻分析成為可能。通過這項(xiàng)技術(shù)，公安部門可以在海量的監(jiān)控視頻中搜尋到罪犯；在擁
0～9的所有數(shù)字，然后把用戶寫出來的數(shù)據(jù)進(jìn)行標(biāo)記，即用戶每寫出一個數(shù)字，就標(biāo)記他寫出的是哪個數(shù)字?！ 槭裁匆杉M量多不同書寫習(xí)慣的用戶寫的數(shù)字呢？因?yàn)橹挥羞@樣，采集到的數(shù)據(jù)才有代表性，才能保證最終訓(xùn)練出來的模型的準(zhǔn)確性。極端的例子，我們采集的都是習(xí)慣寫出瘦高形數(shù)字的人，那么針
模型準(zhǔn)確性 測試數(shù)據(jù)集的成本，即Jtest(θ)是評估模型準(zhǔn)確性的最直觀的指標(biāo)，Jtest(θ)值越小說明模型預(yù)測出來的值與實(shí)際值差異越小，對新數(shù)據(jù)的預(yù)測準(zhǔn)確性就越好。需要特別注意，用來測試模型準(zhǔn)確性的測試數(shù)據(jù)集，必須是模型“沒見過”的數(shù)據(jù)?！ ∵@就是為什么，我們在第1章介紹過的，要把數(shù)據(jù)集
惡性腫瘤的數(shù)量；FalsePositive表示錯誤地預(yù)測出惡性腫瘤的數(shù)量；FalseNegative表示錯誤地預(yù)測出良性腫瘤的數(shù)量。 在處理先驗(yàn)概率低的問題時，我們總是把概率較低的事件定義為1，并且把y=1作為 Positive的預(yù)測結(jié)果。針對上文介紹的，對總是返回0的超級簡單
3 導(dǎo)入Flink應(yīng)用代碼開發(fā)環(huán)境配置完畢之后，下面就可以將2.3.2節(jié)中創(chuàng)建好的項(xiàng)目導(dǎo)入到IDE中，具體步驟如下所示：啟動IntelliJ IDEA，選擇File→Open，在文件選擇框中選擇創(chuàng)建好的項(xiàng)目（quickstart），點(diǎn)擊確定，IDEA將自動進(jìn)行項(xiàng)目的導(dǎo)入；如果項(xiàng)目中
utionEnvironment的execute()方法來觸發(fā)應(yīng)用程序的執(zhí)行，其中execute()方法返回的結(jié)果類型為JobExecutionResult，里面包含了程序執(zhí)行的時間和累加器等指標(biāo)。需要注意的是，execute方法調(diào)用會因?yàn)閼?yīng)用的類型有所不同，DataStream
計(jì)算過程中對數(shù)據(jù)的類型進(jìn)行管理和推斷。同時基于對數(shù)據(jù)的類型信息管理，F(xiàn)link內(nèi)部對數(shù)據(jù)存儲也進(jìn)行了相應(yīng)的性能優(yōu)化。Flink能夠支持任意的Java或Scala的數(shù)據(jù)類型，不用像Hadoop中的org.apache.hadoop.io.Writable而實(shí)現(xiàn)特定的序列化和反序列化
2 運(yùn)行程序啟動Scala Shell交互式解釋器后，就可以進(jìn)行Flink流式應(yīng)用或批量應(yīng)用的開發(fā)。需要注意的是，F(xiàn)link已經(jīng)在啟動的執(zhí)行環(huán)境中初始化好了相應(yīng)的Environment，分別使用“benv”和“senv”獲取批量計(jì)算環(huán)境和流式計(jì)算環(huán)境，然后使用對應(yīng)環(huán)境中的API開發(fā)Flink應(yīng)用。以
來完成的，常用的是使用with語法,可以在session結(jié)束后自行關(guān)閉，當(dāng)然還有其他方法，第4章會詳細(xì)介紹。with tf.Session() as sess: 前面說過，在session中通過run來運(yùn)算模型中的節(jié)點(diǎn)，在訓(xùn)練環(huán)節(jié)也是如此，只不過run里面放的是優(yōu)化操作的OP，同時會在外層加上循環(huán)次數(shù)。for
訓(xùn)練模型。訓(xùn)練出參數(shù)后再使用測試數(shù)據(jù)集來測試模型的準(zhǔn)確度。為什么要單獨(dú)分出一個測試數(shù)據(jù)集來做測試呢？答案是必須確保測試的準(zhǔn)確性，即模型的準(zhǔn)確性是要用它“沒見過”的數(shù)據(jù)來測試，而不能用那些用來訓(xùn)練這個模型的數(shù)據(jù)來測試。理論上更合理的數(shù)據(jù)集劃分方案是分成3個，此外還要再加一個交叉驗(yàn)證數(shù)據(jù)集。相關(guān)內(nèi)容將在第3章介紹。
基本ACL的簡介 華為ensp中的基本acl是指華為設(shè)備中用于控制網(wǎng)絡(luò)訪問的訪問控制列表的其中一種類型?；綼cl可以根據(jù)數(shù)據(jù)包的源IP地址進(jìn)行過濾，配置簡單，但功能有限。 ACL的匹配規(guī)則 步驟： 檢查是否存在ACL 如果不存在，則匹配結(jié)果為“不匹配”。 如果存在，則繼續(xù)下一步。
