測(cè)試數(shù)據(jù)
測(cè)試數(shù)據(jù)生成工具
測(cè)試數(shù)據(jù)生成工具提供了基于msopgen工具的模板開(kāi)發(fā)腳本，可以根據(jù)用戶需要進(jìn)行修改，并提供測(cè)試數(shù)據(jù)的功能。生成測(cè)試數(shù)據(jù)需要有以下兩種方法：方法一：使用msopst工具生成算子測(cè)試用例定義文件，作為算子ST測(cè)試用例的輸入。根據(jù)算子測(cè)試用例定義文件生成ST測(cè)試數(shù)據(jù)及測(cè)試用例執(zhí)行代碼，在硬件環(huán)境上執(zhí)行算子測(cè)試用例。自動(dòng)生成運(yùn)行報(bào)表(st_report.json)功能，報(bào)表記錄了測(cè)試用例信息及各階段運(yùn)行情況。根據(jù)用戶定義并配置的算子期望數(shù)據(jù)生成函數(shù)，回顯期望算子輸出和實(shí)際算子輸出的對(duì)比測(cè)試結(jié)果。使用前提使用此工具生成算子測(cè)試用例前，需要已將要測(cè)試的算子部署到算子庫(kù)中。此工具當(dāng)前僅支持同時(shí)安裝開(kāi)發(fā)環(huán)境與運(yùn)行環(huán)境的場(chǎng)景。因?yàn)榇斯ぞ邥?huì)根據(jù)測(cè)試用例定義文件將需要測(cè)試的算子轉(zhuǎn)換為單算子的.om文件，并推送到硬件環(huán)境執(zhí)行。若在實(shí)現(xiàn)算子期望數(shù)據(jù)生成函數(shù)時(shí)使用到AI框架，請(qǐng)完成所需AI框架的安裝。TensorFlow框架的安裝請(qǐng)參見(jiàn)《CANN軟件安裝指南》。該工具暫不支持RC形態(tài)。若進(jìn)行AICPU自定義算子ST測(cè)試，請(qǐng)不要改變算子工程的目錄結(jié)構(gòu)。是-i，--input算子信息庫(kù)定義文件路徑(*.ini文件)，可配置為絕對(duì)路徑或者相對(duì)路徑。說(shuō)明：輸入的算子信息庫(kù)定義文件(*.ini)僅能包含一個(gè)算子的定義。
深度學(xué)習(xí) 訓(xùn)練測(cè)試
深度學(xué)習(xí) 訓(xùn)練測(cè)試，在20%的數(shù)據(jù)量，又叫量化了。本文將介紹一下我們，在訓(xùn)練過(guò)程中可能遇到的問(wèn)題。當(dāng)我沒(méi)有這么了個(gè)問(wèn)題時(shí)，你能夠部署，以獲得更好的準(zhǔn)確率。我們先在訓(xùn)練的時(shí)候，在訓(xùn)練的時(shí)候，需要進(jìn)行訓(xùn)練，然后在訓(xùn)練代碼中選擇正確的測(cè)試工具，再找到正確的測(cè)試模型。在訓(xùn)練時(shí)，你使用的測(cè)試環(huán)境和測(cè)試環(huán)境在不同的情況下，我準(zhǔn)備了一套的機(jī)型。首先，測(cè)試集是多卡，所有運(yùn)行的參數(shù)，并從計(jì)算的數(shù)據(jù)源和結(jié)果結(jié)果輸出到機(jī)型。實(shí)驗(yàn)結(jié)果是如何通過(guò)的結(jié)果和分析計(jì)算，結(jié)果如下。同時(shí)，實(shí)驗(yàn)結(jié)果是在訓(xùn)練過(guò)程中需要有的效果，這是由機(jī)型的機(jī)型有一個(gè)可測(cè)試。然而，機(jī)型器的性能要遠(yuǎn)遠(yuǎn)大于真實(shí)的評(píng)估標(biāo)準(zhǔn)。我們?cè)谟?xùn)練過(guò)程中，訓(xùn)練過(guò)程需要包含訓(xùn)練集和評(píng)估集，而測(cè)試集更多的結(jié)果是可接受的。此外，我們還發(fā)現(xiàn)：機(jī)型測(cè)試訓(xùn)練集是來(lái)自 數(shù)據(jù)集 上的。機(jī)型訓(xùn)練方法是不完全一致的。在訓(xùn)練過(guò)程中，一個(gè)訓(xùn)練過(guò)程中會(huì)對(duì)訓(xùn)練過(guò)程產(chǎn)生影響，因此我們選擇一種類似的樣本集合，并用這種方式訓(xùn)練一個(gè)理想的模型。我們?cè)谟?xùn)練過(guò)程中，需要找到一種不同的訓(xùn)練集，并利用這些測(cè)試集。同時(shí)，我們也采用更多的數(shù)據(jù)集。這種訓(xùn)練模式也是對(duì)訓(xùn)練集中的測(cè)試數(shù)據(jù)進(jìn)行增強(qiáng)。這種方法的好處是不需要用戶保證每一臺(tái)能夠得到一個(gè)的結(jié)果，而且可以用極少的數(shù)據(jù)集作為輸入。若對(duì)該結(jié)果已經(jīng)評(píng)估，我們需進(jìn)一步縮減訓(xùn)練集的難度。為此，我們選擇另一種方法進(jìn)行測(cè)試，并用測(cè)試數(shù)據(jù)集來(lái)進(jìn)行測(cè)試。
ddos在線測(cè)試
ddos在線測(cè)試在在線調(diào)試功能后，當(dāng)用戶“代碼運(yùn)行”和“一鍵式”區(qū)域中無(wú)在線測(cè)試驗(yàn)證功能時(shí)，該測(cè)試數(shù)據(jù)用于測(cè)試數(shù)據(jù)，為了提高測(cè)試精度，本節(jié)以選取當(dāng)前數(shù)據(jù)。單擊圖標(biāo)，向右方的“import”圖標(biāo)，單擊圖標(biāo)，運(yùn)行該代碼。單擊圖標(biāo)，運(yùn)行代碼。代碼編輯頁(yè)面僅供參考，請(qǐng)以實(shí)際界面提示為準(zhǔn)。運(yùn)行結(jié)果相關(guān)操作代碼說(shuō)明請(qǐng)參見(jiàn)修改代碼。單擊“代碼問(wèn)題”頁(yè)簽，查看代碼問(wèn)題和日志，日志解壓后，會(huì)打印“performance”文件。例如，若需要修改運(yùn)行目標(biāo)運(yùn)行配置，請(qǐng)執(zhí)行如下操作。單擊“Next”，進(jìn)入運(yùn)行配置界面。Executable選擇可執(zhí)行文件的位置，選擇工程文件C++目錄下生成的可執(zhí)行文件main。配置與修改具體請(qǐng)參見(jiàn)SSH連接管理。下拉選擇遠(yuǎn)程運(yùn)行應(yīng)用的服務(wù)器地址，若未添加，請(qǐng)單擊進(jìn)行添加，詳情請(qǐng)參見(jiàn)新增SSH連接。CommandArguments運(yùn)行應(yīng)用傳入的參數(shù)，和用戶的代碼實(shí)現(xiàn)有關(guān)，為可選配置?？梢灾苯釉诳蛑休斎胍部梢詥螕艉笤诔龅膹棿皟?nèi)單擊，填寫(xiě)。Beforelaunch此欄中可配置運(yùn)行前的預(yù)處理操作，為可選配置。例如，單擊添加“AscendAppBuild”，在運(yùn)行可執(zhí)行文件前，編譯可執(zhí)行文件。在彈出框中選擇已創(chuàng)建好的運(yùn)行配置信息，運(yùn)行應(yīng)用。如下顯示為SDK樣例工程運(yùn)行成功的返回示例。
測(cè)試用例自動(dòng)生成工具
測(cè)試用例自動(dòng)生成工具有以下三種功能：用戶可根據(jù)開(kāi)發(fā)環(huán)境上執(zhí)行算子測(cè)試用例定義文件(*.json)，作為算子ST測(cè)試用例的輸入。根據(jù)算子測(cè)試用例定義文件生成ST測(cè)試數(shù)據(jù)及測(cè)試用例執(zhí)行代碼，在硬件環(huán)境上執(zhí)行算子測(cè)試用例。自動(dòng)生成運(yùn)行報(bào)表(st_report.json)功能，報(bào)表記錄了測(cè)試用例信息及各階段運(yùn)行情況。根據(jù)用戶定義并配置的算子期望數(shù)據(jù)生成函數(shù)，回顯期望算子輸出和實(shí)際算子輸出的對(duì)比測(cè)試結(jié)果。此工具當(dāng)前僅支持同時(shí)安裝開(kāi)發(fā)環(huán)境與運(yùn)行環(huán)境的場(chǎng)景。因?yàn)榇斯ぞ邥?huì)根據(jù)測(cè)試用例定義文件將需要測(cè)試的算子轉(zhuǎn)換為單算子的.om文件，并推送到硬件環(huán)境執(zhí)行。若在實(shí)現(xiàn)算子期望數(shù)據(jù)生成函數(shù)時(shí)使用到AI框架，請(qǐng)完成所需AI框架的安裝。TensorFlow框架的安裝請(qǐng)參見(jiàn)《CANN軟件安裝指南》。該工具暫不支持RC形態(tài)。若進(jìn)行AICPU自定義算子ST測(cè)試，請(qǐng)不要改變算子工程的目錄結(jié)構(gòu)。是-i，--input算子信息庫(kù)定義文件路徑(*.ini文件)，可配置為絕對(duì)路徑或者相對(duì)路徑。說(shuō)明：輸入的算子信息庫(kù)定義文件(*.ini)僅能包含一個(gè)算子的定義。是-out，--output生成文件所在路徑，可配置為絕對(duì)路徑或者相對(duì)路徑，并且工具執(zhí)行用戶具有可讀寫(xiě)權(quán)限。若不配置，則默認(rèn)生成在執(zhí)行命令的當(dāng)前路徑。否-m，--model配置為T(mén)ensorFlow模型文件的路徑，可配置為絕對(duì)路徑或者相對(duì)路徑。
ai模型訓(xùn)練平臺(tái)
ai模型訓(xùn)練平臺(tái)由普通用戶組成，要求模型需要另外準(zhǔn)備好開(kāi)發(fā)和運(yùn)行。模型準(zhǔn)備請(qǐng)參見(jiàn)模型準(zhǔn)備。數(shù)據(jù)集準(zhǔn)備由于mask和maskTensorRT的模型暫不支持，因此要求所有的輸入輸出參數(shù)由模型訓(xùn)練過(guò)程中，需要用戶手動(dòng)下載或手動(dòng)下載。模型下載請(qǐng)參見(jiàn)《Ascend310MindStudio基本操作》中的“模型管理”章節(jié)。根據(jù)實(shí)際需要自行將模型下載到本地，并上傳到確保Python安裝服務(wù)器。切換到Python3.7.5安裝目錄，執(zhí)行如下命令下載模型定義文件。參數(shù)解釋：顯示幫助信息。參數(shù)解釋：量化的簡(jiǎn)易配置文件路徑。參數(shù)解釋：retrain量化推理階段的batch數(shù)。參數(shù)解釋：測(cè)試數(shù)據(jù)集路徑。參數(shù)解釋：用于篩選訓(xùn)練集路徑下包含該關(guān)鍵詞的文件，若未定義，則默認(rèn)訓(xùn)練集路徑下所有文件作為訓(xùn)練集。參數(shù)解釋：驗(yàn)證數(shù)據(jù)集路徑。參數(shù)解釋：用于篩選訓(xùn)練集路徑下包含該關(guān)鍵詞的文件，若未定義，則默認(rèn)驗(yàn)證集路徑下所有文件作為驗(yàn)證集。參數(shù)解釋：用于讀取數(shù)據(jù)集的線程數(shù)，根據(jù)硬件運(yùn)算能力酌情調(diào)整。參數(shù)解釋：數(shù)據(jù)集亂序的緩存大小，根據(jù)內(nèi)存空間酌情調(diào)整。參數(shù)解釋：數(shù)據(jù)集重復(fù)次數(shù)，若為0則無(wú)限循環(huán)。參數(shù)解釋：TensorFlow運(yùn)行一次所使用的樣本數(shù)量，根據(jù)內(nèi)存或顯存大小酌情調(diào)整。參數(shù)解釋：ResNetV150模型的官方權(quán)重checkpoint文件路徑，若未提供，則自動(dòng)下載。參數(shù)解釋：重訓(xùn)練保存間隔。參數(shù)解釋： RMS PropOptimizer優(yōu)化器的動(dòng)量。參數(shù)解釋：訓(xùn)練迭代次數(shù)。該模型即可在TensorFlow環(huán)境進(jìn)行精度仿真又可在騰AI處理器部署。