檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
如下示例中遇到的問題： 解決方案 使用精度的方法處理，使用字段與數值的差值的絕對值小于可接受的精度的方法。示例： 使用定點數類型(DECIMAL)取代浮點數類型，示例： 父主題： SQL類
BF16和FP16說明 在大模型訓練中，BF16（Brain Floating Point）和FP16（Float16）都是使用的半精度浮點數格式，但它們在結構和適用性上有一些重要的區(qū)別。 BF16：具有8個指數位和7個小數位。
浮點型 名稱 描述 存儲空間 取值范圍 字面量 REAL 實數 32位 1.40129846432481707e-45 ~3.40282346638528860e+38，正或負 REAL DOUBLE 雙精度浮點數，15到17個有效位，具體取決于使用場景，有效位位數并不取決于小數點位置
壓縮大小，不減精度雙精度是64位，單精度是32位，所謂的半精度浮點數就是使用2個字節(jié)（16位）來存儲。比起8位或16位整數，半精度浮點數具有動態(tài)范圍高的優(yōu)點；而與單精度浮點數相比，它能節(jié)省一半的儲存空間和帶寬。比起雙精度和單精度浮點數，半精度浮點顯然沒有那么適合計算。
數據精度 原始成本的數據精度和賬單金額一致。 攤銷成本需要按照四舍五入進行保留小數，因此攤銷成本會存在微小的精度差異： 成本中心頁面上展示的金額，均按照四舍五入規(guī)則，保留2位小數； 導出的成本明細數據，會根據成本數據的原始精度，保留8位小數。
包括：1 個符號位，5 個指數位，10 個尾數位float32單精度浮點數，包括：1 個符號位，8 個指數位，23 個尾數位float64雙精度浮點數，包括：1 個符號位，11 個指數位，52 個尾數位complex_complex128 類型的簡寫，即 128 位復數complex64
16位，正負號1位，指數5位，精度10位 'f2' np.float32 單精度浮點數：32位，正負號1位，指數8位，精度23位 'f4' np.float64 雙精度浮點數：64位，正負號1位，指數11位，精度52位 'f8' np.complex64 復數，分別用兩個32位浮點數表示實部和虛部
float16：半精度浮點數 float32：單精度浮點數 float64：雙精度浮點數 float128：擴展精度浮點數 復數類型: complex64：由兩個32位浮點數表示的復數 complex128：由兩個64位浮點數表示的復數 complex256：由兩個128位浮點數表示的復數
包括：1 個符號位，5 個指數位，10 個尾數位float32單精度浮點數，包括：1 個符號位，8 個指數位，23 個尾數位float64雙精度浮點數，包括：1 個符號位，11 個指數位，52 個尾數位complex_complex128 類型的簡寫，即 128 位復數complex64
數組一般要求所有元素類型相同（同質），數組下標從0開始 1234 ndarray元素類型 布爾：bool（True False） c語言int，環(huán)境有關： intc，intp 整數：int8，int16，int32，init64 無符號整數： uint8，uint16，uint32，uinit64 半精度浮點數
從上可以理解(float16為半精度浮點數，float32為單精度浮點數)，MindSpore是將網絡中的前向計算部分`cast`成半精度浮點數進行計算，以節(jié)省內存空間，提升性能，同時將`loss`值保持單精度浮點數進行計算和存儲，`weight`使用半精度浮點數進行計算，單精度浮點數進行保存
包括：1 個符號位，5 個指數位，10 個尾數位 float32 單精度浮點數，包括：1 個符號位，8 個指數位，23 個尾數位 float64 雙精度浮點數，包括：1 個符號位，11 個指數位，52 個尾數位 complex_ complex128 類型的簡寫，即
**混合精度訓練方法**是通過混合使用單精度和半精度數據格式來加速深度神經網絡訓練的過程，同時保持了單精度訓練所能達到的網絡精度。即在盡可能減少精度損失的情況下利用半精度浮點數加速訓練。
先進的訓練技巧 6.1 混合精度訓練 混合精度訓練是一種通過使用半精度浮點數（FP16）替代單精度浮點數（FP32）進行訓練的技術。這種方法可以顯著提高訓練速度，并減少顯存的占用，同時幾乎不會影響模型的準確性。
json文件 data_cache_dir：訓練數據緩存文件夾 output_dir: 輸出文件夾 output encoded layers：設置隱層輸出為True gradient_accumulation_steps：梯度累積 temperature：蒸餾溫度 fp16：開啟半精度浮點數訓練
16位，正負號1位，指數5位，精度10位 ‘f2’ np.float32 單精度浮點數：32位，正負號1位，指數8位，精度23位 ‘f4’ np.float64 雙精度浮點數：64位，正負號1位，指數11位，精度52位 ‘f8’ np.complex64 復數，分別用兩個
而在混合精度訓練過程中，每一個step會為模型的所有weight維護一個FP32的copy，稱為Master Weights，在做前向和后向傳播過程中，Master Weights會轉換成FP16（半精度浮點數）格式，權重，激活函數和梯度都是用FP16進行表示，最后梯度會轉換成FP32
包括：1 個符號位，5 個指數位，10 個尾數位float32單精度浮點數，包括：1 個符號位，8 個指數位，23 個尾數位float64雙精度浮點數，包括：1 個符號位，11 個指數位，52 個尾數位complex_complex128 類型的簡寫，即 128 位復數complex64
混合精度訓練：使用混合精度（例如半精度浮點數）進行訓練，能夠加快訓練速度并減少顯存占用。 優(yōu)化損失函數：通過設計新的損失函數（如感知損失、對抗損失），增強模型對圖像細節(jié)和風格的捕捉能力。 8. 評估與評價生成圖像的質量 生成圖像的質量評估是衡量模型性能的重要環(huán)節(jié)。
昇騰PyTorch模型精度調試與優(yōu)化 本課程學習昇騰PyTorch模型的精度調試方法，包括精度調試流程、大模型精度問題來源、單精度與半精度浮點數特點、混合精度計算中的精度問題，以及如何根據任務需求權衡精度損失與訓練速度。
也就說明AICPU完全可以調用數據類型__fp16來實現原生支持半精度浮點數計算。
