模型轉(zhuǎn)換，即將開(kāi)源框架的網(wǎng)絡(luò)模型（如Caffe、TensorFlow等），通過(guò)ATC（Ascend Tensor Compiler）模型轉(zhuǎn)換工具，將其轉(zhuǎn)換成昇騰AI處理器支持的離線模型，模型轉(zhuǎn)換過(guò)程中可以實(shí)現(xiàn)算子調(diào)度的優(yōu)化、權(quán)值數(shù)據(jù)重排、內(nèi)存使用優(yōu)化等，可以脫離設(shè)備完成模型的預(yù)處理。
另外，離線模型轉(zhuǎn)換過(guò)程中，80%左右的問(wèn)題，集中在算子不支持。
1、新網(wǎng)絡(luò)，其中算子未開(kāi)發(fā)或發(fā)布；
2、原框架自定義算子，需要在新框架重新適配開(kāi)發(fā)；
3、算子泛化不夠，某些數(shù)據(jù)大小不支持。
在模型轉(zhuǎn)換過(guò)程中出現(xiàn)了算子不支持的情況，例如昇騰AI軟件棧不支持模型中的算子、開(kāi)發(fā)者想修改現(xiàn)有算子中的計(jì)算邏輯、或者開(kāi)發(fā)者想自己開(kāi)發(fā)算子來(lái)提高計(jì)算性能，這時(shí)就需要進(jìn)行自定義算子的開(kāi)發(fā)了。
猜你喜歡
