在自然語言處理（NLP）領(lǐng)域中，使用語言模型預(yù)訓練方法在多項NLP任務(wù)上都獲得了不錯的提升，廣泛受到了各界的關(guān)注。本課程將簡單介紹一下預(yù)訓練的思想，幾個代表性模型和它們之間的關(guān)系。
課程簡介
在自然語言處理(NLP) 領(lǐng)域中，使用語言模型預(yù)訓練方法在多項NLP任務(wù)中的水平都提高了一個等級，學術(shù)界掀起了研究預(yù)訓練語言模型的熱潮。
課程目標
通過本課程的學習，使學員：
1、理解語言模型和神經(jīng)語言模型。
2、了解主流預(yù)訓練語言模型及之間的關(guān)系。
課程大綱
第1章 引言
第2章 什么是語言模型
第3章 什么是神經(jīng)語言模型
第4章 主流預(yù)訓練語言模型介紹
第5章 華為在預(yù)訓練語言模型領(lǐng)域的工作
猜你喜歡
