華為云計(jì)算 云知識(shí) 大V講堂——預(yù)訓(xùn)練語(yǔ)言模型
大V講堂——預(yù)訓(xùn)練語(yǔ)言模型

在自然語(yǔ)言處理(NLP)領(lǐng)域中,使用語(yǔ)言模型預(yù)訓(xùn)練方法在多項(xiàng)NLP任務(wù)上都獲得了不錯(cuò)的提升,廣泛受到了各界的關(guān)注。本課程將簡(jiǎn)單介紹一下預(yù)訓(xùn)練的思想,幾個(gè)代表性模型和它們之間的關(guān)系。

語(yǔ)言模型和神經(jīng)語(yǔ)言模型

課程簡(jiǎn)介

在自然語(yǔ)言處理(NLP) 領(lǐng)域中,使用語(yǔ)言模型預(yù)訓(xùn)練方法在多項(xiàng)NLP任務(wù)中的水平都提高了一個(gè)等級(jí),學(xué)術(shù)界掀起了研究預(yù)訓(xùn)練語(yǔ)言模型的熱潮。

課程目標(biāo)

通過(guò)本課程的學(xué)習(xí),使學(xué)員:

1、理解語(yǔ)言模型和神經(jīng)語(yǔ)言模型。

2、了解主流預(yù)訓(xùn)練語(yǔ)言模型及之間的關(guān)系。

課程大綱

第1章 引言

第2章 什么是語(yǔ)言模型

第3章 什么是神經(jīng)語(yǔ)言模型

第4章 主流預(yù)訓(xùn)練語(yǔ)言模型介紹

第5章 華為在預(yù)訓(xùn)練語(yǔ)言模型領(lǐng)域的工作