部分 理論基礎(chǔ)
第1章 緒論
1.1 基本概念
1.2 自然語言處理的產(chǎn)生與發(fā)展
1.3 基本問題和主要困難
1.3.1 自然語言處理的基本問題
1.3.2 自然語言處理面對的主要困難
1.4 深度學(xué)習(xí)在自然語言處理中的應(yīng)用
1.4.1 深度學(xué)習(xí)概述
1.4.2 面向自然語言處理的深度學(xué)習(xí)方法
1.4.3 目前深度學(xué)習(xí)應(yīng)用存在的局限及展望
1.5 本章小結(jié)
習(xí)題1
第2章 數(shù)學(xué)基礎(chǔ)
2.1 概率論基礎(chǔ)
2.1.1 樣本空間和概率
2.1.2 隨機(jī)變量
2.1.3 條件概率公式、全概率公式和貝葉斯公式
2.1.4 期望和方差
2.2 信息論基礎(chǔ)
2.2.1 自信息和熵
2.2.2 聯(lián)合熵和條件熵
2.2.3 互信息、相對熵和交叉熵
2.2.4 困惑度
2.2.5 噪聲信道模型
2.3 深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)
2.3.1 似然估計
2.3.2 梯度分析
2.3.3 梯度下降法
2.3.4 梯度消失和梯度
2.4 本章小結(jié)
習(xí)題2
第3章 語言模型
3.1 語言模型概念及基礎(chǔ)理論
3.1.1 n元語法模型
3.1.2 神經(jīng)概率語言模型
3.1.3 預(yù)訓(xùn)練語言模型
3.2 語言模型性能評價
3.2.1 基于信息熵的語言模型復(fù)雜度度量
3.2.2 基于困惑度的語言模型復(fù)雜度度量
3.2.3 基于語言模型的漢語信息熵估算
3.3 數(shù)據(jù)平滑
3.3.1 問題的提出
3.3.2 加法平滑方法
3.3.3 Good-Turing估計法
3.3.4 Katz平滑方法
3.3.5 Jelinek-Mercer平滑方法
3.3.6 Witten-Bell平滑方法
3.3.7 減值法
3.4 神經(jīng)網(wǎng)絡(luò)語言模型