自然语言处理(简称 NLP)是计算机科学和人工智能研究的一个重要方向,研究计算机和理解和运用人类语言进行交互的问题,它是集语言学、机器学习、统计学、大数据于一体的综合学科。
本课程主要介绍了NLP中的常用知识点:分词、词法分析、句法分析、向量化方法、经典的NLP机器学习算法,还重点介绍了NLP中最近两年来基于大规模语料预训练的词嵌入模型及应用。同时本课程偏重于实战,不仅系统地介绍了 NLP的知识点,还讲解如何实际应用和开发,每章节都有相应的实战代码。
第一天:传统的NLP
一、NLP基础知识
1、自然语言处理简介
2、中文NLP的主要任务
3、常见的NLP系统
4、NLP的研究机构与资源
二、中文分词
1、基于字符串匹配的分词
2、统计分词法与分词中的消歧
3、命名实体识别
4、常用分词工具:JIEBA
三、文本的相似性
1、VSM
2、TF-IDF
3、初步情感分析
四、隐马尔科夫模型
1、形式化定义
2、三个问题
3、评估问题与向前向后算法
4、解码问题:维特比算法
5、学习问题:Baum-Welch算法
五、条件随机场
1、最大熵原理
2、无向图模型
3、最大团上的势函数
4、工具:CRF++
第二天:从传统到现代
一、从LSA到LDA
1、LSA与SVD分解
2、pLSA
3、LDA
二、神经网络语言模型
1、维数的诅咒
2、n-gram语言模型
3、NNLM的具体实现
4、改进的思路
三、word2vec
1、one-hot与Distributed
2、CBOW
3、skip-gram
4、Hierachical Softmax
5、Negative Sampling
四、循环神经网络(RNN)
1、RNN的基础架构
2、RNN的示例
3、LSTM
4、GRU
第三天:预训练模型之一(变形金刚、芝麻街、独角兽及其他)
一、GloVe
1、与word2vec的区别
2、统计共现矩阵
3、用GloVe训练词向量
二、Transformer
1、所有你需要的仅仅是“注意力”
2、Transformer中的block
3、自注意力与多头注意力
4、位置编码(为什么可以抛弃RNN)
三、三大特征抽取器的比较
1、CNN、RNN与Transformer的比较
2、融合各种模型
四、Elmo
1、双向语言模型
2、工作原理
3、Elmo的应用场景
五、GPT
1、“一定会有人用它干坏事”
2、GPT的内部架构
3、Transformer的演示
4、自注意力机制的改进
5、GPT的应用场景
第四天:预训练模型之二(站上BERT的肩头)
一、BERT的前世今生
1、之前介绍的模型回顾
2、现代NLP的最新应用场景
3、条条大路通BERT
二、BERT详解
1、原理与方法
2、BERT的应用场景
3、BERT源码简介
三、站在BERT肩膀上的新秀们
1、ERNIE
2、XLnet