2023 Sping NLP Fundamental Course 2023 春季 NLP 基础课程
Course Hour:Every Weekend 16:00pm-17:30pm
-
NLP基础概念及评价标准
- 语言模型及NLP的概念
- NLP的度量指标
- 语言模型生成文本的思路
-
基于统计的NLP模型之 N-Gram
- N-Gram概念
- N-Gram 平滑优化
-
基于统计的NLP模型之 概率图模型
- Markov Model 马尔科夫模型
- HMM 隐藏马尔科夫模型
- MEMM 最大熵马尔科夫模型
- CRF 条件随机场模型
-
NLP之文本预处理技术
- 文本分词
- 停用词过滤
- 拼写纠错
- 词性还原
- 词干提取
-
NLP之 基于统计的文本表示技术
- One Hot 表示
- 词袋模型表示
- TF-IDF模型表示
-
NLP之 基于神经网络的文本表示技术
- Word2Vect概念
- C-BOw模型
- Skip-Gram 模型
- 负采样与层次Softmax
-
NLP之 基于统计和神经网络的文本表示技术
- 共现矩阵的概念
- Glove 模型概念
-
NLP之 神经网络模型RNN
- RNN 模型
- RNN 的缺陷:梯度爆炸,梯度消失
-
NLP之 先进RNN模型
- LSTM 模型
- GRU 模型
- 双向RNN模型
- 多层RNN模型
-
NLP之 Seq2Seq模型
- Encoder-Decoder 模型
- Seq2Seq的优化演进
-
NLP之 Transformer模型
- Transformer模型概述
- Word Embedding 与 Positional Encoding
- Encoder 编码器详解
- Decoder 解码器详解
-
NLP之 Bert模型
- Bert模型概述
- Bert的预训练任务
-
NLP之 GPT模型
- GPT模型概述
- GPT1.0模型
- GPT2.0模型
- GPT3.0模型
- Instruct GPT
-
NLP之 Prompt Learning
- 预训练模型概述
- Pre-Training 和 Fine Tunning 范式
- Prompt 范式
- 文本生成的演进
- N-gram文本生成
- 补充内容-使用Python创建一个NLP任务的Vocabulary
- 文本预处理基础案例-推特客服服务信息
- RNN_From_Scratch
- GLove_implementation
- ChatGPT-Conversation2Image
- Transformer_Source_Code
- GPT-API-Easy-To-Use
- Bert1
- Bert2
- Bert3
- Annotated-Bert-Tokenization-Sourcecode
- Annotated-Bert-Run-Classifier-Sourcecode
- Annotated-Bert-Modeling-Sourcecode
- Annotated-Bert-Pytorch-Series
- LangChain-QARetriever