相关语录

语言模型（LanguageModel，LM）（也称统计语言模型）是描述自然语言概率分布的模型，是一个非常基础和重要的自然语言处理任务

两种常用的自然语言处理基础工具集——NLTK和LTP

最后，还可以将多个卷积层加池化层堆叠起来，形成更深层的网络，这些网络统称为卷积神经网络（ConvolutionalNeuralNetwork，CNN）。

所谓模型预训练（Pre-train），即首先在一个原任务上预先训练一个初始模型，然后在下游任务（也称目标任务）上继续对该模型进行精调（Fine-tune），从而达到提高下游任务准确率的目的。在本质上，这也是迁移学习（TransferLearning）思想的一种应用。

BERT不仅充分利用了大规模无标注文本来挖掘其中丰富的语义信息，同时还进一步加深了自然语言处理模型的深度。

基于深度学习的算法有一个致命的缺点，就是过度依赖于大规模有标注数据

卷积神经网络中的信息也是从输入层经过隐含层，然后传递给输出层，按照一个方向流动，因此它们都被称为前馈神经网络（Feed-ForwardNetwork，FFN）。

首先是没有考虑词的顺序信息

WikiExtractor是一款基于Python的工具包，专门用于处理维基百科的快照

从20世纪90年代开始，随着计算机运算速度和存储容量的快速增加，以及统计学习方法的愈发成熟，使得以语料库为核心的统计学习方法在自然语言处理领域得以大规模应用。

随着规则的增多，规则之间可能存在矛盾和冲突的情况，导致最终无法做出决策