文本分类

Tue, 23 Jun 2026 22:52:43 +0800

文本分类

文本分类的部分主要分成三个内容：文本表示、特征选择、分类算法

1. 文本表示

首先介绍 向量空间模型（Vector Space Model, VSM），它将文本表示为向量的形式，通常使用 词袋模型（Bag of Words, BOW） 来表示文本

文本表示的一个重要问题就是如何计算特征项权重，即每个词袋元素的权重是多少

布尔变量 是一个简单的方法

词频率 TF

$$ w_i = \log(tf_i + 1) $$

逆文档频率 IDF：一个词的 df 越小，说明它越能区分不同的文档，权重就应该越大

$$ idf_i = \log \frac{N}{df_i} \quad N \text{ 是文档总数，} df_i \text{ 是包含词 } i \text{ 的文档数} $$

TF-IDF

$$ w_i = tf_i \cdot idf_i $$

2. 特征选择

用于文本分类的特征选取准则有很多，一个常用的指标是 DF 文档频率

$$ P(c_j|t_i) \approx \frac{A_{ij}}{\sum_{j=1}^{k} A_{ij} + C} \quad C \text{ 是类别数} $$

而更常用的指标是 信息增益（Information Gain, IG），它衡量了一个特征对分类结果的不确定性减少的程度

基于规则方法的自然语言处理

Tue, 23 Jun 2026 22:14:06 +0800

基于规则方法的自然语言处理

本章主要介绍基于规则的方法在 NLP 中的应用方式，包括：形态还原、分词、词性标注、命名实体识别、机器翻译

1.形态还原

将词还原成原形，比如把 went 还原成 go，把 better 还原成 good 等

构词特点：曲折变化、派生变化、复合变化

还原规则：通用规则、个性规则（比如不规则变化）

2.分词

主要介绍了中文分词，也就是如何把一个紧密的字串划分成词的组合

中文分词方法存在三种歧义

交集型：$ABC$ 可以划分成 $A|BC$ 或 $AB|C$

组合型：$ABC$ 可以划分成 $A|B|C$ 或 $AB|C$ 或 $A|BC$

混合型：上述两种歧义都存在的时候

分词方法

最大正向匹配 FMM 当然也包括逆向 RMM

双向最大匹配 Bi-MM：同时使用 FMM 和 RMM，可以发现交集型歧义

FMM + 逆向最短词：可以发现组合型歧义

逐词遍历：每次选择最长的候选词并将其删除，重复上述过程

划分标记：

这个可以详细展开描述

对于一个由 N 个字组成的句子，它有 N - 1 个划分点，怎么选择这些划分点是一个很有趣的课题

一个常用的划分指标是互信息 PMI（Pointwise Mutual Information），它可以衡量两个字之间的关联程度，PMI 越大，说明这两个字越可能组成一个词

$$\text{PMI}(x,y) = \log \frac{P(x,y)}{P(x)P(y)}$$

其中 $P(x,y)$ 是字 $x$ 和字 $y$ 同时出现的概率，$P(x)$ 和 $P(y)$ 分别是字 $x$ 和字 $y$ 出现的概率

NLP 期末复习概览 on CrazyBread' Blog

文本分类

文本分类

1. 文本表示

2. 特征选择

基于规则方法的自然语言处理

基于规则方法的自然语言处理

1.形态还原

2.分词

分词方法