机器学习西瓜书理论学习

AI学习

发布日期: 2025-09-21

更新日期: 2025-09-21

文章字数: 3.8k

阅读时长: 15 分

阅读次数:

🧮 贝叶斯分类器（Bayesian Classifier）

贝叶斯分类器是一类基于贝叶斯定理和特征条件独立假设的概率分类模型，核心思想是：选择后验概率最大的类别作为预测结果。因其简单高效、理论清晰、适合高维稀疏数据，广泛应用于文本分类、垃圾邮件过滤、推荐系统等领域。

✅ 一、贝叶斯定理（理论基础）

对分类任务，目标是求样本 $\mathbf{x}$ 属于类别 $c$ 的后验概率：

$P(c|\mathbf{x}) = \frac{P(c) P(\mathbf{x}|c)}{P(\mathbf{x})}$

$P(c)$：类先验概率（训练集中类别 $c$ 的比例）
$P(\mathbf{x}|c)$：类条件概率（在类别 $c$ 下观测到 $\mathbf{x}$ 的概率）
$P(\mathbf{x})$：证据因子（对所有类别相同，可忽略）

决策规则（最大后验概率 MAP）：

$h(\mathbf{x}) = \underset{c \in \mathcal{Y}}{\arg\max} \ P(c) P(\mathbf{x}|c)$

→ 选择使 $P(c) P(\mathbf{x}|c)$ 最大的类别 $c$

✅ 二、朴素贝叶斯（Naive Bayes）

“朴素” = 假设所有特征在给定类别下相互独立

设 $\mathbf{x} = (x_1, x_2, …, x_d)$，则：

$P(\mathbf{x}|c) = \prod_{i=1}^d P(x_i|c)$

→ 决策函数简化为：

$h(\mathbf{x}) = \underset{c}{\arg\max} \ P(c) \prod_{i=1}^d P(x_i|c)$

📌 优点：计算高效、参数少、适合高维数据
📌 缺点：特征独立性假设在现实中常不成立 → 但实践中仍表现良好！

✅ 三、常见朴素贝叶斯模型

根据特征类型不同，选择不同的概率估计方式：

1. 高斯朴素贝叶斯（Gaussian NB）—— 连续特征

假设 $P(x_i|c)$ 服从高斯分布：

$P(x_i|c) = \frac{1}{\sqrt{2\pi\sigma_c^2}} \exp\left( -\frac{(x_i - \mu_c)^2}{2\sigma_c^2} \right)$

$\mu_c, \sigma_c^2$：类别 $c$ 下特征 $x_i$ 的均值和方差（从训练集估计）

✅ 适用：数值型特征（如身高、温度、收入）

2. 多项式朴素贝叶斯（Multinomial NB）—— 离散计数特征

常用于文本分类，特征表示词频或 TF-IDF：

$P(x_i|c) = \frac{N_{ci} + \alpha}{N_c + \alpha d}$

$N_{ci}$：类别 $c$ 中特征 $i$ 的总出现次数
$N_c$：类别 $c$ 中所有特征的总出现次数
$d$：特征总数
$\alpha$：平滑参数（通常=1，拉普拉斯平滑）

✅ 适用：词袋模型、文档分类、NLP

3. 伯努利朴素贝叶斯（Bernoulli NB）—— 二值特征

特征 $x_i \in \{0, 1\}$，表示“是否出现”

$P(x_i|c) = \begin{cases} P(x_i=1|c) & \text{if } x_i = 1 \\ 1 - P(x_i=1|c) & \text{if } x_i = 0 \end{cases}$

其中：

$P(x_i=1|c) = \frac{N_{ci} + \alpha}{N_c + \alpha \cdot 2}$

$N_{ci}$：类别 $c$ 中特征 $i$ 出现的文档数
$N_c$：类别 $c$ 的文档总数

✅ 适用：短文本、关键词是否出现（如垃圾邮件检测）

✅ 四、拉普拉斯平滑（Laplace Smoothing）

为避免 $P(x_i|c) = 0$ 导致整个乘积为 0，引入平滑：

$P(x_i|c) = \frac{\text{count}(x_i, c) + \alpha}{\text{count}(c) + \alpha \cdot K}$

$\alpha$：平滑系数（通常取 1）
$K$：特征 $x_i$ 的可能取值数（或特征总数，依模型而定）

📌 保证即使未见过的特征组合，也能给出非零概率

✅ 五、伪代码（训练 + 预测）

# 训练阶段
输入：训练集 D = {(x1, y1), ..., (xn, yn)}

步骤1：计算每个类别的先验概率 P(c)
    P(c) = (类别c的样本数 + α) / (总样本数 + α * 类别数)

步骤2：对每个类别 c，计算每个特征 xi 的条件概率 P(xi|c)
    根据特征类型选择：
        - 高斯：计算均值μ、方差σ²
        - 多项式/伯努利：统计频次 + 拉普拉斯平滑

输出：P(c), P(xi|c) 参数表

# 预测阶段
输入：新样本 x = (x1, x2, ..., xd)

步骤1：对每个类别 c，计算联合概率：
    score(c) = log(P(c)) + Σ log(P(xi|c))   # 使用 log 防止数值下溢

步骤2：选择 score(c) 最大的类别作为预测结果

输出：预测类别 y_pred

🌟 实际中常用 sklearn.naive_bayes 模块，如 GaussianNB, MultinomialNB, BernoulliNB

六、优缺点

✅ 优点

计算极快，适合大规模数据和在线学习
对小样本、高维数据表现良好（如文本）
天然支持多分类
对缺失值不敏感（可忽略该特征）
理论清晰，可解释性强

❌ 缺点

特征独立性假设太强，现实中常不成立
对输入数据分布敏感（如高斯NB假设正态分布）
先验概率依赖训练集分布，若训练集有偏，预测有偏
零概率问题（需平滑处理）

七、适用场景


文本分类 / 垃圾邮件	✅ 强推	Multinomial / Bernoulli NB
数值型特征分类	✅	Gaussian NB
高维稀疏数据	✅	如 TF-IDF 向量
小样本快速原型	✅	训练快，无需调参
特征强相关	⚠️	性能可能下降
需要精确概率估计	⚠️	可用，但概率值常不够校准

八、sklearn 使用示例（简要）

from sklearn.naive_bayes import GaussianNB, MultinomialNB

# 高斯朴素贝叶斯
model = GaussianNB()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

# 多项式朴素贝叶斯（文本）
model = MultinomialNB(alpha=1.0)
model.fit(X_train_counts, y_train)

alpha：平滑参数，默认=1.0（拉普拉斯平滑）
.predict_proba()：可输出各类别概率

🧩 半朴素贝叶斯（Semi-Naive Bayes）

半朴素贝叶斯是一类介于“朴素贝叶斯”和“完全贝叶斯网络”之间的模型。它不假设所有特征完全独立，而是允许部分特征之间存在依赖关系，从而在模型复杂度和性能之间取得平衡。

✅ 一、为什么需要半朴素贝叶斯？

朴素贝叶斯假设：

$P(\mathbf{x}|c) = \prod_{i=1}^d P(x_i|c)$

→ 即：给定类别 $c$，所有特征 $x_i$ 互相独立

📌 问题：现实中，特征常存在相关性（如“身高”和“体重”、“关键词‘深度’和‘学习’”）

→ 朴素贝叶斯忽略这些相关性，可能导致性能下降

📌 解决方案：

完全建模依赖 → 贝叶斯网络（计算复杂，参数爆炸）
折中方案 → 半朴素贝叶斯：只允许“有限的、结构化的”依赖

✅ 二、核心思想

半朴素贝叶斯允许每个特征 $x_i$ 除了依赖类别 $c$ 外，还可以依赖一个（或少数）其他特征，称为“父特征（parent）”。

即：

$P(\mathbf{x}|c) \approx \prod_{i=1}^d P(x_i | c, \text{pa}(x_i))$

$\text{pa}(x_i)$：特征 $x_i$ 的“父特征”，通常只选一个
如何选择父特征？→ 不同策略形成不同模型

✅ 三、常见半朴素贝叶斯模型

1. SPODE（Super-Parent One-Dependence Estimator）

选定一个特征作为“超父”（super-parent），所有其他特征都依赖它和类别

$P(\mathbf{x}|c) = P(x_{\text{sp}}|c) \prod_{i \neq \text{sp}} P(x_i | c, x_{\text{sp}})$

$x_{\text{sp}}$：超父特征（如通过信息增益、互信息等选择）

✅ 优点：结构简单，计算仍高效
❌ 缺点：依赖一个特征可能不够灵活

2. TAN（Tree-Augmented Naive Bayes）

在朴素贝叶斯基础上，构建一棵最大带权生成树，表示特征之间的依赖关系

构建步骤：

每个特征作为节点，计算任意两个特征 $x_i, x_j$ 在给定类别 $c$ 下的条件互信息：

$I(x_i, x_j | c) = \sum_{c} P(c) \sum_{x_i, x_j} P(x_i, x_j | c) \log \frac{P(x_i, x_j | c)}{P(x_i|c) P(x_j|c)}$

以互信息为边权，构建最大生成树（如用 Kruskal 或 Prim 算法）
任选一个根节点，将无向树转为有向树（所有边指向叶子）
最终模型：

$P(\mathbf{x}|c) = P(x_{\text{root}}|c) \prod_{i \neq \text{root}} P(x_i | c, \text{parent}(x_i))$

✅ 优点：自动学习特征依赖结构，性能优于朴素贝叶斯
✅ 缺点：训练稍慢，但仍远快于贝叶斯网络

3. AODE（Averaged One-Dependence Estimators）

对每一个特征 $x_j$，都把它当作“父特征”，构建一个 SPODE 模型，然后平均所有模型的预测结果

$P(c|\mathbf{x}) \propto \sum_{j=1}^d P(c, x_j) \prod_{i=1}^d P(x_i | c, x_j) \quad \text{（满足一定样本数阈值的 $x_j$ 才参与）}$

通常要求 $P(c, x_j)$ 的训练样本数 ≥ 阈值（如 m=1）

✅ 优点：集成多个依赖结构，泛化能力强，鲁棒性好
✅ 缺点：存储和计算开销比朴素贝叶斯大（但可接受）

📌 AODE 是目前最常用、效果最好的半朴素贝叶斯模型之一

🧩 半朴素贝叶斯（Semi-Naive Bayes）—— 彻底详解版

半朴素贝叶斯是一类介于“朴素贝叶斯”和“完全贝叶斯网络”之间的模型。它不假设所有特征完全独立，而是允许部分特征之间存在依赖关系，从而在模型复杂度和性能之间取得平衡。

🎯 一、先回顾：朴素贝叶斯为什么“朴素”？

朴素贝叶斯的“朴素” = 假设所有特征在给定类别下彼此独立。

举个例子：

你想判断一封邮件是不是“垃圾邮件”，特征是：

$x_1$：是否包含“免费”

$x_2$：是否包含“中奖”

$x_3$：是否包含“点击”

朴素贝叶斯会计算：

$P(\text{垃圾} | x_1, x_2, x_3) \propto P(\text{垃圾}) \cdot P(x_1|\text{垃圾}) \cdot P(x_2|\text{垃圾}) \cdot P(x_3|\text{垃圾})$

⚠️ 但它忽略了“免费”和“中奖”经常一起出现这个事实 —— 它们是相关的！

→ 所以“朴素” = 太天真，忽略了现实中的特征依赖。

❓ 二、那“半朴素”是什么意思？

“半朴素” = 不那么天真了，允许部分特征之间有依赖关系，但不能太复杂（否则计算爆炸）

📌 核心目标：

放松“完全独立”的强假设 → 提升模型性能
保持计算高效 → 不能像贝叶斯网络那样任意依赖

→ 所以叫“半”朴素 —— 只允许“一点点依赖”

🧠 三、关键思想图解（一定要看！）

我们用一张图对比三种情况：

朴素贝叶斯：
   c
 / | \
x1 x2 x3 ← 所有特征只依赖类别 c，彼此独立

半朴素贝叶斯（如 TAN）：
    c
  / | \
x1→ x2→x3 ← x2 依赖 x1 和 c，x3 依赖 x2 和 c（树结构）

贝叶斯网络（完全依赖）：
   c
 / | \
x1—x2—x3 ← 任意依赖，可能形成复杂图（计算复杂）

✅ 半朴素贝叶斯 = 在“朴素”和“完全依赖”之间找一个平衡点

📚 四、用一个具体例子彻底搞懂（TAN 模型）

我们用一个天气预测是否打球的例子（经典数据集）：

Outlook	Temperature	Humidity	Windy	Play
Sunny	Hot	High	False	No
Sunny	Hot	High	True	No
Overcast	Hot	High	False	Yes
Rain	Mild	High	False	Yes
Rain	Cool	Normal	False	Yes
Rain	Cool	Normal	True	No
Overcast	Cool	Normal	True	Yes
Sunny	Mild	High	False	No
Sunny	Cool	Normal	False	Yes
Rain	Mild	Normal	False	Yes
Sunny	Mild	Normal	True	Yes
Overcast	Mild	High	True	Yes
Overcast	Hot	Normal	False	Yes
Rain	Mild	High	True	No

类别：Play ∈ {Yes, No}
特征：Outlook, Temperature, Humidity, Windy

✅ 步骤1：朴素贝叶斯怎么算？

计算：

$P(\text{Yes} | \text{Sunny, Hot, High, False}) \propto P(\text{Yes}) \cdot P(\text{Sunny}|\text{Yes}) \cdot P(\text{Hot}|\text{Yes}) \cdot P(\text{High}|\text{Yes}) \cdot P(\text{False}|\text{Yes})$

→ 它认为“Sunny”、“Hot”、“High”之间没有任何关系，即使现实中“Sunny & Hot”常一起出现。

✅ 步骤2：TAN 模型怎么改进？

TAN 允许特征之间建立一棵依赖树（在给定类别 Play 的前提下）。

🌲 如何建树？

计算每对特征之间的条件互信息（Conditional Mutual Information）

例如：计算 $I(\text{Outlook}; \text{Temperature} | \text{Play})$
$I(X;Y|C) = \sum_{c} P(c) \sum_{x,y} P(x,y|c) \log \frac{P(x,y|c)}{P(x|c)P(y|c)}$
→ 值越大，说明在给定类别 $c$ 时，$x$ 和 $y$ 越相关
以互信息为边权，构建最大生成树

假设计算后发现依赖关系是：

Outlook — Temperature — Humidity — Windy

（这只是一个示意，实际由数据决定）

选一个根节点（比如 Outlook），把无向边变成有向边（指向叶子）：

Play
  |
Outlook
  |
Temperature
  |
Humidity
  |
Windy

现在，计算联合概率时，每个特征可以依赖它的父节点 + 类别

$P(\mathbf{x} | c) = P(\text{Outlook}|c) \cdot P(\text{Temperature}|c, \text{Outlook}) \cdot P(\text{Humidity}|c, \text{Temperature}) \cdot P(\text{Windy}|c, \text{Humidity})$

📌 关键区别：

朴素贝叶斯：每个特征只依赖类别
TAN：每个特征依赖类别 + 一个父特征（树结构限制，只允许一个父节点）

→ 这样既引入了依赖，又避免了组合爆炸！

📊 五、AODE 模型（另一种半朴素贝叶斯）

AODE 的思想更“暴力”但有效：

对每一个特征 $x_j$，都假设它是“父特征”，让其他特征都依赖它 + 类别，然后平均所有这些模型的预测结果

公式：

$P(c | \mathbf{x}) \propto \sum_{j: \text{count}(c,x_j) \geq m} P(c, x_j) \prod_{i=1}^d P(x_i | c, x_j)$

🌰 举例：

还是上面的数据，假设我们用 AODE，且 m=1（至少出现1次就用）

用 Outlook 作为父特征：计算 $P(c, \text{Outlook}) \cdot P(\text{Temp}|c,\text{Outlook}) \cdot P(\text{Humidity}|c,\text{Outlook}) \cdot P(\text{Windy}|c,\text{Outlook})$
用 Temperature 作为父特征：计算 $P(c, \text{Temp}) \cdot P(\text{Outlook}|c,\text{Temp}) \cdot P(\text{Humidity}|c,\text{Temp}) \cdot P(\text{Windy}|c,\text{Temp})$
…… 对每个特征都做一遍
最后把这些概率加起来，选最大的类别

✅ 优点：集成多个视角，鲁棒性强
✅ 缺点：计算量是朴素贝叶斯的 d 倍（d=特征数），但现代计算机完全能承受

🧮 六、伪代码再详解（AODE）

# 训练阶段
for 每个类别 c:
 for 每个特征 j:
     统计 P(c, x_j)  # 联合概率，用频次估计
     if count(c, x_j) >= m:  # 满足最小样本数
         for 每个特征 i:
             统计 P(x_i | c, x_j)  # 条件概率，用频次估计

# 预测阶段
for 每个类别 c:
 score[c] = 0
 for 每个特征 j:
     if count(c, x_j) >= m:  # 只考虑有效父特征
         prob = P(c, x_j)  # 初始概率
         for 每个特征 i:
             prob *= P(x_i | c, x_j)  # 乘上条件概率
         score[c] += prob  # 累加（集成思想）

预测类别 = argmax(score)

📌 注意：实际中常用 log 概率防止下溢：

log_prob = log(P(c, x_j))
for i: log_prob += log(P(x_i | c, x_j))
score[c] += exp(log_prob)  # 或直接累加 log_prob，最后取 exp

七、三种模型对比（用打球例子）


朴素贝叶斯	❌	O(d)	❌	❌
TAN	✅（树结构）	O(d²) + 建树	✅（自动学）	❌
AODE	✅（每个特征当父）	O(d²)	❌	✅（平均）

📌 TAN：自动学习最优依赖树 → 结构清晰
📌 AODE：不选结构，直接平均所有可能 → 更鲁棒

💡 八、为什么“半朴素”有效？

现实世界中，特征很少完全独立 → 朴素贝叶斯有偏
完全建模依赖（贝叶斯网络）太复杂 → 参数爆炸，需要大量数据
半朴素 = 只允许“少量、结构化”依赖 → 用最小代价获得最大性能提升

→ 它是在“模型偏差”和“计算方差”之间找平衡的典范！

🧭 九、什么时候用半朴素贝叶斯？

✅ 你的数据特征有明显相关性（如文本中的词、医疗中的症状）
✅ 你希望保持概率输出和可解释性
✅ 数据量不大，不能训练深度模型
✅ 你试过朴素贝叶斯，但效果不够好
✅ 你不希望用太复杂的模型（如神经网络、GBDT）

📌 推荐优先尝试 AODE —— 实现简单、效果稳定、论文和实践中表现优异

✅ 十、一句话终极总结

半朴素贝叶斯 = “我知道特征不独立，但我只让它们‘牵一只手’，这样既更准，又不会算到崩溃”

zyuan

https://zzhaire.github.io/2025/09/21/ji-qi-xue-xi-li-lun-3/

本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 zyuan !

机器学习西瓜书理论学习

机器学习理论(4)

🧠 集成学习（Ensemble Learning）集成学习通过组合多个“弱学习器”，构建一个更...

2025-09-21 AI学习

机器学习西瓜书理论学习

机器学习理论(2)

机器学习理论(2) 此部分包括决策树 , 神经网络, 支持向量机今天感觉机器学习这部分只需要理...

2025-09-18 AI学习

机器学习西瓜书理论学习

机器学习理论(3)

🧮 贝叶斯分类器（Bayesian Classifier）

✅ 一、贝叶斯定理（理论基础）

决策规则（最大后验概率 MAP）：

✅ 二、朴素贝叶斯（Naive Bayes）

✅ 三、常见朴素贝叶斯模型

1. 高斯朴素贝叶斯（Gaussian NB）—— 连续特征

2. 多项式朴素贝叶斯（Multinomial NB）—— 离散计数特征

3. 伯努利朴素贝叶斯（Bernoulli NB）—— 二值特征

✅ 四、拉普拉斯平滑（Laplace Smoothing）

✅ 五、伪代码（训练 + 预测）

六、优缺点

✅ 优点

❌ 缺点

七、适用场景

八、sklearn 使用示例（简要）

🧩 半朴素贝叶斯（Semi-Naive Bayes）

✅ 一、为什么需要半朴素贝叶斯？

✅ 二、核心思想

✅ 三、常见半朴素贝叶斯模型

1. SPODE（Super-Parent One-Dependence Estimator）

2. TAN（Tree-Augmented Naive Bayes）

构建步骤：

3. AODE（Averaged One-Dependence Estimators）

🧩 半朴素贝叶斯（Semi-Naive Bayes）—— 彻底详解版

🎯 一、先回顾：朴素贝叶斯为什么“朴素”？

❓ 二、那“半朴素”是什么意思？

🧠 三、关键思想图解（一定要看！）

📚 四、用一个具体例子彻底搞懂（TAN 模型）

✅ 步骤1：朴素贝叶斯怎么算？

✅ 步骤2：TAN 模型怎么改进？

🌲 如何建树？

📊 五、AODE 模型（另一种半朴素贝叶斯）

🌰 举例：

🧮 六、伪代码再详解（AODE）

七、三种模型对比（用打球例子）

💡 八、为什么“半朴素”有效？

🧭 九、什么时候用半朴素贝叶斯？

✅ 十、一句话终极总结