gxy_ner/doc/dirichlet.md

好问题！LDA 的核心假设之一就是使用 Dirichlet 分布（狄利克雷分布），这是理解 LDA 背后的数学原理的关键部分之一。

⸻

📌 什么是 Dirichlet 分布？

简单来说，Dirichlet 分布是“多项式分布的概率分布”。

更直白点：

Dirichlet 分布生成的是一个“概率向量”——一组加起来等于 1 的正数，通常用来表示“在多种可能性之间的比例分布”。

⸻

📊 举个例子

假设我们有 3 个主题（Topic A, B, C），我们想表达一个文档是这三个主题的混合。

那我们可以有一个这样的概率分布：

[0.2, 0.5, 0.3]

表示：

•   这个文档 20% 是关于 Topic A 的
•   50% 是关于 Topic B 的
•   30% 是关于 Topic C 的

Dirichlet 分布就可以生成这类向量，而且还能控制它的“形状”和“稀疏程度”。

⸻

📐 形状参数：α（alpha）

Dirichlet 分布的关键参数是向量 α（每个主题一个值），它控制分布的“稀疏性”：

•   α 很小（如 0.1）： 结果向量会更“稀疏” → 更偏向于只选少数几个主题（适合大多数文档只谈少数几个话题的情况）
•   α 很大（如 100）： 向量会更“均匀” → 每篇文档都混合很多主题

一个图像比喻： α 控制“调料包里放了多少不同调料”。调料少 → 味道单一；调料多 → 味道混合。

⸻

在 LDA 中的作用

LDA 中 Dirichlet 分布的两个角色：

使用位置 Dirichlet 分布的对象 含义 每篇文档 → 主题分布 θ ~ Dirichlet(α) 每篇文档关于每个主题的比例 每个主题 → 词语分布 φ ~ Dirichlet(β) 每个主题包含哪些词的概率

所以 LDA 是个“两个层次的 Dirichlet 分布”的模型。

⸻

📌 总结一句话

Dirichlet 分布是用来“生成一堆概率值加起来为1”的工具，在 LDA 中用于生成：

•   每篇文档的主题分布
•   每个主题的词分布

⸻

如果你想直观看看它长什么样，我也可以帮你画一些图来展示不同 α 值下的 Dirichlet 分布长啥样，要不要来一张图？