词嵌入
词向量（Word Vector），也被称为词嵌入（Word Embedding），是自然语言处理（NLP）和深度学习中的一种技术。它将词语转化为计算机可以理解的数值形式，即向量，使得计算机能够处理文本数据，是自然语言处理（NLP）中一种表示词汇的技术。
词向量的一个重要特性是，语义相近的词语，其词向量在向量空间中的距离也相近。这使得我们可以通过计算词向量之间的距离来衡量词语之间的语义相似性。
生成这种映射的方法包括神经网络、词共现矩阵的降维、概率模型、可解释的知识库方法，以及根据词出现的上下文进行显式表示。
应用
词向量在NLP中有广泛的应用，包括但不限于：
- 文本分类：通过计算文本中所有词向量的平均值或者加权平均值，可以得到一个代表整个文本的向量，然后使用这个向量进行分类。
- 语义相似性计算：通过计算两个词向量之间的距离，可以衡量两个词语的语义相似性。
- 词义消歧：在一些上下文中，一个词可能有多种含义。通过词向量，我们可以根据上下文来确定一个词的具体含义。
- 机器翻译：在机器翻译中，词向量可以帮助我们找到源语言和目标语言之间的对应关系。
- 信息检索：在搜索引擎中，可以利用词嵌入表示查询和文档，从而实现更精确的信息检索。
- 文本生成：在神经网络机器翻译和文本生成模型中，词嵌入作为输入表示可以提升模型的性能。
算法
词向量的构建通常是基于词在语料库中的上下文信息。词嵌入模型可以从大量文本数据中学习得到。训练词嵌入模型的方法有很多，其中最著名的有：
1. One-hot Encoding
最简单的词向量生成方法是one-hot编码。在这种方法中，每个词都被表示为一个很长的向量。这个向量的维度是词汇表的大小，每个维度对应一个单词。向量中的大部分元素都是0，只有一个元素是1，这个元素对应的位置就是这个词在词汇表中的位置。
然而，One-hot编码有一个明显的缺点，那就是它无法捕捉到词语之间的语义关系。例如，“猫”和“狗”在语义上是相近的，但在One-hot编码中，它们的向量可能完全不同。
2. Word2Vec
为了解决这个问题，研究者们提出了一种新的词向量生成方法：Word2Vec。Word2Vec是一种预训练词向量的方法，它可以捕捉到词语之间的语义关系。
Word2Vec有两种主要的训练方法：
- CBOW（Continuous Bag-of-Words）：基于其上下文预测目标词汇
- SKIP-Gram。基于目标词汇预测上下文
3. GloVe
GloVe（Global Vectors for Word Representation）是一种基于全局词汇共现统计信息的词嵌入方法。GloVe 模型通过最小化词汇之间的共现概率与词嵌入的点积之间的差异来学习词嵌入。GloVe不仅考虑了局部上下文信息，还考虑了全局统计信息。
4. FastText
一种改进的 Word2Vec 方法，它通过引入子词信息（如 n-grams）来考虑词汇的内部结构，从而更好地捕捉稀有词汇和词形变化的信息。
挑战
尽管词向量在NLP中有广泛的应用，但它也面临着一些挑战：
- 词汇鸿沟：由于语言的多样性，很多词语可能在训练数据中没有出现过，这就导致了词汇鸿沟问题。为了解决这个问题，研究者们提出了一些方法，如使用字符级别的词向量。
- 多义词问题：在现实世界中，很多词语都有多种含义，但在词向量中，每个词只有一个向量，这就导致了多义词问题。为了解决这个问题，一些研究者提出了多义词向量，即为一个词生成多个向量。
- 计算复杂性：生成词向量需要大量的计算资源，这对于一些资源有限的环境来说是一个挑战。
未来发展方向
随着深度学习和NLP技术的发展，词向量也在不断进化。例如，最近的一些研究已经开始探索如何将词向量应用到更复杂的任务中，如情感分析、问答系统等。此外，一些研究也在探索如何通过引入更多的语言知识来改进词向量，如语法、句法等。
其它笔记合并而来
有很多种学习这类词向量的方法，比如传统的Word2vector模型CBoW（Continuous Bag of Words）是通过一个词的前几个词和后几个词作为该词的上下文，并通过引导模型预测中间那个词作为监督训练信号学习每个词的表示。SKIP-Gram则是反过来利用中间词预测前后几个词学习每个词的表示。不论是传统Word2vector，还是当下流行的预训练模型，本质都是基于词的上下文共现规律来近似地捕获词的语义。当然这不是本书的重点，不展开介绍，有兴趣的读者可以查阅自然语言处理相关资料进一步了解。
