如何使用 Keras 实现无监督聚类

2018-06-23 来源：

原标题 A、Word2Vec?—?a baby step in Deep Learning but a giant leap towards Natural Language Processing，作者为机器学习工程师 Suvro Banerjee

原文链接：https://medium.com/@chengweizhang2012/how-to-do-unsupervised-clustering-with-keras-9e1284448437

由于深度学习算法在表达非线性表征上的卓越能力，它非常适合完成输入到有标签的数据集输出的映射。这种任务叫做分类。它需要有人对数据进行标注。无论是对 X 光图像还是对新闻报道的主题进行标注，在数据集增大的时候，依靠人类进行干预的做法都是费时费力的。

聚类分析，或者称作聚类是一种无监督的机器学习技术。它不需要有标签的数据集。它可以根据数据成员的相似性对它们进行分组。

你为什么需要关注它呢?让我来讲讲几个理由。

聚类的应用

推荐系统，通过学习用户的购买历史，聚类模型可以根据相似性对用户进行区分。它可以帮助你找到志趣相投的用户，以及相关商品。

在生物学上，序列聚类算法试图将相关的生物序列进行分组。它根据氨基酸含量对蛋白进行聚类。

图像和视频聚类分析根据相似性对它们进行分组。

在医疗数据库中，对每个病人来说，真正有价值的测试(比如葡萄糖，胆固醇)都是不同的。首先对病人进行聚类分析可以帮助我们对真正有价值的特征进行分类，从而减少特征分散。它可以增加分类任务的准确性，比如在癌症病人生存预测上。

在一般用途上，它可以生成一个数据的汇总信息用于分类，模式发现，假设生成，以及测试。

无论如何，对于数据科学家来说，聚类都是非常有价值的工具。

如何才是好的聚类

一个好的聚类方法应该生成高质量的分类，它有如下特点：

群组内部的高相似性：群组内的紧密聚合

群组之间的低相似性：群组之间各不相同

为 K-Means 算法设置一个基线

传统的 K-Means 算法速度快，并且可以广泛应用于解决各种问题。但是，它的距离度量受限于原始的数据空间。因此在输入数据维度较高时，它的效率就会降低，比如说图像集。

让我们来训练一个 K-Means 模型对 MNIST 手写字体进行聚类分析到 10 个群组中。

评估得到 K-Means 聚类算法的准确度在 53.2%。后面我们会将它与深度嵌入聚类模型进行比较。

一个自动编码器，通过前训练，学习无标签数据集初始压缩后的表征。

建立在编码器之上的聚类层将输出送给一个群组。基于当前评估得到的 K-Means 聚类中心，聚类层完成权重值的初始化。

训练聚类模型，同时改善聚类层和编码器。

在找源代码吗?到我的 Github 上看看。

前训练自动编码器

自动编码器是一个数据压缩算法。它由编码器和解码器两个主要部分构成。编码器的工作是将输入数据压缩成较低维度的特征。比如，一个 28x28 的 MNIST 图像总共有 784 个像素。编码器可以将它压缩成 10 个浮点数组成的数组。我们将这些浮点数作为图像的特征。另一方面，解码器将压缩后的特征作为输入，通过它重建出与原始图像尽可能相近似的图像。实际上，自动编码器是一个无监督学习算法。在训练过程中，它只需要图像本身，而不需要标签。

自动编码器

自动编码器是一个全连接对称模型。之所以是对称的，是因为图像的压缩和解压过程是一组完全相反的对应过程。

全连接自动编码器

我们将会对自动编码器进行 300 轮训练，并保存下模型权重值。

autoencoder.fit(x, x, batch_size=256, epochs=300) #, callbacks=cb)
autoencoder.save_weights('./results/ae_weights.h5')

聚类模型

通过训练自动编码器，我们已经使编码器学会了将每幅图像压缩成 10 个浮点数。你可能会想，因为输入维度减少到 10， K-Means 算法应该可以以此开始聚类?是的，我们将会使用 K-Means 算法生成聚类中心。它是 10 维特征向量空间的 10 个群组的中心。但是我们还要建立我们的自定义聚类层，将输入特征转化为群组标签概率。

这个概率是由 t-分布计算得来。 T-分布，和t-分布邻域嵌入算法一样，测度了内含点和中心点之间的相似度。正如你所猜测的那样，聚类层的作用类似于用于聚类的K-means，并且该层的权重表示可以通过训练K均值来初始化的聚类质心。

如果您是在 Keras 中创建自定义图层的新手，那么您可以实施三种强制方法。

build(input_shape)，在这里你定义图层的权重，在我们的例子中是10-D特征空间中的10个簇，即10x10个权重变量。

call(x)，层逻辑所在的地方，即从特征映射到聚类标签魔术的地方。

compute_output_shape(input_shape)，在这里指定从输入形状到输出形状的形状转换逻辑。

Here is the custom clustering layer code,

接下来，我们在预先训练的编码器之后堆叠聚类层以形成聚类模型。对于聚类层，我们初始化它的权重，聚类中心使用k-means对所有图像的特征向量进行训练。

聚类模型结构

训练聚类模型

辅助目标分布和KL散度损失

下一步是同时改进聚类分配和特征表示。为此，我们将定义一个基于质心的目标概率分布，并根据模型聚类结果将KL偏差最小化。

我们希望目标分配具有以下属性：

加强预测，即提高群集纯度。

更加重视高可信度地分配的数据点。

防止大集群扭曲隐藏的特征空间。

通过首先将q(编码特征向量)提升到第二幂然后按每个簇的频率进行归一化来计算目标分布。

有必要通过在辅助目标分布的帮助下从高置信度分配中学习来迭代地细化群集。在特定次数的迭代之后，更新目标分布，并且训练聚类模型以最小化目标分布与聚类输出之间的KL散度损失。培训策略可以被看作是一种自我训练的形式。就像在自我训练中一样，我们采用初始分类器和未标记的数据集，然后用分类器标记数据集以训练其高置信度的预测。

损失函数，KL散度或Kullback-Leibler散度是衡量两种不同分布之间行为差异的指标。我们希望将其最小化，以便目标分布尽可能接近聚类输出分布。

在以下代码片段中，目标分布每180次训练迭代更新一次。