聚类分析案例（聚类分析案例ppt）

大数据分析算法研究：K-Means ，算法小白成长记 ~

K-Means是聚类算法中的最常用的一种，最大的特点是简单、好理解、运算快，但是只适用于连续型的数据，并且一定要在事先确定数据集要分成几类（k）。

本质上，聚类也是一种数据分类算法，聚类和分类最大的不同在于“分类的标准是已知的，而聚类并不知道具体的分类标准”，聚类是通过算法来判断数据之间的相似性，将相似的数据放在一组。

一、K-Means 的算法逻辑：

1、确定k值，即我们希望将数据集经过聚类得到几个分组（比如优良中差）。

2、从数据集中随机选择k个数据点作为带头大哥（K-Means中叫质心）。

3、对集合中每一个小弟，计算它与每个大哥的距离，离哪个大哥距离近，就跟定哪个大哥，形成K个分组。

4、不断循环运算，每次每个分组各选一个新大哥，如果新大哥和老大哥之间的距离小于某一个设置的阈值，则认为聚类结果达到预期，算法结束，将各组数据按最终结果分类。

二、K-Means的几个关键问题：

1、K值确定：取决于个人的经验，通常的做法是多尝试几个K值，或由业务专家基于分析目标来确定。

2、初始的K个质心确定：（1）随机选择，（2）选择彼此距离最远的点，先选第一个点，然后选离它最远的作为第二个点，然后两点连线，选距离他们两个点的距离之和最小的点作为第三个点以此类推。（3）根据其他聚类算法得到的聚类结果来确定K值。

3、要进行数据的标准化，包括（1）将数据按比例缩放，使之落入一个小的特定区间，比如X和Y值差异很大，X是1到10之间的数，Y是1000以上的数，（2）去除数据的单位限制，将其转化为无量纲的数值，比如X的单位是米，Y是吨。

后续我会继续分享大数据算法方面的内容，有共同兴趣的可以持续关注，当然算法最终也是为业务、为管理服务，而如何做业务开发、如何做好企业管理，需要一些方法工具的支持，这样才能事半功倍。

比如我的高效能职场人士工具箱专栏，内容就包含麦肯锡、埃森哲的方法论和实战案例，比如金字塔原理、麦肯锡方法、麦肯锡提问术、埃森哲大数据分析等方法，欢迎点击下方的看一看订阅购买，获取配套的方法工具。

#NVIDIA大讲堂# #NVIDIA# NVIDIA 大讲堂 | NVIDIA 大讲堂 | 什么是机器学习？（七）聚类

在聚类中，算法通过分析输入示例之间的相似性将输入分为不同类别。聚类的一个示例是，为了更好地定制产品和服务，公司希望对其客户进行细分。客户可以按人口统计数据和购买记录等特征进行分组。为了得到更有价值的结果，通常将无监督式学习聚类与监督式学习聚类相结合。

其他聚类示例包括：

搜索结果分组

对相似患者进行分组

文本分类

异常检测（从集群中找出不相似的地方，即异常值）

无监督学习中有聚类分析，将相邻的数据点形成一个聚类，数据集分成几个聚类，得出这几个聚类的特征。如果聚类划分过多，可以进行合并处理，也可以进行聚类的分层应用，如，由于播音学科的边缘性，创作系统的复杂性，创作过程的纷繁性，创作特征的多样性，在播音分类上就不能够简单孤立地采取一刀切了事的分类办法，而应该采取多视角、多分法原则，多层面、细分法原则。

从播音文体上，还可以分为新闻播音、通讯播音、评论播音、对话播音、文艺播音等等。

由于需要找出电视播音中的这几个播音文体的隐性冠军，就全国范围、在央视卫视中，但需要耗费成本，因此可以将这些播音文体进行合并处理，如暂时形成三个聚类，可以分为新闻播音、评论播音、文艺播音。在卫视如湖南卫视文艺播音主持人汪涵和央视新闻联播主播李梓萌以及老一辈主持人播音员中，就算法而言，例如头条算法的驱动下，文艺播音应该是即将面临退休的董卿，评论播音应该是央视白岩松，那么，新闻播音的隐性冠军呢（像江浙一带一些中小企业的隐性冠军一样），李瑞英？李修平？还是李梓萌？

有了大多数人认定的隐性冠军，这些主持人播音员在社会主义市场经济体制下由人们暗生的“市值”概念真有可能带给她们（他们）骄傲，自得和用双手创造的收入机会，以及旧人带新人。

#中尼同意将建跨喜马拉雅山铁路# 头条热榜

中国的朋友，多的超过你我的想象！！

请大家看一张图：北师大宋长青团队给中国与周边国家关系做了聚类分析，显示中国当前是东亚合作网络中的核心节点。

比如，与日本和俄罗斯的合作最为紧密，但与马来西亚、菲律宾等东南亚国家互动也日益频繁。

也包括尼泊尔（NPL）。

图示：CHN(中国)、RUS(俄罗斯)、JPN(日本)、AFG(阿富汗)、PAK(巴基斯坦)、KOR(韩国)、PRK(朝鲜)、VNM(越南)、IDN(印度尼西亚)、MYS(马来西亚)、IND(印度)、PHL(菲律宾)、LAO(老挝)、KAZ(哈萨克斯坦)、BRN(文莱)、MNG(蒙古)、MMR(缅甸)、KGZ(吉尔吉斯斯坦)、NPL(尼泊尔)、TJK(塔吉克斯坦)、BTN(不丹)。

如今的本科毕业论文和硕士论文的标准套路好像都是这样的：采几十个样本，测出十几个属性，然后进行后续的操作了。聚类分析，按照属性用Spss软件的树状聚类法分成多个类，分析各类的差异；AHP层次分析评价，胡乱加点权重（所谓专家经验），加起来算个数，就排个序，分个好坏；因素分析，查找几个因素里面，哪一个对因变量影响大，弄完了就搞个回归，然后搞个预测；人工神经网络，把回归替换成神经网络预测下，然后得出一个神经网络比回归要好的结论。有时他们也画个散点图，五六个点聚得不好也要弄个回归方程。再复杂点就是弄个遗传算法，最后结论是用了遗传的更好。

为啥这样搞？因为好多教授其实也是半懂。多数是没用的科研，里面充满了错误。

下面总结了数学建模比赛中常用的统计学方法

1、多元回归

2、聚类分析

3、数据分类

4、判别分析

详细内容见图片

#数学建模# #大学比赛# #大学竞赛# #五大学科竞赛# #如何在大学学习# #大学学习有什么好方法？# #大学学习编程#

#技术派的书架# #新书推介#《数据挖掘导论（完整版）》介绍了数据挖掘的理论和方法，旨在为读者提供将数据挖掘应用于解决实际问题所需的知识。本书涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题包含两章：前面一章讲述基本概念、代表性算法和评估技术，后面一章较深入地讨概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时，还能了解更多重要的主题。此外，书中还提供了大量示例、图表和习题。本书适合作为相关专业高年级本科生和研究生数据挖掘课程的教材，同时也可作为数据挖掘研究和应用开发人员的参考书。

转发本条微头条并关注@人民邮电出版社 9月15日抽1位读者送《数据挖掘导论（完整版）》。@头条抽奖平台

#头条抽奖# #全民荐书人#

抽奖详情

数据挖掘导论(完整版

长江经济带高速铁路建设时机研究

王贵平 李广路

(中铁二院工程集团有限责任公司， 成都 610031)

摘 要：高速铁路建设时机在国内尚无统一的、操作性强的定量标准。本文采用聚类分析法，对影响高速铁路建设时机的关键因素进行系统分析，总结出人口密度、人均GDP、客运量为其关键指标；并提出高速铁路建设时机的定量指标。并将其应用于长江经济带高速铁路建设时机研究，采用定性与定量方法相结合，提出在全国《中长期铁路网规划》(2016-2025年)基础上，长江经济带东西向应适时规划建设重庆至武汉至合肥高速铁路。

关键词：高速铁路； 聚类分析； 定量分析； 定性分析

高速铁路对区域经济发展具有重要作用。在适宜的时机建设高速铁路能够有效提高高速铁路的经济和社会效益。长江经济带覆盖我国中部东西向9省2市，是长江流域经济最发达、最繁华的地区，也是全国最重要的高密度经济走廊，区域面积为205.5×104 km2，2015年总人口5.9亿，占全国总人口的42.7%，GDP305 334亿元，占全国GDP总量的44.3%，在全国“两横三纵”城市化战略格局中，人口、GDP方面仅次于沿海通道，在全国具有重要地位。本文拟采用聚类分析法，得出高速铁路建设定性指标，并定性与定量相合，分析沿长江经济带东西向高速铁路通道的建设时机。

1 长江经济带高速铁路通道建设时机聚类分析

1.1 聚类分析方法概述

国内尚无统一的、操作性强的高速铁路建设时机标准，本文拟在对已建、在建高速铁路各关键指标进行聚类分析，以期得到操作性强的建设时机定量指标[1]。聚类分析是指将物理或抽象对象集合分组为类似对象组成的多个类的分析过程。通过聚类分析将我国高速铁路合理归类，能够量化高速铁路在关键指标上的同质性，总结出操作性强的关键指标属性。

1.2 我国已建、在建高速铁路分析

对我国目前已建、在建高速铁路统计分析，如表1所示[5]。

1.4.2 高速铁路建设时机定量指标

由以上聚类结果可知，Ⅰ类铁路基本位于我国东部地区，Ⅱ类铁路基本位于我国中东部地区，Ⅲ类铁路基本位于我国中西部地区。3个指标中人口密度、人均GDP的F统计量分别为17.29和159.86，相伴概率均<0.01，说明人口密度和人均GDP指标起到关键作用。单位里程客运量F统计量3.53，相伴概率<0.05，可作为参考指标。

分析可知，考虑社会经济发展进程，东部地区高速铁路沿线人口密度基本达到600人/km2，中东部和中西部地区人口密度基本达到400人/km2、250人/km2；东部地区人均GDP基本达到55 000元，中东部和中西部地区分别基本达到30 000元和20 000元。故可判断各区域高速铁路建设时机的定量指标，如表7所示。

表7 高速铁路建设时机定量指标



1.5 长江经济带高速铁路建设时机定量分析

长江经济带包含四川、云南、重庆、贵州、湖北、湖南、江西、安徽、江苏、浙江、上海共11个省市，川滇渝黔为西南4省市，鄂湘赣皖为中部4省，苏沪浙为东部地区，各区域指标统计如表8所示。

表8 沿长江经济带指标统计



由上述指标及高速铁路建设时机指标标准比较可知，西南4省市、中部4省及东部苏浙沪地区在人口密度与人均GDP指标均达到标准。

2 长江经济带高速铁路通道建设时机定性分析

长江经济带东西向快速客运通道现有两条。一条为长昆客专-杭长客专-沪杭高铁构成的速度350 km/h、全线标准统一的高速铁路；另一条沿长江的快速客运通道由沪宁城际、京沪高铁、合宁铁路、合武铁路、汉宜铁路、宜万铁路、渝利铁路、成渝客专构成，通道中京沪高铁、沪宁城际设计速度350 km/h，合武、合宁、汉宜铁路设计速度250 km/h，宜万铁路为客货共线的山区铁路，设计时速160 km/h，渝利铁路200 km/h。可见沿长江快速客运通道中，全线技术标准不统一、线路不顺直，与长江经济带国家战略提出的地位与要求不符。

已发布的全国《中长期铁路网规划》(2016-2025年)表明，沿长江经济带上海至南京间规划近期修建江苏南沿江城际(250 km/h)，远期于江北修建沪泰宁城际(250 km/h)，提升沪宁间通道运输能力；南京至合肥间规划修建合宁客专(350 km/h)，加强合肥与长三角地区核心城

3 结论

高速铁路建设时机在国内尚无统一的、操作性强的定量标准，本文采用聚类分析法，提出高速铁路建设时机的定量指标，应用于长江经济带高速铁路建设时机研究。长江经济带沿江流域串连成都、重庆、武汉、合肥、南京、上海六大省会城市，地区间旅客需求旺盛，经定性与定量方法相结合，提出在全国《中长期铁路网规划》(2016-2025年)基础上，长江经济带东西向应适时规划建设重庆至武汉至合肥时速350 km/h的高速铁路。

#胡锡进:拜登对华定性与特朗普无异#还是一致的，因为美国是作为一个国家主体在跟中国跟俄罗斯相竞争，这些竞争在很多地方都会加剧。

比如在中亚。下面是北师大宋长青团队给中国与周边国家关系做的聚类分析，中国早已经是东亚乃至整个亚洲合作网络中的核心节点。在中亚，中国的国家行动已经让俄罗斯学界重新思考，比如对一带一路的态度，而让美国直接发布了新的中亚战略。

CHN(中国)、RUS(俄罗斯)、JPN(日本)、AFG(阿富汗)、PAK(巴基斯坦)、KOR(韩国)、PRK(朝鲜)、VNM(越南)、IDN(印度尼西亚)、MYS(马来西亚)、IND(印度)、PHL(菲律宾)、LAO(老挝)、KAZ(哈萨克斯坦)、BRN(文莱)、MNG(蒙古)、MMR(缅甸)、KGZ(吉尔吉斯斯坦)、NPL(尼泊尔)、TJK(塔吉克斯坦)、BTN(不丹)。

利用电子健康记录中阿尔茨海默病发病前的医疗条件进行阿尔茨海默病的时间亚型分析

阿尔茨海默病（AD）的亚型划分可以促进诊断、治疗、预后和疾病管理。它还可以支持通过临床试验来测试新的预防和治疗策略。在这项研究中，我们用频谱聚类法将OneFloridaData Trust中29,922名AD患者的诊断和病情的纵向EHR数据分为四个亚型。这些亚型表现出在第一次诊断出AD之前其他疾病的不同发展模式。此外，根据各种统计测试的结果，这些亚型在人口统计学、死亡率和AD诊断后的处方药方面也有明显的差异。这项研究有可能促进AD的早期检测和个性化治疗，以及数据驱动的AD临床试验的可推广性评估。

《Temporal Subtyping of Alzheimer's Disease Using Medical Conditions Preceding Alzheimer's Disease>

大数据技术、人工智能技术能够做些什么？

通过人工智能来分析、探索和预测趋势，并根据过去的变化预测未来的趋势。沃达德软件通过经典的机器学习算法，为客户提供智能应用程序，包括：频繁模式挖掘、聚类、分类、推荐引擎（获得用户行为并从中发现用户可能喜欢的事物）、频繁子项挖掘（利用一个项集，如查询记录和购物目录，去识别经常一起出现的项目）。

#科技名词# 无监督学习（wú jiān dū xué xí）

无监督学习是指一种机器学习算法，用于从没有标记响应的输入数据组成的数据集中进行推断。最常见的无监督学习方法是聚类分析。

现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知（没有被标记）的训练样本解决模式识别中的各种问题，称之为无监督学习。

现实生活中常常会有这样的问题：

（1）缺乏足够的先验知识，因此难以人工标注类别；

（2）进行人工类别标注的成本太高。

很自然地，我们希望计算机能代我们（部分）完成这些工作，或至少提供一些帮助。常见的应用背景包括：

（1）一从庞大的样本集合中选出一些具有代表性的加以标注用于分类器的训练。

（2）先将所有样本自动分为不同的类别，再由人类对这些类别进行标注。

（3）在无类别信息情况下，寻找好的特征。

常用的无监督学习算法主要有主成分分析方法PCA等，等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法和局部切空间排列方法等。

从原理上来说PCA等数据降维算法同样适用于深度学习，但是这些数据降维方法复杂度较高，并且其算法的目标太明确，使得抽象后的低维数据中没有次要信息，而这些次要信息可能在更高层看来是区分数据的主要因素。所以现在深度学习中采用的无监督学习方法通常采用较为简单的算法和直观的评价标准。

无监督学习里典型例子是聚类。聚类的目的在于把相似的东西聚在一起，而我们并不关心这一类是什么。因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了。

聚类算法一般有五种方法，最主要的是划分方法和层次方法两种。划分聚类算法通过优化评价函数把数据集分割为K个部分，它需要K作为 输人参数。典型的分割聚类算法有K-means算法, K-medoids算法、CLARANS算法。层次聚类由不同层次的分割聚类组成，层次之间的分割具有嵌套的关系。它不需要输入参数，这是它优于分割聚类 算法的一个明显的优点，其缺点是终止条件必须具体指定。典型的分层聚类算法有BIRCH算法、DBSCAN算法和CURE算法等。

目前深度学习中的无监督学习主要分为两类，一类是确定型的自编码方法及其改进算法，其目标主要是能够从抽象后的数据中尽量无损地恢复原有数据，一类是概率型的受限波尔兹曼机及其改进算法，其目标主要是使受限玻尔兹曼机达到稳定状态时原数据出现的概率最大。

确定型无监督学习

确定型无监督学习主要有自编码及稀疏自编码、降噪自编码等。自编码可以看作是一个特殊的3层BP神经网络，特殊性体现在需要使得自编码网络的输入输出尽可能近似，即尽可能使得编码无损（能够从编码中还原出原来的信息）。虽然稀疏自编码可以学习一个相等函数，使得可见层数据和经过编码解码后的数据尽可能相等，但是其鲁棒性仍然较差，尤其是当测试样本和训练样本概率分布相差较大时，效果较差。为此，Vincent等人在稀疏自编码的基础上提出了降噪自编码，其基本思想是，以一定概率使输入层某些节点的值为0，此时输入到可视层的数据变为x^，隐含层输出为y，然后由重构x的输出z，使得z和x的差值尽可能的小。

概率型无监督学习

概率型无监督学习的典型代表就是限制玻尔兹曼机，限制玻尔兹曼机是玻尔兹曼机的一个简化版本，可以方便地从可见层数据推算出隐含层的激活状态。