聚成大数据

① 聚类分析（Cluster Analysis）

聚类，将相似的事物聚集在一起，将不相似的事物划分到不同的类别的过程。是将复杂数据简化为少数类别的一种手段。

设有m个样本单位，每个样本测的n项指标（变量），原始资料矩阵：

指标的选择非常重要：
必要性要求：和聚类分析的目的密切相关，并不是越多越好
代表性要求：反映要分类变量的特征
区分度要求：在不同研究对象类别上的值有明显的差异
独立性要求：变量之间不能高度相关（儿童生长身高和体重非常相关）
散布性要求：最好在值域范围内分布不太集中

在各种标准量度值scale差异过大时，或数据不符合正态分布时，可能需要进行数据标准化。
（1） 总和标准化 。 分别求出各聚类指标所对应的数据的总和， 以各指标的数据除以该指标的数据的总和。

根据聚类对象的不同，分为Q型聚类，R型聚类

（1）常见距离统计量 - 闵可夫斯基距离系列（线性距离）

p=2，时为欧氏距离（n维空间中的几何距离）
p=∞，时为切比雪夫距离（棋盘格距离）

（2）常见距离统计量 - 马氏距离（协方差距离）
均值为μ，协方差矩阵为∑的向量x=(1,2,...n)
相比于欧式距离，马氏距离考虑到各种指标之间的联系（如身高和体重并不独立，）且马氏距离具有尺度无关性（scale-invariant），因此可不必做标准化。
如果协方差矩阵为单位矩阵（各指标之间完全相互独立），则马氏距离化为欧几里得距离。
如果协方差矩阵为对角矩阵，则马氏距离化为正规化的欧几里得距离（normalized Euclidean distance）

（3）常见距离统计量 - 文本距离
文本距离通常用来度量文本之间的相似度，在生物研究中常见于序列比对分析。

常见相似系数统计量
相似系数= 1，表明完全相似
相似系数= -1 表明完全相反
相似系数 = 0 表明完全独立
相关系数：

类与类之间 距离的度量方法：
系统聚类法不仅需要度量个体与个体之间的距离，还要度量类与类之间的距离。类间距离被度量出来之后，距离最小的两个小类将首先被合并成为一类。 由类间距离定义的不同产生了不同的系统聚类法。

目前有1000多种聚类算法：没有一种聚类算法可以包打天下，聚类算法中的各种参数也必须依据具体问题而调节
常见聚类算法的分类：
1，层次聚类（Hierarchical clustering）
2，划分聚类（Partitioning clustering）
3，密度聚类（Density-based）
4，期望最大化聚类（Expectation Maximization）
5，网格聚类（Grid-based）
6，模型聚类（Model-based）

1. 层次聚类的方法
基本思想：
在聚类分析的开始，每个样本（或变量）自成一类； 然后，按照某种方法度量所有样本（或变量）之间的亲疏程度，并把最相似的样本（或变量）首先聚成一小类； 接下来，度量剩余的样本（或变量）和小类间的亲疏程度，并将当前最接近的样本（或变量）与小类聚成一类；如此反复，知道所有样本聚成一类为止。
举例：
有一组数据D={a,b,c,d,e} 给了它们之间的距离矩阵。
首先，每一个例子都是一个类：

2. 划分聚类的方法
划分聚类算法：
给定一个包含n个样本的数据集，基于划分的方法（Partitioning Method）就是将n个样本按照特定的度量划分为k个簇（k≤n），使得每个簇至少包含一个对象，并且每个对象属于且仅属于一个簇，而且簇之间不存在层次关系。

基于划分的方法大多数是基于距离来划分的，首先对样本进行初始化分，然后计算样本间的距离，重新对数据集中的样本进行划分，将样本划分到距离更近的簇中，得到一个新的样本划分，迭代计算直到聚类结果满足用户指定的要求。

要想得到最优的聚类结果，算法需要穷举数据集所有可能的划分情况，但是在实际应用中数据量都比较大，利用穷举方法聚类显然是不现实的，因此大部分基于划分的聚类方法采用贪心策略，即在每一次划分过程中寻求最优解，然后基于最优解进行迭代计算，逐步提高聚类结果的质量。虽然这种方式有可能得到局部最优结果，但是结合效率方面考虑，也是可以接受的。

算法：

举例：
有一个二维空间的一些点，我们要将它们分成3个类，即K=3。

我们首先随机选择3个初始质心，每一个质心为一类：

然后我们计算每一个不是质心的点到这三个质心的距离：

将这些点归类于距离最近的那个质心的一类：

重新计算这三个分类的质心：

不断重复上述两步，更新三个类：

当稳定以后，迭代停止，这时候的三个类就是我们得到的最后的三个：

最著名的是k-means聚类算法和K-medoids算法（中心点聚类）

处理“大海中的若干孤岛”，以密度来区分岛

大部分基于密度的方法（Density-based Method）采用距离度量来对数据集进行划分，在球状的数据集中能够正确划分，但是在非球状的数据集中则无法对样本进行正确聚类，并且受到数据集中的噪声数据影响较大。基于密度的方法可以克服这两个弱点。

基于密度的方法提出“密度”的思想，即给定邻域中样本点的数量，当邻域中密度达到或超过密度阈值时，将邻域内的样本包含到当前的簇中。若邻域的密度不满足阈值要求，则当前的簇划分完成，对下一个簇进行划分。基于密度的方法可以对数据集中的离群点进行检测和过滤。

算法 ：

基于网格的方法（Grid-based Method）将数据集空间划分为有限个网格单元，形成一个网络结构，在后续的聚类过程中，以网格单元为基本单位进行聚类，而不是以样本为单位。由于算法处理时间与样本数量无关，只与网格单元数量有关，因此这种方法在处理大数据集时效率很高。基于网格的方法可以在网格单元划分的基础上，与基于密度的方法、基于层次的方法等结合使用。

基于模型的方法（Model-based Method）假定数据集满足一定的分布模型，找到这样的分布模型，就可以对数据集进行聚类。基于模型的方法主要包括基于统计和基于神经网络两大类，前者以高斯混合模型（Gaussian Mixture Models，GMM）为代表，后者以自组织映射网络（Self Organizing Map，SOM）为代表。目前以基于统计模型的方法为主。

以下内容后续补充：

数据示例：

数据示例：

为了有效利用聚类算法， 首先需要度量观测值见的距离，在R中常通过stats包里的dist函数来实现：
dist(x, method = "euclidean", diag = FALSE, upper = FALSE, p = 2)
dist 函数计算对象（矩阵或数据框）中两两间的距离，返回的是距离矩阵（dist类对象）。dist函数的参数描述如下。

另一个计算点之间的距离的方法是cluster包里面的daisy函数：

daisy函数计算数据集中每对观测值的不相似度。daisy函数的参数描述如下：

k-means聚类是最简单的聚类算法之一。R中可以通过stats包里面的kmeans函数实现k-means聚类：
kmeans(x, centers, iter.max = 10, nstart = 1, algorithm = c("Hartigan-Wong", "Lloyd", "Forgy", "MacQueen"), trace=FALSE)
kmeans函数的参数描述如下：

② 生命进化的启示 天之道（简约版）

天是怎样造出生命的呢？神秘的对我们有什么启示呢？

1.从“大数据“和“概率“开始

有一天，你在大树下休息，打开了一瓶矿泉水瓶，忽然一阵风刮来，细小的落叶纷飞，忽然听到“噗“的一声，你低头一看，居然有一片叶子飘荡着准确地落入瓶口。但是你若爬到树上，刻意拿小树叶，在刮着小风时，使劲往瓶口投10次，却无法投进瓶口。但是当次数达到1000次时，你最终还是投了1片进去。这就是“大数据“下的“概率“现象。

根据科学家的研究，45亿年前，地球与小行星发生碰撞，获得了碳，水。在原始的海洋中，由于雨水的冲刷，来自岩石和大气中的的各种元素和化合物，最终汇集到海洋里。海水成了一个各种元素的大数据集合体。在太阳能量条件下，无机化合物和碳发生作用，由此又产生多种简单有机化合物。在太阳光和热的作用下，一步复杂化。由简单的有机物发展出各种生物小分子，如氨基酸、糖分、有机碱基、嘌呤、嘧啶等。由有机小分子发展成多种生物大分子，如蛋白质、核酸、脂质等。生物大分子又发展成多分子体系，有一定结构的隔离系统在水中出现，这隔离系统的逐渐完善化就出现了原始生命——原核细胞微生物。

它们在漫长的进化过程中，反作用于环境，环境改变后，又发展成新环境下的新微生物。它们继续互相聚集，互相吞并，长大。简单来说，就是在能量作用下，海水变质，感染了微生物。有点类似机加工行业切削液变质的过程。但对生命进化却是件大好事！

启示：大数据中能找到真理，大数据才接近正态分布，可以找到中心值和代表函数；一切从人民中来，到人民中去是最好地实践。

2.自组织现象

所以，在本质上，生命进化是化合物和有机物不断作用，先聚成小链，小链聚成长链的过程，经过漫长的碰撞和吸引，表面又形成油膜状包膜，我们知道一杯水上有油的时候，由于被油封住，水不容易蒸发。所以脂类分子也是形成生命的关键要素。胖人的身体因为油脂多，能锁住更多的水分，瘦人一喝多水就很快要尿尿，把人体看作海绵，就看谁的油脂多。

生命现象正是大量的元素聚成小链，小链聚成长链的过程。这就是“自组织”现象。

生命进化，从无序到有序，是基于原则的偶然，也是大数据下的必然。大量的无序，在力的作用下，由于“概率“和“自组织“现象，在能量周期作用下，产生运动，不断合并，不断走向有序。

启示：充分发挥自组织现象，顺应天理和规律；只要提供好适宜的环境和框架、原则和支持，其他的就留给自组织吧；做醪糟时，不用劳心去干涉每一个酵母，你只要提供盆子，大米，水，酵母，保温的环境，小心呵护，让酵母自主去发酵；这就是无为而治。

3.共振与耦合 使生物动起来

随着不断合并，它们最终聚集成一块块滑滑的，半透明的果冻状物体，跟潮湿沙子里长出的太岁是一类生物，可以吸收并长大。有一些生物发生变异，大量的细胞因生物电现象，产生了轻微地运动，最终发生共振，可以有规律地收缩律动，能更好地吸收养分，这就是以水母为化表的腔肠状生物。另一类没有动起来，则朝着植物的方向进化。

随着环境的改变，和自然的选择，类水母生物又逐渐进化成长条形生物，再进化成鱼，在环境又发展到干旱时，为了适应陆地，进化成有腿的爬行动物。…最终变成了人类。

启示：心脏起搏是共振，内燃机启动是共振，耳朵能听到声音，是耳膜与声源发生共振，收音机天线利用“谐波振荡“耦合接收信息，光波干涉条纹。本质上都是共振，原理是当波的频率一致时，强强联合，使振幅加强。

人与人之间，同悲同喜，就会有共识和共鸣。他痛苦时你高兴，是不可能有共鸣和共识的。世界各国之间，避免战争根本在于让文化和意识达成共识。

共振共识的前提是频率一致，琴瑟和谐，同喜同悲，会使能量加强；频率不一致，会消耗能量。在世界范围内凝聚共识，是人类社会和谐共生的根本方向。

③ 国内比较好的企业培训机构有哪些

“梦航国际”是由企业培训导师郝铭智所创办的一家专注于帮助中小企业完善经营、公众演说、口才训练、家庭教育的培训公司。

集团目前由云南梦航企业管理有限公司、贵州智慧梦想文化传播有限公司、四川启光文化传播有限公司，以及数十家代理公司共同构成。集团以打造独具中国特色、科学高效的商学院教学模式，帮助个人升华、企业兴旺和社会繁荣，助力世界和谐发展为目标。

企业自2015年正式创办以来，已经在全国各地累计举办演讲数千场，受益的个人或群体达到数十万人。除了在慈善事业方面做出了有目共睹的贡献，更是帮助数千家企业实现转型升级、盈利创收，深受各行业企业家的好评，在行业内获得了良好的口碑。

有爱同心，有志同行，竭诚欢迎各界才俊加入梦航国际。

携手梦航，共创辉煌!!!

④ 聚成系统是合法的吗

是。聚成系统（深圳）有限公司成立于2017年12月5日，注册地位于深圳市前海深港合作区前湾一路，是一家以从事研究和试验发展为主的企业。通过天眼查大数据分析, 聚成系统（深圳）有限公司拥有行政许可2条，是合法的公司。经营范围包括一般经营项目是计算机软硬件及外设产品、通信设备、地理信息系统（GIS）、电子设备、网络设备、电力电气设备（不含特种设备）、仪器仪表、专用集成电器等，企业注册资本500万人民币。

⑤ 如何在移动大数据中做到精准营销

互联网时代数据正在迅速膨胀并变大，它决定着企业的未来发展，随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

⑥ 国内咨询公司的排名

其实管理咨询这个行业，大大小小的公司太多。又不能单一从营收或者项目满意度等等去单一评价一个公司。选择管理咨询公司不仅要看专业实力、收费标准，还得看咨询公司的服务理念以及具体项目的团队配置，毕竟一个项目启动，则意味着企业在资金、人力等方面有大量投入。

这两天《互联网周刊》发布了最新的2017年管理咨询公司排名，算是还比较齐全公正的一个榜单，供你参考。不过不管怎么说，对一个榜单，一定要不偏信，不全信。