大数据聚类数据库

Ⅰ 大数据分析之聚类算法

大数据分析之聚类算法
1. 什么是聚类算法
所谓聚类，就是比如给定一些元素或者对象，分散存储在数据库中，然后根据我们感兴趣的对象属性，对其进行聚集，同类的对象之间相似度高，不同类之间差异较大。最大特点就是事先不确定类别。
这其中最经典的算法就是KMeans算法，这是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。
KMeans算法本身思想比较简单，但是合理的确定K值和K个初始类簇中心点对于聚类效果的好坏有很大的影响。
聚类算法实现
假设对象集合为D，准备划分为k个簇。
基本算法步骤如下：
1、从D中随机取k个元素，作为k个簇的各自的中心。
2、分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。
3、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。
4、将D中全部元素按照新的中心重新聚类。
5、重复第4步，直到聚类结果不再变化。
6、将结果输出。

核心Java代码如下：
/**
* 迭代计算每个点到各个中心点的距离，选择最小距离将该点划入到合适的分组聚类中，反复进行，直到
* 分组不再变化或者各个中心点不再变化为止。
* @return
*/
public List[] comput() {
List[] results = new ArrayList[k];//为k个分组，分别定义一个聚簇集合，未来放入元素。

boolean centerchange = true;//该变量存储中心点是否发生变化
while (centerchange) {
iterCount++;//存储迭代次数
centerchange = false;
for (int i = 0; i < k; i++) {
results[i] = new ArrayList<T>();
}
for (int i = 0; i < players.size(); i++) {
T p = players.get(i);
double[] dists = new double[k];
for (int j = 0; j < initPlayers.size(); j++) {
T initP = initPlayers.get(j);
/* 计算距离 这里采用的公式是两个对象相关属性的平方和，最后求开方*/
double dist = distance(initP, p);
dists[j] = dist;
}

int dist_index = computOrder(dists);//计算该点到各个质心的距离的最小值，获得下标
results[dist_index].add(p);//划分到对应的分组。
}
/*
* 将点聚类之后，重新寻找每个簇的新的中心点，根据每个点的关注属性的平均值确立新的质心。
*/
for (int i = 0; i < k; i++) {
T player_new = findNewCenter(results[i]);
System.out.println("第"+iterCount+"次迭代，中心点是："+player_new.toString());
T player_old = initPlayers.get(i);
if (!IsPlayerEqual(player_new, player_old)) {
centerchange = true;
initPlayers.set(i, player_new);
}

}

}

return results;
}
上面代码是其中核心代码，我们根据对象集合List和提前设定的k个聚集,最终完成聚类。我们测试一下，假设要测试根据NBA球员的场均得分情况，进行得分高中低的聚集，很简单，高得分在一组，中等一组，低得分一组。
我们定义一个Player类，里面有属性goal，并录入数据。并设定分组数目为k=3。
测试代码如下:
List listPlayers = new ArrayList();
Player p1 = new Player();
p1.setName(“mrchi1”);
p1.setGoal(1);
p1.setAssists(8);
listPlayers.add(p1);

Player p2 = new Player();
p2.setName("mrchi2");
p2.setGoal(2);
listPlayers.add(p2);

Player p3 = new Player();
p3.setName("mrchi3");
p3.setGoal(3);
listPlayers.add(p3);
//其他对象定义此处略。制造几个球员的对象即可。
Kmeans<Player> kmeans = new Kmeans<Player>(listPlayers, 3);
List<Player>[] results = kmeans.comput();
for (int i = 0; i < results.length; i++) {
System.out.println("类别" + (i + 1) + "聚集了以下球员：");
List<Player> list = results[i];
for (Player p : list) {
System.out.println(p.getName() + "--->" + p.getGoal()

}
}
算法运行结果：

可以看出中心点经历了四次迭代变化，最终分类结果也确实是相近得分的分到了一组。当然这种算法有缺点，首先就是初始的k个中心点的确定非常重要，结果也有差异。可以选择彼此距离尽可能远的K个点，也可以先对数据用层次聚类算法进行聚类，得到K个簇之后，从每个类簇中选择一个点，该点可以是该类簇的中心点，或者是距离类簇中心点最近的那个点。

Ⅱ 请问大数据的关键技术有哪些

1.分布式存储系统(HDFS)。2.MapRece分布式计算框架。3.YARN资源管理平台。4.Sqoop数据迁移工具。5.Mahout数据挖掘算法版库。权6.HBase分布式数据库。7.Zookeeper分布式协调服务。8.Hive基于Hadoop的数据仓库。9.Flume日志收集工具。

Ⅲ 聚类和分类的区别（分类与聚类的本质区别）

分类（Classification）与聚类（Clustering）在数据处理圈中算是出现频率较高的两类算法。但对不了解数据处理的人来说，当把二者放到一起时，很容易傻傻分不清楚。下面，看点哥在不涉及具体、复杂、高深的算法步骤和说明的前提下，来对两个算法进行一下浅显易懂、入门级的介绍和对比。

对受众的标签类别是已知还是未知

具体解释就是，分类对受众标签类别是已知的。即事先定义的类别，类别数量，甚至类别间的层级关系都是已知的。然后利用训练和学习完的模型把数据库中的未分类数据项，根据特征或属性映射到给定类别中的某一类中；而聚类则对受众标签类别是未知的。即没有事先预定的类别，类别数也不确定。只是根据物以类聚的原理，通过对算法判断规则的调整将具有相似特征的数据聚成一类。

分类与聚类的应用思路

可能从概念上理解分类与聚类的本质区别比较晦涩难懂。下面列举二者在互联网广告中的应用实例，从而来做进一步区分。其中，电商是同时利用这两种算法的典型领域。

分类算法应用思路

效果类广告投放的开始阶段我们称之为冷启动阶段。可能对大多数非HERO级别电商广告主而言，自身没有第一方数据或者数据量稀疏。这导致依靠历史数据积累才能发挥作用的算法无法派上用场。那么，在冷启动阶段如何进行广告投放？使用分类算法对广告平台预先分类出的人群做投放是明智之选。这里要强调：并不是说分类算法不需要数据积累，而是人群分类本身就是基于全局的、利用历史上受众行为得出的，已经完成了前期的数据积累、分析过程。

使用分类算法，就是借助强大的大数据技术，预先将广告平台人群数据按照标签属性做好分类，然后运营人员利用经验和对客户产品的深刻理解，可以从归类好的平台数据库中筛选出目标受众类来做定向投放。分类算法就相当于区分受众的工具，是电商广告主或投放平台搞清楚对谁投广告的过程。受众分类做得好、分得准，能大大缩短冷启动周期，减少预算浪费。

聚类算法应用思路

当投放开始后，随着运营人员根据实时的投放反馈数据及时优化调整投放策略，会积累越来越多的有效用户数据。这时候，聚类算法开始出场了。在电商领域，这里所说的有效用户数据，就是用户的电商行为数据，如商品浏览、点击、加入购物车、购买等行为数据。利用这些行为数据加上聚类算法的判断规则，协助电商广告主进行客户分群，即用不同划分标准将相似行为的用户聚到一起，比如分为：高价值用户、一般价值用户和潜在用户；或者是追求品质型用户、追求实用型用户、追求个性型用户等。然后进一步深入挖掘、刻画不同客户群的特征，从而为不同价值或不同喜好的客户群提供不同的营销推广方案和预算配比方案，将能最大化提升转化率和客单值。

聚类算法是电商广告主细分市场、细分消费者的有效工具；同时也可通过研究消费者行为，进一步高效化开拓新的潜在市场、挖掘潜在客户，最大化提高自身盈利水平。

说在最后

大数据的真正含义不在于大，而在于从海量的数据库中挖掘出隐含在其中的有用信息。而今天所讲的分类、聚类算法，就是把数据变得更有价值的两种常见数据挖掘算法。对于这两种算法，你不一定要会，但一定要懂！只有了解了二者的应用思路，才能通过大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的价值信息，帮助企业调整自身市场策略、减少风险、理性面对市场，从而保持核心竞争力，立于不败之地！

Ⅳ 大数据思维方式主要有

主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。
分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。
回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。

Ⅳ 大数据kdd是什么

数据知识发现（KDD），是自动或方便地提取模式，表示在大型数据库，数据仓库，Web，其他海量信息库或数据流中隐式存储或捕获的知识。知识发现是从各种信息中，根据不同的需求获得知识的过程。知识发现的目的是向使用者屏蔽原始数据的繁琐细节，从原始数据中提炼出有效的、新颖的、潜在有用的知识，直接向使用者报告。

KDD的基本任务

1、数据分类

分类是数据挖掘研究的重要分支之一，是一种有效的数据分析方法。分类的目标是通过分析训练数据集，构造一个分类模型（即分类器），该模型能够把数据库中的数据记录映射到一个给定的类别，从而可以l立用于数据预测。

2、数据聚类

当要分析的数据缺乏必要的描述信息，或者根本就无法组织成任何分类模式时，利用聚类函数把一组个体按照相似性归成若干类，这样就可以自动找到类。聚类和分类类似，都是将数据进行分组。但与分类不同的是，聚类中的组不是预先定义的，而是根据实际数据的特征按照数据之间的相似性来定义的。