c大数据重复

1. 大数据兴起 重复数据删除4项注意

大数据兴起 重复数据删除4项注意
根据全球市场的反馈来看，IT技术推动公司的历程性进步，继续着信息革命时代的传奇。重复数据删除技术目前已成为存储行业最为热门的技术，不仅众多厂商极力推荐其重复数据删除产品，广大用户也在热切的关注着重复数据删除技术。
从全球企业界兴起的这种热闹局面，主要是由当前经济大环境不景气的外部原因，以及企业自身数据飞速增长的内部原因共同形成。作为重复数据删除产品越来越受用户关注的同时，其功能作用也被过分的放大，成为厂商推销其产品的卖点和噱头。就此问题，用户在选择重复数据删除产品时还需要谨慎起见。
重复数据删除对你是否有意义？
那用户首先需要问自己的就是是否真的需要重复数据删除技术。就目前的一些调查情况来看：一些类似医疗影像处理的数据并不适合进行重复数据删除，另外金融、电信等对数据可靠性要求比较高的行业对重复数据删除也需要谨慎对待。用户如果赶时髦、追潮流，不考虑自身企业的数据情况，购买重复数据删除产品只能取得适得其反的结果。
事实上，这种只保存数据单一实例的技术早已存在，只是在备份领域中才被突显出来，并定名为重复数据删除。正是由于企业在备份过程中存储了大量的重复数据、浪费了大量存储空间，最终才催化出重复数据删除技术。重复数据删除的宗旨就是为企业用户的备份解决方案服务，使得企业备份解决方案更加完善、高效。如果脱离这个宗旨，厂商一味强调重复数据删除的一些优点，却忽视企业在数据安全性和备份等方面可能做出的巨大牺牲，那么毫无疑问，这种本末倒置的作法最终受害的将是用户。
因此，用户在选购重复数据删除产品时需要思考重复数据删除是否对你有意义？你的企业是否真的需要重复数据删除？如果厂商不顾你的现实情况，不负责任的向你推销其重复数据删除产品，那么恭喜你，你遇到“骗子”了……
重复数据删除对现有备份环境是否造成影响？影响有多大？
企业用户备份做两次全备份时间间隔一般不长，通常只有不超过5%的数据是不同的，剩余大部分数据都是相同的，因此，重复数据删除绝对可以给企业备份系统带来很大的好处。从而衍生出这样一个问题：重复数据删除是否会对企业现有备份环境造成影响？可能会造成什么样的影响？这种影响有多大？
如果你的备份环境已经有比较长的时间了，各项备份机制都趋于完善，这个时候你应该考虑加入重复数据删除解决方案。那么你要选择什么样的重复数据删除产品呢？是选择在线处理方式（In-line）的重复数据删除产品，还是选择后处理方式（Post-Processing）的重复数据删除产品呢？这里需要告诫你的是：In-line方式可能并不适合你当前的备份环境。因为In-line方式可能给你的备份环境带来很大的改变，不仅可能你的备份软件需要升级、备份设备需要更换，还可能出现备份机制、备份习惯的通通改变。更有可能出现，改变现有备份环境会使备份处理的速度变的很慢，甚至引发无法预计且不可恢复的数据丢失。所以如果用户不仔细考虑重复数据删除产品对现有备份环境的影响，则很可能将已有的备份环境做出巨大改变，而这种巨大的改变也犯了IT建设之大忌。
因此，用户在选购重复数据删除产品之前必须对所选产品对现有备份环境的影响进行评估，尽量选择那些对已有备份环境没有影响的产品。
单一不重复数据的安全性该如何保障？
当用户选择好重复数据删除产品进行重复数据删除操作后会猛然发现这么一个问题：进行完重复数据删除后，我的数据只剩下单一不重复数据，更为要命的是单一不重复数据是集中保存在一个存储区域中。单一不重复数据的安全性瞬间就成为用户最为棘手问题，用户会发现自己把宝都押在同一个地方，仿佛就是把所有鸡蛋都放在了同一个篮子里。这时候，VTL在重复数据删除解决方案中的重要性就显现出来了。用户可以在VTL中再拷贝一份单一不重复数据，还可以通过远程镜像技术将数据镜像到不同地域的不同存储设备上。另外，还可以通过这种高可用性（HA）架构来消除单点故障（SPOF），提高VTL系统自身的高可靠性，使整个备份系统更安全。
你想把自己所有鸡蛋都放在一个篮子里，然后终日过着如履薄冰、胆战心惊、诚惶诚恐的日子吗？如果不想，那么请你在选择重复数据删除解决方案时，仔细思考一下单一不重复数据安全的安全性问题！如果厂商解决方案不能够很好解决这个重要问题，毫无疑问的恭喜你，你可能又遇到一个“大忽悠”！
扩展性与成本对于重复数据删除技术很重要吗？
用户选择了重复数据删除技术并不意味着以后就万事大吉，数据量该增长还得增长，存储容量该增加还得增加，用户还得去面对存储解决方案可扩展性的问题。
从长远的角度来看，单台重复数据删除设备根本无法满足企业的需求，企业将来也必然会面对多台重复数据删除设备，这就凸现出下面的情况：企业考虑用多台重复数据删除设备来完成备份，那么每台重复数据删除设备能否识别自身已备份的数据在其他设备上是否也已经备份了？出现这种情况是否会影响到整个备份系统的重复数据删除比？是否会增加维护的难度？
因此企业将来面对的集群架构必须具有良好的扩展能力和集群式的重复数据删除技术。集群架构应该是通过统一性的添加VTL节点来扩展，还需要能够做到任意时间添加存储而不出现中断处理的情况。只有这样才能够具有最优的管理能力和扩展能力。如果厂商不能够提供很好的扩展方案，那么极易形成备份孤岛，那时，用户的设备采购成本、管理复杂性和管理成本都将加大的增加。
综上所述，用户选购重复数据删除产品时，应该以正确的心态去面对它，本文上面提到重复数据删除产品选购四大注意事项：重复数据删除是否对你有意义、重复数据删除对现有备份环境有多大影响、重复数据安全性如何保障、重复数据删除的扩展性和成本，正是从用户自身角度来看待重复数据删除产品。专家表示，相信用户只要很好的遵循这四个角度去选购重复数据删除产品，一定能够选购到最适合自己的产品，也一定能够让用户的备份环境得到更好的优化。

2. C语言大数据问题

给你提个思路吧，这种大数据都必须用数组来做的。把数字直接定内义成数组，然后将容转换规则写成代码，而不是直接用取余或取整来做。我给你上传一个大数加法的代码，给你些启发吧。想要代码可以先采纳我，然后我给你写一个进制转换的代码。你这分太少，多些我会直接给你写个代码的。

3. 大数据经典算法解析（1）一C4.5算法

姓名：崔升    学号：14020120005

【嵌牛导读】：

C4.5作为一种经典的处理大数据的算法，是我们在学习互联网大数据时不得不去了解的一种常用算法

【嵌牛鼻子】：经典大数据算法之C4.5简单介绍

【嵌牛提问】：C4.5是一种怎么的算法，其决策机制靠什么实现？

【嵌牛正文】：

决策树模型：

决策树是一种通过对特征属性的分类对样本进行分类的树形结构，包括有向边与三类节点：

根节点（root node），表示第一个特征属性，只有出边没有入边；

内部节点（internal node），表示特征属性，有一条入边至少两条出边

叶子节点（leaf node），表示类别，只有一条入边没有出边。

上图给出了（二叉）决策树的示例。决策树具有以下特点：

对于二叉决策树而言，可以看作是if-then规则集合，由决策树的根节点到叶子节点对应于一条分类规则;

分类规则是 互斥并且完备 的，所谓 互斥 即每一条样本记录不会同时匹配上两条分类规则，所谓 完备 即每条样本记录都在决策树中都能匹配上一条规则。

分类的本质是对特征空间的划分，如下图所示，

决策树学习：

决策树学习的本质是从训练数据集中归纳出一组分类规则[2]。但随着分裂属性次序的不同，所得到的决策树也会不同。如何得到一棵决策树既对训练数据有较好的拟合，又对未知数据有很好的预测呢？

首先，我们要解决两个问题：

如何选择较优的特征属性进行分裂？每一次特征属性的分裂，相当于对训练数据集进行再划分，对应于一次决策树的生长。ID3算法定义了目标函数来进行特征选择。

什么时候应该停止分裂？有两种自然情况应该停止分裂，一是该节点对应的所有样本记录均属于同一类别，二是该节点对应的所有样本的特征属性值均相等。但除此之外，是不是还应该其他情况停止分裂呢？

2. 决策树算法

特征选择

特征选择指选择最大化所定义目标函数的特征。下面给出如下三种特征（Gender, Car Type, Customer ID）分裂的例子：

图中有两类类别（C0, C1），C0: 6是对C0类别的计数。直观上，应选择Car Type特征进行分裂，因为其类别的分布概率具有更大的倾斜程度，类别不确定程度更小。

为了衡量类别分布概率的倾斜程度，定义决策树节点tt的不纯度（impurity），其满足：不纯度越小，则类别的分布概率越倾斜；下面给出不纯度的的三种度量：

其中，p(ck|t)p(ck|t)表示对于决策树节点tt类别ckck的概率。这三种不纯度的度量是等价的，在等概率分布是达到最大值。

为了判断分裂前后节点不纯度的变化情况，目标函数定义为信息增益（information gain）：

I(⋅)I(⋅)对应于决策树节点的不纯度，parentparent表示分裂前的父节点，NN表示父节点所包含的样本记录数，aiai表示父节点分裂后的某子节点，N(ai)N(ai)为其计数，nn为分裂后的子节点数。

特别地，ID3算法选取 熵值 作为不纯度I(⋅)I(⋅)的度量，则

cc指父节点对应所有样本记录的类别；AA表示选择的特征属性，即aiai的集合。那么，决策树学习中的信息增益ΔΔ等价于训练数据集中 类与特征的互信息 ，表示由于得知特征AA的信息训练数据集cc不确定性减少的程度。

在特征分裂后，有些子节点的记录数可能偏少，以至于影响分类结果。为了解决这个问题，CART算法提出了只进行特征的二元分裂，即决策树是一棵二叉树；C4.5算法改进分裂目标函数，用信息增益比（information gain ratio）来选择特征：

因而，特征选择的过程等同于计算每个特征的信息增益，选择最大信息增益的特征进行分裂。此即回答前面所提出的第一个问题（选择较优特征）。ID3算法设定一阈值，当最大信息增益小于阈值时，认为没有找到有较优分类能力的特征，没有往下继续分裂的必要。根据最大表决原则，将最多计数的类别作为此叶子节点。即回答前面所提出的第二个问题（停止分裂条件）。

决策树生成：

ID3算法的核心是根据信息增益最大的准则，递归地构造决策树；算法流程如下：

如果节点满足停止分裂条件（所有记录属同一类别 or 最大信息增益小于阈值），将其置为叶子节点；

选择信息增益最大的特征进行分裂；

重复步骤1-2，直至分类完成。

C4.5算法流程与ID3相类似，只不过将信息增益改为 信息增益比 。

3. 决策树剪枝

过拟合

生成的决策树对训练数据会有很好的分类效果，却可能对未知数据的预测不准确，即决策树模型发生过拟合（overfitting）——训练误差（training error）很小、泛化误差（generalization error，亦可看作为test error）较大。下图给出训练误差、测试误差（test error）随决策树节点数的变化情况：

可以观察到，当节点数较小时，训练误差与测试误差均较大，即发生了欠拟合（underfitting）。当节点数较大时，训练误差较小，测试误差却很大，即发生了过拟合。只有当节点数适中是，训练误差居中，测试误差较小；对训练数据有较好的拟合，同时对未知数据有很好的分类准确率。

发生过拟合的根本原因是分类模型过于复杂，可能的原因如下：

训练数据集中有噪音样本点，对训练数据拟合的同时也对噪音进行拟合，从而影响了分类的效果；

决策树的叶子节点中缺乏有分类价值的样本记录，也就是说此叶子节点应被剪掉。

剪枝策略

为了解决过拟合，C4.5通过剪枝以减少模型的复杂度。[2]中提出一种简单剪枝策略，通过极小化决策树的整体损失函数（loss function）或代价函数（cost function）来实现，决策树TT的损失函数为：

其中，C(T)C(T)表示决策树的训练误差，αα为调节参数，|T||T|为模型的复杂度。当模型越复杂时，训练的误差就越小。上述定义的损失正好做了两者之间的权衡。

如果剪枝后损失函数减少了，即说明这是有效剪枝。具体剪枝算法可以由动态规划等来实现。

4. 参考资料

[1] Pang-Ning Tan, Michael Steinbach, Vipin Kumar, Introction to Data Mining .

[2] 李航，《统计学习方法》.

[3] Naren Ramakrishnan, The Top Ten Algorithms in Data Mining.

4. c语言处理文件里的大数据

C语言处理大数据一般有三种处理方法：

1.分段处理，即无论文件多大，程序中使用的永远只是一小段部分，可以使用一个缓冲区，根据用户交互输入，分段的输出；

2.使用内存文件映射，这是最常用的文件的处理方法，Linux和Windows都提供一种内存文件映射的机制，以Windows为例，可以调用 CreateFile、 CreateFileMapping以及 MapViewOfFile三个函数来完成内存文件映射；

3.使用数据库，借助SQL查询语言对大数据进行操作。

5. 有关数据库中庞大数据量查询的问题！

遍历一遍？你是搞c的吧？

晕死，搞数据库的和搞c的果然有一道鸿沟，语言说不到一起去，如果是你要求的目的，其实很简单
首先，索引是必须的，这可以减少大量的查询时间，至于是否重复，各个数据库有不同的语法，这里只说通用写法，而不说个别数据库的专用写法
比如说有一张表users，里面存了所有人的人员信息，其中，姓名，性别，年龄，出身时间几个字段不能完全相同，最简单的方法就是将这几个字段设为唯一索引，好处是如果出现重复会自动停止报错，坏处是如果你有大量操作的话，可能会因为报错，整个作业都停下来
第二种方法，将这几个字段拼起来进行存在性判断，将不存在的插入
比如将user1的数据插入user2，且都有主键user_id，最简单的防止重复手段是
insert into user2 select * from user1 where user_id not in (select user_id from user2)
这种解决办法的写法很多，但是大多数属于专用的，不是所有数据库都能用的，比如 insert into user2 select * from user1 except select * from user2
这是很少有数据库能用的专用语句
当然，这种写法虽然通用，性能不是如何好
第三种是比较特殊的，需要写过很长时间语句的人才能写出来，为什么这么写我很难解释清楚，但是性能提高很多，这里举个例子。
insert into user2
select a.* from user1 a left join user2 b on a.user_id=b.user_id
where b.user_id is null