大数据数据噪声真实性代表性

1. 大数据的特点包括

大数据具有4V特点，即Volume(大量)、Velocity(高速)、Variety(多样)和Veracity(精确)，其核心在于对这些含有专意义的数据进属行专业化处理。比如微码邓白氏通过数据分析发现采购A产品的用户80%也会要同时采购B产品，而采购周期大约是3个月，这样就可以每三个月来向采购A产品的客户推送一次信息，推送的时候除了A产品的信息也同时推送B的信息。

2. 大数据的五个典型特性

大数据的5V 特性包括：Volume（大量），Velocity（高速），Variety（多样），Value（低价值密度），Veracity（真实）。

3. 为什么要进行数据挖掘

问题一：为什么要进行数据挖掘和搜集客户信息 数据挖掘技术在客户关系管理中的典型应用
客户获取
客户获取的传统方式一般是通过大量的媒体广告、散发传单等方式吸引新客户。这种方式涉及面过广不能做到有的放矢而且企业投入太大。数据挖掘技术可以从以往的市场活动中收集到的有用数据(主要是指潜在客户反应模式分类)建立起数据挖掘模型。企业因此能够了解真正的潜在客户的特征分类，从而在以芦毁弯后的市场活动中做到有的放矢而不是传统的凭经验的猜想。
客户细分
细分就是指将一个大的消费群体划分成为一个个细分群体的动作，同属一个细分群体的消费者彼此相似，而隶属于不同细分群体的消费者是被视为不同的。比如将数据库中的数据按照年龄的不同来组织存放这样一个简单的动作就是细分。细分可以让用户从比较高的层次上来观察数据库中的数据，细分可以让人们用不同的方法对待处于不同细分群中的客户。数据挖掘中的分类、聚类等技术可以让用户对数据库中的数据按类别、年龄、职业、地址、喜好等企业感兴趣的属性进行客户细分。客户细分是企业确定产品和服务的基础．也是建立客户一对一营销的基础。
客户赢利能力分析
就企业的客户而言，企业的绝大部分利润是来自于小部分的客户，而对于企业来说很难确定哪些客户是高利润回报，哪些客户是低利润回报甚至是负利润回报的。数据挖掘技术能帮助企业区分利润回报不同的客户。从而可以将资源更多的分配在高利润回报的客户身上以产生更大的利润，同时减少低或负利润回报客户的投入。为此，在数据挖掘之前，企业应该建立一套计算利润回报的优化目标方法。可以是简单的计算，如某客户身上产生的收入减去所有相应的支陪闷出，也可以是较复杂的公式。然后利用数据挖掘工具从交易记录中挖掘相应的知识。
客户的保持
随着行业中竞争愈来愈激烈，人们普遍认识到获得一个新客户的开支比保持一个老客户的开支要大得多。所以如何保持原来老的客户，不让他们流失就成为CRM的一个重要课题。在实际应用中，利用数据挖掘工具为已经流失的客户建立模型，然后利用这些模型可以预测出现有客户中将来可能流失的客户，企业就能研究这些客户的需求，并采取相应的措施防止其流失，从而达到保持客户的目的。

问题二：数据挖掘为什么要对数据进行分类 不太明白您说的分类是什么意思？是在数据预处理阶段，还是挖掘的目的？
如果在数据预处理阶段，可能是只对某个领域的数据进行挖掘，从而可以得出更置信的结论；
如果是挖掘目的，也就是模型的输出，这就比较好理解了。

问题三：数据挖掘具体要做什么？ 数据挖掘是一个很大的方面。你会java，这个很好。可以从weka 这个工具学起来，他是一个java写的工具包。对于一个具体问题，比如，怎么获取测试数据，对于数据怎么预处理，这些weka都有直接的接口。
至于你说的建模，不是一句话可以说清楚，首先你肯定要调查这个领域做得比较好的有哪些方法，然后从中至少选取几种方法，都要实现，做统计，归纳结果，选择符合你数据集的。当然你的数据 *** 一定要有代表性余空，就是国际认可的，至于怎么罚到这些数据，一般都是比较出名的论文引用的，这些就很可以。用的工具当然有很多，你不能局限于一种方式或者一种工具，不同情况下用不同的工具，根据实际需要选择。比如你要做聚类，你选择一个weka，做神经元，你可能会倾向于matlab，实际情况决定你选择的工具。
流程方面：数据获取------数据预处理-----完成预定的任务 这是一个大概的流程。这一套都可以用weka实现。对于数据挖掘而言，都是80%数据+20%算法，数据很重要，算法其实只是一个测试数据集的作用，这是一点看法，希望对你有帮助。

问题四：在数据挖掘之前为什么要对原始数据进行预处理 数据中包含很多噪声数据，需要去除不相关的数据，比如如分析无关的字段
了解数据质量，有些数据质量不足以直接使用，如包含过多的缺失值，需要进行缺失值处理
数据字段不能够直接使用，需要派生新的字段，以更好的进行进一步的数据挖掘
数据分散，需要将数据进行整合，例如追加表（增加行），或者合并表（增加列）
通过数据的预处理能够很好的对数据有初步的认识和理解。
数据预处理推荐你一个数据挖掘软件：SmartMining桌面版，它和SPSS modeler 一样都是面板操作，预处理能力和计算能力都非常不错

问题五：为什么要进行数据采样？ 作为一个快速发展的领域，数据挖掘的目的是从数据中抽取有效的模式或者是有用的规则。数据挖掘的任务一般分为关联规则、分类及聚类。这些任务通常涉及到大量的数据集，在这些数据集中隐藏着有用的知识。称一个数据集是大的，数据集要么有大量的记录，要么有大量的属性，或者是两者的组合。具有大量的记录将使与模型匹配所花费的时间变长，而具有大量的属性将使模型占用的空间变大。大数据集对数据挖掘的算法来说是一个主要的障碍，在算法进行模式搜索及模型匹配的过程中，经常需要在数据集上遍历多遍，而将所有的数据集装入物理内存又非常困难。当数据集越来越大时，数据挖掘领域有面临着开发适合大数据集的算法，因此，一个简单有效的方法就是利用采样来缩减数据的大小(即记录的数量)，即取一个大数据集的一个子集。在数据挖掘的应用中，存在两种方法进行采样:一种方法是某些数据挖掘算法在算法执行过程中并不是使用数据集中的所有数据:另一种方法是在部分数据上运行算法的结果与在整个数据集上得到的结果是相同的。这与在数据挖掘中使用的两种采样基本方法是不谋而合的。一种方法是将采样嵌入到数据挖掘的算法中;而另一种方法是采样与数据挖掘算法分别运行。但是，利用采样可能带来一个问题:在小概率的情况下其结果不准确，而在大概率的情况下其结果的相似性是非常好的.。其原因是，运行在整个数据集的子集上可能破坏了属性间的内在相关性，这种相关性在高维数据问题中是非常复杂而且难以理解的。

问题六：数据挖掘为什么要用java或python 主要是方便，python的第三方模块很丰富，而且语法非常简练，自由度很高，python的numpy、scipy、matplotlib模块可以完成所有的spss的功能，而且可以根据自己的需要按照定制的方法对数据进行清洗、归约，需要的情况下还可以跟sql进行连接，做机器学习，很多时候数据是从互联网上用网络爬虫收集的，python有urllib模块，可以很简单的完成这个工作，有些时候爬虫收集数据还要对付某些网站的验证码，python有PIL模块，可以方便的进行识别，如果需要做神经网络、遗传算法，scipy也可以完成这个工作，还有决策树就用if-then这样的代码，做聚类不能局限于某几种聚类，可能要根据实际情况进行调整，k-means聚类、DBSCAN聚类，有时候可能还要综合两种聚类方法对大规模数据进行聚类分析，这些都需要自行编码来完成，此外，基于距离的分类方法，有很多距离表达方式可以选用，比如欧几里得距离、余弦距离、闵可夫斯基距离、城市块距离，虽然并不复杂， 但是用python编程实现很方便，基于内容的分类方法，python有强大的nltk自然语言处理模块，对语言词组进行切分、收集、分类、统计等。
综上，就是非常非常方便，只要你对python足够了解，你发现你可以仅仅使用这一个工具快速实现你的所有想法

问题七：数据分析和数据挖掘的深入学习为什么重要 1、大数据（big data）：
指无法在可承受的时间范围内用常规工具进行捕捉、管理和处理的数据 *** ，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；
在维克托・迈尔-舍恩伯格及肯尼斯・库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性） 。
2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
3、数据挖掘（英语：Data mining）：
又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

问题八：数据分析和数据挖掘的区别是什么？如何做好数据挖掘 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断：
1、大数据（big data）：
指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据 *** ，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；
在维克托・迈尔-舍恩伯格及肯尼斯・库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性） 。
2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
3、数据挖掘（英语：Data mining）：
又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

问题九：在crm过程中为什么要进行数据挖掘 挖掘大数据，进行分析，这样才能发挥crm的作用，做好客户关系管理。

4. 大数据的特征有哪些

Volume:数据量巨大。
体量大是大数据区分于传统数据最显著的特征。 一般关系型数据库处理的数据量在TB级，大数据所处理的数据量通常在PB级以上。
Variety:数据类型多。
大数据所处理的计算机数据类型早已不是单一的文本形式或者结构化数据库中的表，它包括订单、日志、BLOG、微博、音频、视频等各种复杂结构的数据。
Velocity:数据流动快。
速度是大数据区分于传统数据的重要特征。 在海量数据面前，需要实时分析获取需要的信息，处理数据的效率就是组织的生命。

5. 大数据的特征是

一，大容量
据马海祥了解，天文学和基因学是最早产生大数据变革的领域，2000年，斯隆数字巡天项目启动时，位于新墨西哥州的望远镜，在短短几周内搜集到的数据已经比天文学历史上总共搜集的数据还要多；在智利的大型视场全景巡天望远镜一旦于2016年投入使用，其在5天之内搜集到的信息量将相当于前者10年的信息档案。
二，多样性
随着传感器、智能设备以及社交协作技术的飞速发展，组织中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括点击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。

四，真实性
1.数据的重要性就在于对决策的支持，数据的规模并不能决定其能否为决策提供帮助，数据的真实性和质量才是获得真知和思路最重要的因素，是制定成功决策最坚实的基础。
2.大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

6. 什么是大数据大数据有哪些特点、意义和缺陷

大数据（big data），是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据的特点：
1、容量（Volume）：数据的大小决定所考虑的数据的价值的和潜在的信息；
2、种类（Variety）：数据类型的多样性；
3、速度（Velocity）：指获得数据的速度；
4、可变性（Variability）：妨碍了处理和有效地管理数据的过程。
5、真实性（Veracity）：数据的质量
6、复杂性（Complexity）：数据量巨大，来源多渠道
大数据的意义：
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。
大数据的缺陷：
不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。” 这确实是需要警惕的。

7. 何谓大数据大数据的特点,意义和缺陷.

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据，更多的功能是分析过去，提醒现在，展望未来。广泛应用于商业领域，借以实现精准营销，预测趋势，实现商业利益的最优与最大。体现的价值为：

（1）利用大数据针对大量消费者的消费习惯，精准提供产品或服务；

（2）利用大数据做服务转型，做小而美模式；

（3）不能充分利用大数据价值的企业，将会在互联网压力之下摇摇欲坠。

国家通过结合大数据和高性能的分析，是指效率更加提高，同时也能降低国家运行成本。如：

（1）为成千上万的车辆规划实时交通路线，躲避拥堵；

（2）及时解析问题和缺陷的根源，是制度更加完善。

（3）使用点击流分析和数据挖掘来规避欺诈行为。

大数据的缺陷：

企业遭到黑客攻击，客户的资料大量非法流出，再利用大数据分析挖掘，人群进行分类排除，从而让人更容易受骗。

(7)大数据数据噪声真实性代表性扩展阅读：

2016年3月17日，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布，其中第二十七章“实施国家大数据战略”提出：把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。

具体包括：加快政府数据开放共享、促进大数据产业健康发展。

8. 大数据的获取特点有哪些，其4v特征分别是什么

大数据的特点：
海量性、多样性、高速性、易变性。
详细来说：
1、容量（Volume）：数据的大小决定所考虑的数据的价值的和潜在的信息；
2、种类（Variety）：数据类型的多样性；
3、速度（Velocity）：指获得数据的速度；
4、可变性（Variability）：妨碍了处理和有效地管理数据的过程。
5、真实性（Veracity）：数据的质量
6、复杂性（Complexity）：数据量巨大，来源多渠道
大数据三大特征
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等多类型的数据对数据的处理能力提出了更高的要求 。
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
第三个特征是处理速度快、时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

大数据的意义：
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。
大数据的缺陷：
不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。” 这确实是需要警惕的。
其4v特征分别是：
Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

9. 大数据特征包括哪些

大量，高速，多样，价值

10. 大数据的特点主要包括哪些

1.数据量大 大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 2.类型繁多 包括网络日志、音频、视频、图片、地理位置信息等等