采样达到什么标准算大数据

⑴ 大数据定义、思维方式及架构模式

大数据定义、思维方式及架构模式
一、大数据何以为大
数据现在是个热点词汇，关于有了大数据，如何发挥大数据的价值，议论纷纷，而笔者以为，似乎这有点搞错了原因与结果，就象关联关系，有A的时候，B与之关联，而有B的时候，A却未必关联，笔者还是从通常的4个V来描述一下我所认为的大数据思维。
1、大数据的量，数据量足够大，达到了统计性意义，才有价值。笔者看过的一个典型的案例就是，例如传统的，收集几千条数据，很难发现血缘关系对遗传病的影响，而一旦达到2万条以上，那么发现这种影响就会非常明显。那么对于我们在收集问题时，是为了发现隐藏的知识去收集数据，还是不管有没有价值地收集，这还是值得商榷的。其实收集数据，对于数据本身，还是可以划分出一些标准，确立出层级，结合需求、目标来收集，当然有人会说，这样的话，将会导致巨大的偏差，例如说丧失了数据的完整性，有一定的主观偏向，但是笔者以为，这样至少可以让收集到的数据的价值相对较高。
2、大数据的种类，也可以说成数据的维度，对于一个对象，采取标签化的方式，进行标记，针对需求进行种类的扩充，和数据的量一样，笔者认为同样是建议根据需求来确立，但是对于标签，有一个通常采取的策略，那就是推荐标签和自定义标签的问题，分类法其实是人类文明的一大创举，采取推荐标签的方式，可以大幅度降低标签的总量，而减少后期的规约工作，数据收集时扩充量、扩充维度，但是在数据进入应用状态时，我们是希望处理的是小数据、少维度，而通过这种推荐、可选择的方式，可以在标准化基础上的自定义，而不是毫无规则的扩展，甚至用户的自定义标签给予一定的限制，这样可以使维度的价值更为显现。
3、关于时效性，现在进入了读秒时代，那么在很短的时间进行问题分析、关联推荐、决策等等，需要的数据量和数据种类相比以前，往往更多，换个说法，因为现在时效性要求高了，所以处理数据的方式变了，以前可能多人处理，多次处理，现在必须变得单人处理、单次处理，那么相应的信息系统、工作方式、甚至企业的组织模式，管理绩效都需要改变，例如笔者曾经工作的企业，上了ERP系统，设计师意见很大，说一个典型案例，以往发一张变更单，发出去工作结束，而上了ERP系统以后，就必须为这张变更单设定物料代码，设置需要查询物料的存储，而这些是以前设计师不管的，又没有为设计师为这些增加的工作支付奖励，甚至因为物料的缺少而导致变更单不能发出，以至于设计师工作没有完成，导致被处罚。但是我们从把工作一次就做完，提升企业的工作效率角度，这样的设计变更与物料集成的方式显然是必须的。那么作为一个工作人员，如何让自己的工作更全面，更完整，避免王府，让整个企业工作更具有时间的竞争力，提高数据的数量、种类、处理能力是必须的。
4、关于大数据价值，一种说法是大数据有大价值，还有一种是相对于以往的结构化数据、少量数据，现在是大数据了，所以大数据的单位价值下降。笔者以为这两种说法都正确，这是一个从总体价值来看，一个从单元数据价值来看的问题。而笔者提出一个新的关于大数据价值的观点，那就是真正发挥大数据的价值的另外一个思路。这个思路就是针对企业的问题，首先要说什么是问题，笔者说的问题不是一般意义上的问题，因为一说问题，大家都以为不好、错误等等，而笔者的问题的定义是指状态与其期望状态的差异，包括三种模式，
1）通常意义的问题，例如失火了，必须立即扑救，其实这是三种模式中最少的一种；
2）希望保持状态，
3）期望的状态，这是比原来的状态高一个层级的。
我们针对问题，提出一系列解决方案，这些解决方案往往有多种，例如员工的培训，例如设备的改进，例如组织的方式的变化，当然解决方案包括信息化手段、大数据手段，我们一样需要权衡大数据的方法是不是一种相对较优的方法，如果是，那么用这种手段去解决，那么也就是有价值了。例如笔者知道的一个案例，一个企业某产品部件偶尔会出现问题，企业经历数次后决定针对设备上了一套工控系统，记录材料的温度，结果又一次出现问题时，进行分析认为，如果工人正常上班操作，不应该有这样的数据记录，而经过与值班工人的质询，值班工人承认其上晚班时睡觉，没有及时处理。再往后，同样的问题再没有再次发生。
总结起来，笔者以为大数据思维的核心还是要落实到价值上，面向问题，收集足够量的数据，足够维度的数据，达到具有统计学意义，也可以满足企业生产、客户需求、甚至竞争的时效要求，而不是一味为了大数据而大数据，这样才是一种务实、有效的正确思维方式，是一线大数据的有效的项目推进方式，在这样的思维模式基础上，采取滚雪球方式，把大数据逐步展开，才真正赢来大数据百花齐放的春天。
二、大数据思维方式
大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：
1）人们处理的数据从样本数据变成全部数据；
2）由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；
3）人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。
事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。
1、总体思维
社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。
正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。
在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。
2、容错思维
在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。
舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。
3、相关思维
在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。
通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。
4、智能思维
不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。
但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。
“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。
舍恩伯格指出，“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发”。
大数据时代将带来深刻的思维转变，大数据不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况，使得国家和社会治理更加透明、有效和智慧。

⑵ 什么是大数据，大数据的核心价值是什么

大数据(BigData)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

• 数据体量巨大(Volume)。截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。

• 数据类型繁多(Variety)。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

• 价值密度低(Value)。价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

• 处理速度快(Velocity)。大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。

-------------------------------------------

社交网络，让我们越来越多地从数据中观察到人类社会的复杂行为模式。社交网络，为大数据提供了信息汇集、分析的第一手资料。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味”的产品和服务，并结合用户需求有针对性地调整和优化自身，就是大数据的价值。

所以，建立在上述的概念上我们可以看到大数据的产业变化：

1大数据飞轮效应所带来的产业融合和新产业驱动

2信息获取方式的完全变化带来的新式信息聚合

3信息推送方式的完全变化带来的新式信息推广

4精准营销

5第三方支付——小微信贷，线上众筹为代表的互联网金融带来的全面互联网金融改革

6产业垂直整合趋势以及随之带来的产业生态重构

7企业改革以及企业内部价值链重塑，扩大的产业外部边界

8政府及各级机构开放，透明化，以及随之带来的集中管控和内部机制调整

9数据创新带来的新服务

⑶ 大数据的特点有哪些

根据《大数据时代》大数据的特点主要分为以下四点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）
一、Volume（大量）
大数据的特征其实是我们现在理解的海量数据。“大数据”在互联网行业是必备项：互联网公司在日常运营中生成、累积的用户网络行为的数据。比如社交电商平台每天的产生订单， 各个短视频、论坛、社区发布的帖子、评论及小视频， 每天发送的电子邮件， 以及上传的图片、视频与音乐，等等， 这些无数个体产生的数据规模很庞大，数据体量早已达到了PB级别以上，大数据的大量就是我们说的海量数据。
二、Velocity（高速）
随着网络传输速率不断攀升，从传统的百兆到千兆万兆网络，移动网络也已经逐步升级到了5G时代，数据的产生和传输都越来越高速。所以客户越来越强调实时反馈，就是无论是在线看电影还是在线直播、刷视频都要求低延时，对于传输、存储、播放都要求高度，人们和企业都越来越依赖互联网，网上的实时交易、在线培训、社交等都与每个人息息相关，云计算平台大数据平台担负着高质量的服务功能，运营方还是服务商对于海量数据，谁能提供更快的速度，谁就能获得更多的用户和订单！
三、Variety（多样）
数据多样性其种类包括文字、图片、视频、语音、地图定位信息、网络日志信息等等，正是多样化的数据形式决定了大数据的更高价值。对于数据挖掘和数据资产越来越受到企业的重视，多类型的数据对数据的存储和处理能斗做力都提出了更高的要求。目前应用最广泛的就是智能推荐系统，如今日头条，网络、抖音等，这些平台都会通过对用户的行为进行分析，从而智能地推荐用户喜欢的内容页面。
四、Value（低价值密度）
随着物联网的广泛应用，往往人们需要从仿销脊海量的数据中提取相关联的有用的信息，所以对于大数据的机器学习深度学习算法可以发挥巨大作用。大数据最大的价值备渗在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识。

⑷ 大数据的特征是什么

1、容量（）：数据的大小决定所考虑的数据的价值和潜在的信息；

2、种类（Variety）：数据类型的多样性；

3、速度（Velocity）：指获得数据的速度；

4、可变性（Variability）：妨碍了处理和有效地管理数据的过程。

5、真实性（Veracity）：数据的质量。

6、复杂性（Complexity）：数据量巨大，来源多渠道。

7、价值（value）：合理运用大数据，以低成本创造高价值。

(4)采样达到什么标准算大数据扩展阅读：

大数据的精髓：

大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。

A、不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制)；

B、不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度；

之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱；拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力；

C、不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

⑸ 《大数据时代》01 什么是大数据

今天我们第一本解读的是《大数据时代》这本书。

大数据是这几年特别火的一个词，那究竟什么是大数据呢？

字面意思可以理解为大数据就是数量巨大的数据，而这些巨大的数据再结合云计算、人工智能、物联网等技术会对于我们的生活、工作都会带来翻天覆地的影响。

芝加哥大学商学院教授、麦肯锡公司创始人，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

而我们今天所讲的这本《大数据时代》是国外大数据研究的先河之作，本书作者舍恩伯格被誉为“大数据商业应用第一人”。舍恩伯格在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。对于身处于大数据时代额我们可谓是会产生异常极大的思维方式的变革。

舍恩伯格最具洞见之处在于，他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。

下面我们就进入到《大数据时代》这本书中去吧。

首先来看第一个话题大数据的思维变革

大数据与三个重大的思维变革有关，而这三个转变是相互作用的。

一.不是随机样本，而是全体数据

解释一下就是分析事物相关的所有数据，而不是仅仅依靠分析少量的数据样本。

二是不是精确性，而是混杂性

就是要接受数据的纷繁复杂，而不再追求准确性。

三是不是因果关系，而是相关关系

即不再追求难以摸索的因果关系，转而关注事物的相关关系。

这三个在大数据时代思维变革的转变我们会在接下来节目中一一讲解。

今天我们这一节先讲解：不是随机样本，而是全体样本，这一思维的变革。

小数据时代的随机抽样

为什么这么说呢？在我们过去技术并不发达的时候，只能用少量数据来进行随机采样是最高效的方式，即利用最少的数据来获取更多的信息。

在19世纪时美国的人口普查中，因为数据的变化超过了当时的人口普查统计分析能力，有人提出到数据无比庞大时可以进行有目的的选择，具有选出代表性的样本是最恰当的方式，这就是随机抽样。并且还非常有见解的提出：采样分析的精确性是随着采样随机性的增加而大幅的提高与样本的数量增加关系并不大，也就是说，随机采样样本的随机性比数量的多少更为重要。

而在当时，政府确实也采用了随机调查的方式来对于经济和人口进行了200多次小规模的调查，除此之外，在商业领域也会采用随机调查的方式来抽取部分商品来检查商品的质量安全。

随机抽样取得了巨大的成功，成为了现代社会，现代测量领域的主心骨，但这只是一条捷径，是不可能收集和分析全部数据情况下的选择，他本身就有很多的缺陷。

随机抽样的缺陷

第一，它的成功依赖于采样的绝对随机性，但在实现中绝对的随机性是非常困难，一旦分析过程中存在任何“偏见”，分析结果就会相去甚远。

第二，随机采样不适宜用于考察此类别的情况，也就是说随机抽样，一旦继续细分错误率会大大增加，比如说你想调查大学生玩手机的情况，您采取的调查结果可能会有3%的误差，但如果又把这个调查结果根据性别地域、收入来进行细分，那结果就会变得更为不准确。

因此当人们想要了解更深层次的细分领域的情况，采用随机采样的方法显然是不可取的，在宏观领域起作用的方法，在微观领域上失去了作用，随机采样就像是模拟照片，打印再远看会是非常不错，但是一旦聚焦在某个点，就会变得模糊不清。

全部数据的采样方式

现在我们正在步入了大数据时代，我们需要一中新的数据采集模式----全数据模式，即样本等于总体。

我们这个时代收集数据，并不像过去那样困难，手机导航、社交网站、微博、微信这些随时随地或主动或被动的收集你所产生的信息，并且通过计算机就可以轻而易举地完成数据处理。

采取全部数据的采样方式，可以不用考虑随机抽样所考虑的随机性，并且在细分领域也会发挥极大的作用，一个很好的例子，就是日本国民体育运动相扑之中所产生的非法操控比赛结果。

相扑比赛和其他比赛有所不同的就是选手需要在15场比赛之中的大部分场次获得胜利，才能保持排名和收入。这样一来就会出现收益不对称的情况，比如说一个7胜7负的选手，遇到一个8胜6负的选手，比赛结果对于第一个选手会比对第二个选手更为重要。列维特和达根发现在这种情况下，需要赢的那个选手，最可能会赢，这是为什么呢？有没有可能是选手的求胜心呢？当然有可能，但并不是完全！有数据显示需要赢的选手，求胜心，也只能把胜率增加25%。并且对于数据进一步分析发现，选手如果帮助上一次失利的一方的话，当他们再次相遇时，对方会回报回来。

这种情况在相扑界是显而易见的，但若是随机抽样就无法发现这个情况。而大数据通过分析所有比赛，用极大的数据来捕捉到这个情况。

还有关于大数据应用的例子是：2009年，谷歌公司将5000万条美国最频繁的检索词条和美国疾控中心在2003年至2008年季节性流感传播实际数据进行比较，成功预测了甲型H1N1流感的出现。

现在2021年，利用大数据来预测新冠肺炎的发展情况，已经成为我们日常新闻报道的一部分了。

在大数据时代的到来，让我们可以利用技术，从不同角度更细致的观察和研究数据的方方面面，使我们的调查更为精准。

回顾一下我们这一节所讲的过去的调查是采用小部分的数据来进行抽样调查，这一方法有显著的缺点

首先是抽样分析依赖于采样的随机性，而一旦数据出现”偏见“，结果便会大相径庭

第二抽样分析也只适用于宏观分析，对于更加微观的调查结果并不理想。

如今的技术环境已经有了很大的改善,在大数据时代进行抽样分析就是在汽车时代骑马一样，我们要分析与事物相关的而所有数据，而不仅仅是少量的数据。

以上就是我们本期全部内容，下一期我会讲到大数据时代下思维变革的后两个思维变革。

我的节目首发平台是公众号“悦读深入思考”关注还有更多内容