1. 大数据定义、思维方式及架构模式
大数据定义、思维方式及架构模式
一、大数据何以为大
数据现在是个热点词汇，关于有了大数据，如何发挥大数据的价值，议论纷纷，而笔者以为，似乎这有点搞错了原因与结果，就象关联关系，有A的时候，B与之关联，而有B的时候，A却未必关联，笔者还是从通常的4个V来描述一下我所认为的大数据思维。
1、大数据的量，数据量足够大，达到了统计性意义，才有价值。笔者看过的一个典型的案例就是，例如传统的，收集几千条数据，很难发现血缘关系对遗传病的影响，而一旦达到2万条以上，那么发现这种影响就会非常明显。那么对于我们在收集问题时，是为了发现隐藏的知识去收集数据，还是不管有没有价值地收集，这还是值得商榷的。其实收集数据，对于数据本身，还是可以划分出一些标准，确立出层级，结合需求、目标来收集，当然有人会说，这样的话，将会导致巨大的偏差，例如说丧失了数据的完整性，有一定的主观偏向，但是笔者以为，这样至少可以让收集到的数据的价值相对较高。
2、大数据的种类，也可以说成数据的维度，对于一个对象，采取标签化的方式，进行标记，针对需求进行种类的扩充，和数据的量一样，笔者认为同样是建议根据需求来确立，但是对于标签，有一个通常采取的策略，那就是推荐标签和自定义标签的问题，分类法其实是人类文明的一大创举，采取推荐标签的方式，可以大幅度降低标签的总量，而减少后期的规约工作，数据收集时扩充量、扩充维度，但是在数据进入应用状态时，我们是希望处理的是小数据、少维度，而通过这种推荐、可选择的方式，可以在标准化基础上的自定义，而不是毫无规则的扩展，甚至用户的自定义标签给予一定的限制，这样可以使维度的价值更为显现。
3、关于时效性，现在进入了读秒时代，那么在很短的时间进行问题分析、关联推荐、决策等等，需要的数据量和数据种类相比以前，往往更多，换个说法，因为现在时效性要求高了，所以处理数据的方式变了，以前可能多人处理，多次处理，现在必须变得单人处理、单次处理，那么相应的信息系统、工作方式、甚至企业的组织模式，管理绩效都需要改变，例如笔者曾经工作的企业，上了ERP系统，设计师意见很大，说一个典型案例，以往发一张变更单，发出去工作结束，而上了ERP系统以后，就必须为这张变更单设定物料代码，设置需要查询物料的存储，而这些是以前设计师不管的，又没有为设计师为这些增加的工作支付奖励，甚至因为物料的缺少而导致变更单不能发出，以至于设计师工作没有完成，导致被处罚。但是我们从把工作一次就做完，提升企业的工作效率角度，这样的设计变更与物料集成的方式显然是必须的。那么作为一个工作人员，如何让自己的工作更全面，更完整，避免王府，让整个企业工作更具有时间的竞争力，提高数据的数量、种类、处理能力是必须的。
4、关于大数据价值，一种说法是大数据有大价值，还有一种是相对于以往的结构化数据、少量数据，现在是大数据了，所以大数据的单位价值下降。笔者以为这两种说法都正确，这是一个从总体价值来看，一个从单元数据价值来看的问题。而笔者提出一个新的关于大数据价值的观点，那就是真正发挥大数据的价值的另外一个思路。这个思路就是针对企业的问题，首先要说什么是问题，笔者说的问题不是一般意义上的问题，因为一说问题，大家都以为不好、错误等等，而笔者的问题的定义是指状态与其期望状态的差异，包括三种模式，
1）通常意义的问题，例如失火了，必须立即扑救，其实这是三种模式中最少的一种；
2）希望保持状态，
3）期望的状态，这是比原来的状态高一个层级的。
我们针对问题，提出一系列解决方案，这些解决方案往往有多种，例如员工的培训，例如设备的改进，例如组织的方式的变化，当然解决方案包括信息化手段、大数据手段，我们一样需要权衡大数据的方法是不是一种相对较优的方法，如果是，那么用这种手段去解决，那么也就是有价值了。例如笔者知道的一个案例，一个企业某产品部件偶尔会出现问题，企业经历数次后决定针对设备上了一套工控系统，记录材料的温度，结果又一次出现问题时，进行分析认为，如果工人正常上班操作，不应该有这样的数据记录，而经过与值班工人的质询，值班工人承认其上晚班时睡觉，没有及时处理。再往后，同样的问题再没有再次发生。
总结起来，笔者以为大数据思维的核心还是要落实到价值上，面向问题，收集足够量的数据，足够维度的数据，达到具有统计学意义，也可以满足企业生产、客户需求、甚至竞争的时效要求，而不是一味为了大数据而大数据，这样才是一种务实、有效的正确思维方式，是一线大数据的有效的项目推进方式，在这样的思维模式基础上，采取滚雪球方式，把大数据逐步展开，才真正赢来大数据百花齐放的春天。
二、大数据思维方式
大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：
1）人们处理的数据从样本数据变成全部数据；
2）由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；
3）人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。
事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。
1、总体思维
社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。
正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。
在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。
2、容错思维
在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。
舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。
3、相关思维
在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。
通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。
4、智能思维
不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。
但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。
“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。
舍恩伯格指出，“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发”。
大数据时代将带来深刻的思维转变，大数据不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况，使得国家和社会治理更加透明、有效和智慧。
2. 感觉大数据分析的春天到了 厦门做数据分析的也很多了 可是自己想学习
大数据不是银弹，而是蚂蚁效应
大数据应用常见，多见于推荐系统，业务流程优化，医疗，性能优化，预测，金融交易等，这些业务在传统的做法上，已经十分依赖于数据了，虽然以前不叫大数据，但是也都是数据驱动的业务。数据的规模和种类增多，处理方法的增多，会渐渐提高这些应用的精准性，这种提高一定是渐渐的，一点一滴的。也许一天两天感觉不错来的，但是经过多年的持续改进，这种效果是显而易见的。
3. 大数据时代:小企业是否也有春天
大数据时代:小企业是否也有春天
说到大数据的应用，先来看这么一则带着笑话性质的案例吧：某超市通过分析一位女顾客的购物数据（包括购物清单、浏览物品、咨询信息、视频监控信息<超市内徘徊区域>等），根据分析结果给该女顾客寄来了孕婴童试用品，这一举动让该女顾客的父亲非常生气，立马致电该超市投诉，因为她女儿还未成年！超市经理立马登门拜访道歉，不过事实是，不久后这位小女孩因遮盖不住隆起的腹部而不得不向父亲告知真相：她真的怀孕了。
对于企业而言，大数据有时候像是一个侦探家，能够拨开重重迷雾，找到问题的本质以及解决方案，而关键在于，你是否真的懂得如何去驾驭它，让它为你服务。
在平日里，我们看到的大部分是像亚马逊这样规模的商业巨鳄是如何应用大数据制定商业战略的案例。那么，大数据对中小企业来说就没有意义了吗？中小企业是如何应用大数据的呢？
雨果网从英国广播公司（BBC）发表的文章中获悉：微软的新领导人萨提亚?纳德拉称，在未来四年左右，对大公司来说，“数据红利”所产生的价值将达到1.6万亿美元。那么，对于小公司来说又如何呢？是不是这些大数据只对大公司发挥作用呢？
许多专家认为，大数据以及数据分析工具不仅对大公司有所助益，同时也可以帮助小公司快速成长，甚至走向全世界。各种数据可以转变成通俗易懂的有效工具，帮助小企业捕获商机。
Dave Bailey是Mediatonic数字游戏公司的总裁，其公司的游戏业务增长得很快。他说：“大数据对于我们公司来说是至关重要的，对其他中小企业来说也很重要。大数据可以为我们提供指引，让我们制定出更为精确的发展战略。”
Mediatonic公司经营数字游戏业务，游戏玩家们的账号里产生了巨量的用户数据，比如用户何时、何地上网玩游戏，玩了多长时间，他们喜欢玩哪一部分游戏，更难一些的还是更容易一些的，等等。
Dave Bailey说：“理解游戏玩家的行为习惯，对我们这个行业来说至关重要。因为现在的游戏往往是免费下载的，而游戏公司的收入大部分产生于玩家在游戏过程中的购买行为。因此我们必须了解玩家的兴趣、爱好、习惯，这样的话才能投其所好，并获得收入。”
“我们可以在同一时间里，在不同地域测试不同版本的游戏，然后根据玩家的反应以及由此形成实时数据对游戏做出调整。如今我们完全可以通过数据来了解每一个游戏玩家的习惯和其他资料了。”他补充道：“对于一个小公司来说，储存大量数据的成本是非常低廉的，而这些数据的用处非常大。”
另外一个例子发生在法国的在线广告公司Criteo身上。借助于数据分析工具，该公司的业务规模增长迅猛。
Criteo公司通过跟踪顾客的网络浏览记录，知悉其浏览习惯，最后制作出个性化广告，以吸引不同群体的兴趣。如果用户所浏览的内容发生了变化，广告内容可以实时地做出变化，因此一个用户可以看到不同的广告内容。
Criteo公司使用MongoDB作为主要的数据库，目前每天有25亿个banner广告，同时为全球范围内5000多个广告主服务。为此，它每天必须额外储存20兆兆字节（terabytes）的数据。
数据分析公司 FICO的首席数据分析主管Andrew Jennings称，对于一个单独的企业来说，它往往无法直接使用大数据并让其发挥作用，但是它可以通过大数据分析工具获取有用的数据服务，参考这些数据并作出决策的行为就如同我们看地图或者天气预报一样。
APP开发平台Continuuity.com的CEO Jonathan Gray称：“如今手机APP盛行于世，许多企业可以借助于手机获得数据，并由此受益。我们通过Hadoop等数据管理系统帮助APP开发者建造和完善APP，使他们可以获取并分析实时的数据流。”
在具体的商业实践中，利用大数据的例子举不胜举。比如一个出售雨伞的商店或者一个经营户外烧烤的商店，往往会关注天气预报数据，同时也会在社交媒体里观察顾客的消费情绪，此外也可能使用智能手机跟踪系统来对顾客进行定位。商家通过这些方式收集各类有效数据，并据此作出一系列的商业决策，比如储存多少货物，如何进行商业促销，等等。
毫无疑问，很多小型企业无法像亚马逊那样便利地获得同店顾客数据，但是如今出现了很多免费的公共数据，这些数据也能在商家进行决策时发挥重要作用。
另外一个例子就是出租车公司利用火车延迟和交通忙闲的数据，制定出租车经营计划，决定什么时候集中派遣车辆或者如何部署车辆。
数据分析专家 Jed Mole称，一个初出茅庐的公司手头上掌握的客户数据非常有限，但是与大数据接轨依然是非常重要的事。他说：“我们生活在一个数据时代，任何规模的公司都不能忽略数据。我认为，大数据可以帮助一个小公司成长一个大公司。”
“任何公司，无论其规模大小，都会跟踪顾客数据和售后数据，根据这些有效数据信息，它们可以对顾客的行为作出快速反应并可以将有效信息推送给顾客。”
如今，数据分析市场一派生机勃勃的景象，各种各样的数据服务公司如雨后春笋地涌现，比如有些公司提供APP数据分析，也有些公司收集原始数据后进行分析，并生成具体的商业信息，然后为顾客提供切实可行的具体商业方案。
此外，社交媒体显然也是小企业获得大数据的一个重要来源，它不仅是一个交流工具，同时也是获得市场信息的重要渠道。Datasift、mBlast 、SecondSync等数据分析公司就专注于将社交媒体的数据转换为有用的商业信息，以供大大小小的公司在制定商业决策时使用。
以上是小编为大家分享的关于大数据时代:小企业是否也有春天的相关内容，更多信息可以关注环球青藤分享更多干货