导航:首页 > 数据分析 > 儒家如何看待大数据

儒家如何看待大数据

发布时间:2024-01-26 03:07:26

Ⅰ 为什么说统计科学/数据科学是文化怎么理解统计大数据文化

中国统计学以及自然科学、社会科学的兴衰,与儒家学说关系是至为密切的。
统计科学数据科学和统计大数据历史渊源长与中国的传统文化密不可分,至此我们可将其认定为一种文化。
大数据产生的背景随着科学技术的进步与发展,网络时代的开始,信息化也在加速发展,高度信息化已经成为21世纪人类社会的重要特点之一。社会的高度信息化,数据量的产生也正在爆发式增长,海量的数据充斥在我们的生活、工作中,大数据也随之诞生并快速的发展。大数据在我们的日常生活和工作中逐渐变得流行起来,云计算、社交网络、物联网等都要和大数据挂钩,不断的使我们的生活、工作以及思维发生着大变革。大数据引起了人们的热切关注,成为一个热门话题,也成为世界各国、各个行业的关注话题。2大数据相关概念2.1大数据的定义维基网络的定义:大数据Bigdata,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的东西。互联网数据中心的定义:满足4V[种类(Variety),流量(Velocity),容量(Volume),价值(Value)],即种类多,流量大,容量大,价值高的数据成为大数据。麦肯锡的定义:大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。该定义有两个方面的内涵:一是符合大数据标准的数据集大小是变化的,会随着时间推移、技术进步而增长;二是不同部门符合大数据标准的数据集。

Ⅱ 智能时代读后感:浅谈机械思维与大数据思维

花了大概2天的时间把吴军老师的《智能时代》过了一遍,干货很多,收获也挺多的,我认为最重要的是第三章关于思维的革命,整理思考下作为一篇文章分享给大家。

记得还是高中的哲学课,学过关于机械思维的一些内容,具体记得不是太清楚了,只记得是呆板的,像机械一样不懂变通的思维方式。看了吴军老师的书才知道机械思维曾经也是一种很先进的思维方式,包括牛顿的关于运动学的三大定律,包括爱因斯坦的相对论,可能说都是机械思维的结果,是不是又点突破三观。

机械思维的很大程度是从古希腊发源的,欧洲只所以能够在科学上领先,在于古希腊建立起来的思辨思想和逻辑推理能力,而我们中国除了在春秋时候的百家争鸣有过相关的思维方式,后面主要思想被儒家和道家文化做主导,儒家思想讲究中庸,中不偏,庸不易,说话做事讲究中和,讲究平衡,讲究以人为本,而思辨却是一种极端的思考方式,讲追求至理;道家思想追求道法自然,天人合一,讲究阴阳平衡,阴平阳秘;追求的道是道可道,非常道,名可名非常名,意思是常道是不可用言语来表达的,总结来说在我看来,我们中国先人很早就发现世界是很复杂的,儒家是从仁的角度,更关心人,道更关心的人天的和谐,以天地为师,法天,法地,法自然。

吴老师关于机械思维在书中概况如下:

在我看来,大部分人可能都是这样的思维模式吧,还有种压根没有什么思维模式,就是盲目瞎干,这样还不如机械思维来的好。机械思维核心思想可概况为认为世界是可以完全认识的,是由一定规律的,世间万物存在着一定的因果关系,而规律的寻找需要“大胆假设,小心求证”,这种现在也被认为是个科学的态度,是科学的思维方式。包括爱因斯坦的质能方程在内的近代很多成就都是在机械思维的模式运作下完成的。

机械思维认为世界是确定的,可以认知的这积极的一面,也有其局限性,即否定不确定性和不可知性,爱因斯坦有句名言:“上帝不掷色子”,这是爱因斯坦和量子力学的发明人波尔等人争论时候所讲的话,今天我们知道这场辩论波尔是正确的,爱因斯坦错了,上帝也掷色子。

从股市的专家预测,到天气预报,再到简单的掷色子,有很多预测是不准确的。不确定性来源于哪里:
一是:我们了解的越细致,发现影响世界的变量越多,无法通过简单的办法或公式来算出结果,如果我们穷尽所有影响事务的变量,当然也是可以预测的,但是现实中是办不到的,而且公式写出来也会非常复杂,没办法用简单的公式描述清楚;
二是: 我们主观思维的影响,由于受到思维方式的限制,我们对世界的认识是不准确的,这也阻碍了我们认识世界。
三是: 这个世界客观上来说本来就是复杂的,比如我们知道电子围绕原子核做飞速旋转,但是电子在特定时刻的位置和速度是不确定的,这是原子本身的特性,类似于量子里面的测不准原理,我们测量活动本身影响了测量结果。这又点类似我们在股市按照特定指标购买股票,如果大家都按照这个指标来购买股票,那这些购买股票的行为本身又影响了股票本身的价格和走势了。
世界是不确定的,但是又不是不可以认识的,同样是电子绕原子核运动,虽然我们不知道电子的具体位置和速度,但是可以估计电子出现的位置和概率。所以世界上很多难以用具体的公式描述的事情,通常可以用概率的模型来描述。天才香农将世界的不确定性和信息联系起来,形成了信息论,不仅是通信理论而且是人们认识世界的新思路。

信息论首先解决了信息多少的问题,简单的两句话,比如“太阳明天从东方升起” “xxx明星和xxx明星已经秘密登记结婚了”,这两句话哪句话信息量大,从我们直观思维来看,太阳明天从东方升起,这几乎是个确定的事情,所以相当于一句废话,信息含量少;而后一句的概率是比较低的,所以信息含量大。香农博士将信息和事件确定不确定联系起来,同时引入了熵的概念,熵原是热力学里面的概念,两个容器用一个挡板隔开,两边的气体,一边温度高,一边温度低,处于有序状态,如果把挡板拿掉,那么气体状态就会越来越无序,从宏观上趋于恒温。这种气体从原来的有序状态逐步变成无序状态的过程,熵是一直在增加的,也就是说有序的确定的熵低,越是混乱的熵越高,如果要熵变低或让事物变的有序,必须有外力的作用。
还是有点抽象,举个简单的例子,如果你的房间不整理,以后会越来越乱,这时候熵是越来越大的,想找一个东西可能找了半天都找不到,为什么那,因为乱导致了不确定性增加,怎么处理,就是整理,整理了房间,有序度提高了,熵减少了。
香农博士就是利用熵度量信息量的大小,信息量越大,越不确定,那么熵就越大,如果想让信息确定,就必须引入更多的信息,引入信息的多少,就看需要事件的不确定性大小。与机械思维相反,信息论是建立在不确定性的基础上的。
如果你学过机器学习,那对决策树算法一定不陌生吧,没学过也不好紧,先用一个例子简单的说明,如何判断一个西瓜是不是成熟的好西瓜?需要判断瓜的花纹颜色的深浅,瓜蒂的粗细,还有瓜敲起来声音如何,我们可以根据这些条件一步步判断,每步选一个条件做判断,最终根据多个条件判断出瓜是否熟的概率,画图如下:

首先我们对一个瓜是不是熟瓜,这个信息是不确定的,如何确定那,我们引入了多个信息,瓜的花纹颜色,瓜蒂的粗细,而且判断的条件的引入顺序也是很重要的,比如我认为瓜的花纹颜色深浅很重要,这个信息量比较大,引入之后会让瓜是不是熟的信息熵急速减少,这样我们对信息的确定性越来越确定,决策树就是利用这个原理来判断的。这里面的花纹颜色,瓜蒂粗细也不是随便选择的,要选择的信息和瓜是否成熟具有相关性(信息论的说法),信息论中的互信息说明了相关性的大小。

信息论得出的重要原理就是,当我们要对未知的事件找一个概率模型的时候,这个模型应当满足我们现有以解决看到的数据,但是对未知情况不做任何假设。这个就是最大熵原理,不同于以前的“大胆假设,小心论证” ,不做主观假设的前提是有足够多的数据。

首先要了解大数据的三个特点:1)数据量要足够大;2)数据的维数要足够多;3)数据要是完备的,全覆盖的,不能是抽样的。
这个世界的本质是个不确定的世界,我们了解到的信息越多,越容易消除不确定性,随着大数据的发展,很多人工智能的问题得以解决是,因为我们的数据足够大了。

数据量足够大,我们就有足够多的信息,相关的领域的不确定性减少的越多,那么相关研究进展就越快;数据的维数越多,与我们要解决的问题的相关性匹配就越好,有了多维度信息,我们可以做交叉验证,从而进一步减少信息的不确定性;而数据的完备性,防止了小概率事件的发生,是对事件发生的环境的全范围覆盖,因为技术的进步,数据的完备性收集得以称为可能。

大数据强调的是相关性,而不是因果性,世界既然是不确定的,那么有些规律我们是无法找到其因果关系的,但是不妨碍我们去寻找其相关性,比如在“电影租赁的网站上放零食广告”,比如“在咖啡评论和销售网站上,放信用卡广告和房贷广告”,这就是从大数据分享广告的点击中获取的结果,虽然不知道因果,但是这种相关性对我们提升广告的点击率也有帮助,我们要学着接收这种不知道原因的答案,如果我们愿意接收,就跳出了机械思维只追求因果的方式。

大数据时代已经来了,我们的思维方式不要再停留在仅仅熟悉机械思维的方式考虑问题,要敢于接收没有因果的答案。

祝大家都能有思维上的提升。
---- 明翼 2019年8月31日于成都

阅读全文

与儒家如何看待大数据相关的资料

热点内容
outlook无法创建工作文件夹 浏览:529
数控机床编程中产品倒角怎么编程 浏览:914
word2016恢复asd文件 浏览:435
zip压缩如何更改文件名 浏览:809
java调用c的类 浏览:928
微信分享开发教程 浏览:65
泰安网站制作公司怎么找 浏览:889
iphone6无法备份应用 浏览:650
百度云下载的文件在哪ipad 浏览:586
全球通58元套餐升级 浏览:976
音频文件加到word 浏览:572
表格数据如何整列求和 浏览:573
宽带升级外线 浏览:573
一根数据线多少钱oppo 浏览:622
费用较高的网络类型是 浏览:570
怎么查看一个网站的后台 浏览:967
核桃编程有什么用处 浏览:796
如何用文本把数据导入打印系统 浏览:629
电信5s3g能升级4g吗 浏览:153
linux内核缺页异常 浏览:258

友情链接