如何看待大数据和算法

『壹』 巧妇难为无米之炊,算力、算法和数据到底哪个更重要

“巧妇难为无米之炊”，这句话隐含的信息量并不小，正好可以用于对比人工智能。巧妇的“巧”就是算法，食材就是数据，而锅碗瓢盆和炉灶就是算力。

如果没有食材，就算你有炉灶和锅碗瓢盆，也没办法做出饭，而有了食材，没有炉灶和锅碗瓢盆也做不出饭菜，有了食材，有了锅碗瓢盆，没有巧妇，也同样做不出一桌丰盛的饭菜。

数字化归根结底：

是靠数据驱动的,如果没有高质量的大数据,那就是巧妇难为无米之炊。因此,做好大数据工作是推进数字化变革的前提性、基础性工作。但非数字原生企业相比数字原生企业,大数据工作的复杂性和困难度要大的多。

何老师表示,做好大数据工作,要有知难而上的坚强决心。此外,他基于对华为等企业实践的认真了解研究,结合自身对企业战略执行的长期深刻体悟,还在演讲中给出了切实的决策思路和行动建议。

据悉,《数字企业》之所以能成为数字化转型、数字化变革的代表性演讲,很大程度上是因为既具备企业家的高度、又具备思想家的深度、还具备实践家的力度。

『贰』 大数据自上而下提升统计和算法的效率

大数据自上而下提升统计和算法的效率
我们在去开发这些计算体系时，不管是软件、计算，其实都是在谈大数据分析的概念性，什么时候出现问题，我们如何达到高准确度，这只是这个问题的开始。其实作为一个计算科学家，我们经常会遇到很多的问题，有些是统计学方面的问题，但是我们没有联合统计学家一起考虑和解决这些问题。
比如说这个结果的一致性，那么还有引导程序的理论，那么就像常规的引导程序一样，都会达到一些限值，从上至下的计算，统计学的利弊权衡，什么意思呢？我们对数据计算的理解，也就是说更多的数据需要更多的计算，更多的计算能力。我们如何来做？到底是并行处理？还是子样抽取等等。你给我更多的数据，我会更高兴，因为我能够获得更高的准确度，我的错误会更小，我会以更低的成本获得更正确的答案。对于统计学家来说这是好的，但是对于做计算的来说这个不大好，因为我们将这样思考这个问题。也就是说给我一些数据，那么我们有一个新的观念，叫做控制的算法弱化，比如说我的数据量不够，我可以快速的处理它。数据太多，我的处理速度会慢下来。从计算角度来说，控制的算法能够让我更快速的处理数据，也就是算法的弱化。统计学的角度来说，能够处理更多的数据，获得更好的统计学上的答案性能提高。尽管计算的预算成本不变，但是我们能够处理更多的数据，以更快的速度，我们付出的代价就是算法的弱化。
那么，这个坐标你们不经常看，横轴指我们取样的数量，纵轴代表的是运行时间。我们看一下到底有多少的错误。我们现在就要思考固定风险。比如说在我们错误率是0.01,这个座标的区域，对于统计学家来说，如果要固定风险的话，那么必须有一定数量的样品，才能够获得这样的结果。所以，这是一个叫做典型的预计理论，大家都非常了解。同样对于在计算机科学方面，我们有所谓的负载均衡的概念，不管你有多少个样本，但是你一定要有足够的运营时间，否则的话，你是无法解决这个问题的，这是非常明确的一点。
所以，我们看一下实际的算法。有一定的运行时间，有固定的风险，在右边使用的所有算法，把算法弱化，我们就可以处理更多的数据。下面我来谈一下，这就是我们所说的问题降噪，所谓降噪就是在数据方面有一些属于制造噪音的数据。我们如何做降噪？首先，我们假设可能的答案是X这样的一个分样，然后用高准确度覆盖它，所以这是一个推理预估的过程。比如说我要找到X的值，它和Y是非常相似的，这是一个自然的预估。现在X是一个非常复杂的值，我无法做，所以我要做一个凸形的值域，我要做定性，同时可以获得最优点，我需要把它放在一个可行的规模大小之内，那么也就是任何一个固定风险都是基于X的。左边是风险，我需要它的一半，这里存在复杂性，如果想知道更多的复杂性，你们可以看一些所谓理论处理方面的文献，你们可以读一下，来做这样均衡的曲线。
我们看一下相关的内容，如果你要达到一定的风险，你必须要有一定的取样点。这是一个C,也许这个C也是计算方面很难算出来的，所以我们需要做C子集的，把这个子集进行弱化，这样我们就可以更好的计算了。我们可以做分层的层级，我们称为池域，并且根据计算的复杂度进行排序的。同时，还有统计学的复杂性，然后进行一个权衡。你们可以从数学计算出这个曲线。在这里举个例子，比如说X,刚才已经有人介绍过子集是什么意思，然后你们可以定运行时间，还有取样的复杂性，然后可以算出答案。你们看一下简单的C,复杂的C,然后你们看一下运行的时间是在下降，复杂性是一个恒值，这样你的算法更简单，可以用于大数据，既不会不会增加风险，也可以在举证方面更加简化。如果是一个信号的图值，你的运行时间由PQ值决定，你们还有一个域值的话，我们会有一个恒定的取样，大家可以同时按照“列”计算，获得我们预期的准确度，而运行时间不变，大家可以自己看这些公式。
那么，这种分析我希望大家能够记住的是和这种理论计算科学，重点就是能够把准确度放到一个水平。因为我们要去关心有关质量方面、统计学方面的风险，计算科学方面的算法能够帮助我们解决比较大的问题，就是大数据带来的大问题。同时，我们还有很多的数据理论可以适用，我们不要从统计学简单的角度来考虑，而是从计算的角度考虑。
也许你们还要去学一些统计学方面的基本理论，当然如果你们是学统计学的话，你们也要参加计算机科学的课程。对于两门都学的人，你们应该把这两个学科放到一起思考，不是统计学家只考虑统计学，计算机科学家只考虑计算机方面，我们需要解决统计学方面的风险。因此，我们可以更好的处理十万个采样点，都不会遇到问题。

『叁』 60名员工被Facebook母公司用算法裁掉，如何看待大数据裁员现象

很多人都不太赞同这样的做法，而且这种现象也不太符合公司的发展要求。虽然说裁员可以暂时解决公司的问题，但是这种做法有可能会影响到员工的积极性。因为大家觉得自己随时都有可能被裁，所以在工作的时候，他们也会有一些敷衍。

这些公司之所以会选择裁员，可能是因为想要减少一定的支出。可是这样的做法，也有可能会影响到其他岗位的工作效率。因为裁员之后很多工作都会落到一个人的身上，在这个过程当中，这些员工也会觉得自己比较辛苦。所以说合理的裁员才是最重要的，在这个过程当中也可以让公司正向发展。而且公司在招聘的时候也可以控制一下相关的人数，如果员工特别多的情况下，可以暂时先不招聘。

『肆』 算法和大数据算法哪个好

两者是相辅相成的，没有谁比谁更重要，就像鸡蛋和母鸡哪个更重要一样？只有算法，没有数据，那么算法就没了存在的意义，只有数据，没有算法，得来的算法显得更加杂乱无章，哪来的生产效率？

『伍』 数据科学与大数据技术专业的前景怎么样，该选择主攻开发还是算法

首先，从近两年数据科学与大数据技术（数科）专业的就业情况来看，整体的就业表现还是比较不错的，虽然该专业是新兴专业之一，但是就业表现已经成为了继计算机科学与技术、软件工程这两个专业之后，又一个就业表现比较突出的计算机大类专业。

从当前大的计算机发展趋势来看，未来在工业互联网逐渐落地应用之后，产业领域会释放出大量大数据专业人才的需求，而且高附加值岗位也会比较多，从这个角度来看，未来数科专业的就业前景还是非常广阔的。

数科专业本身是一个交叉学科，涉及到的内容比较多，所以要想有一个较好的学习体验，同时提升自身的就业竞争力，一定要尽早确定一个自己的主攻方向，围绕主攻方向来制定学习规划。对于本科生来说，如果没有继续读研的计划，可以围绕开发岗的要求来制定学习规划。实际上，当前很多大数据方向的研究生也会从事开发岗。

从大的人才需求趋势来看，未来开发岗的人才需求量依然会比较大，相对于算法岗来说，开发岗的竞争并不算激烈，也有不少进大厂的机会。要想从事开发岗，要重视三方面知识的学习，其一是重视编程语言（Java、Python）的学习，其二是重视大数据平台（Hadoop、Spark）的学习，其三是重视场景开发知识的积累。

总体上来说，计算机大类专业的学习规划需要按照不同阶段来制定，不同阶段有不同阶段的侧重点。

我从事教育、科研多年，目前在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以私信我！

『陆』 如何看待大数据时代

因为大数据时代是指社会经济、科技、文化发展过程中，因数字科技和互联网技术的大规模应用而产生的大数据环境下的社会发展进程。使用大数据技术和相关工具有效的挖掘和分析数据，可以为我们为政策的制定、商业营销、建设健全行业制度、研究学术领域等提供了很大的帮助和优势。

以下是我整理的一些对于大数据时代的认知和看法：

1. 机会：大数据时代为企业和个人带来了更多的发展机会。通过算法、人工智能、机器学习等技术，能够大规模处理数据，提高工作效率，在商业和工业应用中发挥着越来越重要的裂磨作用。

2. 挑战：随着大数据应用的逐步普及，个人信息和隐私保护面临很大的挑战。确保数据的安全、保护个人权益成为当下的一项重要任务。

3. 责任：用大数据技术和工具分析、挖掘数据的过程中，我们需要考虑数据采集的合法和合理性，避免数据造假或者被误用。大数据时代中的数据责任非常重要。

总的来说，大数据时代是数字科技快速发展后带来的新的机会和挑战，我们应该从多维携喊度来审视大数据的发展，应该用好大数据，提高生产效率，促进社会发展等等，同时我们也不应该忽视数据安全和道德、肆隐斗法律的问题。

『柒』 如何理解机器学习算法在大数据里面的应用

现在深度学习在机器学习领域是一个很热的概念，不过经过各种媒体的转载播报，这个概念也逐渐变得有些神话的感觉：例如，人们可能认为，深度学习是一种能够模拟出人脑的神经结构的机器学习方式，从而能够让计算机具有人一样的智慧；而这样一种技术在将来无疑是前景无限的。那么深度学习本质上又是一种什么样的技术呢？
深度学习是什么
深度学习是机器学习领域中对模式（声音、图像等等）进行建模的一种方法，它也是一种基于统计的概率模型。在对各种模式进行建模之后，便可以对各种模式进行识别了，例如待建模的模式是声音的话，那么这种识别便可以理解为语音识别。而类比来理解，如果说将机器学习算法类比为排序算法，那么深度学习算法便是众多排序算法当中的一种（例如冒泡排序），这种算法在某些应用场景中，会具有一定的优势。
深度学习的“深度”体现在哪里
论及深度学习中的“深度”一词，人们从感性上可能会认为，深度学习相对于传统的机器学习算法，能够做更多的事情，是一种更为“高深”的算法。而事实可能并非我们想象的那样，因为从算法输入输出的角度考虑，深度学习算法与传统的有监督机器学习算法的输入输出都是类似的，无论是最简单的Logistic Regression，还是到后来的SVM、boosting等算法，它们能够做的事情都是类似的。正如无论使用什么样的排序算法，它们的输入和预期的输出都是类似的，区别在于各种算法在不同环境下的性能不同。
那么深度学习的“深度”本质上又指的是什么呢？深度学习的学名又叫深层神经网络（Deep Neural Networks ），是从很久以前的人工神经网络（Artificial Neural Networks）模型发展而来。这种模型一般采用计算机科学中的图模型来直观的表达，而深度学习的“深度”便指的是图模型的层数以及每一层的节点数量，相对于之前的神经网络而言，有了很大程度的提升。
深度学习也有许多种不同的实现形式，根据解决问题、应用领域甚至论文作者取名创意的不同，它也有不同的名字：例如卷积神经网络（Convolutional Neural