大数据基础考试题_面试题-关于大数据量的分布式处理

『壹』单招大数据考试基本上考什么题

选择题，填空题，解答题。
单招只招语文，数学，英语及综合素质四科，其中容易题占70%左右，其中易中难比例都约为7比2比1，试题虽简答，但是人数很多，竞争也是比较大的。
综合素质考核分为上机考试和面试两部分，上机考试就是在考生计算机上答题，面试则由专业面试官负责，主要考察学生的临场反应能力、语言表达能力、心理素质、知识储备量等。

『贰』网上继续教育公需课程必修课考试试题

1.最早提出“大数据”概念的企业是( )。(单选题3分)

A.甲骨文公司

B.波音公司

C.通用公司

D.麦肯锡公司

2.大数据要求企业设置的岗位是( )。(单选题3分)

A.首席信息官和首席工程师

B.首席信息官和首席数据官

C.首席分析师和首席工程师

D. 首席分析师和首席数据官

3.大数据的出现是( )的结果。(单选题3分)

A.数理统计理论不断完善

B.计算机软件技术发展

C.数据量变积累达到质变

D.云计算技术发展

4.9美国通过对车祸数据进行分析，发现车祸的发生与时间有关，于是要求交警在易发生车祸的时间段严格执勤。这说明大数据可以( )。(单选题3分)

A.洞察未来趋势

B.洞察车祸数量

C.洞察工作效率

D.洞察管理规律

5.纽约市在所有井盖下安装了传感器，通过分析传感器的数据，不用再每天逐个检查井盖的安全性，这说明( )。(单选题3分)

A.大数据可以提高井盖的安全性

B.大数据可以防止地下管道爆炸

C.大数据可以洞察工作重点

D.大数据可以代替人的工作

6.人类社会到现在经历了四个时代，现在属于( )。(单选题3分)

A.工业社会

B.农业社会

C. 采集社会

D.信息社会

7.近年来，美国在线教育人数暴增，其起源是( )。(单选题3分)

A.可汗学院

B.普里斯顿大学

C.加州大学伯克利分校

D.孔子学院

8.商业企业最初关注大数据的目的是( )。(单选题3分)

A.通过分析数据来找到客户需求，提高其产品的销量

B.通过大数据确定企业的行业中所处的位置

C. 通过大数据来找到产品的缺陷，提升产品质量

D.通过分析数据来确定潜在的竞争对手的发展方向

9.大数据的`利用过程是( )。(单选题3分)

A.采集-统计-清洗-挖掘

B.采集-清洗-挖掘-统计

C.采集-清洗-统计-挖掘

D.采集-挖掘-清洗-统计

10.2013年是大数据( )年。(单选题3分)

A.第四

B.第二

C.元

D.第三

11.大数据这个概念，包含的含义有( )。(多选题4分)

A.变化很快

B.构成复杂

C.数据很大

D.来源单一

12.大数据的本质是洞察，它可以洞察()。(多选题4分)

A.客户诚信

B.未来趋势

C.工作重点

D.员工表现

13.关于数据、信息和知识，下列说法正确的有( )。(多选题4分)

A.信息和知识里不包含数据

B.信息经过提炼可以得到知识

C.数据+背景=信息

D.数据就是知识，知识就是数据

14.关于大数据的下列说法中，正确的有( )。(多选题4分)

A.大数据是一种管理方式

B.大数据是一种治理方式

C.大数据是一种思维方式

D.大数据是一种工作方法

15.通过人才雷达，可以了解一个人的( )。(多选题4分)

A.性格气质

B.知识结构

C.兴趣爱好

D.专业成就

16.大数据的利用过程，不包括以下哪些选项( )。(多选题4分)

A.数据的挖掘

B.数据的清洗与预处理

C.数据的变更

D.数据的编写

17.大数据在促进人力资源就业方面的作用有( )。(多选题4分)

A.领导关怀促进就业

B.实时数据促进就业

C.信息公开促进就业

D.个性服务促进就业

18.大数据的应用可以提高社会综合治理水平，请判断以下哪些选项不属于大数据给综合管理带来的变化( )。(多选题4分)

A.从全天候管理走向柜台式管理

B.从精细化管理走向粗放化管理

C.从风险隐蔽走向风险防范型管理

D.从被动反应走向主动预见型管理

19.当今世界，已经进入大数据时代，基本上一切都可以用()表达，所以叫数字化的世界，我们每个人都是()。(多选题4分)

A.数据的制造者

B.计算机技术

C.数字

D.计算机终端

20.“联结点越多、联络人越多，价值也就越大”反映的是信息时代的哪条定律?(多选题4分)

A.摩尔定律

B.麦特卡尔夫定律

C.吉尔德定律

D. 牛顿三大定律

21.云计算相当于储有海量信息的信息库，大数据相当于计算机和操作系统。(判断题3分)

正确

错误

22.不同领域对大数据的定义不同。(判断题3分)

正确

错误

23.大数据带来的教育革命必将消灭当面教育。(判断题3分)

正确

错误

24.在人才管理领域，大数据的出现可以大幅度提升管理水平。(判断题3分) 正确

错误

25.外国学者认为大数据不仅是一种工作方法，还是一种工具和一种思维方式。(判断题3分)

正确

错误

26.大数据能够发现学习软肋，能够帮助老师改进教学。(判断题3分)

正确

错误

27.市场上来来往往的寻职人流中，在逃犯比例约占万分之一，通过大数据可以将逃犯找出。(判断题3分)

正确

错误

28.媒介革命，促进了世界信息与数据的爆炸性增长。(判断题3分)

正确

错误

29.对于大数据，对其重在挖掘，就是要从中找出关系、重点、规律，洞察其发展趋势。(判断题3分)

正确

错误

30.政府进行社会治理不需要大数据。(判断题3分)

正确

错误

10个大数据面试入门级问题

无论何时进行大数据采访，采访者都可能会询问一些基本问题。无论您是大数据领域的新手还是经验丰富，都需要基础知识。因此，让我们来介绍一些常见的基本大数据面试问题以及破解大数据面试的答案。

1.您对“大数据”一词有何了解？

答：大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是使用特殊工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。大数据还允许公司采取数据支持的更好的业务决策。

2.大数据的五个V是什么？

答：大数据的五个V如下：

Volume -Volume表示体积大，即以高速率增长的数据量，即以PB为单位的数据量
Velocity -Velocity是数据增长的速度。社交媒体在数据增长速度方面发挥着重要作用。
Variety -Variety是指不同的数据类型，即各种数据格式，如文本，音频，视频等。
Veracity -Veracity是指可用数据的不确定性。由于大量数据带来不完整性和不一致性，因此产生了准确性。
Value -价值是指将数据转化为价值。通过将访问的大数据转换为价值，企业可以创造收入。

YARN的两个主要组成部分：

ResourceManager-该组件接收处理请求，并根据处理需要相应地分配给各个NodeManager。
NodeManager-它在每个单个数据节点上执行任务

7.为什么Hadoop可用于大数据分析？

答：由于数据分析已成为业务的关键参数之一，因此，企业正在处理大量结构化，非结构化和半结构化数据。在Hadoop主要支持其功能的情况下，分析非结构化数据非常困难

存储
处理
数据采集

此外，Hadoop是开源的，可在商用硬件上运行。因此，它是企业的成本效益解决方案。

8.什么是fsck？

答：fsck代表文件系统检查。它是HDFS使用的命令。此命令用于检查不一致性以及文件中是否存在任何问题。例如，如果文件有任何丢失的块，则通过此命令通知HDFS。

9. NAS（网络附加存储）和HDFS之间的主要区别是什么？

答：NAS（网络附加存储）和HDFS之间的主要区别 -

HDFS在一组计算机上运行，而NAS在单个计算机上运行。因此，数据冗余是HDFS中的常见问题。相反，复制协议在NAS的情况下是不同的。因此，数据冗余的可能性要小得多。
在HDFS的情况下，数据作为数据块存储在本地驱动器中。在NAS的情况下，它存储在专用硬件中。

10.格式化NameNode的命令是什么？

答：$ hdfs namenode -format。

欢迎咨询慧都在线客服，我们将帮您转接大数据专家团队，并发送相关资料给您！

以上就是大数据面试题及答案，希望我的回答对您有帮助！

『伍』面试题-关于大数据量的分布式处理

面试题-关于大数据量的分布式处理
题目：生产系统每天会产生一个日志文件F，数据量在5000W行的级别。文件F保存了两列数据，一列是来源渠道，一列是来源渠道上的用户标识。文件F用来记录当日各渠道上的所有访问用户，每访问一次，记录一条。
请问如何快速计算出各渠道上新增的用户？
问题分析：首先本次面试的是有关于分布式数据处理以及数据分析的职位，所以相关的面试题目可能会偏向于使用分布式的思想去解决。但无奈本人当时反应太慢，实在没向分布式处理方向思考。
方案一：
本题最直观的一个处理方法就是，直接拿着当日新增的5000W条访问记录一条一条的去匹配历史访问用户。若存在历史访问记录，则忽略；若不存在访问记录，则保存为新增记录。很明显，假若历史访问用户有2亿条记录，则需要和2亿条数据比较5000W次。比较次数可想而知。
由于本人一直在做基于数据库的数据处理工作，很容易就想到将历史数据保存在数据库的一张表中，并对来源渠道和用户标识这两个字段建立索引，然后遍历日志文件F（5000W次）。根据日志文件F中的每一行去匹配数据库中的历史访问记录。由于历史数据表有索引，单次查询的速度也非常快。但是需要5000W次的数据库查询，很明显效率低下。
方案二：
既然多次单一查询无法满足要求，于是可以先通过一种数据导入技术将当日新增数据导入到数据库的另一张表中，并和历史数据做左外关联。若能关联成功，则表示此用户已存在；若关联失败，则表示此用户不存在。
此方案暂且不说5000W条记录的大表与2亿条记录的大表关联效率有多高以及使用到的数据库缓冲区的资源有多少，单就5000W条访问记录导入数据库表，都是一个不小的时间花费。
方案三：
很明显，面试时方案二的回答并未达到面试官的预期，最初被遗憾的PASS掉。一家很有潜力，自己很看好的公司，并计划做为自己未来发展方向的职位，就这样丢下我，扬长而去了。
这几天又看了下分布式相关的介绍，突然想到这道题。一下子醒悟过来，其实还是因为对题目要考察的点分析得不够透彻。当时以为只是仅仅考数据处理效率的一个题目，其实考的是一种将复杂问题拆分为简单问题的拆分思想。了解到这一层，一种新的方式立马在脑海中浮现出来。具体如下：
假如现在有N（N>=2）个存储块，并存在一个函数f（来源渠道，用户标识），对于给定的一组（来源渠道，用户标识），总能将其分发到一个固定的存储块内。那么可以使用此函数将5000W行访问记录尽量均匀的分发至N个存储块上，并同时使用此函数将历史访问记录也分发至这些存储块上。由于相同的一组记录，肯定会被分配至同一个存储块，所以比较时，只需要分别比较各个存储块上当日新增记录与历史访问用户，然后将N个存储块上比较的结果汇总，即可得到最终结果。
假设历史访问用户数据已通过函数f（来源渠道，用户标识）被分发至了N个历史文件H1、H2、…、HN。则详细处理步骤如下：
1、将F中的内容使用函数f（来源渠道，用户标识），分发至文件F1、F2、…、FN内。（可开M（M>=2）个并行，且若N-M越大，同时向同一文件写入数据的概率越小）
2、将文件F1、F2、…、FN内的访问记录去重。（可开N个并行分别处理对应的N个文件）。
3、将文件Fn（1=<n<=N）去重后的结果与对应的历史文件Hn比较得出新增用户结果Rn。（可开N个并行分别处理对应的N个文件且当N足够大时，实际要处理数据的量级就会相当小）。
4、合并第3步得到的结果R1、R2、…、RN即可得到当日新增用户。（可并行）
5、为使历史数据文件H1、H2、…、HN中的数据最全，将结果R1、R2、…、RN分别写入对应的历史文件中。（可并行）
本方案主要有以下优点：
1、数据的分发、处理、合并都可并行处理，明显提高了处理效率。
2、由于每个存储块上的新增数据，只需要与它对应存储块上的历史数据比较即可，大大减少了比较次数。（对于当日每一条记录来说，都只需要与大约历史的N分之一条数据去比较）
3、基本不需要考虑历史全量数据的保存及获取问题。
本方案缺点：
1、处理方案明显变的复杂许多，不仅需要处理数据的分发，处理，还需要一个并行的快速收集方法。
2、可能需要多台服务器并行处理。
本方案难点：
1、一个稳定（对于相同的一组来源渠道和用户标识，必定会被分发至同一存储块）、快速（根据一条来源渠道和用户标识数据，可以快速的计算出它将要被分发至的存储块）、均匀（当日新增数据及历史数据都能尽量均匀的被分发至N个存储块，最理想的情况是每个存储块上分发到的数据都是总数据的N分之一）的分发函数至关重要。
2、如何分发、并行处理及汇总数据。

导航:首页 > 网络数据 > 大数据基础考试题

大数据基础考试题

更多公需科目培训试题推荐：

10个大数据面试入门级问题

与大数据基础考试题相关的资料

友情链接