大数据的文档

『壹』 通俗的讲什么叫大数据 是什么文件

1、大数据，很明显从字面上理解就是大量的数据，海量的数据。大，意思就是数据的量级很大，不上TB都不好意思说是大数据。数据，狭义上理解就是12345那么些数据，毕竟计算机底层是二进制来存的，那么在大数据领域，数据就不仅仅包括数字这些，它可以是所有格式的东西，比如日志，音频视频，文件等等。

2、所以，大数据从字面上理解就是海量的数据，技术上它包括这些海量数据的采集，过滤，清洗，存储，处理，查看等等部分，每一个部分包括一些大数据的相关技术框架来支持。

『贰』 word文档可以做大数据吗

word删除空白页方法汇总
1.将鼠标放在前一页的最后,用DEL健删除。如果空白面是最后一页,且鼠标在第一行，可选“格式”-“段落”，将这一行的行距设为固定值1磅，该空白页将自动消失。
2.先显示分页符，即在Word的左下角调整到“普通视图”状态，这时分页符就出现了，直接删除即可。
3 选择“替换”点“高级”，在里面选择“使用通配符”以后下面有一个“特殊字符”字的开头，按住shift的时候再点下鼠标，选择空白页,再删除（解决了我的问题）
4.如果是插入分页符造成的空白页，少的话，删除分页符就行，就是到空白页顶部按退格键。（普通视图护订篙寡蕻干戈吮恭经下或打开编辑标记会显示分页符）
5.如果分页符很多，可以编辑/替换/高级/特殊字符/人工分页符/全部替换就可以了。
6.如果是你画了一个表格，占了一整页，造成最后一个回车在第二页删不了，可以将表格缩小一点或者将上面或者下面页边距设小一点，在文件/页面设置中，上下的数字改小一点。
7.将鼠标放在前一页的最后,用DEL健删除。如果空白面是最后一页,且鼠标在第一行，可选“格式”-“段落”，将这一行的行距设为固定值1磅，该空白页将自动消失。
8、后面有空白是上一页内容过多导致的，一般可以把鼠标点到空白面上，然后按回退键，退有内容的那一面，空白的就没有了，如果还存在，可以稍调整一下上一页内容，少一行就可以了 。
9、word 预览有空白页 页面视图时没有。空白页有页码，造成我打印的文档页码不连续。怎样删除：可能是你的文档中有过宽，过长的对象（如表格，图片，公式），导致与打印纸张的规格不一至，调整附近的对象（如表格，图片，公式）大小看看。也可能与分栏和一些可个和回车符号有关。
10、ctrl+enter即可去除空白页
11、插入表格后的Word删除空白页

『叁』 大数据未来将会如何影响人类的生活撰写一份Word格式的报告文档

大数据时代的影响：

1、大数据技术不仅能够提高人们利用数据的效率，而且能够实现数据的再利用和重复利用，进而大大降低交易成本，提升人们开发自我潜能的空间。

2、人们可以低成本或零成本进行事物信息全息式的纵向历史比对和横向现实比对。大数据技术自身不仅能够迅速衍生为新兴信息产业，还可以同云计算、物联网和智慧工程技术联动，支撑一个信息技术的新时代。

3、云计算技术可以使人们及时利用各类大数据。物联网技术的实质就是物物相连的互联网，物联网的核心和基础仍然是互联网，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。

『肆』 大数据常用文件格式介绍

图片看不见的话可以看我CSDN上的文章：
https://blog.csdn.net/u013332124/article/details/86423952

最近在做hdfs小文件合并的项目，涉及了一些文件格式的读写，比如avro、orc、parquet等。期间阅读了一些资料，因此打算写篇文章做个记录。

这篇文章不会介绍如何对这些格式的文件进行读写，只会介绍一下它们各自的特点以及底层存储的编码格式 。

[图片上传失败...(image-a5104a-1547368703623)]

使用sequencefile还可以将多个小文件合并到一个大文件中，通过key-value的形式组织起来，此时该sequencefile可以看做是一个小文件容器。

[图片上传失败...(image-4d03a2-1547368703623)]

Parquet是一个基于列式存储的文件格式，它将数据按列划分进行存储。Parquet官网上的文件格式介绍图：

[图片上传失败...(image-92770e-1547368703623)]

我们可以看出，parquet由几个部分构成：

[图片上传失败...(image-391e57-1547368703623)]

Orc也是一个列式存储格式，产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。

[图片上传失败...(image-ba6160-1547368703623)]

目前列式存储是大数据领域基本的优化项，无论是存储还是查询，列式存储能做的优化都很多，看完上面对orc和parquet的文件结构介绍后，我们列式存储的优化点做一个总结：

在压缩方面 ：

在查询方面 ：

就网上找到的一些数据来看，Orc的压缩比会比Parquet的高一些，至于查询性能，两个应该不会差距太大。本人之前做过一个测试，在多数场景，hive on mr下，orc的查询性能会更好一些。换成hive on spark后，parquet的性能更好一些

本文介绍的4种大数据存储格式，2个是行式存储，2个是列式存储，但我们可以看到一个共同点：它们都是支持分割的。这是大数据文件结构体系中一个非常重要的特点， 因为可分割使一个文件可以被多个节点并发处理，提高数据的处理速度 。

另外，当前大数据的主要趋势应该是使用列式存储，目前我们公司已经逐步推进列式存储的使用，本人也在hive上做过一些测试，在多个查询场景下，无论是orc还是parquet的查询速度都完爆text格式的， 差不多有4-8倍的性能提升 。另外，orc和parquet的压缩比都能达到10比1的程度。因此，无论从节约资源和查询性能考虑，在大多数情况下，选择orc或者parquet作为文件存储格式是更好的选择。另外，spark sql的默认读写格式也是parquet。

当然，并不是说列式存储已经一统天下了，大多时候我们还是要根据自己的使用场景来决定使用哪种存储格式。

Sequencefile

https://blog.csdn.net/en_joker/article/details/79648861

https://stackoverflow.com/questions/11778681/advantages-of-sequence-file-over-hdfs-textfile

Avro和Sequencefile区别

https://stackoverflow.com/questions/24236803/difference-between-avrodata-file-and-sequence-file-with-respect-to-apache-sqoop

parquet

https://www.cnblogs.com/ITtangtang/p/7681019.html

Orc

https://www.cnblogs.com/ITtangtang/p/7677912.html

https://www.cnblogs.com/cxzdy/p/5910760.html

Orc和parquet的一些对比

https://blog.csdn.net/colorant/article/details/53699822

https://blog.csdn.net/yu616568/article/details/51188479