徐老师大数据

『壹』 大数据安全问题，怎么解决

对于日常安抄全运维产生的海量数据进行安全分析，防止隐患发生：

通过类似RG-BDS的大数据安全平台解决海量安全日志管理和安全问题预警与定位的技术难题，通过6层纵深架构和4步智能分析算法，利用大数据分析模型等自主创新技术，为使用者清晰呈现安全整体态势并实时感知、精准定位威胁源头。

『贰』 大数据平台建设有哪些步骤以及需要注意的问题

大数据平台的搭建步骤：

1、linux系统安装
一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。
2、分布式计算平台/组件安装
国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等
使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。2）开源组件一般免费，学习和维护相对方便。3）开源组件一般会持续更新，提供必要的更新服务『当然还需要手动做更新操作』。4）因为代码开源，若出bug可自由对源码作修改维护。
3、数据导入
数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台『一般主要导入到Hive，也可将数据导入到Hbase』。
4、数据分析
数据分析一般包括两个阶段：数据预处理和数据建模分析。
数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。
数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。
5、结果可视化及输出API
可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。要基于大数据平台做展示，会需要用到ElasticSearch和Hbase。Hbase提供快速『ms级别』的行查找。 ElasticSearch可以实现列索引，提供快速列查找。

大数据平台搭建中的主要问题
1、稳定性 Stability
理论上来说，稳定性是分布式系统最大的优势，因为它可以通过多台机器做数据及程序运行备份以确保系统稳定。但也由于大数据平台部署于多台机器上，配置不合适，也可能成为最大的问题。
2、可扩展性 Scalability
如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际2B的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。

『叁』 学习大数据需要java基础，那么java要到什么程度呢课程上学习两周，能学会吗

这个可能要看个人的能力了，但是Java基础很重要，都说经济基础决定上层建筑，Java基础也一样，决定着你以后Java的相关学习及使用！

『肆』 大数据分析需要什么样的基础技能高等数学

这个要求的东西蛮多的，高等数学，线性代数和概率统计是基础，一般硕士才做这个的，你要是光会软件操作也不行，不懂的算法的原理很难解释数据。有分类算法，聚类算法，回归算法，关联算法等等。

『伍』 oracle大数据查询问题

|select
listagg(a_code,',')within group(order by a_code) ser_num,
case when max(a_code)=min(a_code) then '('||属max(a_code)||')' else
'('||min(a_code)||','||max(a_code)||')' end
(
select

a_code,
a_code-rownum rn
from
a
)
group by rn;

『陆』 大数据课程需要什么基础

学科知识：从数据分析涉及到的专业知识点上看，主要是这些：
（1）统计学：参数检验、非参版检验、回归分析等
（权2）数学：线性代数、微积分等
（3）社会学：主要是一些社会学量化统计的知识，如问卷调查与统计分析；还有就是一些社会学的知识，这些对于从事营销类的数据分析人员比较有帮助
（4）经济金融：如果是从事这个行业的数据分析人员，经济金融知识是必须的，这里就不多说了
（5）计算机：从事数据分析工作的人必须了解你使用的数据是怎么处理出来的，要了解数据库的结构和基本原理，同时如果条件充足的话，你还能有足够的能力从数据库里提取你需要的数据，这种提取数据分析原材料的能力是每个数据从业者必备的。

『柒』 大数据学习需要哪些基础知识

其实这个不需要什么基础吧，算得上一个专项学习了，你既然想学这个基本的知识肯定是有的，有机会学的话就只能好好学了，基础知识什么的都是虚的，你需要的是一颗坚持下去的心。

『捌』 跪求大数据时代2020年百度云资源，Latif Nasser主演的

链接:

提取码: hew6
《大数据时代 Connected: The Hidden Science of Everything 2020 》网络网盘资源在线播放
导演: Arianna LaPenne
主演: Latif Nasser
类型: 纪录片
制片国家/地区: 英国
语言: 英语
首播: 2020-08-02(美国)
集数: 6
单集片长: 45分钟
又名: 大数据时代：万物背后的科学、Connected
科学记者拉蒂夫·纳赛尔探究我们如何以惊人而复杂的方式与彼此、世界乃至宇宙联系在一起。

『玖』 大数据很难学吗需要很扎实的数学功底吗

想从事数据科学相关岗位，这些数学基础“必备”

• What：从基本的知识开始，如线的方程式到二版项式定理及其性质。权
  

• 对数、指数、多项式函数、有理数

• 基本几何和定理，三角恒等式

• 实数和复数的基本属性

• 级数、总和和不等式

• 图表和绘图、笛卡尔和极坐标系统、圆锥曲线

『拾』 大数据入门需学习哪些基础知识

前言，学大数据要先换电脑：

保证电脑4核8G内存64位操作系统，尽量有ssd做系统盘，否则卡到你丧失信心。硬盘越大越好。
1，语言要求

java刚入门的时候要求javase。

scala是学习spark要用的基本使用即可。

后期深入要求：
java NIO，netty，多线程，ClassLoader，jvm底层及调优等，rpc。
2，操作系统要求
linux 基本的shell脚本的使用。

crontab的使用，最多。

cpu，内存，网络，磁盘等瓶颈分析及状态查看的工具。

scp，ssh，hosts的配置使用。

telnet，ping等网络排查命令的使用
3，sql基本使用
sql是基础，hive，sparksql等都需要用到，况且大部分企业也还是以数据仓库为中心，少不了sql。

sql统计，排序，join，group等，然后就是sql语句调优，表设计等。

4，大数据基本了解
Zookeeper，hadoop，hbase，hive，sqoop，flume，kafka，spark，storm等这些框架的作用及基本环境的搭建，要熟练，要会运维，瓶颈分析。

5，maprece及相关框架hive，sqoop
深入了解maprece的核心思想。尤其是shuffle，join，文件输入格式，map数目，rece数目，调优等。
6，hive和hbase等仓库
hive和hbase基本是大数据仓库的标配。要回用，懂调优，故障排查。

hbase看浪尖hbase系列文章。hive后期更新。

7，消息队列的使用
kafka基本概念，使用，瓶颈分析。看浪尖kafka系列文章。

8，实时处理系统
storm和spark Streaming

9，spark core和sparksql
spark用于离线分析的两个重要功能。

10，最终方向决策
a),运维。（精通整套系统及故障排查，会写运维脚本啥的。）

b),数据分析。（算法精通）

c),平台开发。（源码精通）

自学还是培训？
无基础的同学，培训之前先搞到视频通学一遍，防止盲目培训跟不上讲师节奏，浪费时间，精力，金钱。
有基础的尽量搞点视频学基础，然后跟群里大牛交流，前提是人家愿意，
想办法跟大牛做朋友才是王道。