徐老師大數據

『壹』 大數據安全問題，怎麼解決

對於日常安抄全運維產生的海量數據進行安全分析，防止隱患發生：

通過類似RG-BDS的大數據安全平台解決海量安全日誌管理和安全問題預警與定位的技術難題，通過6層縱深架構和4步智能分析演算法，利用大數據分析模型等自主創新技術，為使用者清晰呈現安全整體態勢並實時感知、精準定位威脅源頭。

『貳』 大數據平台建設有哪些步驟以及需要注意的問題

大數據平台的搭建步驟：

1、linux系統安裝
一般使用開源版的Redhat系統--CentOS作為底層平台。為了提供穩定的硬體基礎，在給硬碟做RAID和掛載數據存儲節點的時，需要按情況配置。
2、分布式計算平台/組件安裝
國內外的分布式系統的大多使用的是Hadoop系列開源系統。Hadoop的核心是HDFS，一個分布式的文件系統。在其基礎上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等
使用開源組件的優點：1）使用者眾多，很多bug可以在網上找的答案（這往往是開發中最耗時的地方）。2）開源組件一般免費，學習和維護相對方便。3）開源組件一般會持續更新，提供必要的更新服務『當然還需要手動做更新操作』。4）因為代碼開源，若出bug可自由對源碼作修改維護。
3、數據導入
數據導入的工具是Sqoop。用它可以將數據從文件或者傳統資料庫導入到分布式平台『一般主要導入到Hive，也可將數據導入到Hbase』。
4、數據分析
數據分析一般包括兩個階段：數據預處理和數據建模分析。
數據預處理是為後面的建模分析做准備，主要工作時從海量數據中提取可用特徵，建立大寬表。這個過程可能會用到Hive SQL，Spark QL和Impala。
數據建模分析是針對預處理提取的特徵/數據建模，得到想要的結果。這一塊最好用的是Spark。常用的機器學習演算法，如樸素貝葉斯、邏輯回歸、決策樹、神經網路、TFIDF、協同過濾等，都已經在ML lib裡面，調用比較方便。
5、結果可視化及輸出API
可視化一般式對結果或部分原始數據做展示。一般有兩種情況，行數據展示，和列查找展示。要基於大數據平台做展示，會需要用到ElasticSearch和Hbase。Hbase提供快速『ms級別』的行查找。 ElasticSearch可以實現列索引，提供快速列查找。

大數據平台搭建中的主要問題
1、穩定性 Stability
理論上來說，穩定性是分布式系統最大的優勢，因為它可以通過多台機器做數據及程序運行備份以確保系統穩定。但也由於大數據平台部署於多台機器上，配置不合適，也可能成為最大的問題。
2、可擴展性 Scalability
如何快速擴展已有大數據平台，在其基礎上擴充新的機器是雲計算等領域應用的關鍵問題。在實際2B的應用中，有時需要增減機器來滿足新的需求。如何在保留原有功能的情況下，快速擴充平台是實際應用中的常見問題。

『叄』 學習大數據需要java基礎，那麼java要到什麼程度呢課程上學習兩周，能學會嗎

這個可能要看個人的能力了，但是Java基礎很重要，都說經濟基礎決定上層建築，Java基礎也一樣，決定著你以後Java的相關學習及使用！

『肆』 大數據分析需要什麼樣的基礎技能高等數學

這個要求的東西蠻多的，高等數學，線性代數和概率統計是基礎，一般碩士才做這個的，你要是光會軟體操作也不行，不懂的演算法的原理很難解釋數據。有分類演算法，聚類演算法，回歸演算法，關聯演算法等等。

『伍』 oracle大數據查詢問題

|select
listagg(a_code,',')within group(order by a_code) ser_num,
case when max(a_code)=min(a_code) then '('||屬max(a_code)||')' else
'('||min(a_code)||','||max(a_code)||')' end
(
select

a_code,
a_code-rownum rn
from
a
)
group by rn;

『陸』 大數據課程需要什麼基礎

學科知識：從數據分析涉及到的專業知識點上看，主要是這些：
（1）統計學：參數檢驗、非參版檢驗、回歸分析等
（權2）數學：線性代數、微積分等
（3）社會學：主要是一些社會學量化統計的知識，如問卷調查與統計分析；還有就是一些社會學的知識，這些對於從事營銷類的數據分析人員比較有幫助
（4）經濟金融：如果是從事這個行業的數據分析人員，經濟金融知識是必須的，這里就不多說了
（5）計算機：從事數據分析工作的人必須了解你使用的數據是怎麼處理出來的，要了解資料庫的結構和基本原理，同時如果條件充足的話，你還能有足夠的能力從資料庫里提取你需要的數據，這種提取數據分析原材料的能力是每個數據從業者必備的。

『柒』 大數據學習需要哪些基礎知識

其實這個不需要什麼基礎吧，算得上一個專項學習了，你既然想學這個基本的知識肯定是有的，有機會學的話就只能好好學了，基礎知識什麼的都是虛的，你需要的是一顆堅持下去的心。

『捌』 跪求大數據時代2020年百度雲資源，Latif Nasser主演的

鏈接:

提取碼: hew6
《大數據時代 Connected: The Hidden Science of Everything 2020 》網路網盤資源在線播放
導演: Arianna LaPenne
主演: Latif Nasser
類型: 紀錄片
製片國家/地區: 英國
語言: 英語
首播: 2020-08-02(美國)
集數: 6
單集片長: 45分鍾
又名: 大數據時代：萬物背後的科學、Connected
科學記者拉蒂夫·納賽爾探究我們如何以驚人而復雜的方式與彼此、世界乃至宇宙聯系在一起。

『玖』 大數據很難學嗎需要很扎實的數學功底嗎

想從事數據科學相關崗位，這些數學基礎「必備」

• What：從基本的知識開始，如線的方程式到二版項式定理及其性質。權
  

• 對數、指數、多項式函數、有理數

• 基本幾何和定理，三角恆等式

• 實數和復數的基本屬性

• 級數、總和和不等式

• 圖表和繪圖、笛卡爾和極坐標系統、圓錐曲線

『拾』 大數據入門需學習哪些基礎知識

前言，學大數據要先換電腦：

保證電腦4核8G內存64位操作系統，盡量有ssd做系統盤，否則卡到你喪失信心。硬碟越大越好。
1，語言要求

java剛入門的時候要求javase。

scala是學習spark要用的基本使用即可。

後期深入要求：
java NIO，netty，多線程，ClassLoader，jvm底層及調優等，rpc。
2，操作系統要求
linux 基本的shell腳本的使用。

crontab的使用，最多。

cpu，內存，網路，磁碟等瓶頸分析及狀態查看的工具。

scp，ssh，hosts的配置使用。

telnet，ping等網路排查命令的使用
3，sql基本使用
sql是基礎，hive，sparksql等都需要用到，況且大部分企業也還是以數據倉庫為中心，少不了sql。

sql統計，排序，join，group等，然後就是sql語句調優，表設計等。

4，大數據基本了解
Zookeeper，hadoop，hbase，hive，sqoop，flume，kafka，spark，storm等這些框架的作用及基本環境的搭建，要熟練，要會運維，瓶頸分析。

5，maprece及相關框架hive，sqoop
深入了解maprece的核心思想。尤其是shuffle，join，文件輸入格式，map數目，rece數目，調優等。
6，hive和hbase等倉庫
hive和hbase基本是大數據倉庫的標配。要回用，懂調優，故障排查。

hbase看浪尖hbase系列文章。hive後期更新。

7，消息隊列的使用
kafka基本概念，使用，瓶頸分析。看浪尖kafka系列文章。

8，實時處理系統
storm和spark Streaming

9，spark core和sparksql
spark用於離線分析的兩個重要功能。

10，最終方向決策
a),運維。（精通整套系統及故障排查，會寫運維腳本啥的。）

b),數據分析。（演算法精通）

c),平台開發。（源碼精通）

自學還是培訓？
無基礎的同學，培訓之前先搞到視頻通學一遍，防止盲目培訓跟不上講師節奏，浪費時間，精力，金錢。
有基礎的盡量搞點視頻學基礎，然後跟群里大牛交流，前提是人家願意，
想辦法跟大牛做朋友才是王道。