大數據基礎考試題_面試題-關於大數據量的分布式處理

『壹』單招大數據考試基本上考什麼題

選擇題，填空題，解答題。
單招只招語文，數學，英語及綜合素質四科，其中容易題佔70%左右，其中易中難比例都約為7比2比1，試題雖簡答，但是人數很多，競爭也是比較大的。
綜合素質考核分為上機考試和面試兩部分，上機考試就是在考生計算機上答題，面試則由專業面試官負責，主要考察學生的臨場反應能力、語言表達能力、心理素質、知識儲備量等。

『貳』網上繼續教育公需課程必修課考試試題

1.最早提出“大數據”概念的企業是( )。(單選題3分)

A.甲骨文公司

B.波音公司

C.通用公司

D.麥肯錫公司

2.大數據要求企業設置的崗位是( )。(單選題3分)

A.首席信息官和首席工程師

B.首席信息官和首席數據官

C.首席分析師和首席工程師

D. 首席分析師和首席數據官

3.大數據的出現是( )的結果。(單選題3分)

A.數理統計理論不斷完善

B.計算機軟體技術發展

C.數據量變積累達到質變

D.雲計算技術發展

4.9美國通過對車禍數據進行分析，發現車禍的發生與時間有關，於是要求交警在易發生車禍的時間段嚴格執勤。這說明大數據可以( )。(單選題3分)

A.洞察未來趨勢

B.洞察車禍數量

C.洞察工作效率

D.洞察管理規律

5.紐約市在所有井蓋下安裝了感測器，通過分析感測器的數據，不用再每天逐個檢查井蓋的安全性，這說明( )。(單選題3分)

A.大數據可以提高井蓋的安全性

B.大數據可以防止地下管道爆炸

C.大數據可以洞察工作重點

D.大數據可以代替人的工作

6.人類社會到現在經歷了四個時代，現在屬於( )。(單選題3分)

A.工業社會

B.農業社會

C. 採集社會

D.信息社會

7.近年來，美國在線教育人數暴增，其起源是( )。(單選題3分)

A.可汗學院

B.普里斯頓大學

C.加州大學伯克利分校

D.孔子學院

8.商業企業最初關注大數據的目的是( )。(單選題3分)

A.通過分析數據來找到客戶需求，提高其產品的銷量

B.通過大數據確定企業的行業中所處的位置

C. 通過大數據來找到產品的缺陷，提升產品質量

D.通過分析數據來確定潛在的競爭對手的發展方向

9.大數據的`利用過程是( )。(單選題3分)

A.採集-統計-清洗-挖掘

B.採集-清洗-挖掘-統計

C.採集-清洗-統計-挖掘

D.採集-挖掘-清洗-統計

10.2013年是大數據( )年。(單選題3分)

A.第四

B.第二

C.元

D.第三

11.大數據這個概念，包含的含義有( )。(多選題4分)

A.變化很快

B.構成復雜

C.數據很大

D.來源單一

12.大數據的本質是洞察，它可以洞察()。(多選題4分)

A.客戶誠信

B.未來趨勢

C.工作重點

D.員工表現

13.關於數據、信息和知識，下列說法正確的有( )。(多選題4分)

A.信息和知識里不包含數據

B.信息經過提煉可以得到知識

C.數據+背景=信息

D.數據就是知識，知識就是數據

14.關於大數據的下列說法中，正確的有( )。(多選題4分)

A.大數據是一種管理方式

B.大數據是一種治理方式

C.大數據是一種思維方式

D.大數據是一種工作方法

15.通過人才雷達，可以了解一個人的( )。(多選題4分)

A.性格氣質

B.知識結構

C.興趣愛好

D.專業成就

16.大數據的利用過程，不包括以下哪些選項( )。(多選題4分)

A.數據的挖掘

B.數據的清洗與預處理

C.數據的變更

D.數據的編寫

17.大數據在促進人力資源就業方面的作用有( )。(多選題4分)

A.領導關懷促進就業

B.實時數據促進就業

C.信息公開促進就業

D.個性服務促進就業

18.大數據的應用可以提高社會綜合治理水平，請判斷以下哪些選項不屬於大數據給綜合管理帶來的變化( )。(多選題4分)

A.從全天候管理走向櫃台式管理

B.從精細化管理走向粗放化管理

C.從風險隱蔽走向風險防範型管理

D.從被動反應走向主動預見型管理

19.當今世界，已經進入大數據時代，基本上一切都可以用()表達，所以叫數字化的世界，我們每個人都是()。(多選題4分)

A.數據的製造者

B.計算機技術

C.數字

D.計算機終端

20.“聯結點越多、聯絡人越多，價值也就越大”反映的是信息時代的哪條定律?(多選題4分)

A.摩爾定律

B.麥特卡爾夫定律

C.吉爾德定律

D. 牛頓三大定律

21.雲計算相當於儲有海量信息的信息庫，大數據相當於計算機和操作系統。(判斷題3分)

正確

錯誤

22.不同領域對大數據的定義不同。(判斷題3分)

正確

錯誤

23.大數據帶來的教育革命必將消滅當面教育。(判斷題3分)

正確

錯誤

24.在人才管理領域，大數據的出現可以大幅度提升管理水平。(判斷題3分) 正確

錯誤

25.外國學者認為大數據不僅是一種工作方法，還是一種工具和一種思維方式。(判斷題3分)

正確

錯誤

26.大數據能夠發現學習軟肋，能夠幫助老師改進教學。(判斷題3分)

正確

錯誤

27.市場上來來往往的尋職人流中，在逃犯比例約占萬分之一，通過大數據可以將逃犯找出。(判斷題3分)

正確

錯誤

28.媒介革命，促進了世界信息與數據的爆炸性增長。(判斷題3分)

正確

錯誤

29.對於大數據，對其重在挖掘，就是要從中找出關系、重點、規律，洞察其發展趨勢。(判斷題3分)

正確

錯誤

30.政府進行社會治理不需要大數據。(判斷題3分)

正確

錯誤

10個大數據面試入門級問題

無論何時進行大數據采訪，采訪者都可能會詢問一些基本問題。無論您是大數據領域的新手還是經驗豐富，都需要基礎知識。因此，讓我們來介紹一些常見的基本大數據面試問題以及破解大數據面試的答案。

1.您對「大數據」一詞有何了解？

答：大數據是與復雜和大型數據集相關的術語。關系資料庫無法處理大數據，這就是使用特殊工具和方法對大量數據執行操作的原因。大數據使公司能夠更好地了解其業務，並幫助他們從定期收集的非結構化和原始數據中獲取有意義的信息。大數據還允許公司採取數據支持的更好的業務決策。

2.大數據的五個V是什麼？

答：大數據的五個V如下：

Volume -Volume表示體積大，即以高速率增長的數據量，即以PB為單位的數據量
Velocity -Velocity是數據增長的速度。社交媒體在數據增長速度方面發揮著重要作用。
Variety -Variety是指不同的數據類型，即各種數據格式，如文本，音頻，視頻等。
Veracity -Veracity是指可用數據的不確定性。由於大量數據帶來不完整性和不一致性，因此產生了准確性。
Value -價值是指將數據轉化為價值。通過將訪問的大數據轉換為價值，企業可以創造收入。

YARN的兩個主要組成部分：

ResourceManager-該組件接收處理請求，並根據處理需要相應地分配給各個NodeManager。
NodeManager-它在每個單個數據節點上執行任務

7.為什麼Hadoop可用於大數據分析？

答：由於數據分析已成為業務的關鍵參數之一，因此，企業正在處理大量結構化，非結構化和半結構化數據。在Hadoop主要支持其功能的情況下，分析非結構化數據非常困難

存儲
處理
數據採集

此外，Hadoop是開源的，可在商用硬體上運行。因此，它是企業的成本效益解決方案。

8.什麼是fsck？

答：fsck代表文件系統檢查。它是HDFS使用的命令。此命令用於檢查不一致性以及文件中是否存在任何問題。例如，如果文件有任何丟失的塊，則通過此命令通知HDFS。

9. NAS（網路附加存儲）和HDFS之間的主要區別是什麼？

答：NAS（網路附加存儲）和HDFS之間的主要區別 -

HDFS在一組計算機上運行，而NAS在單個計算機上運行。因此，數據冗餘是HDFS中的常見問題。相反，復制協議在NAS的情況下是不同的。因此，數據冗餘的可能性要小得多。
在HDFS的情況下，數據作為數據塊存儲在本地驅動器中。在NAS的情況下，它存儲在專用硬體中。

10.格式化NameNode的命令是什麼？

答：$ hdfs namenode -format。

歡迎咨詢慧都在線客服，我們將幫您轉接大數據專家團隊，並發送相關資料給您！

以上就是大數據面試題及答案，希望我的回答對您有幫助！

『伍』面試題-關於大數據量的分布式處理

面試題-關於大數據量的分布式處理
題目：生產系統每天會產生一個日誌文件F，數據量在5000W行的級別。文件F保存了兩列數據，一列是來源渠道，一列是來源渠道上的用戶標識。文件F用來記錄當日各渠道上的所有訪問用戶，每訪問一次，記錄一條。
請問如何快速計算出各渠道上新增的用戶？
問題分析：首先本次面試的是有關於分布式數據處理以及數據分析的職位，所以相關的面試題目可能會偏向於使用分布式的思想去解決。但無奈本人當時反應太慢，實在沒向分布式處理方向思考。
方案一：
本題最直觀的一個處理方法就是，直接拿著當日新增的5000W條訪問記錄一條一條的去匹配歷史訪問用戶。若存在歷史訪問記錄，則忽略；若不存在訪問記錄，則保存為新增記錄。很明顯，假若歷史訪問用戶有2億條記錄，則需要和2億條數據比較5000W次。比較次數可想而知。
由於本人一直在做基於資料庫的數據處理工作，很容易就想到將歷史數據保存在資料庫的一張表中，並對來源渠道和用戶標識這兩個欄位建立索引，然後遍歷日誌文件F（5000W次）。根據日誌文件F中的每一行去匹配資料庫中的歷史訪問記錄。由於歷史數據表有索引，單次查詢的速度也非常快。但是需要5000W次的資料庫查詢，很明顯效率低下。
方案二：
既然多次單一查詢無法滿足要求，於是可以先通過一種數據導入技術將當日新增數據導入到資料庫的另一張表中，並和歷史數據做左外關聯。若能關聯成功，則表示此用戶已存在；若關聯失敗，則表示此用戶不存在。
此方案暫且不說5000W條記錄的大表與2億條記錄的大表關聯效率有多高以及使用到的資料庫緩沖區的資源有多少，單就5000W條訪問記錄導入資料庫表，都是一個不小的時間花費。
方案三：
很明顯，面試時方案二的回答並未達到面試官的預期，最初被遺憾的PASS掉。一家很有潛力，自己很看好的公司，並計劃做為自己未來發展方向的職位，就這樣丟下我，揚長而去了。
這幾天又看了下分布式相關的介紹，突然想到這道題。一下子醒悟過來，其實還是因為對題目要考察的點分析得不夠透徹。當時以為只是僅僅考數據處理效率的一個題目，其實考的是一種將復雜問題拆分為簡單問題的拆分思想。了解到這一層，一種新的方式立馬在腦海中浮現出來。具體如下：
假如現在有N（N>=2）個存儲塊，並存在一個函數f（來源渠道，用戶標識），對於給定的一組（來源渠道，用戶標識），總能將其分發到一個固定的存儲塊內。那麼可以使用此函數將5000W行訪問記錄盡量均勻的分發至N個存儲塊上，並同時使用此函數將歷史訪問記錄也分發至這些存儲塊上。由於相同的一組記錄，肯定會被分配至同一個存儲塊，所以比較時，只需要分別比較各個存儲塊上當日新增記錄與歷史訪問用戶，然後將N個存儲塊上比較的結果匯總，即可得到最終結果。
假設歷史訪問用戶數據已通過函數f（來源渠道，用戶標識）被分發至了N個歷史文件H1、H2、…、HN。則詳細處理步驟如下：
1、將F中的內容使用函數f（來源渠道，用戶標識），分發至文件F1、F2、…、FN內。（可開M（M>=2）個並行，且若N-M越大，同時向同一文件寫入數據的概率越小）
2、將文件F1、F2、…、FN內的訪問記錄去重。（可開N個並行分別處理對應的N個文件）。
3、將文件Fn（1=<n<=N）去重後的結果與對應的歷史文件Hn比較得出新增用戶結果Rn。（可開N個並行分別處理對應的N個文件且當N足夠大時，實際要處理數據的量級就會相當小）。
4、合並第3步得到的結果R1、R2、…、RN即可得到當日新增用戶。（可並行）
5、為使歷史數據文件H1、H2、…、HN中的數據最全，將結果R1、R2、…、RN分別寫入對應的歷史文件中。（可並行）
本方案主要有以下優點：
1、數據的分發、處理、合並都可並行處理，明顯提高了處理效率。
2、由於每個存儲塊上的新增數據，只需要與它對應存儲塊上的歷史數據比較即可，大大減少了比較次數。（對於當日每一條記錄來說，都只需要與大約歷史的N分之一條數據去比較）
3、基本不需要考慮歷史全量數據的保存及獲取問題。
本方案缺點：
1、處理方案明顯變的復雜許多，不僅需要處理數據的分發，處理，還需要一個並行的快速收集方法。
2、可能需要多台伺服器並行處理。
本方案難點：
1、一個穩定（對於相同的一組來源渠道和用戶標識，必定會被分發至同一存儲塊）、快速（根據一條來源渠道和用戶標識數據，可以快速的計算出它將要被分發至的存儲塊）、均勻（當日新增數據及歷史數據都能盡量均勻的被分發至N個存儲塊，最理想的情況是每個存儲塊上分發到的數據都是總數據的N分之一）的分發函數至關重要。
2、如何分發、並行處理及匯總數據。

導航:首頁 > 網路數據 > 大數據基礎考試題

大數據基礎考試題

更多公需科目培訓試題推薦：

10個大數據面試入門級問題

與大數據基礎考試題相關的資料

友情鏈接