『壹』 數據分析中5大常見問題及對策
1. 無思路:數據雜亂,不知到從何入手
成因:分析的業務目標不明晰,致使數據採集過剩;分析方法與分析的場景不懂得怎樣結合,導致無從下手。
對策:首先,學會理解業務背景和團隊的業務目標;熟悉各分析方法及應用場景,後面有介紹。
2. 無側重:分析邏輯不嚴謹,生搬硬湊亂猜想
成因:沒有整體考慮對數據造成波動的可能原因,把關聯性指標用作為因果關系指標,成為了“為了分析而分析”。
對策:數據分析應形成閉環,確定分析目標——採集數據——列舉可能原因(金字塔/公式化思維,後面介紹)–驗證猜想–得出分析結論–後續優化對策。
3. 無規劃:分析時,卻發現數據缺失,採集難度高
成因:對所上線產品的價值收益不清晰,未提前規劃觀察指標及進行相關的數據採集需求開發,巧婦也難為無米之炊啊!
對策:明確產品的成功指標,可提前構思分析思路,進而反推所需的數據需求細節。
4. 無記錄:數據異常,卻不知道做了什麼
成因:團隊內部信息同步不及時。可能是活動導致的產品數據暴增,或者產品更新導致系統故障數據下跌。
對策:建立團隊內部的協作機制,信息及時同步至共享平台。如:運營活動上線前X天,及時同步至產品相關活動規劃,並做好備份記錄和通知相關部門。
5. 不熟練:對分析工具不熟悉,分析耗時大
成因:分析工具如excel,若不是在學校有專門課程,基本是自學或者報相關課程,工作忙沒抽時間單獨學習是根本原因。
對策:建議列出自己的薄弱環節,有針對的找相關的課程學習,如果是小白,建議系統地學學,後面會涉及。
關於數據分析中5大常見問題及對策,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
以上是小編為大家分享的關於數據分析中5大常見問題及對策的相關內容,更多信息可以關注環球青藤分享更多干貨
『貳』 數據分析師常見的面試問題
關於數據分析師常見的面試問題集錦
1、你處理過的最大的數據量?你是如何處理他們的?處理的結果。
2、告訴我二個分析或者計算機科學相關項目?你是如何對其結果進行衡量的?
3、什麼是:提升值、關鍵績效指標、強壯性、模型按合度、實驗設計、2/8原則?
4、什麼是:協同過濾、n-grams, map rece、餘弦距離?
5、如何讓一個網路爬蟲速度更快、抽取更好的信息以及更好總結數據從而得到一干凈的資料庫?
6、如何設計一個解決抄襲的方案?
7、如何檢驗一個個人支付賬戶都多個人使用?
8、點擊流數據應該是實時處理?為什麼?哪部分應該實時處理?
9、你認為哪個更好:是好的數據還是好模型?同時你是如何定義「好」?存在所有情況下通用的模型嗎?有你沒有知道一些模型的定義並不是那麼好?
10、什麼是概率合並(aka模糊融合)?使用sql處理還是其它語言方便?對於處理半結構化的數據你會選擇使用哪種語言?
11、你是如何處理缺少數據的?你推薦使用什麼樣的處理技術?
12、你最喜歡的編程語言是什麼?為什麼?
13、對於你喜歡的統計軟體告訴你喜歡的與不喜歡的3個理由。
14、sas, r, python, perl語言的區別是?
15、什麼是大數據的詛咒?
16、你參與過資料庫與數據模型的設計嗎?
17、你是否參與過儀表盤的設計及指標選擇?你對於商業智能和報表工具有什麼想法?
18、你喜歡td資料庫的什麼特徵?
19、如何你打算發100萬的營銷活動郵件。你怎麼去優化發送?你怎麼優化反應率?能把這二個優化份開嗎?
20、如果有幾個客戶查詢oracle資料庫的效率很低。為什麼?你做什麼可以提高速度10倍以上,同時可以更好處理大數量輸出?
21、如何把非結構化的數據轉換成結構化的數據?這是否真的有必要做這樣的轉換?把數據存成平面文本文件是否比存成關系資料庫更好?
22、什麼是哈希表碰撞攻擊?怎麼避免?發生的頻率是多少?
23、如何判別maprece過程有好的負載均衡?什麼是負載均衡?
24、請舉例說明maprece是如何工作的?在什麼應用場景下工作的很好?雲的安全問題有哪些?
25、(在內存滿足的情況下)你認為是100個小的哈希表好還是一個大的哈希表,對於內在或者運行速度來說?對於資料庫分析的評價?
26、為什麼樸素貝葉斯差?你如何使用樸素貝葉斯來改進爬蟲檢驗演算法?
27、你處理過白名單嗎?主要的規則?(在欺詐或者爬行檢驗的情況下)
28、什麼是星型模型?什麼是查詢表?
29、你可以使用excel建立邏輯回歸模型嗎?如何可以,說明一下建立過程?
30、在sql, perl, c++, python等編程過程上,待為了提升速度優化過相關代碼或者演算法嗎?如何及提升多少?
31、使用5天完成90%的精度的解決方案還是花10天完成100%的精度的解決方案?取決於什麼內容?
32、定義:qa(質量保障)、六西格瑪、實驗設計。好的與壞的實驗設計能否舉個案例?
33、普通線性回歸模型的缺陷是什麼?你知道的其它回歸模型嗎?
34、你認為葉數小於50的決策樹是否比大的好?為什麼?
35、保險精算是否是統計學的一個分支?如果不是,為何如何?
36、給出一個不符合高斯分布與不符合對數正態分布的數據案例。給出一個分布非常混亂的數案例。
37、為什麼說均方誤差不是一個衡量模型的好指標?你建議用哪個指標替代?
38、你如何證明你帶來的演算法改進是真的有效的與不做任何改變相比?你對a/b測試熟嗎?
39、什麼是敏感性分析?擁有更低的敏感性(也就是說更好的強壯性)和低的預測能力還是正好相反好?你如何使用交叉驗證?你對於在數據集中插入雜訊數據從而來檢驗模型的.敏感性的想法如何看?
40、對於一下邏輯回歸、決策樹、神經網路。在過去XX年中這些技術做了哪些大的改進?
41、除了主成分分析外你還使用其它數據降維技術嗎?你怎麼想逐步回歸?你熟悉的逐步回歸技術有哪些?什麼時候完整的數據要比降維的數據或者樣本好?
42、你如何建議一個非參數置信區間?
43、你熟悉極值理論、蒙特卡羅邏輯或者其它數理統計方法以正確的評估一個稀疏事件的發生概率?
44、什麼是歸因分析?如何識別歸因與相關系數?舉例。
45、如何定義與衡量一個指標的預測能力?
46、如何為欺詐檢驗得分技術發現最好的規則集?你如何處理規則冗餘、規則發現和二者的本質問題?一個規則集的近似解決方案是否可行?如何尋找一個可行的近似方案?你如何決定這個解決方案足夠好從而可以停止尋找另一個更好的?
47、如何創建一個關鍵字分類?
48、什麼是僵屍網路?如何進行檢測?
49、你有使用過api介面的經驗嗎?什麼樣的api?是谷歌還是亞馬遜還是軟體即時服務?
50、什麼時候自己編號代碼比使用數據科學者開發好的軟體包更好?
51、可視化使用什麼工具?在作圖方面,你如何評價tableau?r?sas?在一個圖中有效展現五個維度?
52、什麼是概念驗證?
53、你主要與什麼樣的客戶共事:內部、外部、銷售部門/財務部門/市場部門/it部門的人?有咨詢經驗嗎?與供應商打過交道,包括供應商選擇與測試。
54、你熟悉軟體生命周期嗎?及it項目的生命周期,從收入需求到項目維護?
55、什麼是cron任務?
56、你是一個獨身的編碼人員?還是一個開發人員?或者是一個設計人員?
57、是假陽性好還是假陰性好?
58、你熟悉價格優化、價格彈性、存貨管理、競爭智能嗎?分別給案例。
59、zillow』s演算法是如何工作的?
60、如何檢驗為了不好的目的還進行的虛假評論或者虛假的fb帳戶?
61、你如何創建一個新的匿名數字帳戶?
62、你有沒有想過自己創業?是什麼樣的想法?
63、你認為帳號與密碼輸入的登錄框會消失嗎?它將會被什麼替代?
64、你用過時間序列模型嗎?時滯的相關性?相關圖?光譜分析?信號處理與過濾技術?在什麼樣的場景下?
65、哪位數據科學有你最佩服?從哪開始?
66、你是怎麼開始對數據科學感興趣的?
67、什麼是效率曲線?他們的缺陷是什麼,你如何克服這些缺陷?
68、什麼是推薦引擎?它是如何工作的?
69、什麼是精密測試?如何及什麼時候模擬可以幫忙我們不使用精密測試?
70、你認為怎麼才能成為一個好的數據科學家?
71、你認為數據科學家是一個藝術家還是科學家?
72、什麼是一個好的、快速的聚類演算法的的計算復雜度?什麼好的聚類演算法?你怎麼決定一個聚類的聚數?
73、給出一些在數據科學中「最佳實踐的案例」。
74、什麼讓一個圖形使人產生誤解、很難去讀懂或者解釋?一個有用的圖形的特徵?
75、你知道使用在統計或者計算科學中的「經驗法則」嗎?或者在商業分析中。
76、你覺得下一個20年最好的5個預測方法是?
77、你怎麼馬上就知道在一篇文章中(比如報紙)發表的統計數字是錯誤,或者是用作支撐作者的論點,而不是僅僅在羅列某個事物的信息?例如,對於每月官方定期在媒體公開發布的失業統計數據,你有什麼感想?怎樣可以讓這些數據更加准確?
;『叄』 你通過數據分析,解決了哪些有趣的問題
比如這個問題全球人口每日會消耗多少食物?
為了得出所需要的答案,第一步就需要找數據,為了得到你分析報告所需的數據,你清洗的經驗也是非常重要的。接著你肯定會想怎樣讓最終結果更加合理,有解釋性。這時候你需要做一系列的探索工作,一天的食物量受哪些因素影響?一天吃幾頓?全球哪些國家食物消耗量大?最大是多少?所消耗的食物種類是哪些?第三步,你分析完了需要呈現報告講故事,你報告中的圖表也是起到非常重要的效果,你的圖表的交互、地圖、二維或者多維。
這個分析的過程應該是有趣的,你因為一個問題而通過數據分析去表達論述事實,既看到事實的原貌、又有全局感,最後你還能發現問題並解決。
『肆』 數據分析能夠解決哪些日常問題
如下:
1、可以解決成本與利潤的問題,提高效率。
2、可以解決合理與公平的問題,數據說話。
3、可以解決目標與獎金的問題,合理安排。
目的:
數據分析的目的是把隱藏在一大批看來雜亂無章的數據中的信息集中和提煉出來,從而找出所研究對象的內在規律。在實際應用中,數據分析可幫助人們做出判斷,以便採取適當行動。數據分析是有組織有目的地收集數據、分析數據,使之成為信息的過程。這一過程是質量管理體系的支持過程。
在產品的整個壽命周期,包括從市場調研到售後服務和最終處置的各個過程都需要適當運用數據分析過程,以提升有效性。例如設計人員在開始一個新的設計以前,要通過廣泛的設計調查,分析所得數據以判定設計方向,因此數據分析在工業設計中具有極其重要的地位。
『伍』 大數據可以解決的問題有哪些
大數據具體可以分為數據採集、數據分析和數據展現等幾個部分,由於大數據採用的是非結構化的數據,與傳統的數據分析相比價值密度、數據量大,通俗來說就是傳統的數據分析相當於順藤摸瓜,大數據分讓禪析相當於畫地為牢。
可以舉幾個大數據的實際應用場景,比如商業營銷,商家通過統一的數據標准在平台採集客戶信息,分析客戶偏好,有針對性的制定營銷策略,這個模式目前在每個行業營銷領域都很常見,再比如人工智慧、物聯網方面,這兩個方面都是本身數據就是非結構化的,利用傳統的數據分析方式無法有效處理,只能通過大數據的手段進行分析。
總之,大數據解決的問題不是哪一個領域而是每一個領域,不是某一時刻影響我們的生活而是每一刻都在影響我們生活。大數據仍然需要統一的數據標准作為支撐,具體解決的問題以及落地場景,還在不斷的完善,隨著技術以及時間的推移,大配消數據應用越來越廣泛,解決的問題也是越來越多,可能後續的問題就是大數據還有哪坦賣塵些不能解決的問題。
『陸』 數據分析師面試常見問題有哪些
1、如何理解過擬合?
過擬合和欠擬合一樣,都是數據挖掘的基本概念。過擬合指的就是數據訓練得太好,在實際的測試環境中可能會產生錯誤,所以適當的剪枝對數據挖掘演算法來說也是很重要的。
欠擬合則是指機器學習得不充分,數據樣本太少,不足以讓機器形成自我認知。
2、為什麼說樸素貝葉斯是“樸素”的?
樸素貝葉斯是一種簡單但極為強大的預測建模演算法。之所以稱為樸素貝葉斯,是因為它假設每個輸入變數是獨立的。這是一個強硬的假設,實際情況並不一定,但是這項技術對於絕大部分的復雜問題仍然非常有效。
3、SVM 最重要的思想是什麼?
SVM 計算的過程就是幫我們找到超平面的過程,它有個核心的概念叫:分類間隔。SVM 的目標就是找出所有分類間隔中最大的那個值對應的超平面。在數學上,這是一個凸優化問題。同樣我們根據數據是否線性可分,把 SVM 分成硬間隔 SVM、軟間隔 SVM 和非線性 SVM。
4、K-Means 和 KNN 演算法的區別是什麼?
首先,這兩個演算法解決的是數據挖掘中的兩類問題。K-Means 是聚類演算法,KNN 是分類演算法。其次,這兩個演算法分別是兩種不同的學習方式。K-Means 是非監督學習,也就是不需要事先給出分類標簽,而 KNN 是有監督學習,需要我們給出訓練數據的分類標識。最後,K 值的含義不同。K-Means 中的 K 值代表 K 類。KNN 中的 K 值代表 K 個最接近的鄰居。