Ⅰ 大數據測試工程師需要具備哪些技能
1、測試基本知識
想成為大數據測試工程師之前,有些測試必備的技能,比如軟體測試執行提出了我們開展軟體測試的執行活動所需要涉及的執行過程以及相關策略;同時了解常用德測試活動中的經驗之談,理論知識的梳理和基本的測試技巧掌握。
2、Linux及環境搭建 、Docker容器實現分布式虛擬化技巧
一個成熟的數據從業者應該懂得靈活的運用數據尋找,獲取,安裝,Debug,分享,團隊合作,Linux是知名的開源系統,在這個系統下環境的配置將變得非常容易和透明。Linux操作系統作為常見的底層操作系統,在軟體開發、軟體測試過程中都會經常接觸和使用,很多企業的伺服器都是Linux環境的,對於測試人員而言,也都會掌握相應的Linux命令。
3、SQL和資料庫相關的技能
資料庫是另外一個比較重要的部分,想像一下你不可能一直使用Excel去處理數據,畢竟超過十萬行的數據用Excel就比較吃力了。這個時候SQL就是必須要用的,可以說這個是一個核心技能。有的人可能會說SQL非常簡單,但是當你實際應用的時候你會發現你在學校學的那些簡單Query完全就跟不上需求了。
4、 Python/java語言
先說一下Python, Python是一種萬能的語言,適用性非常強,除了數據分析還能夠做很多的事情,比如編寫程序,網站開發,深度學習等等。如果你決定使用Python,那麼你需要了解的點主要是各種包的搜索和調用,函數的編寫和嵌套,數據類型的把握(list, tuple, series, dict),條件判斷,循環迭代等等。
5、性能測試、框架開發的技能掌握
這個也是成為大數據測試工程師前,你必須要掌握得部分。在了解性能測試各方面的知識和經驗的同時,培養自己的獨立思考和解決問題的能力,掌握軟體性能測試核心技術、工具使用以及項目實戰技巧。
Ⅱ 大數據測試需要學什麼
首先是基礎階段。這一階段包括:關系型資料庫原理、操作系統原理及應用。在掌握了這些基礎知識後,會安排這些基礎課程的進階課程,即:數據結構與演算法、MYSQL資料庫應用及開發、SHELL腳本編程。在掌握了這些內容之後,大數據基礎學習階段才算是完成了。
接下來是大數據專業學習的第二階段:大數據理論及核心技術。第二階段也被分為了基礎和進階兩部分,先理解基礎知識,再進一步對知識內容做深入的了解和實踐。基礎部分包括:布式存儲技術原理與應用、分布式計算技術、HADOOP集群搭建、運維;進階內容包括:HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源碼分析、HIVE、HBASE、Mongodb、HADOOP項目實戰。
完成了這部分內容的學習,學員們就已經掌握了大數據專業大部分的知識,並具有了一定的項目經驗。但為了學員們在大數據專業有更好的發展,所學知識能更廣泛地應用到大數據相關的各個崗位,有個更長遠的發展前景。
第三階段叫做數據分析挖掘及海量數據高級處理技術。基礎部分有:PYTHON語言、機器學習演算法、FLUME+KAFKA;進階部分有:機器學習演算法庫應用、實時分析計算框架、SPARK技術、PYTHON高級語言應用、分布式爬蟲與反爬蟲技術、實時分析項目實戰、機器學習演算法項目實戰。
Ⅲ 數據測試(質量檢測)
數據質檢:對於數據進行質量檢測,主要包括數據規格,數據和服務的兼容性;測試時需要主要數據的篩選,數據測試時間,數據在服務應用影響范圍;
舉例:在地圖導航業務中,全國范圍內的數據幾乎每天都會進行製作編譯上線,就會有數據的變更;
質檢需要關注粗略有:
當然以上測試和大家所謂大數據測試還有所不同,大數據測試一般是利用集群進行分布式計算匯聚,以上測試的數據規格測試也可以跑集群任務,但是我認為這樣太暴力,沒有將數據和服務業務整合理解,浪費資源,畢竟機器成本也是一個工程師需要關注的,好的方案可以節約成本。
接下來談一下我認為具備哪些能力可以更加勝任以上工作:
當然以上也是我需要慢慢加強的。