Ⅰ 大数据测试工程师需要具备哪些技能
1、测试基本知识
想成为大数据测试工程师之前,有些测试必备的技能,比如软件测试执行提出了我们开展软件测试的执行活动所需要涉及的执行过程以及相关策略;同时了解常用德测试活动中的经验之谈,理论知识的梳理和基本的测试技巧掌握。
2、Linux及环境搭建 、Docker容器实现分布式虚拟化技巧
一个成熟的数据从业者应该懂得灵活的运用数据寻找,获取,安装,Debug,分享,团队合作,Linux是知名的开源系统,在这个系统下环境的配置将变得非常容易和透明。Linux操作系统作为常见的底层操作系统,在软件开发、软件测试过程中都会经常接触和使用,很多企业的服务器都是Linux环境的,对于测试人员而言,也都会掌握相应的Linux命令。
3、SQL和数据库相关的技能
数据库是另外一个比较重要的部分,想象一下你不可能一直使用Excel去处理数据,毕竟超过十万行的数据用Excel就比较吃力了。这个时候SQL就是必须要用的,可以说这个是一个核心技能。有的人可能会说SQL非常简单,但是当你实际应用的时候你会发现你在学校学的那些简单Query完全就跟不上需求了。
4、 Python/java语言
先说一下Python, Python是一种万能的语言,适用性非常强,除了数据分析还能够做很多的事情,比如编写程序,网站开发,深度学习等等。如果你决定使用Python,那么你需要了解的点主要是各种包的搜索和调用,函数的编写和嵌套,数据类型的把握(list, tuple, series, dict),条件判断,循环迭代等等。
5、性能测试、框架开发的技能掌握
这个也是成为大数据测试工程师前,你必须要掌握得部分。在了解性能测试各方面的知识和经验的同时,培养自己的独立思考和解决问题的能力,掌握软件性能测试核心技术、工具使用以及项目实战技巧。
Ⅱ 大数据测试需要学什么
首先是基础阶段。这一阶段包括:关系型数据库原理、操作系统原理及应用。在掌握了这些基础知识后,会安排这些基础课程的进阶课程,即:数据结构与算法、MYSQL数据库应用及开发、SHELL脚本编程。在掌握了这些内容之后,大数据基础学习阶段才算是完成了。
接下来是大数据专业学习的第二阶段:大数据理论及核心技术。第二阶段也被分为了基础和进阶两部分,先理解基础知识,再进一步对知识内容做深入的了解和实践。基础部分包括:布式存储技术原理与应用、分布式计算技术、HADOOP集群搭建、运维;进阶内容包括:HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源码分析、HIVE、HBASE、Mongodb、HADOOP项目实战。
完成了这部分内容的学习,学员们就已经掌握了大数据专业大部分的知识,并具有了一定的项目经验。但为了学员们在大数据专业有更好的发展,所学知识能更广泛地应用到大数据相关的各个岗位,有个更长远的发展前景。
第三阶段叫做数据分析挖掘及海量数据高级处理技术。基础部分有:PYTHON语言、机器学习算法、FLUME+KAFKA;进阶部分有:机器学习算法库应用、实时分析计算框架、SPARK技术、PYTHON高级语言应用、分布式爬虫与反爬虫技术、实时分析项目实战、机器学习算法项目实战。
Ⅲ 数据测试(质量检测)
数据质检:对于数据进行质量检测,主要包括数据规格,数据和服务的兼容性;测试时需要主要数据的筛选,数据测试时间,数据在服务应用影响范围;
举例:在地图导航业务中,全国范围内的数据几乎每天都会进行制作编译上线,就会有数据的变更;
质检需要关注粗略有:
当然以上测试和大家所谓大数据测试还有所不同,大数据测试一般是利用集群进行分布式计算汇聚,以上测试的数据规格测试也可以跑集群任务,但是我认为这样太暴力,没有将数据和服务业务整合理解,浪费资源,毕竟机器成本也是一个工程师需要关注的,好的方案可以节约成本。
接下来谈一下我认为具备哪些能力可以更加胜任以上工作:
当然以上也是我需要慢慢加强的。