导航:首页 > 网络数据 > 大数据线下测试

大数据线下测试

发布时间:2024-05-17 20:31:40

『壹』 什么是大数据测试

测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能版。当涉及到大权数据测试时,性能和功能测试是关键。在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。
大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。当然在大数据测试时,功能测试和性能测试是同样很关键的。对于大数据测试工程师而言,如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。因为大数据高效的处理测试速度,它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

『贰』 怎样提升自己的大数据测试经验

大数据测试三个步骤:
步骤一:数据阶段验证
大数据测试的第一步,也称作pre-hadoop阶段该过程包括如下验证:
1)来自各方面的数据资源应该被验证,来确保正确的数据被加载进系统
2)将源数据与推送到Hadoop系统中的数据进行比较,以确保它们匹配。
3)验证正确的数据被提取并被加载到HDFS正确的位置。
该阶段可以使用工具Talend或Datameer,进行数据阶段验证。
步骤二:"MapRece"验证
大数据测试的第二步是MapRece的验证。在这个阶段,测试者在每个节点上进行业务逻辑验证,然后在运行多个节点后验证它们,确保如下操作的正确性:
1)Map与Rece进程正常工作。
2)在数据上实施数据聚合或隔离规则。
3)生成键值对。
4)在执行Map和Rece进程后验证数据。
步骤三:输出阶段验证
大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件,同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括:
1)检查转换(Transformation)规则被正确应用。
2)检查数据完整性和成功的数据加载到目标系统中。
3)通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏。

阅读全文

与大数据线下测试相关的资料

热点内容
ps奔溃文件怎么恢复 浏览:252
ug如何打开stp文件 浏览:687
修改星界边境人物文件夹 浏览:204
没有app如何测姨妈还有多少天 浏览:507
行业库存与销售数据哪里查 浏览:543
智能控制webui界面程序 浏览:723
临汾哪里有学计算机编程 浏览:130
qq跳过申诉修改密码 浏览:462
给文件夹加密win10 浏览:710
哪个app可以分辨航母 浏览:537
哪个app是英英词典 浏览:23
javavoid参数 浏览:829
如何让编程具有记忆功能 浏览:435
javamail发送带附件的邮件 浏览:173
微信分享文件到其他软件 浏览:682
微信对话文件夹在哪 浏览:287
qq头像欧美范街头男生 浏览:321
毛孔app 浏览:880
照片级渲染教程 浏览:304
目录中的文件夹有什么用 浏览:177

友情链接