TestBird 移动互联测试专家

《证券测试白皮书》精简版 | 50多家券商APP测试数据分析披露

《证券测试白皮书》精简版 | 50多家券商APP测试数据分析披露


自TestBird发布《证券测试白皮书》(以下简称”白皮书“)以来,受到各界关注,特别受到来自证券行业的关注。此文选取白皮书中兼容性适配关键测试数据及私有云建设分析,精简成文,希望对证券APP从业者带来帮助和启发。

TestBird 本次共统计50多家证券企业的10000多次APP兼容性测试,通过率为75.25%,程序兼容性适配提升空间较大。

从统计结果来看,证券APP场景的兼容性问题有:安装失败、启动失败、闪退、UI异常、黑白屏、卡死、连接异常、其他异常、功能问题。其中闪退、UI异常、其他异常是证券APP出现最多的问题分类。

证券APP在各终端兼容性适配情况

1、安卓各品牌终端兼容性分析

从已参与测试的终端进行分析得出:问检出率最高的品牌是OPPO 17%,问题检出率最低的品牌是小米 8.61%,平均问题检出率11.63%。

2、安卓各系统版本兼容性分析

从已参与测试的终端进行分析得出:其中Android4.3及以下终端问题检出率高达38.97%,主要原因系统比较老旧,硬件差,逐渐退出市场;Android9问题检出率也达到了20.47%,新版本的兼容性问题需要各证券公司重点关注;其中Android6.x 、Android7.x表现最优均未超过8%。

3、安卓各内存兼容性分析

从已参与测试的终端进行分析得出:其中2G及以下终端问题检出率都高于12%以上,其中1GB内存的终端问题检出率已经达到24.09%,目前市面上新发布的机型基本上已经没有3GB内存以下的终端,目前这类机型正处于逐步淘汰阶段,适当关心其中用户人群较多机型的适配问题。

4、iOS终端兼容性分析

iOS机型问题检出率20.9%,按照系统版本分析发现:除了系统版本较旧的8.x和7.x问题检出率一直居高不下,其中8.x更是超过35%;还有新版本问题检出率较高12.1.2问题检出率已经达到23.98%。按照内存大小分析发现:内存越容易出现兼容性适配问题,由于4GB内存大多数都是新系统所以兼容性问题也居高不下。

5、Android各屏幕尺寸兼容性详情

经过统计分析已测试的数据得出各主流屏幕尺寸兼容性适配详情,其中主流屏幕尺寸中4.7寸,5.0寸问题检出率分别达到了17.8%和12.5%,非主流屏幕尺寸综合问题检出率为14.4%。

6、iOS各屏幕尺寸兼容性详情

经过统计分析已测试的数据得出各主流屏幕尺寸兼容性适配详情,其中主流屏幕尺寸中4.0寸,5.8寸问题检出率分别达到了27.9%和27.7%,非主流屏幕尺寸综合问题检出率为24.6%。


业界兼容性性能数据

经统计分析计算出的业界数据信息,由于测试数据在不断增加,业界最佳和均值数据都会变化,此数据仅供参考。

私有云—TROC 移动APP自动化测试平台

1、用例建设

TROC 移动APP自动化测试平台基于Web终端远程桌面,界面化操作直观易懂,根据真实操作快速生成自动化用例,且一次可录制多条用例。对脚本进行模块化封装,可在短时间内对用例进行维护与更新。

2018年,TROC 移动APP自动化测试平台为各券商建立的用例规模大多数已上千条,利用模块化建设用例快捷迅速的优势,优先建设核心交易相关用例,如普通交易、信用交易等,随后覆盖开户、行情、新股申购、资讯、理财等部分。

例如XX证券目前已建立超过3500条自动化用例,覆盖90%的功能检查点,极大提高APP自动化测试效率,每一次迭代可对APP进行全面检查,节省大量手工测试人力,缩短测试周期,保障APP稳定上线。

2、迭代回归

回归测试作为软件生命周期的一个组成部分,在整个软件测试过程中占有很大的工作量比重,软件开发的各个阶段都会进行多次回归测试。在渐进和快速迭代开发中,新版本的连续发布使回归测试进行得更加频繁,因此,通过选择正确的回归测试策略来改进回归测试的效率和有效性是非常有意义的。

线上监控

2018年,TROC 移动APP自动化测试平台为2家券商构建线上监控能力,重点测试核心交易页面数据展示以及资讯理财等页面数据当天更新情况,累积发现线上问题数百个。如XX证券XX宝APP成功构建每日早检约230次,10分钟内可发现问题,累计发现问题若干,主要为数据更新不及时。

XX证券建立关于交易主流程的早检,每天早上8点自动拉取最新生产包进行回归测试,自动发送邮件,确保线上版本主流程没有问题,目前完成约200次早检,及时发现若干问题并迅速解决。XXAPP部署拨测系统,实现盘中实时监控,并输出运行日志,第一时间有效告警发现功能或性能问题。

线下回归

此外我们统计了2018年各券商私有云项目部分APP的用例迭代情况,XX证券已在Android与iOS平台建立上千条用例,已覆盖90%以上的功能,每迭代一次可对APP进行较为全面的检查。

3、功能场景问题分布

在TROC 移动APP自动化测试平台进行大量自动化测试后,根据2018年统计结果来看,证券类APP容易出现的功能问题场景主要是资讯和开户场景。

资讯场景由于信息较多,容易出现加载异常和数据异常,导致用户无法快速获取信息,极大地影响用户体验,降低使用好感度。

其次功能问题较多的为开户场景,开户场景涉及填入信息、上传证件、风险测评、签署合同等多个子场景,一个环节出错则导致开户流程失败,因此在测试中需重点关注。

证券APP测试建议

1、增加兼容性测试的广度,需要覆盖到不同的系统版本、不同的内存大小、不同的终端厂商、不同的芯片等。

2、增加兼容性测试的深度,普通的15分钟脚本并不能满足证券APP质量的要求,增加测试的深度。

3、增加测试的频率,即使是小的版本,也尽量覆盖测试。

通过对大量问题的统计和分析,闪退、UI异常、程序异常是APP面临的三大问题。

TestBird