TestBird 移动互联测试专家

《2018年手游测试白皮书》首发:闪退、UI异常占比达60%以上

《2018年手游测试白皮书》首发:闪退、UI异常占比达60%以上

前言

自2014年首次发布手游白皮书以来,今年是TestBird连续五年发布行业内极具参考价值的行业报告,书中主要采集了9755款手游测试相关问题,并对其做详细的阐述分析,为国内移动游戏企业的从业者、机构、政府主管部门提供权威数据依据。

大浪淘沙,国内手游越来越往精细化运营,期望生命周期延长,积累VIP用户,面对越来越挑剔的用户,质量是一切开始的前提。TestBird根据2018年上半年测试过的9755款手游数据,轻度手游增长趋势明显,占比达42%,由此数据可以看出虽然RPG类重度手游很火,但轻度游戏市场也不容小觑,仍有增长空间。

在测试的522431个兼容性问题中,游戏闪退、UI异常、游戏卡死是兼容性问题依然是占比最高的3大类问题;通过对手游数据性能分析,体育运动、角色扮演、动作格斗等重度游戏对手机要求较高,CPU占用率、内存消耗、手机温度都比其他类型游戏要高。

TestBird CEO此次专门撰写视点文章《技术创新服务为本 继续做好手游质量守护者》,对TestBird的客户,支持我们的政府、机构和各界人士表示衷心的感谢。

2018中国手游质量现状

1、轻度手游呈增长趋势

2018年上半年轻度手游呈增长趋势,测试过的轻度手游以41.7%比重占据第一,其中休闲益智和棋牌扑克增长明显。以飞行射击为代表的轻度手游热度不减,比重最高达41.7%,而以角色扮演游戏为代表的重度手游表现相对低迷,其以35.2%占有率紧随其后,2者所占份额超过70%。

2、手游更加注重精品化

2018年上半年,手游操作精品化的方向发展,游戏安装包也呈增大趋势明显,50~100MB大小的安装包占比为26.7%,100~300MB大小的安装包占比则达到34.6%,大于300MB以上也占到28%,而只有10.7%的游戏安装包低于50MB。

在测试过的手游中,95%以上游戏需要联网,只有不到4%的游戏是单机游戏。其中8成以上的手游为强联网游戏,说明在网络环境越来越好的情况下,手机游戏对网络质量要求也越来越高。

平均兼容性问题数达53个

2018年上半年TestBird测试了9755款游戏,共发现522431个兼容性问题,按照平均每款游戏测试300部终端统计,游戏平均兼容性问题数53个,平均通过率为82%。相对于2017年来看,游戏兼容性问题依然突出。需要引起厂商的重视,以减少兼容性问题数,减少用户流失,从而减少研发与运营成本,提高游戏的玩家体验,提高游戏的生存几率,提高游戏的收入。

终端兼容性分析:主流品牌的兼容性整体好于非主流品牌

2018年上半年,TestBird测试终端总数达到5000款,含全球主流终端98%以上,通过分析522431个兼容性问题,对比各品牌的兼容性问题数,主流品牌的兼容性整体好于非主流品牌。非主流品牌的兼容性问题非常严重,每终端每款游戏的失败率(即平均每款终端在每款游戏上的不兼容率)高达20%以上。

CPU品牌兼容性分析:展讯出现的兼容性问题最多

各类CPU品牌中,展讯出现的兼容性问题占比最大,达到了43%。而我们所熟知的联发科和高通两大类CPU品牌的兼容性问题检出率相当,检出率均占总数的23%和22%,海思表现最好为15%。

游戏引擎兼容性分析:自定义引擎兼容性问题达29%


cocos2D-X和unity3D游戏引擎的兼容性问题的检出率分别是22%和24%,相比于自定义游戏引擎高达29%的兼容性问题检出率而言,表现情况较好。
图片

Android版本兼容性分析:7.0及以上版本兼容性问题需要重视

从统计数据来看,Android4.4的兼容性情况最好,Android4.2.X及以下版本的兼容性问题最严重,这可能和ndroid4.2.X及以下的系统比较老旧,硬件差,逐渐退出市场,而大多数游戏厂商并不关心这部分游戏兼容性有关,除开ndroid4.2.X及以下的系统外,7.0,7.1和8.0系统版本问题检出率比较高,分别达到了24%,23%,29%,新版本的兼容性问题需要游戏厂商特别关注。

iOS兼容性测试分析:iOS11的兼容性问题数量最高

2018年上半年,TestBird共进行了1582余次iOS手游兼容性测试,共发现10122个兼容性问题,iPad以其高达59.30%的问题占比超iPhone。

我们分析了5个iOS版本测试数据,发现在系统iOS11的兼容性问题数量最高,占比达34%。

TestBird定义手游测试标准,成为行业公认测试标准:

安装失败:游戏app在某款手机上进行安装操作,但是没有安装成功。
启动失败:游戏app安装成功,但是无法启动,或者启动后马上自动退出。判断标准:启动后,检测游戏画面是否可见。
游戏闪退:在游戏过程中程序崩溃导致意外退出。判断标准:崩溃日志与游戏画面结合分析。
游戏卡顿:在游戏过程中运行不流畅,画面切换卡屏。主要原因是cpu或者内存占用过高,需要CP进行优化。
游戏卡死:手机系统无法正常运行,不接受输入事件,但游戏没有闪退。游戏触发了手机的系统级bug,引起系统崩溃。
游戏黑屏:游戏无法正常运行,没有显示任何ui界面,但是手机系统正常运行。
数据异常:游戏客户端与服务器数据交互异常,但是链接未断开。通常是手机游戏与服务器交互接口设计没有经过充分验证,导致异常数据在服务器与手机游戏之间传输。
UI异常:UI界面显示紊乱。主要原因是分辨率差异或者游戏场景切换逻辑代码书写有误。
游戏链接异常:与服务器交互链接发生异常。通常由于开发人员没有考虑到网络编程中的异常,或压力过大引发服务器崩溃。
其他异常:运行时出现游戏功能异常提示或现象。

闪退和UI异常是最主要问题

2018年上半年,TestBird对测试数据进行分析后,发现游戏闪退、UI异常、游戏卡死是兼容性问题占比最高的3大类问题。游戏闪退问题占比最高,达到38.8%,UI异常问题同样严重,达到22.5%。与2017年相比,UI异常问题有所上升。

TOP1.游戏闪退

TestBird统计了各游戏类型闪退分布,发现动作格斗游戏兼容性问题中闪退数量最高。

对游戏闪退场景分析发现,加载资源、战斗中及快速操作闪退情况最多。

加载资源出现闪退情况通常是游戏减压资源缓慢,游戏内存占用较高、手机空间不足等原因导致;战斗中及快速操作时对手机配置要求高,这种情况同样容易出现闪退;手机内存不足时,游戏闪退概率将增大。

TOP2.游戏卡死

TestBird统计了各游戏类型游戏卡死分布,发现飞行射击游戏兼容性问题中游戏卡死数量最高。游戏卡死场景分析如下:

卡死情况频繁出现在游戏场景切换,动画剧情,资源加载,登陆注册页面及游戏战斗等场景
手机配置较低,反应时间较长导致
网络较差的情况导致游戏卡死
游戏适配较差导致游戏卡死

TOP3.UI异常

2018年上半年TestBird统计了各游戏类型游戏UI异常分布,统计发现跑酷竞速游戏兼容性问题中UI异常最高。启动失败分析:

游戏版本与手机系统不兼容
手机内存不足
加载资源出错
游戏受其他程序影响

各游戏类型的兼容性分析:动作格斗类游戏问题最多

TestBird所测手游类型分别分布在“卡牌游戏、策略经营、角色扮演、塔防游戏、跑酷竞速、飞行射击、消除游戏、棋牌扑克、动作格斗、体育运动、虚拟养成、休闲益智”共12类游戏中,其中每类游戏的平均问题数如下:

由于对手机内存和cpu占用的不同,轻度游戏相对于中重度游戏兼容性问题数较少。TestBird对各类型手游都做了兼容性问题占比分析,可下载电子版本详细了解。

手游性能分析

CPU占用率:角色扮演类游戏最高,消除类最低

CPU占用率是游戏进程占用的CPU资源,CPU使用率过高,说明游戏比较耗电,而且容易卡顿。行业游戏CPU平均占用率平均值为21.98%,CPU峰值占用率平均为86.17%。各类游戏平均CPU占用率如下表:


启动时延:棋牌扑克类游戏最大,卡牌类最小

启动时延是衡量一个游戏启动耗时的指标,反应了游戏的加载速度,时延越小,启动加载速度越快。行业游戏平均启动时延为2111ms,启动时延最小值平均为:356ms。各类游戏启动时延如下表:

通过对各类游戏的数据性能分析,体育运动、角色扮演、动作格斗等重度游戏对手机要求较高,CPU占用率、内存消耗、手机温度都比其他类型游戏要高。角色扮演游戏类游戏消耗流量较大。

卡牌、策略经营、角色扮演三类游戏的启动时延最好,棋牌扑克、跑酷竞速、体育运动三类游戏的启动延时有待优化。(其他性能数据分析可下载电子版本参考)

给手游CP的解决建议:

通过对大量问题的统计和分析,闪退、卡死、UI异常是游戏面临的三大问题。而引发兼容性问题的因素,不仅仅是游戏本身的“内因”,还涉及到硬件性能、系统版本、程序间冲突、服务器连接情况、支付接口等等。

2018年TestBird对各类兼容性问题进行深入分析,结合部分游戏公司的解决方案,我们汇总出各类兼容性问题解决建议和性能优化建议共计十七条,详细可下载点电子版了解。

白皮书下载地址:https://www.testbird.com/support-white-book/

TestBird