TestBird 移动互联测试专家

Archive August 2018

华为云上架TestBird兼容性测试新服务

华为云上架TestBird兼容性测试新服务为满足中小企业对移动APP测试需求,近日,华为云与TestBird通过多轮精准调研讨论后,推出业内具有绝对竞争力的不同规格兼容性测试套餐。此套餐包含10项不同系统和机型数量规格,企业可以根据自己产品的测试需求选择不同规格的兼容性测试。 多种套餐 助力企业大大发展 自TestBird与华为达成生态合作伙伴关系后,各项合作都在有条不紊推进,今年2月,TestBird测试服务正式上架华为云云市场,不仅方便了手游企业自助下单,更是得到全行业广大中小企业的关注。 TestBird通过联合华为云平台,实现SAAS模式初步试探,依托华为强大的平台实力,帮助更多中小型企业解决APP兼容性测试痛点,也希望中小型企业借助TestBird兼容性测试,提高工作效率,实现生产最大转化率。 据了解,目前华为已经与全国多个IT业发达的城市签约,如上海,成都,广州,大连,杭州等,覆盖大批优质的IT企业。经过调研,不少中小移动互联网公司对移动测试需求诉求强烈。 此次TestBird推出不同规格的兼容性测试套餐,满足个性化需求,助力产品快速找到Bug,降低测试成本。一直以来,TestBird都以过硬的技术实力和优质的跟踪服务著称,凡是在TestBird下单的客户都会获得7×24小时无时差服务对接,保证测试良好进行,快速获得完善丰富的测试报告。 城市之间 共建移动新生态 作为华为唯一的移动应用测试合作伙伴,TestBird在国内移动应用测试市场一直处于领先地位,更是占据70%的手游测试市场,手游测试一直是移动测试的难点,TestBird的鹰眼识别技术攻克手游引擎,深入引擎测试,在整个测试行业引起较大反响。 华为云上架TestBird兼容性测试新服务 华为软件开发云产品部总经理张纾翔曾经表示,与TestBird的合作,不仅仅是我们有相同的基因,更多的是基于大家对移动测试、云测试长期发展的看法。TestBird也希望通过华为强大的平台背景,将先进的测试技术应用到广大移动互联网企业。 据了解,华为近两年已经参与了近百个智慧城市建设,华为的定位是做智能社会的使能者和推动者,相信通过与华为的合作,TestBird的移动测试服务能够落地到各大城市,满足城市中小型移动互联网企业的测试需求,参与与华为智能社会建设,助推移动互联新生态。

“测试经验说”系列之如何制定合适的测试策略?(下)

在上一篇《如何制定合适的测试策略?(上)》中(点击阅读),Lilian和我们分享了总体测试策略的制定的RRFC四步法。今天将给大家分享另外一个方法。 启发性测试策略模型法 启发性测试策略模型(Heuristic Test Strategy Model,简称HTSM)是测试大师James Bach提出的,James Bach做过开发、测试,是探索性测试、语境驱动测试的提出者。HTSM是一组模式(pattern)的集合,主要有下面五部分组成: HTSM详细内容参见: http://www.satisfice.com/tools/htsm.pdf。 Heuristic启发式是用于解决问题或作出决策的一种可能生效的方法,不是规则,可能成功,可能失败。我们要做的是根据实际情况应用这些启发式,而不是一味遵从。下面主要分享讨论基于此模型制定整体测试策略的一些亲身实践,希望对大家有所帮助。 01 理解使用HTSM 制定测试策略初期使用HTSM启发性问题分析项目环境,产品要素,质量标准,试图去回答这些问题,结论形成初稿。 Project Environment 项目环境: 指项目的背景,可利用的资源,限制条件约束等所有有助于测试或者限制做好测试的因素。在制定测试策略时进行分析,可以帮助我们了解为什么要测试,目标是什么,当前的现状是什么? Product Elements 产品元素: 指计划要测试的内容,产品是复杂和不可见的,测试必须保证覆盖所有关注的产品元素,而不仅仅是容易的和看到的部分。对产品要素的分析有助于明确测试范围和测试对象。 Quality Criteria 质量标准: 测试人员来判断产品是否有问题或是否通过的准则、价值观和来源。质量标准是多方面的,并且经常是隐藏的或者是自相矛盾的。我们在制定测试策略时,可以先明确质量标准的纬度。 Test Techniques 测试技术: 进行测试技术、测试方法的选取,所有的测试技术的选择都是基于对项目环境、产品元素和质量标准的某种分析的结果。 Perceived Quality 质量感知: 可获得的质量,即看得见的质量是测试的结果。你永远不可能知道一个软件产品的“真正的”质量,但是通过各种各样的测试,你能对其质量做一个比较准确的评估。至此通过项目环境、产品要素、质量标准的分析,选择合适的测试技术,最终形成可感知的产品质量。 02 修正重构 基于上述启发性问题的结论初稿,测试架构师和相关人逐个讨论澄清,完善内容,形成总体测试策略的终稿。在《如何评估测试的充分性》我们提到三个故事,这这里也可以对应起来,测试覆盖就是的三个故事中的测试故事,问题是测试过程故事,风险是产品故事。 03 创造形成产品/自己的测试策略的模型 首先要记住这些启发性条目,通过使用,尝试对比,不断去扩充完善,找到适合产品或自己分析思路的模型。 启发性测试策略模型,不是规则,不用一味遵从,重在启发,启发我们从多纬度分析,启发我们一有想法就记录下来,多和周边人碰撞,得到更多的启发,逐步完善。 至此基于两种方法的实践已经分享结束,二者各有什么优劣?你更喜欢用哪种方法制定测试策略?你有哪些测试策略的实践?欢迎探讨分享。

Skr~~来看哪些手游获得“国家级”已测认证?

五年间,作为唯一获得授牌的国家手游测试中心——TestBird测试了数十万款各种类型游戏产品,包括棋牌扑克、休闲益智、角色扮演、策略经营、飞行射击、跑酷竞速、动作格斗等轻、中、重度游戏。 作为第三方自动化测试平台,TestBird不断改进测试技术,并在今年推出手游测试解决方案,持续为国内70%的手游厂商提供专业、快速、精准的测试服务,为手游质量保驾护航。 “TestBird已测”是我们多年坚持,为测试通过率高的手游颁发的牌匾,今年,5家游戏厂商的游戏产品脱颖而出,测试通过率远高于平均通过率82%,达到95%以上,加上玩家使用体验佳,好评不断,由此获得TestBird颁发的已测认证牌匾。 中手游作为全球移动游戏开发商与发行商,始终秉承为全球玩家开发和发行精品游戏的理念,致力成为全球玩家热爱的游戏品牌。中手游围绕“自主研发和代理发行”,以IP为核心,以全球化的视野与产业链上下游紧密合作,深耕IP文化运营,并围绕IP和CP展开积极的投资布局。 测试认证游戏 《杯莫停》是一款国风MMOARPG手游,近百种技能自由搭配,幻想级国漫视觉风格搭配超高自由度,给你“游戏亦动漫”的极致新感受。海量隐藏剧情、众多国漫角色客串互动,只为给你最真实的江湖世界! 《神话永恒》是一款3D西方魔幻题材ARPG手机游戏,由中手游与天马时空联合发行,《全民奇迹》原班人马打造,《天堂Ⅱ》、《剑灵》等殿堂级端游美术大神加盟全力监制。《神话永恒》手游,满足你对西方魔幻的所有幻想! 哆可梦游戏(DKM game)是一家成立于2009年,始终致力于精品手机游戏研发&发行、服务全球用户的综合性移动游戏内容供应商。旗下拥有9187游戏、Yahgame游戏两大顶尖专业游戏运营平台。 测试认证游戏 《锦绣奇缘》是一款由哆可梦独家代理的乙女向恋爱换装手游。该产品由晋江知名作家倾情撰写全篇剧情,画面唯美,多达千余款服装、首饰让你过足换装瘾。 《文明曙光》是一款由哆可梦自主研发的全新末日风MMO手游,该产品采用3D次时代技术打造,并融入无人机、双武器等多种全新模式,将为玩家带来全新体验。 君海网络作为一家专注于手机游戏研发、发行和运营服务的移动游戏公司,在2014年7月成立之时,就定下了“全球化、精品化、IP化”的企业发展战略,公司致力于在未来五年内成为一家世界领先的精品网游供应商,在未来十年内通过能力、资源、资本联动打造一家世界领先的泛娱乐数字内容发行平台。公司宗旨是“发行快乐,致力于把优秀好玩的游戏带给全球玩家”。 测试认证游戏 《时光幻境》神秘的魔幻大陆创造了各种各样的特色系统:种族不同,体态各异的坐骑;造型华丽,威力惊人的神兵;色彩鲜艳,功能强大的翅膀;外观Q萌,战力爆表的宠物……还有真实PK的BOSS争夺战;多人同屏,胜者为王的大逃杀手游…… 《天行道》妖魔肆虐,三界混乱,待你仗剑替天行道,带领玩家体验斩妖除魔的大侠之旅,一路收获各类宝物装备、仙骑羽翼、萝莉萌宠,时装不重样,特效满天飞,并有各种PK系统,让玩家在轻松挂机,零负担操作下,也能体验热血抢夺BOSS、激情多人混战的快感。 星辉游戏成立于2000年7月,是一家卓越的游戏研发与发行企业。星辉游戏一直秉承做好游戏,做好平台的经营理念,专注研发和发行。以自研+独代+孵化的产品模式打造高品质产品,以专业的发行实力实现产品最大价值。 测试认证游戏 《重返文明》是一款全球同服战争策略手游,你将带领你的军队踏遍每一寸土地,与全球数百万玩家来一场紧张的策略对决!你可以发展内政,招募军团统帅;管理城市资源,结交盟友;更有十六大兵种、数百英雄全自由搭配! 《盛唐幻夜》是电视剧正版授权的国风悬幻武侠MMO。深度还原电视剧中的故事剧情与美丽景色,突破地图框架的全方位3D御剑飞行,九大职业自由转职,更有180套造型满足你的换装瘾! 诗意盎然,悦享游戏。诗悦网络致力于让玩家找回最纯粹的游戏乐趣,4年来专注研发精品手游,先后推出多款累计流水过亿手游大作,单月流水破亿。因其极强的视觉效果,创意趣味玩法倍受玩家欢迎,在国内外享有盛誉。 测试认证游戏 次时代魔幻机械手游,《圣剑纪元》震撼来袭!一键跨服,每秒爆发8场战役;竞拍分红,稀有道具BOSS掉落;四重天赋转职,随时把控战场节奏;神器零成本锻造,极品神级坐骑养成;炫酷羽翼幻化,精灵女仆等你领回家!

2018CJ | 眼之所及的游戏厂商,大概都是国家手游测试中心TestBird的客户

8月3日,第十六届中国国际数码互动娱乐展览会(2018ChinaJoy,以下简称“CJ”) 在上海新国际博览中心正式拉开帷幕。 尽管上海高温加台风来袭,但CJ现场还是热火朝天,人山人海,泛娱乐的火热市场氛围可见一斑,国家手游测试中心TestBird此次带来全新的手游测试解决方案和2018手游测试白皮书,亮相W2馆C294展位。 刚开馆不久,就有不少手游厂商来到TestBird展位了解最新手游测试业务和手游动态趋势。作为国家唯一认可的手游测试平台,国内70%的手游厂商都选择在TestBird做测试,五年时间里,TestBird不断改进测试技术,根据手游测试需求,为手游厂商提供标准兼容性测试、远程真机调试、压力测试等,并推出手游测试解决方案。 前来展台咨询的厂商 同时,TestBird在今年根据测试通过率、玩家体验度评选出5家“国家手游测试中心已测认证”牌匾。这也是TestBird连续4年颁发该牌匾,以表示对优质手游的认定,也希望通过TestBird测试后的手游,大幅提升留存率和付费率。 中手游两款游戏获得“国家手游测试中心已测认证”牌匾” 星辉游戏的两款手游获得“国家手游测试中心已测认证”牌匾” 本次CJ大会上,TestBird首发《2018年手游测试白皮书》,内含2018年手游测试大量数据分析,由多家支持单位耗时半年联袂打造,通过建立4大测试维度,汇集16项测试指标,对9755款游戏产品测试,全面分析手游产品及测试生态现状,汇总整理出手游测试中的经验和教训,为国内移动游戏企业的从业者、机构、政府主管部门提供权威数据依据。 书中还包含来自中手游、华为、英雄互娱等10位手游圈大佬撰文分享对手游经验和未来看法,干货太多,不妨一读。 凡前来TestBird展位参观咨询的朋友,现场扫码可申领《2018年手游测试白皮书》一本!现场扫码关注还可以获得精美礼品,礼物有限赶快到W2馆C294领取吧!

《2018年手游测试白皮书》首发:闪退、UI异常占比达60%以上

前言 自2014年首次发布手游白皮书以来,今年是TestBird连续五年发布行业内极具参考价值的行业报告,书中主要采集了9755款手游测试相关问题,并对其做详细的阐述分析,为国内移动游戏企业的从业者、机构、政府主管部门提供权威数据依据。 大浪淘沙,国内手游越来越往精细化运营,期望生命周期延长,积累VIP用户,面对越来越挑剔的用户,质量是一切开始的前提。TestBird根据2018年上半年测试过的9755款手游数据,轻度手游增长趋势明显,占比达42%,由此数据可以看出虽然RPG类重度手游很火,但轻度游戏市场也不容小觑,仍有增长空间。 在测试的522431个兼容性问题中,游戏闪退、UI异常、游戏卡死是兼容性问题依然是占比最高的3大类问题;通过对手游数据性能分析,体育运动、角色扮演、动作格斗等重度游戏对手机要求较高,CPU占用率、内存消耗、手机温度都比其他类型游戏要高。 TestBird CEO此次专门撰写视点文章《技术创新服务为本 继续做好手游质量守护者》,对TestBird的客户,支持我们的政府、机构和各界人士表示衷心的感谢。 2018中国手游质量现状 1、轻度手游呈增长趋势 2018年上半年轻度手游呈增长趋势,测试过的轻度手游以41.7%比重占据第一,其中休闲益智和棋牌扑克增长明显。以飞行射击为代表的轻度手游热度不减,比重最高达41.7%,而以角色扮演游戏为代表的重度手游表现相对低迷,其以35.2%占有率紧随其后,2者所占份额超过70%。 2、手游更加注重精品化 2018年上半年,手游操作精品化的方向发展,游戏安装包也呈增大趋势明显,50~100MB大小的安装包占比为26.7%,100~300MB大小的安装包占比则达到34.6%,大于300MB以上也占到28%,而只有10.7%的游戏安装包低于50MB。 在测试过的手游中,95%以上游戏需要联网,只有不到4%的游戏是单机游戏。其中8成以上的手游为强联网游戏,说明在网络环境越来越好的情况下,手机游戏对网络质量要求也越来越高。 平均兼容性问题数达53个 2018年上半年TestBird测试了9755款游戏,共发现522431个兼容性问题,按照平均每款游戏测试300部终端统计,游戏平均兼容性问题数53个,平均通过率为82%。相对于2017年来看,游戏兼容性问题依然突出。需要引起厂商的重视,以减少兼容性问题数,减少用户流失,从而减少研发与运营成本,提高游戏的玩家体验,提高游戏的生存几率,提高游戏的收入。 终端兼容性分析:主流品牌的兼容性整体好于非主流品牌 2018年上半年,TestBird测试终端总数达到5000款,含全球主流终端98%以上,通过分析522431个兼容性问题,对比各品牌的兼容性问题数,主流品牌的兼容性整体好于非主流品牌。非主流品牌的兼容性问题非常严重,每终端每款游戏的失败率(即平均每款终端在每款游戏上的不兼容率)高达20%以上。 CPU品牌兼容性分析:展讯出现的兼容性问题最多 各类CPU品牌中,展讯出现的兼容性问题占比最大,达到了43%。而我们所熟知的联发科和高通两大类CPU品牌的兼容性问题检出率相当,检出率均占总数的23%和22%,海思表现最好为15%。 游戏引擎兼容性分析:自定义引擎兼容性问题达29% cocos2D-X和unity3D游戏引擎的兼容性问题的检出率分别是22%和24%,相比于自定义游戏引擎高达29%的兼容性问题检出率而言,表现情况较好。 图片 Android版本兼容性分析:7.0及以上版本兼容性问题需要重视 从统计数据来看,Android4.4的兼容性情况最好,Android4.2.X及以下版本的兼容性问题最严重,这可能和ndroid4.2.X及以下的系统比较老旧,硬件差,逐渐退出市场,而大多数游戏厂商并不关心这部分游戏兼容性有关,除开ndroid4.2.X及以下的系统外,7.0,7.1和8.0系统版本问题检出率比较高,分别达到了24%,23%,29%,新版本的兼容性问题需要游戏厂商特别关注。 iOS兼容性测试分析:iOS11的兼容性问题数量最高 2018年上半年,TestBird共进行了1582余次iOS手游兼容性测试,共发现10122个兼容性问题,iPad以其高达59.30%的问题占比超iPhone。 我们分析了5个iOS版本测试数据,发现在系统iOS11的兼容性问题数量最高,占比达34%。 TestBird定义手游测试标准,成为行业公认测试标准: 安装失败:游戏app在某款手机上进行安装操作,但是没有安装成功。 启动失败:游戏app安装成功,但是无法启动,或者启动后马上自动退出。判断标准:启动后,检测游戏画面是否可见。 游戏闪退:在游戏过程中程序崩溃导致意外退出。判断标准:崩溃日志与游戏画面结合分析。 游戏卡顿:在游戏过程中运行不流畅,画面切换卡屏。主要原因是cpu或者内存占用过高,需要CP进行优化。 游戏卡死:手机系统无法正常运行,不接受输入事件,但游戏没有闪退。游戏触发了手机的系统级bug,引起系统崩溃。 游戏黑屏:游戏无法正常运行,没有显示任何ui界面,但是手机系统正常运行。 数据异常:游戏客户端与服务器数据交互异常,但是链接未断开。通常是手机游戏与服务器交互接口设计没有经过充分验证,导致异常数据在服务器与手机游戏之间传输。 UI异常:UI界面显示紊乱。主要原因是分辨率差异或者游戏场景切换逻辑代码书写有误。 游戏链接异常:与服务器交互链接发生异常。通常由于开发人员没有考虑到网络编程中的异常,或压力过大引发服务器崩溃。 其他异常:运行时出现游戏功能异常提示或现象。 闪退和UI异常是最主要问题 2018年上半年,TestBird对测试数据进行分析后,发现游戏闪退、UI异常、游戏卡死是兼容性问题占比最高的3大类问题。游戏闪退问题占比最高,达到38.8%,UI异常问题同样严重,达到22.5%。与2017年相比,UI异常问题有所上升。 TOP1.游戏闪退 TestBird统计了各游戏类型闪退分布,发现动作格斗游戏兼容性问题中闪退数量最高。 对游戏闪退场景分析发现,加载资源、战斗中及快速操作闪退情况最多。 加载资源出现闪退情况通常是游戏减压资源缓慢,游戏内存占用较高、手机空间不足等原因导致;战斗中及快速操作时对手机配置要求高,这种情况同样容易出现闪退;手机内存不足时,游戏闪退概率将增大。 TOP2.游戏卡死 TestBird统计了各游戏类型游戏卡死分布,发现飞行射击游戏兼容性问题中游戏卡死数量最高。游戏卡死场景分析如下: 卡死情况频繁出现在游戏场景切换,动画剧情,资源加载,登陆注册页面及游戏战斗等场景 手机配置较低,反应时间较长导致 网络较差的情况导致游戏卡死 游戏适配较差导致游戏卡死 TOP3.UI异常 2018年上半年TestBird统计了各游戏类型游戏UI异常分布,统计发现跑酷竞速游戏兼容性问题中UI异常最高。启动失败分析: 游戏版本与手机系统不兼容 手机内存不足 加载资源出错 游戏受其他程序影响 各游戏类型的兼容性分析:动作格斗类游戏问题最多 TestBird所测手游类型分别分布在“卡牌游戏、策略经营、角色扮演、塔防游戏、跑酷竞速、飞行射击、消除游戏、棋牌扑克、动作格斗、体育运动、虚拟养成、休闲益智”共12类游戏中,其中每类游戏的平均问题数如下: 由于对手机内存和cpu占用的不同,轻度游戏相对于中重度游戏兼容性问题数较少。TestBird对各类型手游都做了兼容性问题占比分析,可下载电子版本详细了解。 手游性能分析 CPU占用率:角色扮演类游戏最高,消除类最低 CPU占用率是游戏进程占用的CPU资源,CPU使用率过高,说明游戏比较耗电,而且容易卡顿。行业游戏CPU平均占用率平均值为21.98%,CPU峰值占用率平均为86.17%。各类游戏平均CPU占用率如下表: 启动时延:棋牌扑克类游戏最大,卡牌类最小 启动时延是衡量一个游戏启动耗时的指标,反应了游戏的加载速度,时延越小,启动加载速度越快。行业游戏平均启动时延为2111ms,启动时延最小值平均为:356ms。各类游戏启动时延如下表: 通过对各类游戏的数据性能分析,体育运动、角色扮演、动作格斗等重度游戏对手机要求较高,CPU占用率、内存消耗、手机温度都比其他类型游戏要高。角色扮演游戏类游戏消耗流量较大。 卡牌、策略经营、角色扮演三类游戏的启动时延最好,棋牌扑克、跑酷竞速、体育运动三类游戏的启动延时有待优化。(其他性能数据分析可下载电子版本参考) 给手游CP的解决建议: 通过对大量问题的统计和分析,闪退、卡死、UI异常是游戏面临的三大问题。而引发兼容性问题的因素,不仅仅是游戏本身的“内因”,还涉及到硬件性能、系统版本、程序间冲突、服务器连接情况、支付接口等等。 2018年TestBird对各类兼容性问题进行深入分析,结合部分游戏公司的解决方案,我们汇总出各类兼容性问题解决建议和性能优化建议共计十七条,详细可下载点电子版了解。 白皮书下载地址:https://www.testbird.com/support-white-book/