
6月24日,腾讯WeTest质地云首场专题直播《十年磨一剑,匠心锻造PerfDog》圆满收官。
本次直播,WeTest邀请MTSC中国互联网测试开发大会主席、腾讯资深测试本事总监、明星性能器具PerfDog创举东谈主曹文升(Awen)栽培,为大众揭秘明星产物背后的发源、出身、成长故事,并全面解读了PerfDog窜改方针的涵义与作用,与线上不雅众共同探讨出动产物质地料理的的前沿本事与哄骗现实。

曹文升(Awen)
腾讯资深测试本事总监 PerfDog创举东谈主
从业17年,早期负责腾讯PC游戏客户端性能、兼容性等测试专项责任,现担任腾讯测试本事中心总监。
领有10年+游戏引擎开发及性能优化、器具平台开发、专项本事测试及游戏开发责任训戒,全程主导PerfDog、PerfSight、CrashSight、Bench3D等多个专项器具平台竖立,参与腾讯多款有名出出手游技俩性能专项测试责任。
对客户端及游戏引擎本事有长远的领会,罕见是在性能测试优化干系专项领域有国民级游戏哄骗实战训戒。
底下让咱们通盘走动归,Awen栽培在直播经由中的精彩演讲吧。
动须相应,十年匠心打磨
PerfDog团队从2010年就开动聚焦游戏引擎,为腾讯游戏提供性能专项劳动,伴跟着PC和出动游戏的高速发展,期间,PerfDog团队也推出了PC游戏性能器具“Bench3D”,之后推出了出动全平台性能器具“PerfDog性能狗”,并于19年发达对外盛开,截止本年已劳动全球10W+企业客户。

PerfDog发源:痛
PerfDog始于游戏,起因”大吉大利“。2018年,“大吉大利”风靡全球,径直带动了同庚全球PC硬件销量提高40%。Awen栽培在直播中先容到:那时,研发团队但愿在保抓玩法不变,领有PC通常体验的情况下将这款游戏作念成出动版,这是团队初次尝试在出动平台上制作次世代画质的游戏,且是初次使用UE引擎,对通盘团队齐短长常大的挑战。
在性能专项测试经由中,团队最先要面对的就是iOS与Android平台两座大山所带来的测试痛点。作念过iOS专项测试的同学应该了解,iOS平台的Xcode器具,只可在Mac或者Debug环境下进行测试。面对UE引擎游戏的百万级别代码量,在不出现任何舛讹的情况下,编译Debug至少需要一天的时辰,通盘测试服从极低。且无从了解市面上的竞品质能如何?行业范例是什么?
其次是Android环境,Android环境给东谈主的印象是比拟盛开的,因此,当然就会有许多手机厂商推出我方的系统版块,并对应了近千种不同的测试器具,但市集上却莫得一款器具能够作念缓助的测试分析。此外,每款测试器具齐可能存在兼容问题和不准确性,成为了那时团队面对的最大问题,导致了大齐复测与分析误导。

Awen栽培说谈:在遇到到了千种“痛之后,剥肤之痛,团队产生了一定要惩办这些问题的想法,也明晰的明白我方需要的是什么,一款能够撑抓出动全平台、极简化、即插即用的测试器具,PerfDog因此应时而生,并在技俩里面取得了可以的成果。自后,PerfDog引申到多个技俩去使用,咱们又发现了些新的问题,技俩中不同职能的东谈主员,包括开发、测试、产物,以致是好意思术齐会有我方的产物需求。面对大齐上报的需求,经过团队里面的念念考,咱们将约莫50%的需求界说为灵验需求,并进一步分类为数个通用需求,经过了或者一年的时辰的打磨,最终成为了19年底对外盛开时,大众所看到的PerfDog的格式。

PerfDog成长:用户体验良性生态闭环
从游戏方角度来说,末端用户玩到的游戏版块一定是研发团队在那时条目下能够作念到的最好体验的版块。那时,出动版的”大吉大利“被公司表里齐认为是一款大作,各大手机厂商也止境嗜好,他们会将在研及未发布的机型,或是照旧发布的旗舰机型拿来测检修证游戏在他们的手机上的性能阐发,提前惩办性能问题。在这个经由中,咱们发现手机厂商和游戏方一样,也短长常嗜好用户的性能体验,PerfDog也因此当但是然地盛开给手机厂商,两边通盘致力为用户提供极致的性能体验。
再自后,咱们发现许多To C用户(举例科技大V、博主)也常常使用PerfDog作念手机性能评测。Awen栽培回忆:起原咱们还很狐疑,因为那时评测手机性能阐发的主流方式是通过BenchMark跑分,经过与用户的交流探讨,许多用户暗示手机仅仅BenchMark跑分高并不可全面的代表确凿性能体验,PerfDog可以更好地发现手机性能间隙或者Bug。
同期,开云app登录入口由于大V带有的粉丝属性,当发现了手机的性能间隙,和会过媒体快速地放大,可能会径直驾御用户的购买意向。因此,手机厂商也止境嗜好,一朝发现性能问题就会快速的去惩办优化。就怕候,一些性能问题也不一定是手机厂商的问题,而是一些更底层硬件(GPU、芯片)的问题,当手机出现性能问题,手机厂商也会快速股东硬件厂商去作念升级优化。

最终咱们发现游戏厂商,手机厂商,硬件厂商齐但愿能给用户优秀的性能体验,而科技大V与博主则能股东性能体验向更好、更高宗旨发展,合座酿成了雅致的生态闭环。
PerfDog成长:劳动更多用户,不限于游戏
PerfDog最早是劳动游戏,在推出时也打上了游戏的标签。但在里面使用的经由中,咱们发现许多非游戏的产物也常常使用PerfDog,PerfDog不仅可以匡助到游戏,也能匡助到许多非游戏的APP,基于此,咱们也徐徐把PerfDog盛开给了一些外部的厂商。再到自后,PerfDog不仅是赋能给手机、芯片厂商,还包括一些IOT斥地厂商,这亦然PerfDog逐步盛开的一个经由。
在通盘盛开经由中,为了给到用户一个宽心、准确专科的使用体验,咱们同期也在不休地提高PerfDog的软性实力,咱们花了或者半年多的时辰去配合国度计量院进行大齐的测检修证,最终以高分得回了国度计量院的认证文凭,在秘密合规方面,咱们也连结了里面专科的法务团队通盘去现实干系的操作与设定。

Awen栽培坦言:最早的PerfDog,咱们构想的是想作念一款技俩里面好用的器具,之后以为劳动公司里面就敷裕了,再之后以为劳动国内厂商就好了。但自后,咱们发现公司有止境多的游戏合营伙伴,比如说Supercell,Roit、EA等全球各地的公司齐但愿可以使用这款器具,之后韩国的三星、SK等公司也但愿可以将PerfDog盛开给他们使用。是以在客岁7月份,kaiyun体育app咱们发达推出了PerfDog国外版并发达面向全球盛开。本年3月,PerfDog亮相全球顶级游戏开发者大会GDC。
除了软实力,PerfDog的产物也一直在进化,从早期的惯例器具到PerfDog云平台、云劳动,再到PerfDog Service工业化性能管线,从惯例测试到行将推出的深度性能惩办决议PerfDogPro。同期,咱们也生息出了聚焦游戏的全新惩办决议:用户游戏性能惩办决议PerfSight和用户游戏颠倒崩溃惩办决议CrashSight,感兴味的同学可以点击下方赓续央求免费试用。
https://wj.qq.com/s2/10356354/7d98/
Awen栽培暗示:PerfDog翌日将会掩盖更多的末端(手机、腕表、汽车、主机、VR、TV、PC等),同期咱们但愿能够在本年底进行一个全量的升级,使PerfDog更好的撑抓APP哄骗的性能专项测试,包括视频、浏览器、弱收集瓜分析,并为产物研发运营的全生命周期提供撑抓,匡助大众生长出更高品质的产物。

PerfDog方针解读
PerfDog中许多方针齐是凭证团队的训戒总结出来的,或是草创的确凿反馈性能的方针。在第二门径中,Awen栽培选取了大众比拟存眷的三个方针:Jank卡顿、Smooth稳帧指数、帧能耗(FPower)并逐个解读。
Jank卡顿
在苹果WWDC18年开发者大会上,苹果冷漠了一个FramePacing的见地,如下图所示:

将左边40帧的画面与右边30帧的画面进行对比,咱们会发现左边的画面显着出现了一次卡顿,通过FrameTime进一步不雅察,可以看到左边40帧的画面在C帧时出现了一个率先100ms的单帧耗时,右边30帧的画面则短长常均匀的33ms/帧。因此,左图固然帧率较高,但予以用户的感知体验是比拟差的。
早期的安卓一直给东谈主卡顿、不运动的固有印象,为了改变这种气象,13年Google发布了划时期系统Android4.4,同期冷漠了黄油权术-Jank,并提供了Jank的贪图念念路,以更量化的方式展示系统运动度。

通过上述两个案例可以看出,单看FPS(帧率)无法反馈出确凿的运动度与用户体验,需要伙同多维度的方针去分析。Awen栽培指出:那时,咱们团队选拔的是FPS与Jank两个方针去分析游戏游戏性能,但咱们发现,统计出的数值和用户体验感知仍存在区分,经过了大齐的测试与考据,咱们认为Google的Jank值判断过于严格,是无法真确反馈用户确凿体验的。
经过团队的修订升级,咱们推出了修订后的PerfDogJank方针并引申盛开给了行业。但很快,咱们遇到了新的问题:19年的斥地渊博是60帧刷新率,最近的旗舰机型齐是在120帧以上的刷新率,行业内硬件斥地的快速提高使用户对性能体验的要求越来越高,即即是眇小的卡顿也可能会被用户感知到,原先的Jank范例也照旧无法闲散性能测试的需求。因此,在最新的PerDog版块中,咱们推出了全新的方针SmallJank,可以精确反馈出游戏经由中的眇小卡顿,归附确凿用户体验。

稳帧指数Smooth
稳帧指数Smooth可以对游戏或者哄骗画面沉稳度提供更精确的评估。最先看下图的帧率截图可知,合座的帧率基本莫得变化,但当咱们细看FrameTime可以发现,单帧的耗时波动短长常大的,证明在帧率莫得变化的场景下,里面仍存在一定的卡顿。且每次卡顿的时长、领域不同所产生卡顿完了亦然不同的。咱们还可以看到下图右边的毛刺,可以发现依然会存在些眇小卡顿,这么就会导致测试完了中卡顿次数是一样的,但给用户的感不雅体验却是不同的,这时候就需要更精确的方针去领悟。
因此,咱们推出了Smooth方针(公式如图所示),当前已发达上线新版块PerfDog,处于大鸿沟考据的阶段。Awen栽培暗示,之后可能会将这个公式盛开给大众,供大众使用。

帧能耗(FPower)
许多技俩团队与咱们调换,暗示但愿可以有更科学、量化的方针来评估功耗阐发,这亦然帧能耗(FPower)的由来。
Awen栽培先容谈:看成用户,详情但愿游戏/哄骗能够以高帧率、高画质、发烧低、耗电少的状态运行。但这么会导致一开出手机运交运动,画面、帧数均在梦想水平,但随入部属手机能耗的增长,发烧随之增长例必会导致降频影响帧率,进而影响通盘用户体验。咱们再进一步去领悟游戏/哄骗到每一帧的耗时和能耗领悟,如图所示:

咱们可以得知:帧率=恭候+运算,功耗=运算+调度,优化运算能力真确优化功耗。
之前,大众优化能耗可能会选拔降帧等法式,固然裁汰了功耗,却影响了用户的体验,不可算是一个正向的优化。只须当帧率莫得变化,功耗裁汰,或者是帧率提高,功耗莫得变化才是裁汰了单帧功耗的正向优化,是以,咱们冷漠了一个更精确的方针FPower=功率/帧率,这亦然腾讯当前作念功耗优化时比拟紧迫、精确的方针。
QA门径
在直播尾声,Awen栽培与现场不雅众进行了火热的答疑门径。接下来小编带大众通盘回归下精彩答疑门径~
Q:PerfDog在更底层的方针获取上是否会有一些冲突或者权术?
Awen:这个是一定会有的,因为咱们也但愿能够给到用户更深度、全面的底层方针信息。当前咱们亦然积极和一些硬件厂商,举例高通、Imagnation等张开合营,肯定在不久的将来,PerfDog有能力为用户提供硬件、以致是底层驱动的更全面深度的信息,匡助大众更好、更快速地定位性能问题。
Q:在游戏技俩中,各式数值参数对客户端的影响是如何的?以及哪些方针优化是一款新游戏需要存眷的?
Awen:就从APP的角度来看,游戏短长常复杂的,仅次于操作系统。在游戏测试经由中,单看某一个或者几个方针是无法反馈出确凿的游戏性能范例的,之前也有同学提过相似的问题,咱们平凡建议是缓助的去看各项方针。再者,不同的游戏类型的区别短长常大的,性能方针的区分也止境大,大众在技俩经由中不可纵容去指定一个范例来要求技俩,我建议大众可以符合参考行业内相似竞品的性能方针进行优化,当前,PerfDog照旧提供了这个功能,大众可以多多尝试。
Q:教唆PerfDog是否探讨更好的撑抓APP的哄骗测试?
Awen:是的,其实咱们前边也照旧提到了,或者从客岁岁首,咱们就照旧开动探讨哄骗的测试了。本年年底,咱们权术推出一个更好的版原来撑抓哄骗的测试,并包括弱收集环境测试等。
Q:PerfDog是否可以扫尾一个账号同期测试多斥地?
Awen:可能大众莫得注目到kaiyun体育app,单个账号在一台电脑上测试多部手机是PerfDog照旧撑抓的能力,在PC端屡次启动PerfDog软件,就可以同期测试多台手机了,当前撑抓一个账号同期测试3台手机。大众可能会问:为什么只撑抓3台呢?因为在性能测试过中,PerfDog会袒露大齐的性能参数与UI,若是多部手机同期永劫辰测试可能会导致测试完了末端或者缺失,是以咱们建议最多是在3台手机上进行测试。
开云体育(kaiyun)官方网站