PerfMa

       

         众所周知，汽车行业是典型的资金、技术、人才密集型产业，一款新车从概念到产品，再到大规模的量产，需要车企花费常人难以想象的心血。在以往的测试建设中，传统的汽车企业以实现基础接口自动化测试脚本覆盖，减少重复操作为目标，但随着国内外科技的飞速发展，传统汽车企业的被测系统需求越来越全面，当系统全面性增强，系统就会变的越来越脆弱，这就对人员的测试能力需求变高，测试人员犯错的概率也会随之增大，这给传统车企带来了严峻的挑战。

        上汽乘用车作为传统的汽车企业，在数字化的背景下，IT团队通过不断的探索，率先对测试系统进行了升级改造，旨在从环境、接口、用例和脚本维护等各方面提升研发平台的质量效能，从而提高被测­系统质量，提升测试人员效率，降低自动化维护成本，以达到提质增效的目的。

主要难点在于：

◆测试不参与线上走查，线上故障反应迟钝；线上故障独立系统记录，导致跟踪不连续；

◆ 代码变更影响范围不确定，浪费人天做全量回归；

◆ 无分层测试、无链路追踪导致BUG难以定位；

◆ 无覆盖率度量，替代人工测试可信度低，无历史数据度量，无法反映成果趋势；

        为了系统性的解决测试效能痛点，上汽乘用车内部测试团队在2020年初对市场进行调研，发现市面上的测试平台，只能满足于用例管理、测试计划管理和缺陷管理这类管理能力，但是在对人员能力提升上不能起到支撑作用，例如缺少接口自动化能力、性能测试能力、质量度量能力等，同时在技术深度上与当前互联网第一梯队公司的测试技术发展情况存在一定的差距，例如缺少精准测试能力、性能分析能力、持续集成能力等，不能够让企业在数字化转型中实现弯道超车。最终，上汽乘用车选择了与PerfMa共同孵化测试效能平台产品，并设计平台的功能框架如下：

 

质量效能平台的建设：

        为满足质量效能平台自动化测试的建设，上汽乘用车与PerfMa团队在接口自动化编写方面，对质量效能平台采用可视化的方式，使交互更为友好，操作更为便捷，与此同时，通过探针采集到的接口变更情况，平台可以脚本编辑提供信息预填写，真正实现无代码自动化。为了让测试人员及时发现脚本问题，在接口自动化编辑页面还为测试人员提供了在线调试功能，提高测试人员脚本编写效率。为了解决前端测试人员自动化普及困难的问题，使用了前端自动化脚本录制器，测试人员仅需要通过页面点击操作即可生成自动化测试用例，进一步提升便捷性。

        质量效能平台不仅可以管理接口自动化脚本，同时还支持对手工测试用例的管理与维护，通过测试计划将测试用例进行筛选与关系绑定。测试人员在执行自动化测试用例或者手工测试用例时均可以通过平台创建关联性缺陷，以便测试计划结束后进行缺陷复盘。针对线上缺陷，测试人员也可以将其记录到对应的版本所关联的测试计划内，以便在故障复盘时评估此次故障是否有对应的测试用例进行覆盖，没有则进行补充，通过双向追溯实现测试用例与代码的绑定，再下次该代码发生变动时平台及时提醒测试人员测试该用例，实现了线上缺陷的闭环。

        通过平台的精准测试能力，能够观测到每一个项目、每一个迭代、每一个应用的测试覆盖率情况，通过专业的指标度量，为测试人员的效果提供参考依据，使测试质量不再黑盒。平台的精准测试能力还能够提供测试用例与代码的关系绑定，在发现测试人员有接口未覆盖的时候，为测试提供接口列表，方便测试人员对测试场景进行补充。而随着测试用例库的不断丰富，测试执行次数的不断增加，每次代码变动平台都可以为测试人员精准推荐出本次代码变更所需要回归测试的用例，极大的减少了测试人员盲测的情况，缩短了测试人员回归测试周期，进一步提高了测试环节的效能。

        专业的质量度量标准以及测试环节自闭环后，并与CICD平台的打通，通过对接将测试的准入、准出纳入到研发交付的流程中，进一步规范了交付流程，提高了产品稳定性，也使得整个软件生命周期更加透明可视。

人员能力的培养

        除了对平台的建设之外，PerfMa团队还协助上汽乘用车的测试人员进行了能力的提升，通过自主式挑战学习措施，让测试人员参与到体系共建的过程中：

1、 举办自动化测试workshop，对人员能力进行了差异化的培养。让测试人员自主讲解用例及分解思路，其他人员进行点评，帮助测试人员明晰自动化测试规范；

2、 鼓励测试人员寻找平台BUG，充分参与平台建设并获得用户共创满足感；

3、 选择部分具备高自动化要求的业务版块，发展代码能力较强的人员切入白盒测试，从而获得个人成长满足感；

4、 鼓励测试团队人员开拓思维，参与业务技术峰会及技术牛人主题学习，由外部力量来输入成长动力；

5、 与流程体系结合，对测试质量进行度量及测试能力评优，通过表彰及模范的作用来引导自动化测试文化建设。

        通过1年的实战，测试人员的扁平能力分层有了显著的分化，多个项目的以战练兵，让测试团队的人员能力从3层分化到6层，整个测试团队具备了应对分层测试、架构改造的能力。

截止到目前：

2021年度后端接口漏测故障为0；

100%人员参与自动化测试；

13%的人员具备白盒测试能力, 10%人员具备架构测试能力；

3名测试人员转变为测试开发；

4人独立项目管理能力；

        在保障高质量交付及创新能力的同时，开发测试比同时有提升。交付线测试开发人员比从2.2：1提高到3:1，费用比提升至了3.5:1。

代码质量控制

        为全天候无死角的卡控代码变更的回归质量，上汽乘用车团队与PerfMa团队还将自动化测试执行分为两个层级：

1) 核心系统回归用例自动化测试与代码分支部署挂钩；

2) 全量用例每天夜间执行一次。

        通过用例通过率的指标对用例健壮性及代码质量做双向追踪及控制，经过持续的追踪，最终使得各条线全量用例的通过率保持在80%以上，核心系统每次代码变更的P0及P1级用例通过率保持在90%～95%。

        基于与上汽乘用车共同孵化质量效能平台，为满足业界内持续增长的性能测试需求，PerfMa笨马网络建立了一整套完整的全流程高效协同的自动化测试体系，从功能上提升自动化转换效率，从性能上加强了白盒渗透能力，提升根因分析效率，并结合深度性能监控与调优技术，让研发系统的性能问题在迭代上线前充分暴露出来，避免上线之后造成生产损失。

        同时，PerfMa还针对生产全链路压测提供多地域高并发模拟、测试请求流量染色、数据监控日志隔离、性能容量持续规划、生产变更灰度演练、重大活动容量保障。生产全链路压测技术实现了生产高仿真度压测，在生产环境容量评估、稳定性保障中发挥了举足轻重的作用。

        智能化根因分析专注于应用实时性能诊断，为企业级用户打造基于问题驱动的实时性能分析产品，通过无入侵方式在极低的性能开销下帮助客户精准发现问题、定位问题、解决问题、让每个性能问题都无处遁形，能够简单高效地发现CPU突增、内存泄漏、线程使用不规范、异常GC等性能问题，定位性能瓶颈。

        PerfMa笨马网络还建立了全面的性能基线追踪与度量体系，满足了企业在降本增效的同时，保证系统稳定性从而为企业创造更大价值，为汽车行业内质量体系建设打开了新的局面。