存档

文章标签 ‘webrtc’

基于kite的自动化测试管理系统(KTMS)设计方案

2020年6月12日 评论已被关闭

我们之前介绍了webrtc自动化测试框架kite的基本概念。了解到以下两点:

  • kite由4个主要组件构成
  • kite通过配置文件来指定测试用例脚本和参数

我们通过r命令来运行测试用例。对于一个实用的测试用例来讲,测试数据或者说用例参数应该可以灵活指定,而不能写死在配置文件中,或者每次通过手动修改配置文件来运行不同的测试数据。

Kite整合的allure是一个非常好的测试报表,但是也并不能完全满足所有需求。它只是从日志中提取了执行步骤和结果,也没有太多可供分析的数据。

对于自动化测试,我们希望可以是无人值守的,跑完用例就能自动得到结果。而Allure需要你估计一下用例运行时间,然后自己去刷一下页面,看一下结果。

显然,上述这些需求都需要在Kite基础上进行定制开发。

如果你深入理解了kite的框架构成和运行原理,就可以对其进行定制开发。

KTMS是笔者基于上述需求对Kite做的二次开发,是一套可视化测试管理系统,包含以下功能:

  • 可以配置测试账号、测试接口、浏览器版本等测试数据
  • 可以通过组合测试步骤的方式配置测试用例,手动(点一下)或自动(定时任务)运行测试用例
  • 可以自动收集测试数据,包括当前执行步骤、失败原因等,可通过钉钉发送测试结果

设计思路为:

  • 给测试人员提供配置界面,可添加和修改测试数据
  • 对测试过程进行抽象,提取出相关测试步骤,提供开关以决定是否运行
  • 可以由测试用例生成测试任务
  • 在selenium hub节点,部署一个agent,监听测试任务
  • agent获取测试任务对应的测试配置,根据需要修改kite配置文件,并运行新的用例
  • 测试用例脚本在启动时从数据库(MySQL及redis)读取所需数据,并上报每个步骤的结果数据到数据库
  • 测试任务执行完成后,更新数据库中的任务状态,并通过钉钉发送通知给测试人员

技术栈:

  • python、flask
  • MySQL、redis
  • nodejs
分类: 开发, 测试 标签: ,

KITE: WebRTC自动化测试引擎简明教程

2019年5月24日 没有评论
  • 1. 简介

Kite是一个用于测试WebRTC跨浏览器互操作性的测试引擎。

  • 支持编写跨平台的自动化的Java或JavaScript测试脚本
  • 支持Linux、Windows、Mac、iOS和Android系统
  • 支持Chrome、Firefox、Safari、Opera、MicroftEdge等主流Web浏览器
  • 支持Mobile Native Apps on Android, iOS
  • 支持Desktop Native Apps on Windows and MacOS
  • 支持Electron Apps

【工作原理】:

一个完整的KITE测试环境由以下几部分组成:

  • selenium grid hub

此为selenium测试集群的中心节点,是一个运行selenium.jar的Java进程。

用于管理node,包括接受node的注册、和node之间的保活、选择node并向node派发测试指令。

  • selenium grid node,称之为proxy

此为selenium测试集群的执行节点,也是一个运行selenium.jar的Java进程

其主要作用为接受hub发送的测试指令,并通过webdriver运行测试指令

  • webdriver

和浏览器通信,“远程”操控浏览器

  • 浏览器
  • 测试sdk,称之为client

通过kite或者说selenium提供的测试sdk,编写自动化测试脚本,支持Java、js等多种语言

Kite集成了Selenium(automates browsers)gird测试框架,可以构建出一个分布式测试环境。用户通过client连接selenium hub,hub选择合适的测试node来执行测试用例,并将测试结果保存至Allure(开源的测试报告框架),测试结果可通过浏览器查看。

Selenium Grid是一个分布式测试框架,如下图所示:selenium

 

想要熟练使用kite,需要先了解selenium。

2. 安装

  • 依赖项目
  • Windows
    • 安装Git
    • 安装JDK:下载安装包,安装后设置环境变量JAVA_HOME,并将%JAVA_HOME%\bin添加到PATH环境变量中
    • 安装Maven:下载编译好的zip文件,解压;添加环境变量MAVEN_HOME,并将%MAVEN_HOME%\bin添加到PATH环境变量中:java_maven_env
    • 执行mvn -version检查安装结果
    • 修改conf/settings.xml,添加阿里的Maven源镜像:
      • mvn_aliyun_mirror
    • 安装kite2.0
      • 从github下载源码,存放源码的路径中不能有空格。进入KITE目录。
      • 执行bat,用于设置KITE_HOME环境变量以及添加工具脚本到PATH中。根据脚本提示安装selenium local grid,注意默认配置中浏览器版本是否和本机匹配,若不一致,需要修改scripts\windows\gridCofnig.bat。
      • localgrid1
      • 这个过程可能由于网络原因导致下载失败,需要手动下载相关文件并放到相应的目录中:

Selenium.jar:下载,然后复制jar到KITE\localGrid\selenium.jar

ChromeDriver: 下载,然后解压复制到KITE\localGrid\chrome\chromedriver.exe

GeckDriver:下载,然后解压复制到KITE\localGrid\firefox\geckodriver.exe

然后再运行一次configure.bat。成功后会看到下边的几个窗口:

localgrid2

打开http://localhost:4444/grid/console,可以看到两个Selenium节点

localgrid_dashboard

  •                   输入c进行编译,等待结束

kite_complie

  •        运行Sample
    • 首先保证local grid已经在运行,打开http://localhost:4444/grid/console来检查是否运行。若没有,手动运行KITE\localGrid\startGrid.bat
    • 进入KITE-AppRTC-Test目录,执行r configs\iceconnection.local.config,会打开两个Chrome浏览器,同时访问https://appr.tc。该测试用例会检测两个用户的链接状态和视频连通状态。
    • 测试结束后,执行a,可在浏览器中查看测试结果
  • CentOS(略)

    3. IceConnectionTest解析

    用例说明:打开两个浏览器,进入appr.tc同一房间,获取连接状态和sdp信息

  • 配置:iceconnection.local.config.json
    {
      "name": "IceConnectionTest JS",
      "callable": true,
    
      "remotes": [    //配置hub
        {
          "type": "local",
          "remoteAddress": "http://localhost:4444/wd/hub"
        }
      ],
    
      "tests": [
      {
        "name": "IceConnectionTest",
        "tupleSize": 2, //打开的node个数
        "description": "This test check the ICEConnection state between two browsers communicating via appr.tc",
        "testImpl": "IceConnectionTest.js",    //测试用例主脚本
    
        "payload" : {     //测试用例所需参数,可根据需要灵活配置
           "url": "https://appr.tc",
            "testTimeout": 60,
            "statsCollectionTime": 3,
            "statsCollectionInterval": 1,
            "getStats": true,
            "selectedStats": [
                "candidate-pair",
                "inbound-rtp",
                "outbound-rtp",
                "track"
             ]
          }
        }
      ],
    
      "browsers": [    //浏览器配置
        {
          "browserName": "chrome",
          "version": "73",
          "platform": "WINDOWS",
          "flags": []
        }
      ]
    }
  • 主脚本:js版
    const {TestUtils, WebDriverFactory, KiteBaseTest, Status} = require('kite-common');
    
    const globalVariables = TestUtils.getGlobalVariables(process);
    
    // Steps & checks
    const {OpenAppUrlStep, ConnectToAppRoomStep, GetStatsStep} = require('./steps');
    
    const {PeerConnectionCheck, RemoteVideoDisplayCheck} = require('./checks');
    
    
    // KiteBaseTest config
    const capabilities = require(globalVariables.capabilitiesPath);
    
    const payload = require(globalVariables.payloadPath);
    
    
    //Main Class
    class IceConnectionTest extends KiteBaseTest {
        constructor(name, globalVariables, capabilities, payload) 
        {
            super(name, globalVariables, capabilities, payload);
        }
    
        async testScript() {
          try {
            this.driver = await WebDriverFactory.getDriver(this.capabilities,this.capabilities.remoteAddress);
    
            //测试步骤
            let openAppUrlStep = new OpenAppUrlStep(this);
            await openAppUrlStep.execute(this);
            let connectToAppRoomStep = new ConnectToAppRoomStep(this);
            await connectToAppRoomStep.execute(this);
    
            let peerConnectionCheck = new PeerConnectionCheck(this);
            await peerConnectionCheck.execute(this);
    
            let remoteVideoDisplayCheck = new RemoteVideoDisplayCheck(this);
            await remoteVideoDisplayCheck.execute(this);
    
            let getStatsStep = new GetStatsStep(this);
            await getStatsStep.execute(this);
    
            // End of Test reportWebDriverUtils
            this.report.setStopTimestamp();
         } catch (error) {
           console.log(error);
         } finally {
           await this.driver.quit();
        }
    
       this.reporter.generateReportFiles();
       let value = this.report.getJsonBuilder();
       TestUtils.writeToFile(this.reportPath + '/result.json', JSON.stringify(value));
      }
    }
    
    module.exports = IceConnectionTest;
    var test = new IceConnectionTest('IceConnection Test', globalVariables, capabilities, payload);
    test.testScript();
  • TestSteps
    • OpenAppUrlStep//open appr.tc
    • ConnectToAppRoomStep//根据当前时间生成roomId,在tc页面设置//roomId,并进入房间
    • PeerConnectionCheck//通过js获取iceConnectionState
    • RemoteVideoDisplayCheck
    • GetStatsStep//获取sdp信息

  1. Kite框架分析

    • KiteBaseTest
      • name, numberOfParticipant, capabilities
      • report(AllurTestReport), reporter    //测试报告相关
      • payload    //测试用例配置传入的参数
      • testScript()    //子类必须实现此函数:构造TestStep并调用execute()
    • TestStep
      • dsescription
      • report(AllurTestReport)
      • execute()    //调用setp(),并设置report信息和状态
      • skip(), finish()
      • step()    //子类必须实现此函数:实现本测试步骤的逻辑