欢迎光临!欢迎分享转载本站文章,尊重原创,转载请注明出处! 阿里云-点击领取优惠券

shell脚本异步执行多任务并等待任务结束

2019年6月21日 没有评论

通常情况下,shell脚本中每条命令都是逐条按顺序执行的。如果想同时执行多条命令,并在所有命令完成后退出,这该如何实现?

我们可以在需要异步执行的命令后加&来实现后台运行,同时,使用wait来等待后台任务执行完成。

比如:

#!/bin/sh
i=0
while [ $i -lt 3 ];do
    long_time_task &
    let i++
done
wait
分类: Shell 标签:

FFmpeg多段视频拼接并实现淡入淡出效果

2019年6月21日 没有评论

假设有三段视频s1.mp4、s2.mp4、s3.mp4,长度均为10秒。

我们想要将这三段视频拼接起来,并且每两段视频之间有淡入淡出的效果。

以下为实现方法:

ffmpeg -i .\s1.mp4 -i .\s2.mp4 -i .\s3.mp4 –filter_complex “[0:v]fade=t=out:st=8:d=3:color=333333[v0];[1:v]fade=t=in:st=0:d=3:color=333333[v1_i];[v1_i]fade=t=out:st=8:d=3:color=333333[v1_o];[2:v]fade=t=in:st=0:d=3:color=333333[v2];[v0][v1_o][v2]concat=n=3:v=1:a=0[v3];[0:a][1:a][2:a]concat=n=3:v=0:a=1[a1]” –map “[v3]” –map “[a1]” -y out.mp4

这里,首先对每段视频使用fade滤镜,其中对s1设置最后3秒淡出,对s2设置开头3秒淡入和最后3秒淡出,对s3设置开头3秒淡入;然后分别对三段视频和三段原始音频进行拼接;最后将拼接的视频和音频合成为输出视频。

这里运用到FFmpeg以下相关概念:

  • filter_complex滤镜图
  • stream选择:[File:StreamType:StreamIndex]
  • stream映射:map
  • fade滤镜
  • concat滤镜
分类: 开发 标签:

KITE: WebRTC自动化测试引擎简明教程

2019年5月24日 没有评论
  1. 简介

Kite是一个用于测试WebRTC跨浏览器互操作性的测试引擎。

  • 支持编写跨平台的自动化的Java或JavaScript测试脚本
  • 支持Linux、Windows、Mac、iOS和Android系统
  • 支持Chrome、Firefox、Safari、Opera、MicroftEdge等主流Web浏览器
  • 支持Mobile Native Apps on Android, iOS
  • 支持Desktop Native Apps on Windows and MacOS
  • 支持Electron Apps

工作原理:KITE构建Selenium(automates browsers)测试环境,加载浏览器WebDriver,运行用户编写的测试步骤TestStep和预期结果检测TestCheck,将测试结果保存至Allure(开源的测试报告框架),并可通过浏览器进行查看。

Selenium Grid是一个分布式测试框架,如下图所示:selenium

  1. 安装
    • 依赖
    • Windows
      • 安装Git
      • 安装JDK:下载安装包,安装后设置环境变量JAVA_HOME,并将%JAVA_HOME%\bin添加到PATH环境变量中
      • 安装Maven:下载编译好的zip文件,解压;添加环境变量MAVEN_HOME,并将%MAVEN_HOME%\bin添加到PATH环境变量中;执行mvn -version检查安装结果
      • java_maven_env

    修改conf/settings.xml,添加阿里的Maven源镜像

mvn_aliyun_mirror

  • 安装Kite2.0
  • 从github下载源码,存放源码的路径中不能有空格。进入KITE目录。
  • 执行bat,用于设置KITE_HOME环境变量以及添加工具脚本到PATH中。根据脚本提示安装selenium local grid,注意默认配置中浏览器版本是否和本机匹配,若不一致,需要修改scripts\windows\gridCofnig.bat。

localgrid1localgrid2

这个过程可能由于网络原因导致下载失败,需要手动下载相关文件并放到相应的目录中:

Selenium.jar:下载,然后复制jar到KITE\localGrid\selenium.jar

ChromeDriver: 下载,然后解压复制到KITE\localGrid\chrome\chromedriver.exe

GeckDriver:下载,然后解压复制到KITE\localGrid\firefox\geckodriver.exe

然后再运行一次configure.bat。成功后会看到下边的几个窗口:

打开http://localhost:4444/grid/console,可以看到两个Selenium节点

localgrid_dashboard

  • 输入c进行编译,等待结束

kite_complie

  • 运行Sample
    • 首先保证local grid已经在运行,打开http://localhost:4444/grid/console来检查是否运行。若没有,手动运行KITE\localGrid\startGrid.bat
    • 进入KITE-AppRTC-Test目录,执行r configs\iceconnection.local.config,会打开两个Chrome浏览器,同时访问https://appr.tc。该测试用例会检测两个用户的链接状态和视频连通状态。
    • 测试结束后,执行a,可在浏览器中查看测试结果
  • CentOS
  1. IceConnectionTest解析
    • 用例说明:打开两个浏览器,进入appr.tc同一房间,获取连接状态和sdp信息
  • 配置:iceconnection.local.config.json

{

“name”: “IceConnectionTest JS”,

“callable”: true,

“remotes”: [    //配置SeleniumGrid,可以是local、saucelabs

//browserstack、testingbot中的一个或多个

{

“type”: “local”,

“remoteAddress”: “http://localhost:4444/wd/hub”

}

],

“tests”: [

{

“name”: “IceConnectionTest”,

“tupleSize”: 2,

“description”: “This test check the ICEConnection state between two browsers communicating via appr.tc”,

“testImpl”: “IceConnectionTest.js”,    //测试用例主脚本

“payload” : {                      //测试用例所需参数

“url”: “https://appr.tc”,

“testTimeout”: 60,

“statsCollectionTime”: 3,

“statsCollectionInterval”: 1,

“getStats”: true,

“selectedStats”: [

“candidate-pair”,

“inbound-rtp”,

“outbound-rtp”,

“track”

]

}

}

],

“browsers”: [    //浏览器配置

{

“browserName”: “chrome”,

“version”: “73”,

“platform”: “WINDOWS”,

“flags”: []

}

]

}

  • 主脚本:js

const {TestUtils, WebDriverFactory, KiteBaseTest, Status} = require(‘kite-common’);

const globalVariables = TestUtils.getGlobalVariables(process);

 

// Steps & checks

const {OpenAppUrlStep, ConnectToAppRoomStep, GetStatsStep} = require(‘./steps’);

const {PeerConnectionCheck, RemoteVideoDisplayCheck} = require(‘./checks’);

 

// KiteBaseTest config

const capabilities = require(globalVariables.capabilitiesPath);

const payload = require(globalVariables.payloadPath);

 

class IceConnectionTest extends KiteBaseTest {

constructor(name, globalVariables, capabilities, payload) {

super(name, globalVariables, capabilities, payload);

}

 

async testScript() {

try {

this.driver = await WebDriverFactory.getDriver(this.capabilities, this.capabilities.remoteAddress);

let openAppUrlStep = new OpenAppUrlStep(this);

await openAppUrlStep.execute(this);

let connectToAppRoomStep = new ConnectToAppRoomStep(this);

await connectToAppRoomStep.execute(this);

let peerConnectionCheck = new PeerConnectionCheck(this);

await peerConnectionCheck.execute(this);

let remoteVideoDisplayCheck = new RemoteVideoDisplayCheck(this);

await remoteVideoDisplayCheck.execute(this);

let getStatsStep = new GetStatsStep(this);

await getStatsStep.execute(this);

 

// End of Test reportWebDriverUtils

this.report.setStopTimestamp();

} catch (error) {

console.log(error);

} finally {

await this.driver.quit();

}

 

this.reporter.generateReportFiles();

let value = this.report.getJsonBuilder();

TestUtils.writeToFile(this.reportPath + ‘/result.json’, JSON.stringify(value));

}

}

 

module.exports = IceConnectionTest;

 

var test = new IceConnectionTest(‘IceConnection Test’, globalVariables, capabilities, payload);

test.testScript();

 

  • TestSteps
    • OpenAppUrlStep//open appr.tc
    • ConnectToAppRoomStep//根据当前时间生成roomId,在tc页面设置//roomId,并进入房间
    • PeerConnectionCheck//通过js获取iceConnectionState
    • RemoteVideoDisplayCheck
    • GetStatsStep//获取sdp信息
  1. Kite框架分析
    • KiteBaseTest
      • name, numberOfParticipant, capabilities
      • report(AllurTestReport), reporter    //测试报告相关
      • payload    //测试用例配置传入的参数
      • testScript()    //子类必须实现此函数:构造TestStep并调用execute()
    • TestStep
      • dsescription
      • report(AllurTestReport)
      • execute()    //调用setp(),并设置report信息和状态
      • skip(), finish()
      • step()    //子类必须实现此函数:实现本测试步骤的逻辑
分类: 开发 标签: , ,

python使用手记:使用pdb调试python程序

2018年9月18日 没有评论

调试是解决问题修复bug最有效的手段,用惯了gdb来调试c/c++代码,那么pdb就是调试python代码的得力助手。

  1. 开始调试

    python -m pdb test.py

  2. 查看、设置断点

    b:查看当前已设置的所有断点

    b [file:]lineNum:在file的lineNum行设置断点

  3. 运行、单步运行、进入函数、运行到下一断点

    run:开始运行程序,进入到脚本的首行

    n:单步运行,不进入当前函数

    s:进入当前函数,然后使用n命令单步调试该函数

    c:继续运行到下一断点出

  4. 查看变量值

    p:查看变量值

  5. 查看当前代码上下文

    l:列出当前代码所在行

  6. 其他
分类: Python 标签: ,

在CentOS或Ubuntu上通过源码安装python3.7

2018年9月14日 没有评论

在CentOS或Ubuntu上安装python3.7的步骤是类似的,区别在于依赖库的安装。具体步骤如下:

1,安装依赖库

  • CentOS

    yum -y install zlib zlib-devel
    yum -y install bzip2 bzip2-devel
    yum -y install ncurses ncurses-devel
    yum -y install readline readline-devel
    yum -y install openssl openssl-devel openssl-static
    yum -y install xz lzma xz-devel
    yum -y install sqlite sqlite-devel
    yum -y install gdbm gdbm-devel
    yum -y install tk tk-devel
    yum -y install libffi-devel

  • Ubuntu

    sudo apt-get install zlib1g-dev libbz2-dev libssl-dev libncurses5-dev libsqlite3-dev libreadline-dev tk-dev libgdbm-dev libdb-dev libpcap-dev xz-utils libexpat1-dev liblzma-dev libffi-dev libc6-dev

2,下载python3.7源码,并编译安装

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz && tar xzvf Python-3.7.0.tgz && cd Python-3.7.0 && ./configure –enable-optimizations && make && make install

3,创建软链接

[ -f /usr/local/bin/python3 ] && ln -sf /usr/local/bin/python3 /usr/bin/python3 && ln -sf /usr/bin/python3 /usr/bin/python

分类: Python 标签:

python使用手记:简单示例python面向对象特征

2018年7月27日 没有评论

面向对象三大特征:封装、继承和多态。Python对这三点完美支持。

#封装
class CA(object):
	def __init__(self):
		pass
	def hi(self):
		print("CA")
		
#继承
class CB(CA):
	def __init__(self, msg):
		self.__msg = msg
	def hi(self):
		print("CB: %s" % self.__msg)
		
a = CA()
a.hi()
print(type(a))
b = CB("God")
b.hi()
print(type(b))

#多态
a = b
a.hi()
print(type(a))

			
分类: Python 标签:

python使用手记:如何导入不同目录下的模块

2018年7月26日 没有评论

    模块是python代码重用和隔离的重要组成部分,也是python之所以开发效率高的原因,开源社区提供了大量的模块供我们使用。

    我们可以通过import来导入模块,那么对于不同目录下的模块,如何进行导入操作呢?

    import是以当前执行的python脚本所在目录为初始目录,来搜索相关模块文件的。首先搜索sys.path目录,然后搜索初始目录。

  1. python自带模块
    • 很简单,直接import就行了,比如:import os, datetime, json
  2. 第三方模块
    • 大多数第三方模块可以通过pip来安装,安装之后直接import
  3. 自定义模块
    • 调用同一目录下的模块:
      • /a.py调用/b.py:import b
    • 调用同级目录下的模块
      • /a.py 调用/a/lib/b.py:from lib import b
    • 调用父目录下的模块
      • /test/a.py调用/lib/b.py:

        import sys
        sys.path.append(“..”)
        from lib import b

分类: Python 标签: ,

如何将redis一个list中的数据全部移动到另一个list

2018年7月21日 没有评论

有时候我们需要将一个list中的数据全部移动到另一个list中,而Redis目前没有直接提供这样的命令。

怎么办?

很简单,逐一pop出list a中的数据,再push到list b中。当然pop+push可以通过rpoplpush来实现。所以对源list做个遍历就行了。

#!/bin/sh

host=”127.0.0.1″
port=”6379″
passwd=”foobar”
srcList=”listSrc”
dstList=”listDest”

while[ 1 == 1 ];do
ret=$(redis-cli -h $host -p $port -a $passwd rpoplpush $srcList $dstList)
[ -z $ret ] && return
done

分类: Redis 标签:

非root用户启动和运行redis

2018年5月30日 没有评论

    redis之前爆出过一个漏洞,攻击者可藉此漏洞获取系统root权限。在之前的文章里,我们了解了如何增强redis的安全性。我们还可以使用非root用户来运行redis,进而进一步提升系统安全性。

  1. 以root身份正常安装redis
  2. 切换非root用户登入系统,比如test
  3. 拷贝redis默认配置文件到test的根目录(或其他test有访问权限的目录):

    sudo copy /etc/redis/6379.conf /home/test/

  4. 修改test下配置文件的属主:

    sudo chown test.test /home/test/6379.conf

  5. 修改配置文件中redis运行使用到的相关文件和目录的路径,可通过grep 6379 /home/test/6379.conf查找这些文件和目录,将这些路径修改到test用户根目录下

    pidfile /home/test/run/redis_6379.pid
    logfile /home/test/log/redis_6379.log
    dir /home/test/lib/redis/6379

  6. 创建这些文件和目录

    mkdir -p /home/test/run/ /home/test/log  /home/test/lib/redis/6379

  7. 启动redis

    /usr/local/bin/redis-server /home/test/6379.conf

分类: Redis, 安全, 开发 标签:

阿里云ECS全新实例需要配置安全组规则

2018年4月23日 没有评论

最近新买了一台阿里云ECS服务器,新装了httpd服务后,从浏览器无法访问页面。

排查过程如下:

  • 服务器是可以ssh登陆的,说明网络没问题
  • 在服务器本机使用curl http://127.0.0.1/获取首页,输出OK
  • 在服务器本机使用curl http://ecs-外网ip/获取首页,输出OK;这两步说明httpd服务正常
  • 检查防火墙,iptables服务未运行

那问题应该在ecs上,网上搜了一下,原来ecs实例设置了安全组规则,默认只开放ICMP、ssh和3389端口。需要手动开放业务端口才行。

方法为:

  • 在ECS实例列表处,选择要开放端口的ecs,点击右侧的“管理”
  • 在“管理”页面选择左侧“本实例安全组”,进入“安全组”页面
  • 点击“配置规则”,然后“添加安全组规则”,设置好协议、端口、授权对象(ip范围)等,保存

稍等一会儿规则生效,就可以正常访问业务页面了。

分类: 资料 标签: ,