存档

文章标签 ‘工具’

使用rsync进行文件同步

2017年4月25日 没有评论
  1. rysnc是什么
    1. 这是一个linux平台上通用的文件同步工具,可以在本地目录或本地与服务器之间进行文件同步
    2. 安全:支持自定义端口,支持口令配置
    3. 高效:只传输差异部分,支持压缩传输
    4. 易用:支持通配符,支持exclude来排除特定文件
  2. 安装
    1. 大多数linux服务器默认安装有rsync
    2. 如果没有,简单运行yum -y install rsync就ok了
  3. 简单示例
    1. 同步的前提是两端服务器都安装了rsync
    2. push方式:rsync /localDir/file user@remoteServerAddress:/remoteDir
    3. pull方式:rsync user@remoteServerAddress:/remoteDir/file /localDir
    4. 上述两条命令实际上是通过ssh来通信的,所以如果对端服务器用户配置了密码的话需要输入密码
    5. rsync还支持通过rync协议来通信,有两种命令方式可以使用该协议
      1. 在服务器和路径之间使用双冒号,比如

        rsync /localDir/file user@remoteServerAddress::/remoteDir

      2. 显式使用,如

        rsync rsync://user@remoteServerAddress[:remoteServerPort]/remoteDir/file /localDir

  4. 以daemon方式配置和运行
    1. rsync可以在一端或者两端以daemon进程形式来运行,通过配置rsyncd.conf来定制同步业务
    2. 这里列举一个简单的配置文件/etc/rsyncd.conf:

      #global settings
      pid file = /var/rsync/rsync.pid
      port = 873
      lock file = /var/rsync/lock.log
      log file = /var/rsync/rsync.log

      #module settings
      [SyncFiles]
      path=/data/files/
      use chroot = no
      max connections = 5
      read only = yes
      write only = no
      list = no
      uid = nobody
      gid = nobody
      incoming chmod = 644
      auth users = syncUser
      secrets file = /etc/rsync.pass
      strict modes = yes
      hosts allow = 192.168.1.119
      hosts deny = *
      ignore errors = yes
      timeout = 120

    3. 授权文件/etc/rsync.pass格式

      syncUser:_password_

    4. 注意事项:需要chmod 600 /etc/rsync.pass
    5. 启动进程:rsync –daemon,可将此命令加入/etc/rc.local
    6. 客户端同步命令:

      rsync -az –password-file=./sync_auth rsync://syncUser@remoteServerAddress[:remoteServerPort]/SyncFiles/* /localDir

    7. 由于同步用户配置了权限,客户端每次rsync操作都需要输入密码,可以通过–password-file选项来指定密码文件,这样就可免去输入密码了,如上面命令所示。该密码文件的格式很简单,单行文本写入密码即可,同样需要chmod 600 ./sync_auth
  5. 检测文件是否需要同步
    1. -i参数:可以对对端文件的变更进行摘要,据此可以判断是否需要同步
    2. -n参数:尝试同步操作但不传输文件
    3. 结合起来,-in就可以根据输出来判断是否需要同步了
  6. 其他:
    1. –delete参数支持删除文件的同步
    2. -L支持软链接目标目录的同步
    3. 如果写入的目录没有权限,会报以下错误,执行chown -R nobody.nobody /data/files/修改权限即可解决

      rsync: mkstemp failed: Permission denied (13)

分类: Shell, 运维 标签: , , ,

一大波常用小工具袭来

2016年6月2日 没有评论

今天发现一个比较实用的网站:tool.lu,集合了很多日常使用到的工具,比如:在线运行小段代码、正则表达式、favicon生成、字符串加解密、ip查询等。

这么多工具集合起来,很方便,站长很有创意。

收藏备用。

分类: 工具 标签:

实用小工具推荐2:正则表达式测试器

2016年5月10日 没有评论

今天为大家推荐的是一个正则表达式测试器:RegexTester。名为测试器,但它实际上提供了正则查找、替换、结果导出等功能,非常适合于日常开发和测试工作。

首先说一下为什么要用到这个工具。有时候我们需要做一些文本处理工作,比如日志,要从文本中提取相关信息。通常情况下,这些信息是有规律的,比如:每行为一条记录,每条记录包含相同个数和意义的字段。这种有规律的文本是很容易处理的,可以用shell中的awk来处理。但有时候就没那么规律,比如下边这2行(实际中会有成千上万行)数据,我希望从中提取uri和sz参数的值,不太容易用awk进行分割处理。

http://pos.baidu.com/acbm?rdid=2494569&dc=2&di=u2494569&dri=0&dis=0&dai=2&ps=9801×0&coa=tn%3Dtemplate_inlay_all_mobile%26adn%3D1%26originUrl%3Dhttp%253A%252F%252Fwww.blwen.com%252Fchuanyuechongsheng%252F2015%252F0428%252F7617_2.html%26pl%3D4%26id%3Du2494569&dcb=BAIDU_SSP_define&dtm=BAIDU_DUP_SETJSONADSLOT&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1458484701051&ti=%E9%87%8D%E7%94%9F%E4%B9%8B%E5%A7%94%E8%BA%AB%20%E4%BD%9C%E8%80%85%EF%BC%9A%E4%B8%8A%E4%B9%99(2)_bl%E6%96%87%E5%BA%93&ari=1&dbv=0&drs=3&pcs=360×487&pss=360×9938&cfv=0&cpl=0&chi=12&cce=true&cec=UTF-8&tlm=1458455901&ltu=http%3A%2F%2Fm.blwen.com%2F%3Fhost%3Dwww.blwen.com%26src%3Dhttp%253A%252F%252Fwww.blwen.com%252Fchuanyuechongsheng%252F2015%252F0428%252F7617_2.html&ltr=http%3A%2F%2Fm.blwen.com%2F%3Fhost%3Dwww.blwen.com%26src%3Dhttp%253A%252F%252Fwww.blwen.com%252Fchuanyuechongsheng%252F2015%252F0428%252F7617.html&ecd=1&psr=1081×1794&par=1080×1794&pis=-1x-1&ccd=32&cja=false&cmi=0&col=zh-CN&cdo=0&tcn=1458484702&sz=324×270&qn=45b2c0ccd2d70f2d&tt=1458484700976.95.429.535,

http://pos.baidu.com/acgm?sz=320×48&rdid=2521903&dc=2&exps=112101&di=u2521903&dri=0&dis=3&dai=1&ps=0x0&dcb=BAIDU_SSP_define&dtm=BAIDU_DUP_SETJSONADSLOT&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1458483692530&ari=1&dbv=0&drs=1&pcs=360×54&pss=360×54&cfv=0&cpl=0&chi=1&cce=true&cec=GBK&tlm=1455584508&ltu=http%3A%2F%2Fm.fun.tv%2Fvplay%2F%3Fvid%3D8041968%26malliance%3D2242&liu=http%3A%2F%2Fadm.funshion.com%2Fmat%2F20160216170148-12656951.html&ltr=http%3A%2F%2Fm.fun.tv%2Fvplay%2F%3Fvid%3D8041968%26malliance%3D2242&ecd=1&psr=721×1280&par=720×1280&pis=360×54&ccd=32&cja=false&cmi=0&col=zh-CN&cdo=0&tcn=1458483693&qn=3fe86ec3e856eb67&tt=1458483692449.94.1233.1236,

但实际上这样的数据还是有一定规律的,用下边的正则就可以方便的把想要的字段提取出来。

http://pos.baidu.com/(.*?)\?(.*?)sz=(.*?)&(.*)

打开测试器,将正则表达式和文本填入对应的框内,工具条上选择“多行模式”,再点击“运行”,结果就出来了。结果框内点右键就可以导出csv文件,再用awk处理就方便多了。

正则表达式测试器

日常工作中免不了写几个正则表达式,用这个小工具测测表达式的准确性,可以节省不少时间。

另外,官网还提供了正则表达式的教程,可以去看看。

 

分类: 工具 标签: , ,

实用小工具推荐1:排版助手

2016年4月23日 没有评论

  复制粘贴是日常中使用很频繁的操作,有时候复制过来的大段文字排版较乱,不符合要求,手动一段一段排很麻烦。今天给大家介绍一个免费的排版小工具:排版助手

  使用很简单。将要排版的文字复制到窗口里边,右键选择“开始排版”,就排好了。

排版助手

也可以在排版前根据需要勾选界面上的一些排版项:段首缩进、合并换行、修正干扰符、删除非段落换行等。同时可以勾选下边的“复制即排版”和“排版后拷贝”选项,把待排版的文字复制到窗口中,立即就排好,并可以马上拿去粘贴了。非常方便!

  当然要感谢原作者的智慧付出了,有需要的朋友去这里下载使用吧!

分类: 工具 标签: