零一积流 | IT 参考

1. 场景描述：
   • 程序a、b均部署在阿里云ecs上，需要开机启动。a需要获取ecs的ip地址，b有较多依赖项。
   • 将a、b启动脚本均配置在rc.local中
   • a存在获取不到ip地址的情况，b存在启动失败的情况
2. 解决办法：
   • 不通过rc.local启动
   • 将a、b启动脚本配置在crontab中，前面加上@reboot即可：

     @reboot start_a.sh

   • 对于a，需要等待阿里云后台服务启动完成之后才运行。这个需要修改crond.service。如下，追加cloud-final.service即可

     cat /etc/systemd/system/multi-user.target.wants/crond.service
     
     [Unit]
     Description=Command Scheduler
     After=auditd.service systemd-user-sessions.service time-sync.target cloud-final.service

    Shell经常做的一项工作就是文本处理，通过组合grep、awk、sed等来实现查找、分割、替换、删除等操作。今天说一下对单行字符串的分割处理方法。先看代码：

_uas="Mozilla/5.0 (Linux; Android 5.1.1; Redmi Note 3) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Mozilla/5.0 (Linux; Android 4.4.4; 2014813) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Linux; Android 6.0.1; SM-G9008W) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Mozilla/5.0 (Linux; Android 5.0.2; Redmi Note 2) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19"

#生成随机索引
_rand_index=$(expr $RANDOM % 4) 

#设置新的分隔符
OLD_IFS="$IFS"
IFS="|" 
#将UA字符串分割到_arr数组中
_arr=($_uas) 
IFS="$OLD_IFS"

#通过下标访问数组中的元素。
_ua=${_arr[$_rand_index]}

    _uas包含以竖线|分隔的4个安卓UA，我想要随机取其中的一个UA来用。这涉及到两点需求：生成一个随机索引，将字符串按照指定的分隔符来分隔。

    Shell生成随机数的方法可以如上面代码一样直接取系统环境变量$RANDOM，也可以通过date +%s的方法获取当前的秒数，再和数组长度取模来实现。当然通过系统时间的方法获得的随机数有可能并不很随机，特别是在操作间隔很短的情况下。

    单行字符串分割可以通过awk来实现，然后分别打印各列的值。但是通过设置系统IFS的方法看起来更直接，能够直接通过($string_line)将元素保存在新的数组中，这样就可以以下标的方式来访问。

    Shell还是博大精深的，不常用不足以体会其便捷与强大。

tcpdump是流量分析时最常用的抓包工具，功能很强大。抓取http get交互消息的常用命令是：

tcpdump -XvvennSs 0 -i eth0 tcp[20:2]=0x4745 or tcp[20:2]=0x4854 -w eth0-http.pcap

通常我们会把抓取的http包保存成文件，然后用wireshark打开分析。

有时候，我们不需要对流量观察得特别深入，仅仅是看一下有什么样的流量，不需要存盘分析。

使用tcpdump的话输出内容不直观，比如wget http://www.baidu.com/的输出如下：

15:05:27.837705 00:16:3e:04:af:53 > ee:ff:ff:ff:ff:ff, ethertype IPv4 (0x0800), length 165: (tos 0x0, ttl 64, id 18764, offset 0, flags [DF], proto TCP (6), length 151)
139.129.205.48.53353 > 220.181.112.244.80: Flags [P.], cksum 0xa6e5 (incorrect -> 0xe0b0), seq 2930938556:2930938667, ack 65362085, win 115, length 111
0x0000: 4500 0097 494c 4000 4006 4ab9 8b81 cd30 E…IL@.@.J….0
0x0010: dcb5 70f4 d069 0050 aeb2 92bc 03e5 58a5 ..p..i.P……X.
0x0020: 5018 0073 a6e5 0000 4745 5420 2f20 4854 P..s….GET./.HT
0x0030: 5450 2f31 2e30 0d0a 5573 6572 2d41 6765 TP/1.0..User-Age
0x0040: 6e74 3a20 5767 6574 2f31 2e31 3220 286c nt:.Wget/1.12.(l
0x0050: 696e 7578 2d67 6e75 290d 0a41 6363 6570 inux-gnu)..Accep
0x0060: 743a 202a 2f2a 0d0a 486f 7374 3a20 7777 t:.*/*..Host:.ww
0x0070: 772e 6261 6964 752e 636f 6d0d 0a43 6f6e w.baidu.com..Con
0x0080: 6e65 6374 696f 6e3a 204b 6565 702d 416c nection:.Keep-Al
0x0090: 6976 650d 0a0d 0a ive….
15:05:27.860678 ee:ff:ff:ff:ff:ff > 00:16:3e:04:af:53, ethertype IPv4 (0x0800), length 449: (tos 0x60, ttl 48, id 47418, offset 0, flags [DF], proto TCP (6), length 435)
220.181.112.244.80 > 139.129.205.48.53353: Flags [P.], cksum 0x6a94 (correct), seq 65362085:65362480, ack 2930938667, win 772, length 395
0x0000: 4560 01b3 b93a 4000 3006 e94e dcb5 70f4 E`…:@.0..N..p.
0x0010: 8b81 cd30 0050 d069 03e5 58a5 aeb2 932b …0.P.i..X….+
0x0020: 5018 0304 6a94 0000 4854 5450 2f31 2e31 P…j…HTTP/1.1
0x0030: 2032 3030 204f 4b0d 0a53 6572 7665 723a .200.OK..Server:
0x0040: 2062 6665 2f31 2e30 2e38 2e31 380d 0a44 .bfe/1.0.8.18..D
0x0050: 6174 653a 2054 6875 2c20 3237 204a 756c ate:.Thu,.27.Jul
0x0060: 2032 3031 3720 3037 3a30 353a 3237 2047 .2017.07:05:27.G
0x0070: 4d54 0d0a 436f 6e74 656e 742d 5479 7065 MT..Content-Type
0x0080: 3a20 7465 7874 2f68 746d 6c0d 0a43 6f6e :.text/html..Con
0x0090: 7465 6e74 2d4c 656e 6774 683a 2032 3338 tent-Length:.238

此时，httpry是一个很好的替代工具。使用httpry捕获上述请求，输出如下：

2017-07-27 15:08:50 139.129.205.48 220.181.112.244 > GET www.baidu.com / HTTP/1.0 – –
2017-07-27 15:08:50 220.181.112.244 139.129.205.48 < – – – HTTP/1.1 200 OK

简单明了。

• 安装
  • 下载源码，make && make install就ok了
  • 这个程序依赖libpcap-devel库，没有的话就yum install -y libpcap-devel
• 使用
  • 最简单的：httpry -i eth0
  • 支持过滤http请求方法：httpry -i eth0 -m GET
  • 支持保存抓包：httpry -i eth0 -o eth0-http.log
  • 可以指定packet filter：httpry -i eth0 ‘dst host www.baidu.com’

给定一个日期，如何在shell中计算前几天或者后几天的日期？

方法如下：

#给定当前日期
d1=`date +%F`

#计算两天后的日期
offset=2

 #d1转换成秒, since 1970-01-01 00:00:00 UTC
d1s=`date -d $d1 +%s`

#将偏移天数换算成秒数
offset_s=`expr 86400 \* $offset` 

#计算偏移后 的秒数
d2s=`expr $d1s + $offset_s`

#将偏移后的秒数转换成日期
d2=`date -d @$d2s + %F`

主要原理就是通过date -d +%s来实现日期和秒之间的互转，详情man date一下吧。

tail是我们常用到的文件跟踪查看工具，-n可以查看末尾n行，-f可以实时跟踪文件（描述符）的最新变化。当然也可以同时查看多个文件，但是多文件的输出是混杂在一起的，没那么直观。

现在好了，我们有了wtail。这是一个可以在同一个终端窗口中同时输出多个被跟踪文件数据的工具，每个文件可以在单独的小屏幕中输出，即一个窗口分屏输出。

1. 安装
   • wtail依赖libncurses，某些机器上可能没有这个库，需要手动安装：
     

     wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-6.0.tar.gz

     tar xzvf ncurses-6.0.tar.gz && cd ncurses-6.0

     ./configure && make && make install

   • 下载wtail源码包，解压，make && make install
2. 使用
   • wtail *.log

1. rysnc是什么
   1. 这是一个linux平台上通用的文件同步工具，可以在本地目录或本地与服务器之间进行文件同步
   2. 安全：支持自定义端口，支持口令配置
   3. 高效：只传输差异部分，支持压缩传输
   4. 易用：支持通配符，支持exclude来排除特定文件
2. 安装
   1. 大多数linux服务器默认安装有rsync
   2. 如果没有，简单运行yum -y install rsync就ok了
3. 简单示例
   1. 同步的前提是两端服务器都安装了rsync
   2. push方式：rsync /localDir/file user@remoteServerAddress:/remoteDir
   3. pull方式：rsync user@remoteServerAddress:/remoteDir/file /localDir
   4. 上述两条命令实际上是通过ssh来通信的，所以如果对端服务器用户配置了密码的话需要输入密码
   5. rsync还支持通过rync协议来通信，有两种命令方式可以使用该协议
      1. 在服务器和路径之间使用双冒号，比如
         

         rsync /localDir/file user@remoteServerAddress::/remoteDir

      2. 显式使用，如
         

         rsync rsync://user@remoteServerAddress[:remoteServerPort]/remoteDir/file /localDir

4. 以daemon方式配置和运行
   1. rsync可以在一端或者两端以daemon进程形式来运行，通过配置rsyncd.conf来定制同步业务
   2. 这里列举一个简单的配置文件/etc/rsyncd.conf:
      

      #global settings
      pid file = /var/rsync/rsync.pid
      port = 873
      lock file = /var/rsync/lock.log
      log file = /var/rsync/rsync.log

      #module settings
      [SyncFiles]
      path=/data/files/
      use chroot = no
      max connections = 5
      read only = yes
      write only = no
      list = no
      uid = nobody
      gid = nobody
      incoming chmod = 644
      auth users = syncUser
      secrets file = /etc/rsync.pass
      strict modes = yes
      hosts allow = 192.168.1.119
      hosts deny = *
      ignore errors = yes
      timeout = 120

   3. 授权文件/etc/rsync.pass格式
      

      syncUser:_password_

   4. 注意事项：需要chmod 600 /etc/rsync.pass
   5. 启动进程：rsync –daemon，可将此命令加入/etc/rc.local
   6. 客户端同步命令：
      

      rsync -az –password-file=./sync_auth rsync://syncUser@remoteServerAddress[:remoteServerPort]/SyncFiles/* /localDir

   7. 由于同步用户配置了权限，客户端每次rsync操作都需要输入密码，可以通过–password-file选项来指定密码文件，这样就可免去输入密码了，如上面命令所示。该密码文件的格式很简单，单行文本写入密码即可，同样需要chmod 600 ./sync_auth
5. 检测文件是否需要同步
   1. -i参数：可以对对端文件的变更进行摘要，据此可以判断是否需要同步
   2. -n参数：尝试同步操作但不传输文件
   3. 结合起来，-in就可以根据输出来判断是否需要同步了
6. 其他：
   1. –delete参数支持删除文件的同步
   2. -L支持软链接目标目录的同步
   3. 如果写入的目录没有权限，会报以下错误，执行chown -R nobody.nobody /data/files/修改权限即可解决
      

      rsync: mkstemp failed: Permission denied (13)