零一积流 | IT 参考

欢迎光临！欢迎分享转载本站文章，尊重原创，转载请注明出处！阿里云-点击领取优惠券

如何将redis一个list中的数据全部移动到另一个list

2018年7月21日没有评论

有时候我们需要将一个list中的数据全部移动到另一个list中，而Redis目前没有直接提供这样的命令。

怎么办？

很简单，逐一pop出list a中的数据，再push到list b中。当然pop+push可以通过rpoplpush来实现。所以对源list做个遍历就行了。

#!/bin/sh

host=”127.0.0.1″
port=”6379″
passwd=”foobar”
srcList=”listSrc”
dstList=”listDest”

while[ 1 == 1 ];do
ret=$(redis-cli -h $host -p $port -a $passwd rpoplpush $srcList $dstList)
[ -z $ret ] && return
done

分类: Redis 标签: redis

非root用户启动和运行redis

2018年5月30日没有评论

redis之前爆出过一个漏洞，攻击者可藉此漏洞获取系统root权限。在之前的文章里，我们了解了如何增强redis的安全性。我们还可以使用非root用户来运行redis，进而进一步提升系统安全性。

以root身份正常安装redis
切换非root用户登入系统，比如test
拷贝redis默认配置文件到test的根目录（或其他test有访问权限的目录）：

sudo copy /etc/redis/6379.conf /home/test/
修改test下配置文件的属主：

sudo chown test.test /home/test/6379.conf
修改配置文件中redis运行使用到的相关文件和目录的路径，可通过grep 6379 /home/test/6379.conf查找这些文件和目录，将这些路径修改到test用户根目录下

pidfile /home/test/run/redis_6379.pid
logfile /home/test/log/redis_6379.log
dir /home/test/lib/redis/6379
创建这些文件和目录

mkdir -p /home/test/run/ /home/test/log /home/test/lib/redis/6379
启动redis

/usr/local/bin/redis-server /home/test/6379.conf

分类: Redis, 安全, 开发标签: redis

阿里云ECS全新实例需要配置安全组规则

2018年4月23日没有评论

最近新买了一台阿里云ECS服务器，新装了httpd服务后，从浏览器无法访问页面。

排查过程如下：

服务器是可以ssh登陆的，说明网络没问题
在服务器本机使用curl http://127.0.0.1/获取首页，输出OK
在服务器本机使用curl http://ecs-外网ip/获取首页，输出OK；这两步说明httpd服务正常
检查防火墙，iptables服务未运行

那问题应该在ecs上，网上搜了一下，原来ecs实例设置了安全组规则，默认只开放ICMP、ssh和3389端口。需要手动开放业务端口才行。

方法为：

在ECS实例列表处，选择要开放端口的ecs，点击右侧的“管理”
在“管理”页面选择左侧“本实例安全组”，进入“安全组”页面
点击“配置规则”，然后“添加安全组规则”，设置好协议、端口、授权对象（ip范围）等，保存

稍等一会儿规则生效，就可以正常访问业务页面了。

分类: 资料标签: ECS, 阿里云

Boost LRU-Cache使用方法简介

2017年11月13日没有评论

缓存是提高系统运行效率的常用组件，可以将“有效的”业务数据直接返回用户，避免繁琐的计算过程。除了Redis、MemCache等常用缓存系统，应用程序内部也可以根据需要设置一定容量的缓存，减少跨进程调用，提高效率。

LRU是常用的缓存策略，可以将访问最频繁的数据保存在有限的缓存中，提高缓存命中率。

在C++中，可以通过map来保存数据键值对，并通过list将最近使用的数据保存在一端，从list的另一端来清除过期数据的方法实现一个缓存系统。

然而，我们没必要自己再造一个轮子。Boost-1.65.1版本开始引入了lru_cache算法，通过模板的方式可以方便的实例化出各种类型的缓存对象。

下面简单介绍boost lru_cache的使用方法。

#lru_cache头文件，这是个header-only库，不需要其他模块
#include <string>
#include <iostream>
using namespace std;
#include <boost/compute/detail/lru_cache.hpp>

int main()
{
    const int iCacheSize=100;
    #初始化时设置缓存容量
    boost::compute::detail::lru_cache<string, string> ssCache(iCacheSize);

    #插入数据
    ssCache.insert("ZhangSan", "Beijing");
    ssCache.insert("LiSi", "Shanghai");

    #查找并获取数据
    string s("ZhangSan");
    if(ssCache.contains(s))
    {
        #注意！get方法返回的是一个boost::optional<string>对象，而不是直接返回存入其中的Value类型的对象！
        boost::optional<string> o_Region=ssCache.get(s);
        #我们可以通过boost::optional<string>的get()来获取Value对象
        string sRegion=o_Region.get();
        cout << s << " comes from " << sRegion << endl;
    }

    return 0;
}

分类: C/C++, 开发标签: boost, lru_cache, 算法

Shell字符串分割与随机访问

2017年11月10日没有评论

Shell经常做的一项工作就是文本处理，通过组合grep、awk、sed等来实现查找、分割、替换、删除等操作。今天说一下对单行字符串的分割处理方法。先看代码：

_uas="Mozilla/5.0 (Linux; Android 5.1.1; Redmi Note 3) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Mozilla/5.0 (Linux; Android 4.4.4; 2014813) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Linux; Android 6.0.1; SM-G9008W) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Mozilla/5.0 (Linux; Android 5.0.2; Redmi Note 2) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19"

#生成随机索引
_rand_index=$(expr $RANDOM % 4) 

#设置新的分隔符
OLD_IFS="$IFS"
IFS="|" 
#将UA字符串分割到_arr数组中
_arr=($_uas) 
IFS="$OLD_IFS"

#通过下标访问数组中的元素。
_ua=${_arr[$_rand_index]}

_uas包含以竖线|分隔的4个安卓UA，我想要随机取其中的一个UA来用。这涉及到两点需求：生成一个随机索引，将字符串按照指定的分隔符来分隔。

Shell生成随机数的方法可以如上面代码一样直接取系统环境变量$RANDOM，也可以通过date +%s的方法获取当前的秒数，再和数组长度取模来实现。当然通过系统时间的方法获得的随机数有可能并不很随机，特别是在操作间隔很短的情况下。

单行字符串分割可以通过awk来实现，然后分别打印各列的值。但是通过设置系统IFS的方法看起来更直接，能够直接通过($string_line)将元素保存在新的数组中，这样就可以以下标的方式来访问。

Shell还是博大精深的，不常用不足以体会其便捷与强大。

分类: Shell, 开发标签: linux, shell

python3 PyMySQL模块的安装和使用

2017年10月24日没有评论

我们知道Python3和Python2是不兼容的，版本由2升级到3之后对MySQL数据库的访问也需要使用新的模块。此前的文章中已介绍过MySQLdb在Python2中的用法，今天介绍PyMySQL在Python3中的用法。

安装
- 直接通过pip安装：
```
pip install PyMySQL
```

示例

连接数据库

import pymysql
try:
    conn = pymysql.connect(ip, 3306, user, password, db, charset='utf8', cursorclass=pymysql.cursors.DictCursor)
except Exception as e:
    print("Exception throwed when connect to db: " + str(e))

插入数据

try:
    with conn.cursor() as cursor:
        sql = "insert into t_student(id, name) values (%d, %s)"
        rows=cursor.execute(sql, (s.id, s.name))
        conn.commit()

        if rows == 1:
            print("Inserted.")
        else:
            print("Failed")
except Exception as e:
    print("Exception throwed when insert data: " + str(e))

分类: mysql, Python, 开发标签: mysql, PyMySQL, python

c++点滴：string非空判断和随机访问的实现细节和使用方法

2017年10月17日没有评论

非空判断
- 一般通过是否等于”” 或者empty()函数的返回值来判断是否为空，结果是一致的
- 差别在于：empty()返回的是string内置变量_M_rep()->_M_length的值，不需要其他计算；而与””比较是需要调用compare(const _CharT* __s)函数来判断的，因此在性能方面，empty()更占优
随机访问
- 可通过[]或at()来随机访问，都是通过下标直接访问内部buffer，很快。_M_data()[__pos]。
- 差别在于：at()更安全。当下标超出string.size()时，at()抛出异常，而[]则引发断言错误。

分类: C/C++, 开发标签: c++

分享一段解析HTTP请求消息头的C++代码

2017年10月16日没有评论

Http请求消息说白了就是\r\n和:分割的一串字符，解析消息头部考察的是基本的字符串操作。当然实际应用中可以使用boost::splitl来辅助处理。

请求消息如下：

GET /suggest?word=http://t.&callback=suggest360&encodein=utf-8&encodeout=utf-8&_h=18.js&outfmt=json HTTP/1.1
Host: sug.so.360.cn:8188
Cache-Control: no-cache
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36 QIHU 360SE
Accept-Encoding: gzip, deflate, sdch
Accept-Language: zh-CN,zh;q=0.8
Accept: */*
Cookie: vjuids=a8f919aab.156c5a83b9b.0.3db0cfd7; shenhui12=w:1; gn12=w:1; sci12=w:1; UM_distinctid=15c7168d4207f-083dc20ce-4349052c-100200-15c7168d42346; sohutag=8HsmeSc5NSwmcyc5NSwmYjc5MSwmYSc5NywmZjc5NCwmZyc5NCwmbjc5NjwmaSc5NSwmdyc5NCwmaCc5NCwmYyc5NCwmZSc5NCwmbSc5NCwmdCc5NH0; _muid_=1501816572977065; _ga=GA1.2.1163329499.1503043055; beans_mz_userid=62mbb0GPSAy5; debug_test=sohu_third_cookie; lastpopup=2017-8-19; vjlast=1472194952.1505800087.21; IPLOC=CN1100; SUV=1608221725397504
Range: bytes=17276560-19912545
Referer: http://offp.download.icartoons.cn:8188/client_package/v_4125/7825

解析代码如下：

//存储请求行
string cmdLine="";  
//存储消息头各字段和值
map<string, string> kvs;  

size_t pos=0, posk=0, posv=0;
string k="", v="";
char c;
//http保存了上述GET请求
while(pos != http.size())  
{
    c=http.at(pos);
    if(c == ':')
    {
        //非请求行，且消息头名称未解析
        if(!cmdLine.empty() && k.empty())  
        {
            //存储消息头名称
            k = http.substr(posk, pos-posk);  
            //跳过冒号和空格
            posv = pos+2;  
        }
    }
    //行尾
    else if(c == '\r' || c=='\n')  
    {
        //尚未解析到消息头字段名称，且请求行也未解析过
        if(k.empty() && cmdLine.empty())  
        {
            //本行应是请求行，保存之
            cmdLine = http.substr(posk, pos-posk);  
        }
        else
        {
            //已解析了消息头字段名称，尚未解析字段值
            if(!k.empty() && v.empty())  
            {
                //存储字段值
                v = http.substr(posv, pos-posv);  
            }
        }
        posk=pos+1;
    }

    if(!k.empty() && !v.empty() && !cmdLine.empty())
    {
        //保存消息头字段名称和值
        kvs.insert(make_pair(k,v));  
        k="";
        v="";
    }
    ++pos;
}

需要注意的是：消息头各字段的值中也有可能出现冒号。

分类: C/C++, 开发标签: c++, http

pyquery：Python版的jQuery，HTML页面解析好工具

2017年9月20日没有评论

# coding=utf-8

import requests
from pyquery import PyQuery as pq

#set request header
head_req = {
'User-Agent':'Mozilla/5.0 (Linux; U; Android 4.3; en-us; SM-N900T Build/JSS15J) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',
'Referer':'http://www.baidu.com/'
}

url = 'http://zhixing.bjtu.edu.cn/portal.php'
r = requests.get(url, headers=head_req)

#build pyquery object from response-content
page = pq(r.content)

#get page title
title = page.find('title')
print title.html()

#get page keyword
kw = page.find('meta[name="keywords"]')
print kw.attr('content')

分类: Python, 开发标签: pyquery, python

阿里云OSS python sdk使用简介

2017年9月20日没有评论

阿里云OSS可以方便的存储各类数据，配合CDN的使用，能够极大提高数据的访问效率。向OSS存放数据时一般要登陆阿里云，再进入OSS管理控制台，选择bucket上传文件。手动操作步骤还是有点繁琐的。好在阿里为我们提供了api和sdk，能够实现自动化操作。

这里简单介绍一下阿里云OSS-Python-SDK的使用方法。

安装：pip install oss2
检查：在Python命令行中输入import oss2;oss2.__version__。安装成功则会显示版本号
在OSS管理控制台中创建AccessKey
1. 进入OSS控制管理台首页，点右上侧的AccessKey按钮，打开AccessKey管理控制台
2. 点击提示框中的“开始使用子用户AccessKey”–>设置用户名–>设置权限，仅选择AliyunOSSFullAccess即可–>开始创建用户–>验证手机号后就创建成功了
3. 在“访问控制台RAM”页面的“用户管理”中可看到刚才创建的用户，点击用户名
4. 在“用户详情”页的下边能看到“用户AccessKey”，默认已生成了一个AccessKey
5. 我们可以随时点右侧的“创建AccessKey”来生成新的AccessKey，创建成功会显示AccessKeyID和AccessKeySecret。这两个参数是通过SDK访问OSS必需的。

SDK的使用，可参考官方手册快速入门，也可以通过官方提供的示例进行测试。下边的代码演示了如何上传一个文档对象到OSS。

# -*- coding: utf-8 -*-
import os
import shutil

import oss2

# 首先初始化AccessKeyId、AccessKeySecret、Endpoint等信息。
# 把诸如“<你的AccessKeyId>”替换成真实的AccessKeyId等。
#
# 以上海区域为例，Endpoint可以是：
# http://oss-cn-shanghai.aliyuncs.com
# https://oss-cn-shanghai.aliyuncs.com
# 分别以HTTP、HTTPS协议访问。
access_key_id = os.getenv('OSS_TEST_ACCESS_KEY_ID', 'LTdsa52Gjv0Nt6')
access_key_secret = os.getenv('OSS_TEST_ACCESS_KEY_SECRET', 'dijw14JxbYeeKdaght3DG4w0k96KQBHu')
bucket_name = os.getenv('OSS_TEST_BUCKET', 'my-bucket')
endpoint = os.getenv('OSS_TEST_ENDPOINT', 'oss-cn-shanghai.aliyuncs.com')

# 确认上面的参数都填写正确了
for param in (access_key_id, access_key_secret, bucket_name, endpoint):
    assert '<' not in param, '请设置参数：' + param

# 创建Bucket对象，所有Object相关的接口都可以通过Bucket对象来进行
bucket = oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name)

# 上传文件 “本地座右铭.txt” 到OSS，并命名为 “云上座右铭.txt”
with open(oss2.to_unicode('本地座右铭.txt'), 'rb') as f:
    bucket.put_object('云上座右铭.txt', f)

分类: Python, 开发标签: OSS, python, SDK, 阿里云