存档

‘语言’ 分类的存档

python使用手记:使用pdb调试python程序

2018年9月18日 没有评论

调试是解决问题修复bug最有效的手段,用惯了gdb来调试c/c++代码,那么pdb就是调试python代码的得力助手。

  1. 开始调试

    python -m pdb test.py

  2. 查看、设置断点

    b:查看当前已设置的所有断点

    b [file:]lineNum:在file的lineNum行设置断点

  3. 运行、单步运行、进入函数、运行到下一断点

    run:开始运行程序,进入到脚本的首行

    n:单步运行,不进入当前函数

    s:进入当前函数,然后使用n命令单步调试该函数

    c:继续运行到下一断点出

  4. 查看变量值

    p:查看变量值

  5. 查看当前代码上下文

    l:列出当前代码所在行

  6. 其他
分类: Python 标签: ,

在CentOS或Ubuntu上通过源码安装python3.7

2018年9月14日 没有评论

在CentOS或Ubuntu上安装python3.7的步骤是类似的,区别在于依赖库的安装。具体步骤如下:

1,安装依赖库

  • CentOS

    yum -y install zlib zlib-devel
    yum -y install bzip2 bzip2-devel
    yum -y install ncurses ncurses-devel
    yum -y install readline readline-devel
    yum -y install openssl openssl-devel openssl-static
    yum -y install xz lzma xz-devel
    yum -y install sqlite sqlite-devel
    yum -y install gdbm gdbm-devel
    yum -y install tk tk-devel
    yum -y install libffi-devel

  • Ubuntu

    sudo apt-get install zlib1g-dev libbz2-dev libssl-dev libncurses5-dev libsqlite3-dev libreadline-dev tk-dev libgdbm-dev libdb-dev libpcap-dev xz-utils libexpat1-dev liblzma-dev libffi-dev libc6-dev

2,下载python3.7源码,并编译安装

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz && tar xzvf Python-3.7.0.tgz && cd Python-3.7.0 && ./configure –enable-optimizations && make && make install

3,创建软链接

[ -f /usr/local/bin/python3 ] && ln -sf /usr/local/bin/python3 /usr/bin/python3 && ln -sf /usr/bin/python3 /usr/bin/python

分类: Python 标签:

python使用手记:简单示例python面向对象特征

2018年7月27日 没有评论

面向对象三大特征:封装、继承和多态。Python对这三点完美支持。

#封装
class CA(object):
	def __init__(self):
		pass
	def hi(self):
		print("CA")
		
#继承
class CB(CA):
	def __init__(self, msg):
		self.__msg = msg
	def hi(self):
		print("CB: %s" % self.__msg)
		
a = CA()
a.hi()
print(type(a))
b = CB("God")
b.hi()
print(type(b))

#多态
a = b
a.hi()
print(type(a))

			
分类: Python 标签:

python使用手记:如何导入不同目录下的模块

2018年7月26日 没有评论

    模块是python代码重用和隔离的重要组成部分,也是python之所以开发效率高的原因,开源社区提供了大量的模块供我们使用。

    我们可以通过import来导入模块,那么对于不同目录下的模块,如何进行导入操作呢?

    import是以当前执行的python脚本所在目录为初始目录,来搜索相关模块文件的。首先搜索sys.path目录,然后搜索初始目录。

  1. python自带模块
    • 很简单,直接import就行了,比如:import os, datetime, json
  2. 第三方模块
    • 大多数第三方模块可以通过pip来安装,安装之后直接import
  3. 自定义模块
    • 调用同一目录下的模块:
      • /a.py调用/b.py:import b
    • 调用同级目录下的模块
      • /a.py 调用/a/lib/b.py:from lib import b
    • 调用父目录下的模块
      • /test/a.py调用/lib/b.py:

        import sys
        sys.path.append(“..”)
        from lib import b

分类: Python 标签: ,

Boost LRU-Cache使用方法简介

2017年11月13日 没有评论

    缓存是提高系统运行效率的常用组件,可以将“有效的”业务数据直接返回用户,避免繁琐的计算过程。除了Redis、MemCache等常用缓存系统,应用程序内部也可以根据需要设置一定容量的缓存,减少跨进程调用,提高效率。

    LRU是常用的缓存策略,可以将访问最 频繁的数据保存在有限的缓存中,提高缓存命中率。

    在C++中,可以通过map来保存数据键值对,并通过list将最近使用的数据保存在一端,从list的另一端来清除过期数据的方法实现一个缓存系统。

    然而,我们没必要自己再造一个轮子。Boost-1.65.1版本开始引入了lru_cache算法,通过模板的方式可以方便的实例化出各种类型的缓存对象。

    下面简单介绍boost lru_cache的使用方法。

#lru_cache头文件,这是个header-only库,不需要其他模块
#include <string>
#include <iostream>
using namespace std;
#include <boost/compute/detail/lru_cache.hpp>

int main()
{
    const int iCacheSize=100;
    #初始化时设置缓存容量
    boost::compute::detail::lru_cache<string, string> ssCache(iCacheSize);

    #插入数据
    ssCache.insert("ZhangSan", "Beijing");
    ssCache.insert("LiSi", "Shanghai");

    #查找并获取数据
    string s("ZhangSan");
    if(ssCache.contains(s))
    {
        #注意!get方法返回的是一个boost::optional<string>对象,而不是直接返回存入其中的Value类型的对象!
        boost::optional<string> o_Region=ssCache.get(s);
        #我们可以通过boost::optional<string>的get()来获取Value对象
        string sRegion=o_Region.get();
        cout << s << " comes from " << sRegion << endl;
    }

    return 0;
}
分类: C/C++, 开发 标签: , ,

Shell字符串分割与随机访问

2017年11月10日 没有评论

    Shell经常做的一项工作就是文本处理,通过组合grep、awk、sed等来实现查找、分割、替换、删除等操作。今天说一下对单行字符串的分割处理方法。先看代码:

_uas="Mozilla/5.0 (Linux; Android 5.1.1; Redmi Note 3) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Mozilla/5.0 (Linux; Android 4.4.4; 2014813) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Linux; Android 6.0.1; SM-G9008W) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19|Mozilla/5.0 (Linux; Android 5.0.2; Redmi Note 2) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/535.19"

#生成随机索引
_rand_index=$(expr $RANDOM % 4) 

#设置新的分隔符
OLD_IFS="$IFS"
IFS="|" 
#将UA字符串分割到_arr数组中
_arr=($_uas) 
IFS="$OLD_IFS"

#通过下标访问数组中的元素。
_ua=${_arr[$_rand_index]}

    _uas包含以竖线|分隔的4个安卓UA,我想要随机取其中的一个UA来用。这涉及到两点需求:生成一个随机索引,将字符串按照指定的分隔符来分隔。

    Shell生成随机数的方法可以如上面代码一样直接取系统环境变量$RANDOM也可以通过date +%s的方法获取当前的秒数,再和数组长度取模来实现。当然通过系统时间的方法获得的随机数有可能并不很随机,特别是在操作间隔很短的情况下。

    单行字符串分割可以通过awk来实现,然后分别打印各列的值。但是通过设置系统IFS的方法看起来更直接,能够直接通过($string_line)将元素保存在新的数组中,这样就可以以下标的方式来访问。

    Shell还是博大精深的,不常用不足以体会其便捷与强大。

分类: Shell, 开发 标签: ,

python3 PyMySQL模块的安装和使用

2017年10月24日 没有评论

我们知道Python3和Python2是不兼容的,版本由2升级到3之后对MySQL数据库的访问也需要使用新的模块。此前的文章中已介绍过MySQLdb在Python2中的用法,今天介绍PyMySQL在Python3中的用法。

  1. 安装
    • 直接通过pip安装:
      pip install PyMySQL
  2. 示例
    • 连接数据库
    import pymysql
    try:
        conn = pymysql.connect(ip, 3306, user, password, db, charset='utf8', cursorclass=pymysql.cursors.DictCursor)
    except Exception as e:
        print("Exception throwed when connect to db: " + str(e))
    • 插入数据
      try:
          with conn.cursor() as cursor:
              sql = "insert into t_student(id, name) values (%d, %s)"
              rows=cursor.execute(sql, (s.id, s.name))
              conn.commit()
      
              if rows == 1:
                  print("Inserted.")
              else:
                  print("Failed")
      except Exception as e:
          print("Exception throwed when insert data: " + str(e))
分类: mysql, Python, 开发 标签: , ,

c++点滴:string非空判断和随机访问的实现细节和使用方法

2017年10月17日 没有评论
  1. 非空判断
    • 一般通过是否等于”” 或者empty()函数的返回值来判断是否为空,结果是一致的
    • 差别在于:empty()返回的是string内置变量_M_rep()->_M_length的值,不需要其他计算;而与””比较是需要调用compare(const _CharT* __s)函数来判断的,因此在性能方面,empty()更占优
  2. 随机访问
    • 可通过[]或at()来随机访问,都是通过下标直接访问内部buffer,很快。_M_data()[__pos]
    • 差别在于:at()更安全。当下标超出string.size()时,at()抛出异常,而[]则引发断言错误。
分类: C/C++, 开发 标签:

分享一段解析HTTP请求消息头的C++代码

2017年10月16日 没有评论

Http请求消息说白了就是\r\n和:分割的一串字符,解析消息头部考察的是基本的字符串操作。当然实际应用中可以使用boost::splitl来辅助处理。

请求消息如下:

GET /suggest?word=http://t.&callback=suggest360&encodein=utf-8&encodeout=utf-8&_h=18.js&outfmt=json HTTP/1.1
Host: sug.so.360.cn:8188
Cache-Control: no-cache
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36 QIHU 360SE
Accept-Encoding: gzip, deflate, sdch
Accept-Language: zh-CN,zh;q=0.8
Accept: */*
Cookie: vjuids=a8f919aab.156c5a83b9b.0.3db0cfd7; shenhui12=w:1; gn12=w:1; sci12=w:1; UM_distinctid=15c7168d4207f-083dc20ce-4349052c-100200-15c7168d42346; sohutag=8HsmeSc5NSwmcyc5NSwmYjc5MSwmYSc5NywmZjc5NCwmZyc5NCwmbjc5NjwmaSc5NSwmdyc5NCwmaCc5NCwmYyc5NCwmZSc5NCwmbSc5NCwmdCc5NH0; _muid_=1501816572977065; _ga=GA1.2.1163329499.1503043055; beans_mz_userid=62mbb0GPSAy5; debug_test=sohu_third_cookie; lastpopup=2017-8-19; vjlast=1472194952.1505800087.21; IPLOC=CN1100; SUV=1608221725397504
Range: bytes=17276560-19912545
Referer: http://offp.download.icartoons.cn:8188/client_package/v_4125/7825

解析代码如下:

//存储请求行
string cmdLine="";  
//存储消息头各字段和值
map<string, string> kvs;  

size_t pos=0, posk=0, posv=0;
string k="", v="";
char c;
//http保存了上述GET请求
while(pos != http.size())  
{
    c=http.at(pos);
    if(c == ':')
    {
        //非请求行,且消息头名称未解析
        if(!cmdLine.empty() && k.empty())  
        {
            //存储消息头名称
            k = http.substr(posk, pos-posk);  
            //跳过冒号和空格
            posv = pos+2;  
        }
    }
    //行尾
    else if(c == '\r' || c=='\n')  
    {
        //尚未解析到消息头字段名称,且请求行也未解析过
        if(k.empty() && cmdLine.empty())  
        {
            //本行应是请求行,保存之
            cmdLine = http.substr(posk, pos-posk);  
        }
        else
        {
            //已解析了消息头字段名称,尚未解析字段值
            if(!k.empty() && v.empty())  
            {
                //存储字段值
                v = http.substr(posv, pos-posv);  
            }
        }
        posk=pos+1;
    }

    if(!k.empty() && !v.empty() && !cmdLine.empty())
    {
        //保存消息头字段名称和值
        kvs.insert(make_pair(k,v));  
        k="";
        v="";
    }
    ++pos;
}

需要注意的是:消息头各字段的值中也有可能出现冒号。

分类: C/C++, 开发 标签: ,

pyquery:Python版的jQuery,HTML页面解析好工具

2017年9月20日 没有评论
# coding=utf-8

import requests
from pyquery import PyQuery as pq

#set request header
head_req = {
'User-Agent':'Mozilla/5.0 (Linux; U; Android 4.3; en-us; SM-N900T Build/JSS15J) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',
'Referer':'http://www.baidu.com/'
}

url = 'http://zhixing.bjtu.edu.cn/portal.php'
r = requests.get(url, headers=head_req)

#build pyquery object from response-content
page = pq(r.content)

#get page title
title = page.find('title')
print title.html()

#get page keyword
kw = page.find('meta[name="keywords"]')
print kw.attr('content')
分类: Python, 开发 标签: ,