Here comes the Sun » python

ls my python packages

Sunng — Thu, 02 Sep 2010 12:29:07 +0000

在豆瓣上看到一个无聊的秀gems的活动，我也无聊一下，秀一下eggs。

ls /usr/local/lib/python2.6/dist-packages/ | grep .egg | sed ‘s/$.*$/

\1<\/li>/’

amqplib-0.6.1-py2.6.egg
argparse-1.1-py2.6.egg-info
AuthKit-0.4.5-py2.6.egg
avro-1.3.3-py2.6.egg
Beaker-1.3-py2.6.egg
Beaker-1.5.4-py2.6.egg
beanstalkc-0.2.0-py2.6.egg
bottle-0.8.1-py2.6.egg
bottle-0.8.3-py2.6.egg
bpython-0.9.6.2-py2.6.egg
bson-0.1.2-py2.6.egg
CherryPy-3.1.2-py2.6.egg
CouchDB-0.6-py2.6.egg
coverage-3.2-py2.6-linux-i686.egg
Cython-0.12.1-py2.6-linux-i686.egg
decorator-3.0.0-py2.6.egg
distribute-0.6.14-py2.6.egg
Django-1.0.2_final-py2.6.egg
Django-1.1-py2.6.egg
Django-1.2-py2.6.egg
django_sphinx-2.2.3-py2.6.egg
docutils-0.6-py2.6.egg
Editra-0.4.95-py2.6.egg
Editra-0.5.05-py2.6.egg
Editra-0.5.72-py2.6.egg
elementtree-1.2.7_20070827_preview-py2.6.egg
eventlet-0.9.9-py2.6.egg
Fabric-0.9.1-py2.6.egg
fapws3-0.5.dev-py2.6-linux-i686.egg
FormEncode-1.2.1-py2.6.egg
GeoAlchemy-0.1-py2.6.egg
Geohash-1.0rc1-py2.6.egg
gevent-0.13.0.egg-info
greenlet-0.3.1-py2.6-linux-i686.egg
gunicorn-0.10.0-py2.6.egg
gunicorn-0.11.0-py2.6.egg
gunicorn-0.8.1-py2.6.egg
httplib2-0.5.0-py2.6.egg
ipython-0.10-py2.6.egg
ipython-0.9.1-py2.6.egg
Jinja2-2.5-py2.6.egg
Mako-0.2.4-py2.6.egg
Mako-0.3.4-py2.6.egg
Markdoc-0.6.4-py2.6.egg-info
Markdown-2.0.3-py2.6.egg
Markdown-2.0.3-py2.6.egg-info
MarkupSafe-0.9.2-py2.6-linux-i686.egg
meinheld-0.3.1-py2.6-linux-i686.egg
Ming-0.2-py2.6.egg
mock-0.6.0-py2.6.egg
mocker-0.10.1-py2.6.egg
MySQL_python-1.2.3c1-py2.6-linux-i686.egg
networkx-1.0rc1-py2.6.egg
nose-0.10.4-py2.6.egg
numpy-1.4.1-py2.6-linux-i686.egg
Paste-1.7.2-py2.6.egg
PasteDeploy-1.3.3-py2.6.egg
PasteScript-1.7.3-py2.6.egg
pip-0.4-py2.6.egg
pip-0.8-py2.6.egg
progressbar-2.2-py2.6.egg
psycopg2-2.2.2-py2.6-linux-i686.egg
pycurl-7.19.0-py2.6-linux-i686.egg
pyev-0.5.3_3.8-py2.6-linux-i686.egg
Pygments-1.0-py2.6.egg
Pygments-1.3.1-py2.6.egg
pygooglechart-0.2.1-py2.6.egg
PyGreSQL-4.0-py2.6-linux-i686.egg
Pylons-0.9.7-py2.6.egg
Pylons-1.0-py2.6.egg
pymongo-1.6-py2.6-linux-i686.egg
pymongo-1.7-py2.6-linux-i686.egg
pymongo-1.8-py2.6-linux-i686.egg
pysal-1.0.0.egg-info
python_cjson-1.0.5-py2.6-linux-i686.egg
python_memcached-1.45-py2.6.egg
python_openid-2.2.5-py2.6.egg
PyXML-0.8.4-py2.6-linux-i686.egg
PyYAML-3.09-py2.6.egg-info
RDFobject-0.1.4-py2.6.egg
Rocket-1.1.1-py2.6.egg
Routes-1.10.3-py2.6.egg
Routes-1.12.3-py2.6.egg
Rtree-0.6.0-py2.6.egg
ruffus-2.2-py2.6.egg
scipy-0.8.0-py2.6-linux-i686.egg
setuptools-0.6c11-py2.6.egg-info
setuptools-0.6c9-py2.6.egg
setuptools-0.6c9-py2.6.egg.OLD.1283177768.67
Shapely-1.0.12-py2.6.egg
Shapely-1.2-py2.6.egg
simplejson-2.0.8-py2.6.egg
Spawning-0.9.3rc2-py2.6.egg
Sphinx-1.0b2-py2.6.egg
SQLAlchemy-0.6.3-py2.6.egg
Tempita-0.2-py2.6.egg
threadpool-1.2.7-py2.6.egg
tornado-0.2-py2.6.egg
twill-0.9-py2.6.egg
Twisted-10.1.0-py2.6-linux-i686.egg
vimpdb-0.3.8-py2.6.egg
virtualenv-1.3.3-py2.6.egg
WebError-0.10.1-py2.6.egg
WebHelpers-0.6.4-py2.6.egg
WebOb-0.9.6.1-py2.6.egg
web.py-0.32-py2.6.egg-info
web.py-0.34-py2.6.egg
WebTest-1.1-py2.6.egg
Werkzeug-0.6.2-py2.6.egg
whizzer-0.2.egg-info

话说用sed能不能让开头重复的行不输出呢？或者什么命令能实现？

The post is brought to you by lekhonee v0.7

sunng’s pastebin

Sunng — Sat, 31 Jul 2010 14:12:03 +0000

写了一个基本的pastebin放在appengine上：
http://sunoffline.appspot.com/pb/

支持纯文本、Markdown和代码高亮。数据永久保留，推荐大家收藏以备不时之需。

The post is brought to you by lekhonee v0.7

bottle & fapws3

Sunng — Wed, 21 Jul 2010 13:37:34 +0000

Bottle是一个Python web框架，兼容wsgi标准，lightweight，self-contained。

提到web框架，自然要和相类似的python框架相比。

Django是大型框架，包含ORM、Controller、Templating全套，这也是Django的缺点，使用Django意味着必须使用关系型数据库进行存储（尽管有一些Model层的其他实现，但绝大多数都是Hack的方式实现），必须使用Django并不非常出色的Template系统。Pylons针对Django的这些问题，采用了松散的方式，数据层可选择由SQLAlchemy实现，模板系统可以选择mako / jinja等。Pylons用paster来管理项目、创建代码模板。借鉴了rails的哲学，目录结构也相类似。可是pylons仍然显得重量级，把注意力放到web.py。只要定义一个router，定义相应的handler就可以处理web请求，handler对象的GET POST等方法分别对应相应的HTTP请求。看起来不错了，不过与bottle相比，webpy仍然显得繁琐、功能有限，而且它本身的db模块就更加鸡肋了。

看一个实例便知：
定义一个简单的HTTP页面：

from bottle import Bottle, run, mako_view, request
from bottle import FapwsServer

myapp = Bottle()

@myapp.route('/nihao/:name/:count#\\d+#')
@mako_view('nihao')
def nihao(name, count):
return dict(n=name, c=int(count), ip=request.environ.get('REMOTE_ADDR'))

run(app=myapp, server=FapwsServer)

对应的nihao.tpl模板，用mako引擎实现：

<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">

<title>Nihao</title>

</head>
<body>
<div id="ip">
<h1 id="heading">Request From ${ip}</h1>
</div>
<%def name="greeting(n)">
<div id="name">
Nihao ${n}
</div>
</%def>
% for i in range(c):
${greeting(n)}
% endfor
</body>
</html>

仅仅是一些简单的内容，接着只需要：
python bottle-test.py
即可运行服务器。

bottle通过decorator定义route规则，还支持url提取参数。通过decorator指定模板、模板引擎。可以说近乎简化到了极致。

bottle遵循单一职责原则，不提供数据层的实现，由用户自己指定，bottle没有任何限制。模板引擎，bottle支持mako / jinja / cheetah，本身还内建一个默认SimpleTemplate引擎。bottle还支持多种wsgi服务器，包括flup / wsgiref / cherrypy / paste / twisted / tornado / fapws3 等等。

最后提一个wsgi的实现fapws3，号称是目前最快的wsgi服务器。fapws3用libev实现，在不同的操作系统上采用不同的多路IO模型以达到高性能。

bottle的作者做过一个关于不同实现的性能比较：
http://bottle.paws.de/page/2009-12-19_Comparing_HelloWorld_Performance

The post is brought to you by lekhonee v0.7

Exaile-doubanfm-plugin 0.0.2

Sunng — Sun, 04 Jul 2010 14:17:53 +0000

Exaile doubanfm plugin 0.0.2 预览版，目标是在Linux桌面提供豆瓣电台的完整体验。

目前插件只能运行在Exaile 0.3.1版本上。

0.0.2增加了豆瓣电台专用的视图：

相比第一版通过rating来实现豆瓣电台喜欢、跳过和删除的功能，在专用视图上有专门的按钮来操作。

其他细节更新：

当剩余曲目超过15首时不再增加播放列表
当播放到最后一首歌曲取新播放列表时增加重试机制
修正libdbfm跳过曲目bug一个

安装：
打开Exaile Preference，Plugin页，点击按钮Install Plugin，选择doubanfm.exz即可。如果存在问题，可以执行以下命令：
mv doubanfm.exz douban.tar.gz
tar xf doubanfm.tar.gz
mv doubanfm ~/.local/share/exaile/plugins/

转到doubanfm设置页面，填写用户名密码重启Exaile。

打开File菜单，选择豆瓣电台频道

选择曲目就可以开始播放了，选择视图中豆瓣电台视图可以切换到豆瓣电台视图。

项目地址：
http://github.com/sunng87/exaile-doubanfm-plugin

下载：
http://github.com/sunng87/exaile-doubanfm-plugin/downloads

另外，doubancovers插件也有一个针对豆瓣电台的更新可以快速获取豆瓣电台音乐的封面：
http://bitbucket.org/sunng/exailedoubancovers/downloads?highlight=9265

The post is brought to you by lekhonee v0.7

exaile豆瓣电台插件(exaile-doubanfm-plugin)

Sunng — Fri, 02 Jul 2010 10:07:04 +0000

豆瓣电台一直是flash客户端，嵌入浏览器，出于对flash的厌恶，本人开发了这个exaile插件，让广大linux同学在exaile里享受豆瓣电台一目了然桌面集成和全部豆瓣电台功能。

exaile-doubanfm-plugin features:

登录豆瓣，获取豆瓣电台播放列表
持续下载电台播放列表，实现不重复的持续播放
标记/取消“喜爱”、标记“回收站”、跳过
显示歌曲信息

项目地址：
http://github.com/sunng87/exaile-doubanfm-plugin

下载页：
http://github.com/sunng87/exaile-doubanfm-plugin/downloads

使用：

激活插件，填写用户名密码
重启exaile
文件菜单，open douban.fm，选择频道
点击播放开始
将rating设置为5 标记喜欢
rating设置2 豆瓣标准跳过
rating设置1 豆瓣删除

The post is brought to you by lekhonee v0.7

Python获取本机IP

Sunng — Sat, 05 Jun 2010 14:38:01 +0000

除了用inetface库和分析ifconfig输出以外，一个比较简单的获取本机IP的方法：

import socket
def get_local_ip():
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.connect(("sdo.com",80))
return s.getsockname()[0]

参考 http://stackoverflow.com/questions/166506/finding-local-ip-addresses-in-python

搞定gwibber

Sunng — Mon, 22 Mar 2010 04:48:31 +0000

升级10.04之后，gwibber2.29开始使用pycurl来处理IO。结果一条更新都拿不下来，为此搜到很多相关、不相关的bug。最后终于自己找到问题，原来是pycurl.setopt方法传入字符串如果是unicode就会报typeerror。而通过gwibber配置界面输入的所有字符都是unicode编码，于是问题也就简单了。做个处理，在 /usr/lib/python2.6/dist-packages/gwibber/microblog/network.py 第18到21行：

self.curl.setopt(pycurl.URL, str(url).encode('ascii'))

if username and password:
self.curl.setopt(pycurl.USERPWD, ("%s:%s" % (username, password)).encode('ascii'))

另外，使用StatusNet的Twitter兼容API来做Twitter API代理，需要把代理的目录名设置为api，因为/api这个路径是写死在gwibber代码里的。通过界面输入的，只是代理的domain。

说实在的gwibber还是挺烂的。

https://bugs.launchpad.net/bugs/542501

https://bugs.launchpad.net/bugs/543860

Virtual Machine Searcher for Gnome Deskbar Applet

Sunng — Fri, 12 Feb 2010 08:18:33 +0000

Very glad to announce another daily-coding work: an extension for gnome deskbar applet to search and launch virtual machine. There is a plugin for gnome-do that does the same job. That’s what I create the the plugin for. I switched to deskbar because gnome-do’s Do.exe reminds me nightmares when I was a M$ Windows user. The deskbar applet has been a great replacement, however, the virtualbox plugin in Do is really impressive while deskbar doesn’t provide me the same functionality.

You can ignore words above and just take a look at the screenshot:

Download

Download the extension from (the highlighted one):
http://bitbucket.org/sunng/daily-coding/downloads/?highlight=5137

You can also trace the development at bitbucket project. However, the repository is mixed with other small code snippets. Currently, mercurial doesn’t support subdirectory pull. So there is no way to grab the deskbar-applet individually.

Installation

copy this file to /usr/lib/deskbar-applet/deskbar-applet/modules-2.20-compatible/ (Ubuntu installation for example) with super user privilege. Right click desktbar applet, select Preference, Searchers tab, hit “Reload” button, then check the Virtualbox Deskbar Module.

Issue

Feel free the report issues on bitbucket:
http://bitbucket.org/sunng/daily-coding/issues/

List your installed virtualbox virtual marchines using vbox python xpcom api

Sunng — Fri, 12 Feb 2010 05:33:51 +0000

I’m sorry for the long title. Due to lack of documentation, it’s not easy to use python xpcom api from virtualbox sdk. The code below is just a sample that lists your installed virtual machines. It works on linux with VirtualBox OSE 2.0.8. Hope useful to you.

import vboxapi
vmsg = vboxapi.VirtualBoxManager(None, None)
vbox = vmsg.vbox
vmsg.mgr.getSessionObject(vbox)
machs = vbox.getMachines()
names = map(lambda x: (x.name,x.id), machs)
print names

Output:

[(u'Ubuntu', u'aac3fd46-4f1e-4f6e-8abe-b1a5516abf8c'), (u'Windows', u'fa73952e-f0a6-4bf0-af20-259513d73bc1'), (u'OpenSolaris', u'a951542c-3178-4a6b-8087-f1b0314e283a'), (u'LinuxMint', u'8191f256-1b76-4ce7-a202-93730dae1b33'), (u'Fedora', u'ca250f45-d752-4baf-9281-fb0847dc8287'), (u'Freebsd', u'8322b62a-aed5-4f04-9815-9fadfeba9fe1'), (u'ArchLinux', u'efc1167a-4e06-4c14-aeb0-bfb303c8f5f7'), (u'openSUSE', u'02e18816-311d-420b-99b3-6b4b4cccf7b7'), (u'CentOS', u'ccf0421c-85c4-4123-8722-57abc494c633')]

OAuth Step by Step

Sunng — Mon, 04 Jan 2010 15:47:25 +0000

最近琢磨OAuth认证方式。OAuth的优点主要在于

用户不需要直接提供用户名密码给第三方应用，就可以让第三方应用访问受限资源；
资源提供方对第三方应用有更细粒度的控制。

在整个OAuth协议里，生成signature的base string是最容易出错的部分。它由HTTP方法名、URL编码的请求路径和请求的参数表组成。
请求的参数表是除去oauth_signature以外的所有参数，按参数名排序，并进行url转义

def to_signature_key(method, url, data):
	keys = list(data.keys())
	keys.sort()
	encoded = urllib.quote("&".join([key+"="+data[key] for key in keys]))
	return "&".join([method, urllib.quote(url, safe="~"), encoded])

有了这个通用的生成signature base string的方法，以后就可以根据OAuth协议规范按步骤进行。

首先获取Request Token。这一步通常使用资源提供方注册的API Key和API Key Secret

def request_token_params(consumer_key, consumer_secret, path, method='GET'):
	data={}
	data['oauth_consumer_key']=consumer_key
	data['oauth_signature_method']='HMAC-SHA1'
	data['oauth_timestamp']=str(int(time.time()))
	data['oauth_nonce']=''.join([str(random.randint(0,9)) for i in range(10)])
	print data

	msg = to_signature_key(method, path, data)
	print msg

	signed = base64.b64encode(hmac.new(consumer_secret+"&", msg, hashlib.sha1).digest())
	print signed
	data['oauth_signature']=signed
	return data

def result2dict(result_string):
	d = {}
	params = res.split('&')
	for p in params:
		d[p.split('=')[0]] = p.split('=')[1]
	return d

conn = httplib.HTTPConnection("www.douban.com", 80)

params = request_token_params(consumer_key, consumer_secret, request_token_path)
conn.request('GET', request_token_path+"?"+urllib.urlencode(params))
res = conn.getresponse().read()
print res
request_token = result2dict(res)

这一步可以获得未经认证的Request Token和Request Token Secret。需要注意的细节是在计算hmac签名的时候，即使只有一个Token Secret，仍然需要加上”&”

第二步要求用户授权该Request Token，打开浏览器，将用户定向到相应的授权页面，参数为上一步获得的Request Token

第三步，用授权过的Request Token换取Access Token。这一步类似第一步，只是用于签名的token包括API Key Secret和Request Token

def access_token_params(consumer_key, consumer_secret, oauth_token, oauth_secret, path, method='GET'):
	data={}
	data['oauth_consumer_key']=consumer_key
	data['oauth_signature_method']='HMAC-SHA1'
	data['oauth_timestamp']=str(int(time.time()))
	data['oauth_nonce']=''.join([str(random.randint(0,9)) for i in range(10)])
	data['oauth_token'] = oauth_token

	msg = to_signature_key(method, path, data)
	print msg

	signed = base64.b64encode(hmac.new(consumer_secret+"&"+oauth_secret, msg, hashlib.sha1).digest())
	print signed
	data['oauth_signature']=signed
	return data

params = access_token_params(consumer_key, consumer_secret, request_token['oauth_token'],
	request_token['oauth_token_secret'], access_token_path)
conn.request('GET', access_token_path+"?"+urllib.urlencode(params))
res = conn.getresponse().read()
print res
access_token = result2dict(res)

这一步将至少返回Access Token和Access Token Secret，是最终用于访问受限资源的Token。以豆瓣的实现为例，OAuth的相关参数应放在HTTP头里随请求进行发送。

def oauth_header(consumer_key, consumer_secret, oauth_token, oauth_secret, path, realm):
	data = access_token_params(consumer_key, consumer_secret, oauth_token, oauth_secret, path, method="POST")
	header_string = ','.join([key+'="'+data[key]+'"' for key in data.keys()])
	return 'OAuth realm="'+realm+'",'+header_string

posturl = 'http://api.douban.com/miniblog/saying'

content = """

li lei ju le han mei mei

"""

header = {}
header['Authorization'] = oauth_header(consumer_key, consumer_secret,
		access_token['oauth_token'], access_token['oauth_token_secret'],
		posturl, "http://api.douban.com")
header['Content-Type'] = 'application/atom+xml'
print header

conn.request('POST', posturl, content, header)
res = conn.getresponse().read()

print res

conn.close()

在这一步中，用于生成signature base string的url是要访问的受限资源地址，而签名的参数表依然是oauth相关的参数。
生成的Authorization头如下

Authorization: OAuth realm="http://api.douban.com",
    oauth_nonce="8735717688",
    oauth_timestamp="1262613619",
    oauth_consumer_key="0bc081a01168b263234184e0343a1729",
    oauth_signature_method="HMAC-SHA1",
    oauth_token="5fb836c37543ad691f28a44a5fcb083b",
    oauth_signature="jk6p5qaXVPrGQctSzpO5jjYHfDk="

用这个头就可以在一定的时间内访问所有授权范围内的受限资源。

代码是ugly了一些，不过应该相对易于理解吧。