Here comes the Sun

The Jetty 12 Adapter for Clojure Ring, and A Decade of A Custom Ring Adapter

2023-09-13T21:33:00+08:00

The Jetty 12 Adapter for Clojure Ring

The 12.0 release of Jetty saw its most important architectural change: the split of its Jetty-Core API and enterprise Java APIs. The Jetty-Core API is fully functional for Java server and client development, and is the first version of Jetty that being Servlet-free.

My Clojure library ring-jetty9-adapter has been tracking Jetty's development since early release of 9.0 (also named after that version). During the last few weeks I worked with @jasonjckn to port this adapter to Jetty 12, making its name even more confusing :). Thanks to previous changes, the core library of Ring no longer depends on Servlet API. So in this upgrade, we removed Servlet API completely in ring-jetty9-adapter. The handler and request/response implementation has been rewritten to match those from Jetty-Core, while keeping it compatible with Ring spec.

The new version has been released to clojars as 0.30.0. To upgrade to this version, note that:

Of course, access to Servlet API in your Clojure code is now invalid
Java 17 is now required
:async-timeout option is removed, let me know if your application relies on it

We saw at least 10% throughput improvement thanks to less layer of abstraction. As early adopters of Jetty-Core API, I'm giving shout-out Jetty maintainers @joakime, @sbordet and @lorban for their help during the upgrade.

A Decade of A Custom Ring Adapter

While working on this upgrade, I noticed that the library was started exact 10 years ago in 2013 when I was a full-time Clojure developer at AVOS. It was born because at that time, the official Jetty adapter stuck on version 7. The WebSocket API in Jetty 9 was what we needed for our Clojure/Ring based application.

But I didn't stop there. During the last 10 years, with help from many contributors, I managed to keep adding new features to this library, making it a feature-rich alternative to the official one:

2013/4, the initial release based on Jetty 9.0.3, with WebSocket API
2015/7, HTTP/2 connector
2017/5, Async Ring handler
2018/9, TLS 1.3 as default SSL protocol
2020/7, JDK 11 and JDK 8u252 upgrade, removal of Conscrypt
2020/12, Jetty 10 upgrade
2021/10, WebSocket protocol upgrade, making it possible to return websocket callbacks from a ring handler
2022/2, HTTP/3 connector
2022/10, Jetty 11 upgrade
2023/9, Jetty 12 upgrade, virtual threads and removal of servlet

A total downloads of 237,550 and 83 releases is how it benefits the community.

As I'm no longer using Clojure at my work, this library has been my last few direct connections to the programming language I always enjoy a lot. Using it in my side projects is still a lot of fun. I'm looking forward to run this project in next decade.

一个好团队

2022-03-30T23:36:02+08:00

什么是好团队是个非常抽象的问题，尤其是身在其中遇到问题，更需要一个标尺来度量，才能让理性战胜一时的冲动。结合着过去一段时间的所见所闻所感，大致对自己比较向往的“好团队”有了一个结构化的定义。能力，流程，信任和士气，是我想到的四个关键词。

能力

要解释好团队，又提出一个更宽泛的概念，能力。能力本身分很多层面，体现出来也有很多表征。不过在这个上下文里，我打算只选一个最终的体现，就是应变的能力，能随机而应变，能达到车到山前必有路的境界，就是能力强的团队。

The Pragmatic Programmer 里说好的代码是 ETC, Easy to Change。可见 change 本身是一个挑战，能产出 ETC 的方案，或者在不可预测的环境里，兵来将挡，水来土掩，就是绝对意义上的能力强。

有这样的应变能力，可以让团队在执行的过程中尝试更多的可能性，在相同时间和相同资源的情况下，踩更多的坑，从概率上讲也是有更大的可能性走上正确的路。

流程

然而能力可遇不可求，云淡风轻的化险为夷实际可能要经过长时间的积累，或者出众的资质。那么要让一个平平无奇的团队也能达到可接受的标准，就需要流程来保障。流程可以增加做事的确定性，减少执行过程中的变数，不用那样频繁地考验团队“应变”的能力。

流程说白了就是分工和协作的机制，KPI。用更严酷的说法，流程就是纪律。把一批水准参差不齐，各有各的想法的人捏合在一起做事，需要定义好每个人每个阶段要交付什么，然后用管理机制来确保流程的链条运转起来。

信任

然而流程定义的 KPI 是对事物的一种简化建模，是为了能够在一群人里快速达成一致。实际工作中，单纯对着 KPI 做事，结果很可能把事情做得棱角分明，甚至割手。

在 KPI 拟合不到那部分灰色地带，如果也需要达到好的效果，就需要在协作中跳出既有的流程框架，在这些边缘处达成一致。相互信任是这方面的前提。缺少信任，出圈的行为都可能引来猜忌，圈内的人也不想被误解。

在这种贬义的“各司其职”状态下，如果不能从信任的层面解决，那只有反向地把流程向高维度高复杂度的方向去推动，形成冗余和损耗：文山会海，反复确认，提前确认，都是表现形态。

士气

士气和信任，与能力、流程相比，都是偏精神层面的东西。如果说信任是人与人之间关系的描述，那么士气是整个人群所体现的一个整体的精神度量。其实前面这句描述复杂了，简单说就是在上面三个维度都确定的情况下，大家是否愿意全速前进。

一提到精神层面就比较玄学。我经历过很多士气低落的状态，大家觉得在做的事情不靠谱没希望，这种情况太常见了。反倒是“士气高昂”，我总认为被误解了，那种打鸡血的、运动式的、喊着口号的、卷着的状态并不一定，而且往往不是，真正的最佳士气。更像是星际里枪兵打兴奋剂，先自己折掉20%的血条，这不是士气，是毒药。

我更愿意相信那种持续的心态轻松，能激发创造力的状态，能够让能力充分发挥、让流程平稳运行、让信任逐步建立，这是我心中好的士气。

Recapping 2021

2021-12-31T14:16:00+08:00

一转眼这个 Blog 已经有三年多没有更新了，要不是赶上域名续费，都有点忘记这块自留地和这种表达方式了。好在 pelican 维护也比较慢，前两天把 Blog 的源码在新电脑上 clone 下来，整个编译发布的流程还能用。

这两年（废）话说得多了，写东西就相应变少了。19年坚持了一端时间手写日记，今年尝试用 orgroam 记录了几次，也没有持续坚持下来。不过今年最后几天还是很想总结一下过去这一年。

今年最积极的三件事：代码，观鸟和开车。

902

今年在 Github 上记录的贡献数是 902，从 2018 年开始这个数字分别是 980, 762 和 745 。也就是说虽然还是没有恢复过去的 1000+ 的水平，但至少止住了下降的颓势。

项目方面，handlebars 今年发布了 4.0 版本，进一步补齐了和 js 版本的功能差异，性能也有了一些提升，与 tera 相比差距又有一点缩小（功能仍然更丰富）。这个库已经维护到第 7个年头，下载量预计在明年1月底会达到 600 万。不过随着社区的老人逐渐淡出，新的项目使用 tera 的明显更多，尤其是 docs.rs 和 rustdoc 相继选型了 tera，实话说对我的积极性也有一点打击。

今年另外新起了一个 rust 项目 metriki，把 Java 生态上非常喜欢的 dropwizard metrics 库搬到了 rust 上来。之前 rust 生态的几个相关项目一直用不顺手，实际上包括 influxdb_iox 这样的大项目都自己实现了一遍 metrics 库。明年也许会尝试宣传一下，也许只是给自己以后的 rust 项目留个好工具。

下半年学习了一点 clojurescript 的 react 框架 re-frame，基于 ebird 的数据做了一个小应用，预计在春节前把它放到我的 linode 上。至今还是很惋惜 Clojure 生态目前的状态，现在只有少数的爱好者还在坚持维护和宣传，整个生态虽然够用，但是完全可以更好。Clojure 是那种可以自己当作一门手艺的语言，不用考虑什么招人\培训之类的事情，只是单纯一个人搞定最多事情的称手工具。

另外今年给 redis 7.0 提供了一个功能，是 2015 年就提的 feature request。这个等到发布之后再细说吧。

133

今年是有数据完整观鸟的第一年，在 ebird 总计记录了 133 种鸟类（也许今天下午还会有增加？）。

观鸟这个爱好是受家属引导，总结起来其中有三重乐趣：

观察自然：首当其冲当然是观察鸟类的特点\习性
数据统计：观察和记录是一个积累的过程，利用 ebird 这样的平台和工具可以发现其中数据层面的很多乐趣
模拟狩猎：一定程度上是一个现实中的 LBS 游戏，每次出门观鸟都有一定的不确定性：可能加新满载而归，也可能大失所望看到的都是预期中的鸟。这种不确定性是很多游戏或者古代狩猎场景里特有的乐趣。

马上进入 2022 年这个数字又要重置，1 月 1 日去十渡希望能开个好头，2022 年争取突破 133.

开车

今年工作上调动到造车部门，虽然还是后端，不是直接接触车本身，但是该懂的名词术语黑话还是需要深入了解。机缘巧合下半年终于弄到一辆车。驾照已经拿了 9 年了，终于真正开起来。

国庆节前还出了一次刮蹭事故，该走的流程也被迫熟悉了一遍。

开车的好处莫过于自由，比如在远郊的团队活动，仍然可以晚上赶回家里，不用被迫喝酒和参加游戏。

Emacs

去年开始逐渐地更深入地配置了我的 Emacs，用 dotter 管理 dotfiles，过去拼拼凑凑的 emacs 配置文件通过 use-package 一组织也变得有调理一些。并且平时开始用 orgroam 来管理笔记，通过自己的 nextcloud 在多台电脑间同步。

今年听了一些 emacstalk 节目，平时偶尔刷一刷 emacschina，还捐了款。和前面提到的 Clojure 一样，Emacs 作为一个编辑器和开发平台，也是一个可以长时间探索、依赖和伴随的东西。在 2020 年之后这样变数巨大的时代，这个长期可靠显得弥足珍贵。

其他

今年告别了足球
看了 15 本书（每年都是雄心壮志计划 30 本起步，实际…）
去了 7 个城市

Announcing Espresso: the start of a modern Java web ecosystem

2018-11-17T16:07:19+08:00

We have seen rapid development of Java itself these days. The introduction of functional programming elements made Java coding experience quite sharper.

However, the Java web ecosystem is still with its early days . The Servlet API is dated, heavy and verbose. Even with Spring boot has improved Java development, simpler abstraction like Python's WSGI is still my preference.

So I started Espresso, a core web abstraction and a family of micro libraries to support it. The idea of Espresso is highly inspired by Clojure's Ring and Rust's Iron. And the name Espresso is specially chosen for Java. Imaging the Java web application is a cup of coffee, the Espresso is the soul of it.

The core of Espresso is quite simple, it's a function takes a Request object and returns a Response object. There is also an asynchronous variant.

A hello world web application with espresso can be simple as:

import io.github.espresso4j.espresso.*;
import io.github.espresso4j.jettino.Jettino;

public class App {

    public static void main(String[] args) throws Exception {
        new Jettino().start((req) -> Response.of(200).body("It works."));
    }

}

Basically the application starts a jetty server and hosts a web application that return HTTP 200 and a body of It works.;

To make Espresso usable, the initial family of the system contains:

Jettino: A web server adapter to run Espresso with Jetty.
Latte: A URL router to route request to particular espresso function, based on URL pattern. And it generates an espresso application itself.
Sugar: A parameter extractor for dealing with query string, form and Json body.

A simple demo is available here. You can grab and run it with gradle run. The code is super easy to understand.

The libraries have been published on Maven central.

Call for collaboration

To grow a ecosystem, it requires quite a lot work on upstream/downstream libraries, documents and communication. I have some ideas to be implemented like:

Extensible session middleware
Cookie middleware
Content negotiation
Spring-boot integration

If you find the library and idea interesting and want to join me in the development on code, doc, design and communication, feel free to contact me via the email list on my github page.

What to expect for Jiangsu Suning's summer break

2018-06-13T17:45:33+08:00

This article is written for Jiangsu Suning fan blog. This is the first time I write about football, in both English and Chinese. After confirmed from the site owner, I can repost it on my own blog.

The 2018 World Cup is coming in next week. Chinese Super League will be paused until early July. Yesterday, Suning team was heading off to Italy for a special summer training camp. They will be using their sister club, Inter's Suning Training Center during this summer.

11 weeks into 2018, Suning gained 19 points and 18 goals, ranked 4th with only 4 points away from top, which is a huge improvement if you compare it to 2017. But fans always expect more. With promising young star Huang Zichang, an extraordinary Ji Xiang and super reliable Teixeira, can we expect a return to Asia Champions League, or even a title for 2018? The summer break can really decide.

Olaroiu's secret new formation

After taking over the team from Capello, Olaroiu soon switched formation from 4-3-3 to 4-4-2. Using Wu Xi and Tian Yinong holding the midfield, and recovered Boakye & Teixeira on the front, Olaroiu managed to get 16 points in 8 matches.

However, the Romanian still received questions about his never-changed lineup and substitutions: 89' for Zhang Lingfeng and 91' for Gao Tianyi. These two U23s gave impressive performance during Capello era, but now were only for satisfying CFA's U23 policy, with no tactical meaning.

In an interview before victory over Dalian Yifang, Olaroiu told CCTV-5 journalist Wang Tao, picking up the team in mid-season, he had little time to experiment any new formation and it's what he will definitely do during the summer break.

The current 4-4-2 relies heavily on our starting XI. But we don't have many good substitutions for the system. Meanwhile, talent players like Wang Song, Gao Tianyi, Abduhamit were wasting their time on the bench. So I really wish Olaroiu can find his new formation in this summer, and utilize our potential for a more flexible squad. For example, if we can start 2 U23 players, we will have two meaning substitutions.

Ramires

If I come from 2012, I will never believe we have super star like Ramires in team, and super star cannot find a position in starting XI. But that's the truth for 2018. The new policy allows only 3 foreign players in squad. It seems we have no choice but using Teixeira, Boakye and Paletta.

Needless to say Teixeira is the soul of team on attack, Boakye provides Teixeira more room in the front. Without Boakye, the opponent can spend 3 defenders to deal with Teixeira. On the defense side, Paletta plays a fatal role in Jiangsu Suning's system. Not only for holding the back, but nowadays he is also responsible for ball controlling and passing through midfield.

So the fact is, Wu Xi and Tian Yinong can do 70% that Ramires provides, but no one else can replace Teixeira, Boakye or Paletta. That's the reason Ramires just played 1 CFA Cup match. Even if he sent two assists, we were still not having him in the league.

I won't be surprise if Ramires leave us in this Summer. He needs playing time and totally deserves it. Otherwise, we need new formation to unleash his power.

Newcomers

There are few good Chinese players to buy from the market, until Guangzhou Evergrand president Xu Jiayin stated that no one in his team is unavailable for sale. So can we take someone from Evergrand to enhance our squad? Rumor said Suning actually queried Zhang Linpeng, the Evergrand defender this winter. There are a few names in the Guangzhou team can benefit us, but I doubt if they really want to sell.

R&F's Xiao Zhi is on Suning's hunting list too. This 32y old forward became the best Chinese target man in his thirties. Quanjian's Yang Xu is my own top choice if we can't have Xiao Zhi.

If Ramires is going to leave, we will free a slot for new foreign player. After World Cup I think there will be some good players willing to come to China. A strong target forward is in top priority in my opinion. If we do it right, we can soon catch up in title race, like signing Roger Martinez in 2016.

Fitness

The fixtures after World Cup is really tough. From July 28th, we will play 6 matches in 3 weeks. For most cities in China, includes our home Nanjing, the weather at that time is simply, hell. Some of our key players includes Huang Zichang, Wu Xi, Abduhamit and Zhang Lingfeng, were called up in national team during the break. Huang Zichang, being called up by national team, U23 and U21 at the same time, must be tired.

Tactically, our play relies on running very much, if we keeps using same squad for every match, it will be a huge challenge to the power of players.

Capello did a good job this winter, on building up a strong team in both tactical and fitness. During the summer camp, we need to keep up with it. Good news is probably we can utilize the facility in Inter's training center, to do it efficiently.

These are my cents on the summer expectation. Overall, I'm pretty optimistic to our second half of 2018.

Custom JRE for Clojure app distribution

2018-01-28T23:18:40+08:00

Modular Java was introduced in JDK 9, and considered to be the largest architectural change in Java, ever. The core of Java libraries were split into several modules, sits in $JAVA_HOME/jmods. The bloated, monolithic rt.jar is no more.

Modular Java requires you to include a module-info.java for a module. As of Clojure 1.9, there is no plan (AFAIK) for module support. However, we can still benefit from the new architecture. By using the jlink tool, we can create a customized Java runtime, contains certain modules. The minimal one, which has java.base module, is only 29MB. And this JRE, is capable for running most of Clojure application. You can still use its java executable as before.

I created lein-jlink to manage these kind of customized JRE for clojure development. Put lein-jlink in :plugins of your project.clj:

(defproject jlinktest "0.1.0-SNAPSHOT"
  ...
  :plugins [lein-jlink "0.2.0-SNAPSHOT"])

By running lein jlink init, a default (minimal) JRE is created in target/default/jlink. (the target path contains your profile name)

Now, adding a hello world ring app to our application:

in project.clj

:dependencies [[org.clojure/clojure "1.9.0"]
              [info.sunng/ring-jetty9-adapter "0.10.4"]]

in src/jlinktest/core.clj:

(ns jlinktest.core
  (:gen-class)
  (:require [ring.adapter.jetty9 :refer [run-jetty]]))

(defn app [req]
  "<h1>It works</h1>")

(defn -main
  "I don't do a whole lot ... yet."
  [& args]
  (run-jetty app {:port 8080}))

This app can be run with lein jlink run, which uses the java executable from our customized JRE.

$ lein jlink run
Defaulting Uptime to NOIMPL due to (java.lang.UnsupportedOperationException) Implementation not available in this environment
2018-01-28 23:51:12.571:INFO::main: Logging initialized @-1ms to org.eclipse.jetty.util.log.StdErrLog
2018-01-28 23:51:12.695:INFO:oejs.Server:main: jetty-9.4.8.v20171121, build timestamp: 2017-11-22T05:27:37+08:00, git hash: 82b8fb23f757335bb3329d540ce37a2a2615f0a8
2018-01-28 23:51:12.742:INFO:oejs.AbstractConnector:main: Started ServerConnector@2e645fbd{HTTP/1.1,[http/1.1]}{0.0.0.0:8080}
2018-01-28 23:51:12.744:INFO:oejs.Server:main: Started @-1ms

This environment has no java.util.logging package so you can see Jetty is fallback to stderr for logging. But it still fully functional on serving http requests.

To visualize the benefit on distributing our Clojure app, we can assemble a distributable environment, using lein jlink assemble. It runs lein uberjar and copy the jar into JRE directory, then put a shortcut script for running our app.

If you care about the size of your application, it's only 37MB totally for this hello world ring web application, includes runtime.

This path can be added into a docker base image, like ubuntu:

FROM ubuntu:16.04

ADD target/default/jlink /opt/jlinktest
ENTRYPOINT /opt/jlinktest/bin/jlinktest

No need for installing openjdk-8-jre. The result image size is 159MB, the ubuntu base takes 121MB from it.

Note that you may want to run it on a minimal base like alpine. alpine is based on musl-libc. If your development environment is glibc based (in most this is true), it won't work on alpine. We will need to use a glibc variant and add required packages:

FROM frolvlad/alpine-glibc

RUN apk add --no-cache libstdc++

ADD target/default/jlink /opt/jlinktest
ENTRYPOINT /opt/jlinktest/bin/jlinktest

This runnable image size is, just 50.7MB!

So with jlink and modular Java, you can ship your Clojure app with this minimal runtime. This could change Java ecosystem and enable even more use cases for it.

微服务设计套路

2017-12-26T15:52:00+08:00

有些名词第一次听到以为是噱头，或者根本没有在意，然后一两个月内又听到一次，再然后一周内又听到一次。三人成虎，发现真的是热门的概念了。比如 Service mesh，比如 sidecar。第一次看到 sidecar 这个词是在这本书里，昨天又看到了这篇总结性的文章 Design patterns for microservices，都是出自微软背景的技术人员。也许是出自微软的惯用语？

不过 Design patterns for microservices 倒是值得关注一下，介绍了 9 种微服务架构套路。

Ambassador

大使。大使进程专门负责对外调用，解决一些服务可靠性、监控统计等方面的问题。也叫 service proxy（？）大使可以作为一个 sidecar 和服务一起部署，也可以作为一个基础设施部署在宿主机上供上面的所有服务共用。

大使可以用在那些没有对微服务架构优化过的老应用上，将老应用的请求全部发到就近的大使上。大使提供一种可靠的，可控制的服务间调用。

Anti-Corruption Layer pattern

防腐层。俗话说没有什么问题不是加一层可以解决的，如果有，就再加一层。防腐层用来专门处理新旧应用的集成，比如调用协议的不兼容，而又不想让这些确认会被抛弃的代码 ruin 新的应用。

Backends for Frontends

不翻译了。这个估计会有些争议。给每一种类型的客户端准备一个专门的后端服务，比如浏览器访问浏览器的后端，移动设备访问移动设备的后端，避免一套代码供全球导致的对前端特性的忽视。当然和所有套路类似，也不需要教条地针对所有场景都使用这种套路，只是在确有痛点的时候找到“这么做有先例”的论据。

Bulkhead

隔墙。给每个任务分配固定的资源上限，当某个任务出现异常开始消耗资源时，能够控制资源的消耗上限。比如，调用外部服务的线程池，到服务A响应变慢时，肯定会占用更多的线程资源，影响那些只依赖服务B的业务。如果为不同的依赖设计不同的线程池，就可以达到隔离的效果，既然挂不可避免，那么也只挂 A，不要影响 B。

Gateway Aggregation

网关聚合。当应用依赖多个外部服务时，设计这么一种代理网关可以更好地并行请求后端依赖，并且把聚合的结果一次性返回给应用。当应用访问多个服务时有明显的延迟时，一个统一的出入口可以节省调用的代价。对标准的调用协议，聚合网关也可以是一个标准的架构组件。

Gateway Offloading

网关卸载。在网关层面把 SSL、安全、认证等辅助任务终结掉，在应用层面保持轻量。

Gateway Routing

网关路由。为所有微服务提供一个统一的入口网关，对外部服务隔离内部的部署、划分细节。部署时还可以通过路由规则施展一些小手段，比如蓝绿部署。不过对网关的配置能力要求比较高，当网关后面有二十多个各色服务时，如果只是手动维护，代价和风险有点大。（说出了现状）

Sidecar

挂斗。对应用中一些通用的需求，比如日志、网络请求等，把他们实现为一组独立的进程，有几方面的好处：

避免对核心业务的资源争抢
可重用在任意系统，不依赖特定的语言

比如 Istio 作为一个 sidecar 接管所有的远程调用，提供服务管控能力。

Strangler

扼杀模式。当新旧服务在过渡期时，根据策略将请求路由到旧服务或新服务，目标是逐步废弃遗留系统，平缓迁移到新系统。这种机制用于平滑迁移服务，保持兼容性，甚至可回退的能力。直到所有用户都迁移到新版时，将这套机制和旧版服务一同退役下线。

Slacker 0.15 released

2017-07-22T15:41:00+08:00

After another year of development, I'm proud to announce a new major release of my Clojure RPC library, slacker. This release, 0.15.0, includes an update on wire protocol, some performance improvement and bugfix.

The request extension

This release of slacker client use v6 protocol by default. The server can still accept v5 protocol for backward compatibility.

The v6 protocol added an extension field to request and response packet. By using this field, you can exchange some metadata in RPC call. A typical use case is for distributed tracing. Trace ID is passed as extension.

In the API level, we kept the non-invasive principle. Extensions will be injected as var bindings.

(require '[slacker.common :refer [with-extension]])
(require '[slacker.client :as sc])

(def conn (sc/slackerc "127.0.0.1:2104"))
(sc/defn-remote conn slacker.example.api/timestamp)

(def extension-id 16)
(with-extension {extension-id "extension-value"}
  (timestamp))

A more typical usage of extension is in interceptors. slacker-htrace use extension to pass htrace trace id along with rpc call.

(defn client-interceptor [^Tracer tracer span-id-extension-id]
  {:pre (fn [req]
          (let [scope-name (str (:fname req) ":outer")
                trace-scope (.newScope tracer scope-name)]
            (-> req
                (assoc ::trace-scope trace-scope)
                (update :extensions assoc
                        span-id-extension-id
                        (from-span-id(.getSpanId ^TraceScope trace-scope))))))
   :post (fn [resp]
           (when-let [scope (::trace-scope resp)]
             (.close ^TraceScope scope))
           (dissoc resp ::trace-scope))})

(defn server-interceptor [^Tracer tracer span-id-extension-id]
  {:before (fn [req]
             (let [scope-name (str (:fname req) ":inner")
                   span-id (-> req :extensions (get span-id-extension-id) to-span-id)
                   trace-scope (.newScope tracer scope-name span-id)]
               (-> req
                   (assoc ::trace-scope trace-scope))))
   :after (fn [resp]
            (when-let [scope (::trace-scope resp)]
              (.close ^TraceScope scope))
            (dissoc resp ::trace-scope))})

Flexible server thread pool

Previously, you can only configure one thread pool for all exposed namespace. This adds risk that one backend issue may exhaust all your server threads. And your server stops respond requests for any namespace.

To isolate the execution for namespaces, slacker 0.15 added support for finer thread pool configuration.

(start-slacker-server [(the-ns 'slacker.example.api) (the-ns 'slacker.example.api2)]
                      2104
                      :executors {"slacker.example.api"
                                   (ThreadPoolExecutor. 10 10
                                                        0 TimeUnit/MINUTES
                                                        (LinkedBlockingQueue. 100)
                                                        (ThreadPoolExecutor$AbortPolicy.))})

Once all your execution in slacker.example.api blocked, it won't affect requests to slacker.example.api2.

Bugfix and performance improvement

There are some more fixes in release:

Fixed issue in stop-slacker-server
Use platform specific buffer allocator for (de)serialization
Improved client side error report. Full context can be accessed via ex-data.

Middleware

Also I created two example middleware for slacker:

The metrics middleware integrates metrics-clojure into slacker server.
The htrace middleware enables htrace distributed tracing on both server and client side.

从 HTTP 0.9 到 QUIC

2016-10-22T10:39:00+08:00

1989 年 WWW 诞生之后，HTTP 和 HTML 迅速成为主导世界的应用层协议。在今天，几乎任何场景的应用都或多或少地使用 HTTP（就像 JavaScript 一样）。HTTP 本身也不仅仅用于网页、浏览器，各式各样的 API，移动应用同样使用这个原本为 HTML 设计的协议。80 和 443 端口成了网络上最重要的端口。

在近 30 年的历史中，HTTP 协议本身有比较大的发展，同时，还有一些重大的变动也在酝酿之中。这些演化使得这个协议的表现力更强，性能更好，更能满足日新月异的应用需求。这里就来回顾和展望一下 HTTP 的历史和未来。

HTTP 0.9

历史上第一个有记载的 HTTP 版本是 0.9，它诞生在 1991 年。这个协议被设计用于从服务器获取 HTML 文档。

telnet example.com 80
GET /
<html>...
[EOF]

整个协议的请求只有1行：GET 加文档路径。GET无需多解释，这是 HTTP 至今都一直保留的 "method"，是 HTTP 的动词。1991 年的 HTTP 仅支持 GET 这唯一的动词。之后的路径是文档在服务器的位置（逻辑位置），即实际要获取的内容。请求以换行结束。服务器收到请求之后，就会返回对应的 HTML 文档内容。输出完毕后，关闭连接。

当时的 HTTP 协议是一个非常简单的文本协议。直到今天，我们熟悉的 memcached 和 redis 还是使用类似风格的协议。使用者甚至可以直接在 telnet 中与服务器交互。

HTTP 1.0

1996 年，一个更加完整，更加接近我们目前对 HTTP 认知的版本，HTTP 1.0 发布了。这个版本中已经包含了很多我们如今耳熟能详的概念：

HTTP 响应状态码：在响应的第一行，首先返回状态码和说明文本。相当于在 HTTP 0.9 基础上增加了返回类型的支持。
HTTP 头：除了首行的动词和路径之外，请求和响应都支持一系列的“头”。这些“头”以键值对的形式出现，为当时和日后 HTTP 的各种周边设置提供了载体。
HTTP 方法：增加了 HEAD 和 POST 等方法。

HTTP 1.1

随着互联网的迅速发展，人们对 HTTP 协议有了更高的要求。1999 年，现在最常见的 HTTP 1.1 版本诞生了。从此之后，这个 HTTP 协议一直服务至今。并且，在后来的十多年里，这个协议还不断更新和细化，最终在2014年形成了 5 个 RFC：

RFC7230 HTTP/1.1: Message Syntax and Routing 协议框架和连接管理
RFC7231 HTTP/1.1: Semantics and Content 动词、状态码和头定义
RFC7232 HTTP/1.1: Conditional Requests 条件请求
RFC7233 HTTP/1.1: Range Requests 断点续传相关
RFC7234 HTTP/1.1: Caching 缓存相关
RFC7235 HTTP/1.1: Authentication 认证相关

HTTP 1.1 协议已经相对庞大，不过要选择其中对 HTTP 1.0 最大的改进，非连接管理莫属。 HTTP 1.0 仅仅介绍了该协议可以使用在 TCP/IP 之上，但是没有进一步地介绍。实际使用的方式仍然是请求结束后就将连接断开，这样我们需要为每一个 HTTP 请求都重新创建 TCP 连接。然而，每一个新的 TCP 连接在创建时需要经历握手和慢启动的机制，客户端在使用新的连接发送 HTTP 请求时，都要经历可观的延迟。随着网页内容的丰富，交互增加，使用新连接的代价是相当大的。

HTTP 1.1 针对这个问题，对连接管理有了明确的说明，默认即使用持久连接的机制。在 HTTP 头中，包含了一个 Connection 字段，对是否保持、重用连接进行说明。当 Connection: keep-alive时，连接将被保持，之后客户端可以继续在这个 TCP 连接上发送新的请求。当客户端确实需要关闭连接是，发送的请求要明确说明Connection: close，服务器端在处理完成后就会关闭连接。

通过持久连接的机制，同一个 TCP 连接可以传输多次的 HTTP 请求、响应，他的使用率已经得到了一定的提高。不过，由于 HTTP 协议采用请求-响应的模型，在一个 TCP 连接上，同一个时刻只能有一个请求，请求发送后，客户端必须等待返回。这种同步、阻塞的方式限制了连接的吞吐量。当页面上有大量元素时，这样的等待会造成页面内容的顺序加载。因此，为了提高吞吐量，客户端（浏览器）通常会打开多个连接，很多现代浏览器会对每个域名至多打开6个连接，并且重用它们。然而即使是6个连接，在加载包含大量外部资源的页面时仍然会捉襟见肘。为此，还出现了切分域名等优化方法。但终归来说，各种方式仍然会面临创建 TCP 连接所带来的开销、延迟。

HTTP Pipelining 机制允许客户端在响应返回前直接发送下一个请求，以 Firefox 为例，一旦启用了 HTTP Pipelining，至多可以同时发送 32 个请求，之后只需要等待这些请求次第返回即可。然而这种特性绝非没有代价。Pipelining 机制对顺序有严格的要求。如果响应返回的顺序与请求的顺序不一致，就要求客户端在更高层面增加顺序判断的机制，否则就将引起混乱。而在日常的浏览器场景下，是无从增加这种机制的，这就对服务器的实现提出了要求：单一连接上的请求必须顺序处理，顺序返回。对顺序的要求就导致了机制上的出现排队的可能。如果一个请求的处理时间较慢，那么后续所有的请求都会被拖慢，即使后续的请求很“便宜”。

对顺序的要求是 HTTP 1.1 无法回避的。因此，后续的改变就需要大刀阔斧了。

SPDY & HTTP/2

从 2009 年开始，Google 开始设计和开发一个能够解决上述问题的新协议：SPDY。在 SPDY 的基础上，2015 年，HTTP/2终于诞生了。针对 HTTP 1.1 已有的顺序问题，HTTP/2 给出了相应的回答：多路复用。

HTTP/2 仍然使用持久连接，客户端与服务器需要长时间保持一个连接。但由于增加了多路复用的机制，因此这里也仅仅需要一个连接即可，这样就避免了 TCP 连接反复创建的开销。多路复用机制是在纯的 TCP 抽象在再抽象出一层 stream 的概念。请求-响应全部搭载在 stream 之上，在同一个 stream 上仍然保持原先的请求-响应模型。但是两端之间可以创建多组 stream，这样就避免了排队等待的问题。而且由于抽象的 stream 几乎没有创建代价，在用户体验和实际性能上，都比原先创建新的 TCP 连接要快很多。服务器在处理多个 stream 的请求时，也无需受限于顺序，这样就可以充分使用多个线程并行处理，且无需做任何等待。

表面上 HTTP/2 解决了之前所有的问题，然而事实并不尽然。由于今天 HTTP/2 下层的传输协议仍然是 TCP，而 TCP 本身是要求顺序的，对顺序的要求就会带来排队的问题。HTTP/2 层面的多路复用可以说解决了应用层的顺序问题：比如服务器可以用多线程并行处理同一个 TCP 连接上的请求。但是在传输层，顺序问题仍然会限制吞吐量，一旦服务器将结果写到了连接上，这个顺序就将被保证。尽管上文说 stream 之间可以互不干扰，不过在传输层 TCP 仍然会“老老实实”地按照服务器端写出的顺序交付给客户端。可惜客户端并不完全在乎这个顺序，客户端只需要保证在同一个 stream 之内有序即可。如果传输中出现了丢包的情况，操作系统必须等到之前的数据重传完成后才会交付到上层的应用程序。在这部分等待的数据中，很可能就包含其他 stream 的完整数据包，而它们原本可以提前交付给应用层。

这就是一个多路复用的应用层协议运行在一个非多路复用的传输层协议上产生的问题。

QUIC

QUIC 并非是一个应用层协议。它诞生于 2012 年，目的就是在 SPDY 之后解决传输层上积累的问题：

传输层的多路复用
TCP+TLS 连接创建的代价过大

QUIC 的一大特点是基于 UDP，对于这个长期几乎被应用层遗忘的协议来说，是一件令人兴奋的事情。但是 QUIC 选用 UDP 并非意味着它对完整性、顺序传输等机制的放弃，而仅仅是因为 UDP 是 IP 的一个很薄的包装。现在的网络已经不允许人们随意发明一个新的传输层协议了，各种网络设备对数据包的传输层协议都有要求。QUIC 在 UDP 上实现了一个多路复用的 TCP，它几乎包含了 TCP 所有的主要功能。

与 HTTP/2 + TLS + TCP 相比，QUIC 承担了 HTTP/2 中的整个 stream 管理部分、TLS 安全连接部分和 TCP 的重传、顺序、流控等机制。针对上一节描述的问题，QUIC 可以将 TCP 对顺序的要求进一步细化到 stream 上。在 QUIC 中，重传的粒度被提高到 stream 的层面，这样使得上层的抽象与下层的实现达成了一致。QUIC 重新将 HTTP/2 中较复杂的流管理（在应用层显得不伦不类）移到了本该存在传输协议中，也简化了 HTTP/2 协议，使这个应用层协议可以专注于 HTTP 的语义本身。

另一方面，目前使用的 TCP + TLS 握手环节存在数据交互过多的问题。尽管 HTTP/2 已经可以实现对一个地址只创建一个连接的机制，但是创建连接仍然需要反复的握手，是一个亟待优化的环节。针对这个问题，Google 推动了一个 TCP 的改进： TCP Fast Open。Fast Open 允许 TCP 客户端在握手的第一个 SYN 包中携带应用层的第一个数据包，握手完成时服务器端可以直接处理这个数据包。与之思路类似的是 TLS 1.3 的 0-RTT 机制，允许客户端在 TLS 握手的 Client HELLO 环节就带上应用层数据，服务器端回复 Server HELLO 时就可以直接返回应用层的结果。这两个改进目前还没有完全推广到业界，不过 QUIC 已经吸收了 TCP Fast Open 的机制，并且将在未来直接支持 TLS 1.3

总结

看 HTTP 协议从过去到未来的发展历程，如果要总结一下的话：

由于创建连接代价较大，尽可能提高连接使用率：持久连接，Pipelining 机制，多路复用机制
减小创建连接的代价：减少客户端服务器端交互次数，持久连接，TCP FastOpen, TLS 1.3 0-RTT
保持应用层与传输层的抽象、实现一致：持久连接，stream 管理

衡量可扩展性的立方体模型

2016-09-25T14:37:41+08:00

最近看《架构即未来》(The Art of Scalability)，结合自己目前的工作，发现比很多年前看第一版的时候有更多切身的体会。很一般的博客、新闻介绍扩展性的结构不同，这本书2/3的篇幅并非教读者如何切分、如何拆分，水平还是垂直等等，而是再说组织架构，怎样设置团队，怎样规范架构的流程，各个部门的责任等。在看第一版的那个时候，这部分我可能就直接忽略了，但是现在有了亲身体会之后，发现大部分的问题，即使表现为技术问题，甚至是低级失误，其实根源都是管理方面的问题：责任分配不清晰，资源不足，决策草率缺乏长远考虑，等等等等。这些问题，如果没有经验，在解决了我们熟悉的基本的扩展性问题之后就会慢慢遇到，从宏观角度看这些恰恰是真正制约扩展性的关键因素。

不过今天并不是想写这个。书中后半部分介绍了一个衡量扩展性的 AKF 立方体模型，把关于扩展性的问题抽象得很精致。这个模型用 X/Y/Z 三个轴表示扩展的三个不同方向。其中

X 轴表示同等职责、同等分工下的拆分扩展，这种扩展可以通过单纯的拷贝实现业务能力的扩大。
Y 轴表示通过对职责的细分，将不同的职责拆分到不同的单元，从而实现处理能力的扩大。
Z 轴表示对客户、来源的切分，实现业务的隔离，从而扩展业务能力。

上面我自己的概括可能比书上的还要抽象，没关系，举一个团队的例子：

在公司初创的阶段，所有的工程师除了日常的开发，还要担负技术支持和运维等工作职责。在这个阶段，增加这样的工程师的数量，就是在 Y=0, Z=0 的方向上，进行 X 轴的扩展。
当业务量增加时，引入了专门的技术支持工程师、销售工程师、运维工程师的专业角色，将原来人员的职责细化。这是在 Y 轴上进行扩展。这时可以根据各个业务类型的需求不同，分别增加工程师的数量，就实现在 X/Y 轴两个方向上的同时扩展。与单纯的 X 轴扩展相比，这时扩展的粒度更细，针对性更强（并不需要为了引入一个销售工程师，而按照最初的标准招聘一个全能的工程师）。
当业务进一步发展时，可以根据服务客户的地域、行业类型等，对团队进行进一步的划分，这就是在 Z 轴上的扩展。例如，可以根据市场就近的原则，在广州、上海、北京分别设立办事处，支持附近市场的扩展。

从这个角度说，这套模型并非仅仅描述软件架构的问题，实际也适用于其他方面。重新回到软件结构，用我们都熟悉的语言来说。

X 轴的扩展性解决的是最基本的问题，即一个服务能否扩展。通常，通过一个负载均衡设备就可以将业务分别分配到后端不同的实例上，就解决了 X 轴扩展的问题。如果在 X 轴都完全无法扩展的话，说明架构有严重的问题，完全不能工作。单纯的 X 轴扩展，用现在的话说就是 monolithic 的系统，这种系统粒度大，内部耦合性强。

针对这个问题，引入了 Y 轴的扩展，将业务细分。也就是前些年说的面向服务的架构 SOA，和这些年所说的微服务的架构。这种架构在系统上、业务上、团队上都按照功能职责（动词）进行细分，解除各部分之间的耦合。在这个基础上，每个细分的模块也必须具备 X 轴扩展的能力。

Z 轴的细分是根据客户细分，将不同个客户隔离开，同时也达到了故障隔离的目的。这样系统的故障不会蔓延到整个业务上。Z 轴的扩展成本较高，不同的分区负载可能差别很大。

以我们目前的消息系统为例，开发初期我们主要关注的也是单纯 X 轴的扩展，这个阶段业务本身的规模有限，开发者本身对业务的理解和分析能力也不足。所有的功能都集中在单一的系统上，这个系统不仅负责客户端连接的管理，消息解包等，还要处理很多业务逻辑。

很快在发展两年后就出现了 monolithic 的弊端：

代码变大，还在很快变得更大
耦合性强
部署规模过大，不灵活
扩展粒度太大，浪费资源

这时我们开始未雨绸缪，考虑将业务细分：

登录授权子系统，动词 login
消息转发子系统，动词 forward
消息存储子系统，动词 save

这些子系统的关注点、性能瓶颈都不同，在分别执行 X 轴扩展时，需要的资源也与原先的单一系统不同。同时拆分后的子系统有了更灵活的部署周期，可以快速修复问题。而这些系统本身，通过我们内部的服务框架、服务发现机制和资源调度机制，也可以轻松实现基于 X 轴的扩展。

但是 Y 轴的扩展不是一蹴而就的，而是需要一个过程。对于可以归属给子系统的新功能，直接在子系统上开发。对已有的功能需要逐步地、谨慎地将原先单一系统中剥离。这部分的功能还在进行中，但是主要的障碍都已经解决，后续的进展是比较乐观的。

而作为一个云服务，在 Z 轴的扩展也是十分必要的。但是目前来说，由于本身灵活没有状态，我们还没有完全地实现 Z 轴方向的切分。一方面，Z 轴的扩展需要较高的成本，在资源有限的情况下，如果按照 Z 轴切分会导致比较明显的不均衡和浪费。但是在 Z 轴方向，我们也积累了运维的经验，例如对重点用户的高峰时段进行专门的隔离，尽可能避免多租户环境下 noisy neighbor 的问题。但是目前的机制仍然依赖手动的调度，相比 X 轴和 Y 轴目前的进展，Z 轴算是刚刚迈出第一步。

可以说这三个方向的描述，基本上阐明了扩展性这件事的核心。书中也提到，并非所有的业务所有的公司都需要在三个方向上同时扩展。有的只需要在 X 轴上扩展就可以支撑业务。所以 X/Y/Z 三个轴表示三个潜在的方向，也并非强制需要达到。

路边野餐

2016-07-19T20:53:37+08:00

非常喜欢最近上映的这部《路边野餐》，几乎是重新又喜欢看电影了那种喜欢。第一回在电影院里看了两遍。第二遍看完基本上看明白剧情了，于是想写个类似影评的东西。但是写完又不太满意，感觉没表达出什么东西来。最后还是保存下来，因为好久没有写成段的东西了，慢慢重新找回这个感觉试试看。

时光，回忆，人与人间的亲疏，是电影长久的主题。

一

陈升与妻子张夕是在舞厅相识的。陈升性格内向，不擅辞言，更不用说唱歌了。不过两人是住在瀑布边的房子里，瀑布的声音盖过说话，两人就索性不用说话了。

张夕患了重病，陈升找当地大哥花和尚借钱为妻子治病。花和尚儿子被仇家活埋，被杀前还被剁了手。没能留具全尸让花和尚耿耿于怀，多年之后仍然是萦绕的梦魇：儿子从地下伸出手来，想要个手表。花和尚烧了好几个手表仍然无法摆脱，只能金盆洗手，在镇远乡下开起钟表店。

身为小弟的老陈得知这事，带着弟兄替大哥报了断指之仇。然后一人顶了罪，坐了九年牢，算是还清了大哥的人情。

度过“没有心脏”的九年铁窗生涯，出狱后老陈得知母亲和张夕都已去世。他在狱中学会的歌再也没机会唱给自己的爱人。

母亲去世前，嘱咐将房子留给老陈，并且希望他照看好同母异父兄弟老歪的儿子卫卫。花和尚也给老陈留下一笔钱，母亲希望老陈用这笔钱盘下老医生的诊所，算是出狱后的营生。

二

老陈不断在梦中被芦笙环绕，捉摸不到的，关于母亲的梦让他不安。

在老歪看来的，对卫卫过度的关心，家中遗产分配的不公，加重了兄弟二人的隔阂。老歪重修了母亲的墓碑，直接去掉了老陈的名字，划清了界线。为了隔离儿子和老陈，他让花和尚带卫卫回镇远乡下。

老医生闲谈时讲起自己年轻时候的好友。冬天的夜晚，两人手握住手电，让光穿过手指，仿佛可以取暖。老医生毕生清贫，积攒旧物的百宝箱里，除了死去儿子未用完的婚礼鞭炮，就是与这位好友的约定：一盒磁带，一件衣服。

老陈决定回一次镇远，寻找芦笙、卫卫和老医生的好友。

三

火车穿过山洞，明暗变化。车轮在铁轨接缝出撞击，咔咔作响。老陈进入了梦境。

梦中老陈穿过涵洞到达了世外桃源般的荡麦。他梦境中吹芦笙的苗人而来。准备离开时，却被梦境中的青年时代的卫卫带入到荡麦的中心。

在那里，老陈偶遇张夕，梦境中的理发师，在和瀑布小屋神似的理发店里，向她述说自己的回忆。最后在荡麦的演出上，唱出了自己一直没有机会给张夕唱的歌。压抑在心中对妻子的情感终得释放。

四

路边野餐并不是一个专注讲故事的电影，与导演多次提到的几位大师的作品类似，故事的结构让位于影片中情绪氛围的结构。导演接收采访时说由于电影的情绪已经在荡麦唱歌时到达顶点，后面直接删除了二十分钟。这也导致电影在母亲这条故事线索上的不完整，一部分片头铺垫的意向没有进一步延展。

由于片名和荡麦的缘故，很多人把这部电影和老塔的《潜行者》关联。我倒是认为其中关于梦境、思念，以及诗歌的串联，更像是老塔的《镜子》。

与现在大多数通俗易懂的电影不同，路边野餐在即使关键部分没有跌宕的情节，没有歇斯底里的宣泄，甚至看不出什么碰撞。整个电影保持着连续的一致的节奏，最后仅仅主人公一首跑调的儿歌就将全片推上了高潮。相比那些节奏趋于离散的电影，观众通过观察影像片段的值域变化就可以分辨出关键部分（比如一个大场面，一段冲突）。路边野餐这种风格的电影，则是需要观众在内心对连续的影像去做一阶二阶三阶导数才能感受到导演的表达。

相比老塔的电影里晦涩的宗教意味、俄国的文化背景，毕赣的这部电影里传达的是大多数人都能理解的情感。

五

电影里野人的线索用来穿插勾连老陈出狱和现今。

防野人的木棍出现在酒鬼的闹报废汽车，荡麦里的青年卫卫给老陈也插上木棍。

手电光照手最初是老医生提到的，在梦境里成了老陈的海豚。

小时候的卫卫在面条和米粉中选择了米粉，于是梦境中他们随意地吃了一些米粉。

导演本人在荡麦露了个面，演一个卖酒的老板。

Writing library for both Clojure and ClojureScript

2016-05-24T22:40:00+08:00

Clojure 1.7 introduced reader conditionals and standardized way to write Clojure code for various platforms. Last few months ago, when I started to write Rigui, I decided to support both Clojure and ClojureScript. And it turns out to be possible. However, during the development, you need to be aware of a few differences between these two hosts, from tooling, syntax to host natures. That's just way more than reader conditionals.

Host differences

The most important difference between JVM and JavaScript runtime is multithread support. At the moment, almost all JavaScript runtime are event-driven. For most time there is only one thread you can run your code on. And when it comes to multithread, like WebWorker, the platform offers a message-passing API and you don't have any shared memory or data. So features like STM, Agent are not necessary and completely unavailable in this runtime. In case you were using dosync or send! in your Clojure code, you need to add :cljs branch and switch to atom.

#?(:clj (dosync
          (let [b (get (ensure (.-buckets parent)) trigger-time)]
            (alter (.-buckets parent) dissoc trigger-time)
            (ensure b)))
    :cljs (let [b (get @(.-buckets parent) trigger-time)]
            (swap! (.-buckets parent) dissoc trigger-time)
            @b))

Due to the same reason, future and promise (the Clojure promise) are not available in ClojureScript. If you were using a promise as derefable result in API, you need to find other solution in ClojureScript.

Reader conditionals

The Clojure wiki has a brief intro for reader conditionals.

Just to add that if you have a namespace that has completely different implementations, you can write them in different files. For example, platform.clj and platform.cljs. When importing the namespace (require '[platform]'), the reader will look for right file for you.

Syntax differences

There are some minor syntax differences between clj and cljs. To access a field of an object or record, you will need to use (.-fieldName obj). Otherwise cljs will try to call it as a function. Actually this syntax is also supported in clj currently, so I recommend you to switch to this completely in all your clojure code.

Cljs requires explicit macro import. You will need (:require-macros) in your (ns) header, or using :refer-macros in a require form.

Tooling

If you were to write a library for clojurescript, you can use leiningen without plugins. Because cljs libraries are also distributed as jars so you don't need to generate JavaScript files. And in case you need to, cljsbuild is the de-facto plugin for cljs development.

Second, there is no perfect REPL workflow in ClojureScript as in Clojure, to be honest. It's a pain to test your cljs code in Clojure way and browser/node environment. If you have recommendation please tell me.

I thought tests were as pain as REPL until I found doo. doo is a lein plugin made cljs testing as easy as clojure. What you have to do is provide a runner namespace and generate js for this runner. No copy/paste required, no duplicated code. Without doo, you will need to generate JavaScript sources from you clojure test file using cljsbuild, ns by ns, and execute these files one by one. You can find my test runner here and its cljsbuild configuration.

Conclusion

These are my cents about developing library for both clj and cljs. The conclusion is simply it works. In 2016 you can, and you should be encouraged to write Clojure library with cross-platform in mind.

将网站迁移到 Gitlab Pages

2016-04-21T22:40:00+08:00

前段时间 Github 连续出现负面新闻后，Gitlab 似乎感觉嗅到了机会，作为追赶者发布了新版本和新功能。Gitlab Pages 就是他们对应 Github Pages 的产品。

经过一番对比之后，我现在把整个网站从 Github 迁移过来，体验好了不少。

HTTPS

首先，Gitlab Pages 原生支持 HTTPS。如果使用 yourname.gitlab.io 你会使用 Gitlab 的 HTTPS 证书。而如果绑定自己的域名你可以使用自己的证书，比如从 LetsEncrypt 获得的证书。而过去在 Github 原生并不支持 HTTPS，过去是通过 CloudFlare 这样的服务做一个代理。但是 CloudFlare 免费的版本不支持自定义的证书，并且从 CloudFlare 到Github 仍然是 Plain HTTP。

Page Builder

Github Pages 背后是一个默认的 jekyll。在 LetsEncrypt 验证时，要求建立的 .well-known 目录会由于以.开头，默认被 jekyll 忽略，需要加上一个 .nojekyll 文件告诉 Github 不要用 jekyll 来构建。

相比之下 Gitlab 的构建方式就比较透明，官方的例子包含了市面上几乎所有的静态网站生成器的例子。而且 Gitlab 是通过他的 Runner 来做构建（和 Github 已经具有完整生态不通，Gitlab 作为 catchup 自己做了一整套周边，连 badge 都是自己实现的）。Gitlab 共享版本的 Runner 运行在 docker 环境里，用户几乎可以安装任何工具、指定任意的命令来生成网站，只要保证页面生成在 public/ 目录下即可。之后会触发 Gitlab 内部的 builder 将 public 目录打包上传到某些神秘的地方，网站就上线了。

Gitlab 的缺点是文档相对差劲一些，比如：

Runner 的文档比较分散，找 registration token 找了很久。另外比较奇怪的是 Runner 的注册必须通过一个本地的命令行工具 gitlab-ci-multi-runner 来注册，而注册之后这个工具基本上就没什么用了。
设置域名时 Gitlab 对所有域名都提示设置为 CNAME。但是类似 sunng.info 这样的域名是无法设置为 CNAME 的，这时必须设置为 A 记录，文档上没有说明。方法是通过 dig yourname.gitlab.io 看一下网站实际的 IP，然后把这个 IP 设置为 A 记录的地址。

总而言之瑕不掩瑜，Gitlab 作为后来者一定分析了 Github Pages 使用时的痛点，想必开发者本身也曾经是 Github 的用户吧。

Using external drive as rootfs for raspberry pi

2016-03-27T21:25:06+08:00

Raspberry pi uses SD/TF card as storage. However, sometimes it becomes a bottleneck of performance because of the I/O speed on SD card is quite limited.

A simple fio read/write test on my setup shows even with USB2.0, an external SSD is way faster than SD card.

sdcard: (groupid=0, jobs=1): err= 0: pid=582: Sun Mar 27 13:36:30 2016
  read : io=65392KB, bw=4442.4KB/s, iops=1110, runt= 14720msec
    clat (usec): min=7, max=18574, avg=175.16, stdev=1657.17
     lat (usec): min=8, max=18575, avg=176.57, stdev=1657.16
    clat percentiles (usec):
     |  1.00th=[    7],  5.00th=[    8], 10.00th=[    8], 20.00th=[    9],
     | 30.00th=[    9], 40.00th=[   10], 50.00th=[   10], 60.00th=[   10],
     | 70.00th=[   11], 80.00th=[   11], 90.00th=[   12], 95.00th=[   15],
     | 99.00th=[  322], 99.50th=[17280], 99.90th=[18048], 99.95th=[18048],
     | 99.99th=[18560]
    bw (KB  /s): min=   93, max=12760, per=95.99%, avg=8527.36, stdev=5281.16
  write: io=65680KB, bw=4461.1KB/s, iops=1115, runt= 14720msec
    clat (usec): min=23, max=3373.8K, avg=699.49, stdev=38712.68
     lat (usec): min=24, max=3373.8K, avg=701.24, stdev=38712.68
    clat percentiles (usec):
     |  1.00th=[   23],  5.00th=[   23], 10.00th=[   24], 20.00th=[   24],
     | 30.00th=[   24], 40.00th=[   24], 50.00th=[   25], 60.00th=[   25],
     | 70.00th=[   26], 80.00th=[   30], 90.00th=[   32], 95.00th=[   45],
     | 99.00th=[   82], 99.50th=[18048], 99.90th=[19840], 99.95th=[20608],
     | 99.99th=[2572288]
    bw (KB  /s): min=   99, max=12832, per=96.08%, avg=8573.43, stdev=5318.31
    lat (usec) : 10=18.57%, 20=29.59%, 50=49.06%, 100=1.59%, 250=0.10%
    lat (usec) : 500=0.30%
    lat (msec) : 4=0.01%, 10=0.01%, 20=0.74%, 50=0.04%, 1000=0.01%
    lat (msec) : >=2000=0.01%
  cpu          : usr=2.38%, sys=4.69%, ctx=1521, majf=0, minf=22
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=16348/w=16420/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
ssd: (groupid=0, jobs=1): err= 0: pid=583: Sun Mar 27 13:36:30 2016
  read : io=65392KB, bw=28543KB/s, iops=7135, runt=  2291msec
    clat (usec): min=7, max=196418, avg=63.48, stdev=1925.74
     lat (usec): min=8, max=196419, avg=64.85, stdev=1925.74
    clat percentiles (usec):
     |  1.00th=[    7],  5.00th=[    8], 10.00th=[    8], 20.00th=[    8],
     | 30.00th=[    9], 40.00th=[    9], 50.00th=[   10], 60.00th=[   10],
     | 70.00th=[   10], 80.00th=[   11], 90.00th=[   12], 95.00th=[   15],
     | 99.00th=[ 1608], 99.50th=[ 1832], 99.90th=[ 2128], 99.95th=[ 2256],
     | 99.99th=[146432]
    bw (KB  /s): min= 6144, max=39320, per=100.00%, avg=27607.50, stdev=15537.13
  write: io=65680KB, bw=28669KB/s, iops=7167, runt=  2291msec
    clat (usec): min=15, max=280132, avg=54.86, stdev=2193.37
     lat (usec): min=17, max=280134, avg=56.55, stdev=2193.37
    clat percentiles (usec):
     |  1.00th=[   16],  5.00th=[   16], 10.00th=[   16], 20.00th=[   17],
     | 30.00th=[   17], 40.00th=[   17], 50.00th=[   17], 60.00th=[   17],
     | 70.00th=[   18], 80.00th=[   18], 90.00th=[   22], 95.00th=[   26],
     | 99.00th=[ 1256], 99.50th=[ 1720], 99.90th=[ 2096], 99.95th=[ 2288],
     | 99.99th=[ 3024]
    bw (KB  /s): min= 6176, max=39392, per=100.00%, avg=27584.75, stdev=15473.86
    lat (usec) : 10=21.33%, 20=70.89%, 50=5.47%, 100=0.41%, 250=0.18%
    lat (usec) : 500=0.14%, 750=0.01%, 1000=0.03%
    lat (msec) : 2=1.33%, 4=0.20%, 250=0.01%, 500=0.01%
  cpu          : usr=15.28%, sys=23.14%, ctx=686, majf=0, minf=22
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=16348/w=16420/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

So if you want a better pi, it's highly recommended to use an external disk as rootfs.

Last year, I backed piDrive on Kickstart. The project was aimed to provide a SSD adapter for pi with low power requirement. This board made it possible to use an SSD with Pi. And we can put our rootfs on this disk to run the Pi smoothly.

Before we get started, I urge you to ensure your power adapter could provide 5V/2A for Pi2 and 5V/2.5A for Pi3. Otherwise, you may be resulted in file system corruption. Even worse, the SSD could be destroyed completely, like my first one.

You will still need a SD card as /boot your pi because that's what pi requires. A ~128MB card will be just ok for /boot but I know it's already difficult to find on the market. Perhaps you can create two partitions on your card so you can utilize the remaining spaces.

Create partition on your SSD and format them as you want. You can use ext4 for your rootfs. But for sdcard, only vfat is allowed for the /boot partition. Mount the SSD and sdcard to your current system, for example, as /mnt/root/ and /mnt/boot/.

I'm using archlinuxarm as my os, it's clean and compact as archlinux. The base tarball is just 270MB, makes raspbian's 1G+ seems a little bloated.

Download the tarball from archlinuxarm, at the time of writing, both Pi2 and Pi3 uses Pi2 file system.

Extract the tarball to /mnt/root with:

bsdtar -xpf ArchLinuxARM-rpi-2-latest.tar.gz -C /mnt/root

Copy /boot directory to SD card:

cp -r /mnt/root/boot/* /mnt/boot/
mv /mnt/root/boot /mnt/root/boot_bak

Edit /mnt/boot/cmdline.txt to tell Pi where your rootfs is:

root=/dev/sda1 rootdelay=5 rw rootwait console=ttyAMA0,115200 console=tty1 selinux=0 plymouth.enable=0 smsc95xx.turbo_mode=N dwc_otg.lpm_enable=0 kgdboc=ttyAMA0,115200 elevator=noop

Actually you just need to change two key/value pairs:

Change root= to your SSD partition that contains root fs. Typically your disk will be sda1 here. From my experiments, the bootloader doesn't recognize PARTUUID=... as told by adafruit and /dev/disk/by-uuid/....
Add rootdelay=5 to let bootloader to wait for your partition to be loaded.

Then you will need to edit /mnt/root/etc/fstab to tell linux (not pi) about the file system layout:

#
# /etc/fstab: static file system information
#
# <file system> <dir>   <type>  <options>       <dump>  <pass>
/dev/mmcblk0p1  /boot   vfat    defaults        0       0
/dev/sda1       /       ext4    defaults        0       1

So that's simply all you need to get prepared. Run sync on your system to make sure everything is on mounted disks. Umount sdcard and ssd. Set them up on your Pi. Profit!

"Smoothing Your Rust Crates Release With Cargo-release"

2016-03-21T22:28:06+08:00

Cargo-release is a cargo subcommand that automates your libraries release process. The idea was inspired by Clojure's leiningen, which has a release command does exact same thing.

Typically, when you decide to release a library to crates.io, you need to go through following steps at least:

bump version in Cargo.toml
create a git tag for the release
run cargo publish
push tags/commits to github

cargo-release command deals these tasks for you. In addition, it increases your patch version and add a pre extension after cargo publish. The Java/Maven world uses a SNAPSHOT version for pre-release. What's sad, no other package manager follows this great idea. With this pre-release extension, users are able to tell if your master branch is on a released version or not.

By default, cargo-release removes pre-release extension as the version to release. You can override this behavior by a --level. The value for --level can be major, minor or patch. As the name suggests, it increases different part of a semver version.

For multi-crates repository, cargo-release reads you sub-directory name and use it as prefix of git tag to avoid conflicts.

Some more features are planned for this tool, for instance:

Custom tag prefix
Build docs and push to gh-pages

I hope this tool can be used as a standard of rust library release process. You can install this tool by cargo install cargo-release. And the github repo is here.

"Summarizing Changes in Slacker 0.13"

2015-10-18T13:45:37+08:00

After a year of feature development and minor fixes, Slacker and Slacker Cluster version 0.13 is now available. In this article, I will summarize changes in this release and give a you short introduction of new features and improvements.

Slacker is an RPC framework features non-invasive design. It exposes clojure namespace as remote service, and keeps your remote invocation as simple as local version. Slacker cluster uses Zookeeper for service discovery, helps you to build micro-service based architecture. The grouping function gives you full control over request routing.

Application managed thread pool

During 0.12 series, Slacker server uses Netty managed thread pool for task execution. Netty assign a single thread from its pool to a connection. The thread will be used for all requests from the connection. And these requests will be processed in a serial manner. This works perfect for non-blocking tasks. However, if your tasks are data-intensive, this causes head-of-line blocking issue.

The Netty design is to keep request/esponse ordered for a connection. Slacker uses multiplex on its connection, so ordering is not an issue. In 0.13, we now use an application managed thread pool for task execution. You can still configure the pool size by :threads option. If your tasks are non-blocking ones, just set the threads equals your cores. Otherwise, you can customize the size based on blocking time of your tasks.

Interrupt

0.13 introduces a new low-level API called interrupt and a new option interrupt-on-timeout. This is backend by a new protocol level command, interrupt. The new command allows the client to interrupt server execution for a particular task. The server thread will be released once interrupt received.

Typically you don't have to call interrupt on slacker client. The interrupt-on-timeout option allows you to cancel a tasks on both client and server when it's timeout. Following the design principle of transparency, the cancellation is synchronized to server-side, just like a local invocation.

Plug-able Serializers

To keep our dependency-tree clean, we detects cheshire/nippy/carbonite at runtime, and makes these dependencies totally optional to slacker.

The new default serializer is Clojure EDN because it requires no additional packages. Slacker provides built-in support for cheshire(:json) and nippy(:nippy). Nippy is high recommended for Slacker. It's a clojure-native binary format, compact and fast. We have been using nippy with Slacker in our production for a long time without any issue.

You can also extend our serializer system by create new implementations for serializer multi-method.

Server data for Slacker Cluster

The new Slacker Cluster start-slacker-server offers a new option :server-data. It allows you to assign some data for this server, for example, the environment (production or stage?). The data will be stored to Zookeeper and synchronized to client side.

In the client grouping function, you can use the data to filter servers:

(require '[slacker.client.cluster :refer :all])

(def sc (clustered-slackerc ...))
(defn-remote sc some-function
  :grouping (fn [ns func params servers]
               ;; test :prod? property of server data
               (rand-nth (filter #(:prod? (server-data @sc %)) servers))))

The grouping function in this snippet filters production servers, and choose one from them to call.

The server side looks pretty simple:

(require '[slacker.server.cluster :refer [start-slacker-server]])

(start-slacker-server some-port [some-ns]
  :server-data {:prod? true}
  ...)

Besides of these features, we also fixed issues Zookeeper timeout issue on startup, ephemeral node lost and etc.

After almost 4 years of development, we are stepping near to a 1.0 release. Hopefully we will reach the 1.0 milestone in 2016.

Running Ring web application on HTTP2 with rj9a

2015-07-25T14:54:54+08:00

Ring-jetty9-adapter(rj9a) just received an update, the 0.9, with Jetty 9.3 adoption. The most important feature in this release is support for HTTP2. That means, you can run your Ring application on the new HTTP2 protocol.

In case you still have no idea about HTTP2, it's the biggest update to HTTP, the protocol we use everyday and everywhere. In short, HTTP2 introduces connection multiplex to reuse connection for several request/response simultaneously. Also the persisted connection makes server push possible, and that's part of HTTP2. HTTP2 uses TLS by default. In order to keep most servers backward compatible, we will run HTTP2 and HTTP1.1 on the same server and port. Modern client will detect server configuration on SSL handshake, via a TLS extension called ALPN. The server will list supported application layer protocols in SERVER HELLO and let client to choose what it understands.

The basic part of HTTP2 is fully compatible for 1.1, so you won't have to modify your application code to use it. In rj9a, just add option :h2? true to enable HTTP2. And :h2c? true to enable its variance on plain socket.

(defn dummy-app [req] {:body "It works" :status 200})
(jetty/run-jetty dummy-app {:port 5000
                            :h2c? true
                            :h2? true
                            :ssl? true
                            :ssl-port 5443
                            :keystore "..."
                            :key-password "..."})

To test HTTP2 interface, you will need to install nghttp. It's pretty similar to curl:

$ nghttp -v https://localhost:5443
[  0.000] Connected
The negotiated protocol: h2-14
[  0.031] send SETTINGS frame <length=12, flags=0x00, stream_id=0>
         (niv=2)
         [SETTINGS_MAX_CONCURRENT_STREAMS(0x03):100]
         [SETTINGS_INITIAL_WINDOW_SIZE(0x04):65535]
[  0.031] send PRIORITY frame <length=5, flags=0x00, stream_id=3>
         (dep_stream_id=0, weight=201, exclusive=0)
[  0.031] send PRIORITY frame <length=5, flags=0x00, stream_id=5>
         (dep_stream_id=0, weight=101, exclusive=0)
[  0.031] send PRIORITY frame <length=5, flags=0x00, stream_id=7>
         (dep_stream_id=0, weight=1, exclusive=0)
[  0.031] send PRIORITY frame <length=5, flags=0x00, stream_id=9>
         (dep_stream_id=7, weight=1, exclusive=0)
[  0.031] send PRIORITY frame <length=5, flags=0x00, stream_id=11>
         (dep_stream_id=3, weight=1, exclusive=0)
[  0.031] send HEADERS frame <length=37, flags=0x25, stream_id=13>
         ; END_STREAM | END_HEADERS | PRIORITY
         (padlen=0, dep_stream_id=11, weight=16, exclusive=0)
         ; Open new stream
         :method: GET
         :path: /
         :scheme: https
         :authority: localhost:5443
         accept: */*
         accept-encoding: gzip, deflate
         user-agent: nghttp2/1.0.1
[  0.032] recv SETTINGS frame <length=12, flags=0x00, stream_id=0>
         (niv=2)
         [SETTINGS_HEADER_TABLE_SIZE(0x01):4096]
         [SETTINGS_INITIAL_WINDOW_SIZE(0x04):65535]
[  0.032] send SETTINGS frame <length=0, flags=0x01, stream_id=0>
         ; ACK
         (niv=0)
[  0.032] recv SETTINGS frame <length=0, flags=0x01, stream_id=0>
         ; ACK
         (niv=0)
[  0.033] recv (stream_id=13) :status: 200
[  0.033] recv (stream_id=13) server: Jetty(9.3.1.v20150714)
[  0.033] recv HEADERS frame <length=20, flags=0x04, stream_id=13>
         ; END_HEADERS
         (padlen=0)
         ; First response header
It works[  0.033] recv DATA frame <length=8, flags=0x01, stream_id=13>
         ; END_STREAM
[  0.033] send GOAWAY frame <length=8, flags=0x00, stream_id=0>
         (last_stream_id=0, error_code=NO_ERROR(0x00), opaque_data(0)=[])

The verbose output shows us every detail about request and response in HTTP2.

Note that in order to run HTTP2, you will need JDK 8 / OpenJDK 1.8 and put alpn-boot jar in your bootclasspath. I have created a leiningen plugin to manage bootclasspath in clojure project.

The complete example is available in github repository.

"Handlebars 的 rust 实现"

2015-01-25T16:22:50+08:00

本来一度感觉到用过 Clojure 之后很难对新语言产生兴趣了，还好遇到了 Rust 再次激活了这方面的生命力。今年的重点之一是学习 Rust 语言，方便自己能真正 touch bare metal。1月17号的 Rust 聚会上发现很多人都持有类似的想法。 C++ 之后鲜有这种语言，以至于之后成长起来的一代人都是在一个 VM 里编程，无论是 Java 还是 Python，最终都没有办法自己去管理内存，Rust 的出现给了大家一个机会。一个具备现代特性的系统编程语言，Zero runtime，可以运行在各种设备上。去年还给程序员杂志写了一篇 Rust 的文章，结果导致现在程序员杂志停刊了。

扯远了，和当时学 Clojure 一样，这次的计划还是写一个正经的项目来促进学习。关于时机的选择，主要是 crates.io 仓库的发布基本上标志生态圈开始建立了，这个时候写东西就方便很多了。

这次选的就是实现 Handlebars，主要原因是 rust 已经逐渐有一点 web 开发的生态圈了，但是缺少一个模版引擎，于是我就来趟这潭浑水吧。为什么是 Handlebars 呢：

不要把 rust 代码写进 html 模版里，反例： jsp, ejs
不要把 html 代码写进 rust 里，反例： hiccup
能够复用，基于“继承”而不是 include
能够简单地自定义标签，反例：mustach

基于以上的原则，handlebars-rust 实现了基本的模版解析、渲染，重用机制（partial/include）和自定义 helper。除了不支持一些 mustach 风格的语法以外（可以用 #each / #if 这样的 helper 替代，更清晰），基本上所有的 handlebars 功能全部支持了。如果有遗漏的话欢迎 PR。另外还写了一个 handlebars-iron 项目，作为一个 Iron 框架的 middlaware。

简单总结几点收获：

Rust 中要实现类似OO的多态需要用枚举类型，trait可以用来做范型
静态类型语言和一个基于 javascript 视角的模版引擎对接很困难，比如 js 里有 falsy 的概念，if 的判断里 false/0/""/[] 这些值都是 false，但是在rust里需要根据不同类型作判断，直接使用简直不可能。所以在 handlebars-rust 里利用了 rustc-serialize 里的 Json 枚举类型（没有真正序列化），要求所有渲染的数据都必须实现 ToJson，算是设计上的一个取舍。
Rust 的 derive 是一个神奇的功能，后来发现确实是一个 magic，因为可以 derive 的 trait 都是写死在编译器里的
关于 Rust 的 ownership 看这篇文章，作者承诺再写一篇关于 borrow 和 lifetime 的，相信也不错
有任何问题都可以在 stackoverflow 上问，有几个人会很快回复

"AVOS Cloud 实时通信服务架构：微服务和服务发现"

2014-08-19T16:46:20+08:00

“微服务” (Microservice) 是今年特别热的一个概念，Martin Fowler 的文章对微服务作了详细的介绍。简而言之，微服务鼓励用户把功能拆分以细粒度的服务接口暴露出来，并通过REST 服务或轻量级消息队列集成。在微服务架构里，一个业务的实现，可能由不同的功能单元组合而实现。

在 AVOS Cloud，我们提供数据存储、统计、实时通信等不同功能的服务，在实现上，这些功能需要共用基础设施，有的服务本身也根据业务性质的不同拆分功能模块，我们目前就是以这种“微服务”架构思路来实现拆分。有句话说，if you cannot split, you cannot scale.

以实时通信服务为例，根据功能角色的不同，我们有这样一些模块：

Push 服务：处理推送的订阅关系，触发推送
长连接服务器：维持设备与服务的长连接
Router：应用层的 lookup，负责分配合适的长连接服务器给新设备
WatchDog：从多台长连接服务器收集运行和统计数据，对异常情况发起报警
数据存储：群组数据，用户可以通过API访问
HBase：消息记录存储

模块间的集成，根据业务的特性分别使用 Slacker 远程调用框架和 Kestrel 消息队列。对于可能耗时较大的任务，我们通过 Kestrel 队列放到后台执行，避免阻塞前台服务，影响吞吐量。而另一些需要实时的集成，则使用 Slacker 远程调用实现多个进程间的通信。

Slacker 是一个专门为 Clojure 语言设计的远程调用框架，利用 Slacker 你可以暴露一个或多个 Clojure 的 namespace 供远程调用。在客户端，Slacker 利用 Clojure 宏的特性，保持远程调用和本地调用的代码完全一致，这样本地和远程调用的切换只要更改一个 (require) 即可实现，把框架对业务代码的侵入降到最低。此外，Slacker 使用二进制序列化 nippy，在网络连接层面使用异步复用，同时在超时方面也做了良好的控制。

以上的基础设施帮助我们良好地拆分模块，为下一步的扩展提供了可能。

服务发现

长连接服务器是实时通信的功能核心，它的瓶颈在内存和 CPU，可以通过增加部署来达到线性扩展。随着业务量的增加和硬件资源的整合，它可能会面临较频繁的部署变化，另外它也需要有能通过新增部署来快速平滑高峰压力的能力。基于 Pub/Sub 抽象的消息队列对此有良好的支持，但这对我们以 RPC 为核心的集成方式提出了新的要求，依赖模块也能快速响应服务部署的变化：我们不可能在新增某个服务部署后修改每个依赖的配置再逐一重启。

在这方面，我们利用了 Slacker Cluster 框架。他的核心思想是在部署和服务间增加一层抽象：对于服务的消费者而言，只需声明自己所依赖的服务，而无需静态地了解进程的地址。

所有的服务提供者将自己能够提供的服务注册在 Zookeeper 集群里，并将部署地址注册为 Ephemeral 节点。Ephemeral 节点在创建它的连接断后会自动删除，这样当一个部署下线后，它相应的节点也会自动删除。

# Zookeeper 目录结构
ls /slacker/example-cluster/namespaces/
[my.serviceA, my.serviceB]

ls /slacker/example-cluster/namespaces/my.serviceA
[192.168.1.100:2104, 192.168.1.101:2014...]

所有服务的客户端会 watch 自己感兴趣的 Zookeeper 节点，而部署变化时，所有的客户端都会得到通知，进而刷新服务列表，将流量引向新的节点。

在实时通信服务中，Router 服务会通过这个 RPC 机制轮询所有在线的长连接服务器，记录他们实时的运行状态。所有的用户设备并非直接连接到固定的长连接服务器，而是先询问 Router，由后者分配一台压力较轻的实例。当有新的长连接服务器部署后，Router收到通知，新的连接将优先连接这个新进程。此外，监控和数据收集的服务也会自动地把新实例加入管理范围。

有了这样一套服务发现机制，我们就可以对整个架构中的任意模块随时增减部署，保证服务可以以健康的状态运行。未来，我们还会集成云主机的提供商的API，来实现基础设施的自动化：当系统压力达到阀值时，云主机自动分配新的资源自动开机，jenkins 自动部署，加上现有的服务发现机制，实现0手工操作。这将是云服务运维的新篇。

原载 AVOSCloud Blog

"在 Docker 中安装和使用 Rust nightly 版本"

2014-08-02T18:02:12+08:00

一直关注 Rust 语言，最近一下发现了两个 web 框架，Iron 和 Nickel.rs。先不说这两个框架成熟度如何，一般情况下，一个语言有了 web 框架，算是一个里程碑，说明他离靠谱也不远了。这样我决定跟一下 nightly 版本（新框架都是跟 nightly），另外也能感受一下 Yehuda Katz 的构建工具 Cargo。ArchLinux 的仓库里已经有 0.11 版本，再用脚本安装必然会有冲突。于是想到了最近半年最火的 Docker，可以轻松的创建多个环境，正是一个非常好的场景。

安装

安装 Docker, Arch Linux 仓库里很早就有，非常方便：sudo pacman -S docker。完成之后启动他：sudo systemctl start docker。

之后我们拉一个 ubuntu 的镜像下来：docker pull ubuntu。

完成之后，我们启动一个 container，做一些基本的 setup：docker run -i -t ubuntu:14.04 /bin/bash

这相当与运行在 ubuntu:14.04 这个镜像上运行一个 shell，接下来就进入了这个 shell 环境，和 ubuntu 安装版本完全一致，我们做一些基础的准备，安装一些必要的工具：apt-get install build-essentials git curl libssl-dev

之后，就可以下载 Rust 提供的脚本来安装 nightly 版本了：curl -s http://www.rust-lang.org/rustup.sh > rustup

这里有个问题，rustup 脚本判断64位系统时会出错导致安装失败：

# Detect 64 bit linux systems with 32 bit userland and force 32 bit compilation
if [ $CFG_OSTYPE = unknown-linux-gnu -a $CFG_CPUTYPE = x86_64 ]
then
    file -L "$SHELL" | grep -q "x86[_-]64"
    if [ $? != 0 ]; then
        CFG_CPUTYPE=i686
    fi
fi

因为在我的机器上已知系统是64位，就强行绕过了他的判断。

if [ $CFG_OSTYPE = unknown-linux-gnu -a $CFG_CPUTYPE = x86_64 ]
then
    file -L "$SHELL" | grep -q "x86[_-]64"
    if [ $? == 0 ]; then
        CFG_CPUTYPE=i686
    fi
fi

之后执行 rustup 就可以直接安装最近的 rustc 和 cargo 了。安装完成执行 rustc -v 和 cargo --version （两个工具还不统一！）可以了解安装情况。

exit 退出 shell，commit 你的镜像，这样一个干净的镜像要好好保存：docker commit IMAGE_ID sunng/rust-nightly

Hello World

之后可以写点代码了，我们不在 docker 里写，我们在 host 机器上写，然后挂载到 docker 上，因此 emacs 什么的也不用配置了。

创建一个目录，比如在 $HOME/var/docker/helloworld下，最简单的 rust 项目只要两个文件： Cargo.toml 和 src/main.rs。

#Cargo.toml
[package]

name = "hello-world"
version = "0.1.0"
authors = [ "sunng@about.me" ]

//main.rs

fn main() {
  println!("hello world");
}

构建项目不需要手动 rustc 了，那是上个世纪的东西，我们直接 cargo build 就可以：docker run -i -t -v $HOME/var/docker:/mnt/data -w /mnt/data/helloworld sunng/nightly cargo build

其中 -v 参数用于挂载目录，-w 参数指定执行的 pwd。

如果构建成功，就可以执行了，在 docker 中执行：docker run -i -t -v $HOME/var/docker:/mnt/data -w /mnt/data/helloworld sunng/nightly target/hello-world

其实可以直接在 host 系统里执行也是完全可以的：$HOME/var/docker/helloworld/target/hello-world。

Web Hello World

前面说了 Rust 都有 web 框架了，我们就写一个 Web 版本的 Hello World 吧。这次用 Iron 框架，首先添加依赖到 Cargo 文件：

[package]

name = "hello-world"
version = "0.1.0"
authors = [ "sunng@about.me" ]

[dependencies.iron]

git = "https://github.com/iron/iron.git"

[dependencies.core]

git = "https://github.com/iron/core.git"

Cargo 目前还没有中央仓库，但是据说将来会有。目前还都是用 git 仓库来直接添加，所以构建环境里必须要有 git。

照着 Iron 的例子写一个最简单的 hello world 程序。

extern crate iron;
extern crate http;

use std::io::net::ip::Ipv4Addr;
use iron::{Iron, Server, Chain, Request, Response, Alloy, Status, Unwind, FromFn};
use http::status;

fn hello_world(_: &mut Request, res: &mut Response, _: &mut Alloy) -> Status {
    res.serve(status::Ok, "Hello, world!");
    Unwind
}

fn main() {
  let mut server: Server = Iron::new();
  server.chain.link(FromFn::new(hello_world));
  server.listen(Ipv4Addr(127, 0, 0, 1), 3000);
}

编译 docker run -i -t -v $HOME/var/docker:/mnt/data -w /mnt/data/helloworld sunng/nightly cargo build

运行 docker run -i -t -v $HOME/var/docker:/mnt/data -w /mnt/data/helloworld -p 3000:3000 sunng/nightly target/hello-world

新增的参数-p是把 docker 环境里的端口3000映射到 host 上的3000，这样我们才能在外面访问。

最后还有一个问题，因为程序听的是127.0.0.1，所以在 host 上是无法访问这个端口的，修改代码：

  server.listen(Ipv4Addr(0, 0, 0, 0), 3000);

就可以正常工作了。

Wrap up

总结一下上面用 docker 比虚拟机的好处：

占用资源少，启动快
与 host 共享网络、硬盘都非常方便，满足开发需要不成问题
所有都是命令，与 host 系统上的进程集成也非常方便
支持镜像的版本控制和仓库

"Clojure Microservice architecture with Slacker Cluster"

2014-07-08T22:12:52+08:00

Microservice has been a hot new concept in these days. Martin Fowler explained microservice in this article. From me, microservice is a set of fine-grained function units running on independent process, each of them are connected with light-weighted transports: RESTful API or light messaging queue.

It's a new concept in enterprise architecture, since the last movement in the field promotes SOA architecture. SOA encourages architects to componentize their business logic in service, and deploy service bus(ESB) for integration. Microservice can be more concrete and light-weighted. The service units in Microservice can be any standalone function, or just a tier in traditional tier based development. These units can be deployed on dedicate process or grouped into a process.

In clojure development at avoscloud, we are using the slacker cluster framework for our microsrvice architecture.

Slacker RPC exposes services as clojure namespace (pretty light-weighted) All functions in the namespace can be called from remote. A slacker server can expose any number of namespaces:

(start-slacker-server 2014 [my.serviceA my.serviceB ...])

Slacker uses a binary protocol on TCP and configurable serialization (json/edn/nippy) for communication, which is fast and compact.

And in slacker cluster, exposed namespaces are registered on zookeeper as ephemeral nodes. The client doesn't have to know which service is deployed on which process. Instead, it connects to zookeeper and look up all process address for service it interests in.

(def sc (clustered-slacker-client zk-addr ...))
(defn-remote 'sc my.serviceA/fn-abc)

;;when calling remote function for the first time, the client will look up zookeeper for remote processes and cache the results
(fn-abc)

If there are more than one process available, the client library will balance the load on each process. And for stateful service, slacker cluster also elects master node to ensure all requests go to single process. (Slacker cluster grouping)

Zookeeper directory structure:

ls /slacker/example-cluster/namespaces/
[my.serviceA, my.serviceB]

ls /slacker/example-cluster/namespaces/my.serviceA
[192.168.1.100:2104, 192.168.1.101:2014...]

Decoupling processes and services made microservice deployment quite flexible. Functional namespaces can be deployed on any process, standalone or grouped together, like Martin Fowler's chart shows.

All these nodes are also watched by clients. If a process crashed or put offline, the clients will get notified by zookeeper, then no requests will be made on that process. Also, when you exhausted service capacity, just simply put on another process, the client will soon balance load to the new node. Scaling services is easy like that.

Thanks to zookeeper's watch mechanism, there's no need to configure service static and update while you add/remove nodes. This is especially important in large-scale deployment. (Since microservices are often find-grained, you will always have a lot of process to update/restart.)

For more about Slacker Cluster, check my code repository.

"Mapzei 和观察者"

2014-07-07T21:17:47+08:00

写了两个 Android 应用一致没有在博客上提，那么就一起提一下吧。

其一是3月份写的 Mapzei，是Roman Nurik的live wallpaper Muzei的扩展。 Roman Nurik 之前做过 Dash Clock，本身也是个开放架构，允许第三方增加扩展。 Mapzei是Muzei的扩展，每天取一张随机城市的地图作为桌面。用户可以配置地图的数据源：Google,OpenStreetMap或者Mapbox。

另一个是观察者网的客户端，看新闻用。应用本身倒没有什么，用了一些典型的开源库：

UniversalImageLoader
SuperListView
ButterKnife
Eventbus

另外这个应用还发布在了小米商店.

"扩展 Linux ephemeral 端口限制"

2014-07-01T17:11:58+08:00

默认情况下，单一Linux能发起的客户端连接数是十分有限的，为此，我们要测试大规模连接程序时不得不启动很多客户端机器模拟连接。下面介绍一些增加单台Linux发起连接数的方法。

增加文件打开数

第一步最为基础的，提高打开文件描述符的数量。默认的情况下，这个配置为1024，是不能满足我们的使用的。增加到999999个：

$ sudo ulimit -n 999999

持久化这个配置，可以在/etc/security/（或/etc/security.d/，取决于你的发行版）下建立文件，增加

*       hard    nofile      999999
*       soft    nofile      999999

这将对所有用户起效。

增加客户端端口数

当Linux发起客户端连接时，如果没有显式指定，会给客户端socket绑定一个 ephemeral 端口。这个端口的范围是从这个区间选取的：

 $ cat /proc/sys/net/ipv4/ip_local_port_range
32768   61000

如果这个区间的端口耗尽，socket就会产生cannot assign requested address的错误。要增加端口范围，我们需要把他设置得更大：

$ sudo echo "1025 65535" > /proc/sys/net/ipv4/ip_local_port_range

这样，单台机器就可以发出六万多个连接。

增加虚拟网卡

对于内存大一点的客户端机器，六万多个连接远不是其性能极限。由于IP消息中，一条消息是由 src_addr, src_port, dst_addr, dst_port 四元组标识，所以要增加连接，我们需要更多IP。在Linux上，我们可以启动虚拟网卡绑定额外的IP。

$ sudo ifconfig eth0:0 192.168.1.100
$ sudo ifconfig eth0:1 192.168.1.101
...

要关闭这些虚拟网卡

$ sudo ifconfig eth0:0 down

使用虚拟网卡连接

拥有多个IP之后，客户端socket需要显示绑定这些IP才行，以python为例，在connect前调用：

sock.bind((local_addr, local_port))

可以指定连接的源地址和端口。在普通的Linux编程里，当你指定local_port为0时，Linux会分配一个之前提到的 ephemeral 端口。但是当使用虚拟IP时，如果仍然指定0，系统并不会因为IP不同而重用端口号，达到六万多的限制后，仍然会抛出不能获得地址的异常。

实际上是可以获得的，这里需要用户显式地指定端口好。如果需要大规模的连接，那就一个一个绑定好了。

启用time_wait reuse和recycle

Linux的socket进入time_wait后需要有一定的时间回收，之后端口才能重新使用。这在大规模测试的时候就比较麻烦，为了免去等待，可以打开tw_reuse和tw_recycle这两个选项。

$ echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
$ echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse

注意这两个选项都比较激进，最好仅在测试机上使用。

"Slacker Cluster 0.12: Grouping"

2014-06-09T21:06:39+08:00

What are Slacker and Slacker Cluster

Slacker is my side project started in late 2011. The goal of Slacker project is to provide a high performance RPC system for clojure, with elegant API. Slacker doesn't ruin your code. Your remote invocation looks exactly same as local, from code. That means you can switch back and forth at same time.

Slacker Cluster is a support module for running Slacker servers with multiple instances. Cluster enabled slacker server will publish all its served namespaces to Zookeeper cluster. The Cluster enabled client reads and watches these meta data. The most important feature of Slacker Cluster is you can add or remove servers without changing client configuration.

Grouping in Slacker Cluster

Started in 0.11, then enhanced in 0.12, Slacker Cluster now has flexible grouping choices for your scenario. In Slacker Cluster, grouping means which server(s) to call on a particular invocation.

There and four kinds of grouping for you: :random, :leader, :all and custom.

:random

By default, Slacker cluster clients use :random grouping: select a random server from server list. Random grouping works great for stateless services. It automatically balances load of each server.

:leader

Slacker servers selects leader for each namespace they expose. So at any time there will be one and only one leader node for every namespaces. The :leader grouping routes all invocations onto the leader node. This is required when your server has state, and you have to ensure the consistency and availability.

:all

As the name suggests, :all grouping routes invocations on every node at same time. In other words, it's broadcast. Note that this grouping might change your function return values. In :random and :leader mode, there's only one server called, just like local invocation. In :all, there's chances several servers are called and several values returned. I will talk about how to deal with these return values later.

Custom

You can also provide a function for dynamic grouping. For requested namespace, function and arguments, you can specify any server(s) or grouping option.

Grouping results

Grouping may break original behavior of you code by returning multiple values from multiple servers. But you still have full control over it. There are four types of value you can specify for results aggregation: :single, :vector, :map and custom function.

In short words:

:single returns the first valid result, and behavior same as calling single server or local invocation. This is the default value.
:vector returns a vector of all results.
:map returns a map of all results, indexed by server addresses.
Custom aggregation function accepts the results and allows you to merge the values.

Grouping exceptions

What happens when remote function threw exceptions? The grouping exception option defines that. When set to :all, the client will raise an error only if all remote nodes broken. Otherwise, the broken result will be ignored and only valid results will apply grouping-results rules. The opposite option is :any, which mean client will raise error when any of calls is broken.

Granularity

The grouping options can be set to client level:

(clustered-slackerc "cluster-name" "127.0.0.1:2181" :grouping :leader)

or function level:

(defn-remote sc slacker.example.api/timestamp
  :grouping :all
  :grouping-results :single)

Conclusion

Slacker Cluster has been used in our Avos Cloud backend for service integration. Feel free to let me know if you have interests or questions with this library.

"Fork-Join in Papaline"

2014-05-27T21:47:45+08:00

Papaline 0.3 introduced a new model "fork-join" for task execution. It allows you to split a task into smaller units, and execute them in parallel.

Before that, a task is processed as a single unit from the first stage to the second, the third and the last. Within a stage, all computing is done in a single thread.

This model has limitation that you are required to execute any of your stage in serial. If your task has a few split-able units, it's always better to run them in parallel. Here we have (fork) command for the situation.

For example, you are using the fanout-on-write model to build an activity stream. Once a user posted a new status, you need to find all followers(stage 1) of that user and append the status to their timeline(stage 2).

In previous version of papaline, these two stages are:

(defn find-followers [id msg]
  (let [followers (query-db-for-followers id)]
    [followers msg]))

(defn fanout-to-user-timeline [user-ids msg]
  (doseq [user-id user-ids]
    (write-redis-list user-id msg)))

In the second task, the msg is appended to user's timeline one by one.

Using (fork), the fanout-to-user-timeline can be executed in parallel.

(defn find-followers [id msg]
  (let [followers (query-db-for-followers id)]
    (fork (map #(vector % msg) followers))))

(defn fanout-to-user-timeline [user-ids msg]
  (write-redis-list user-id msg))

After the find-followers function, the result will be splitted into (count followers) parts and sent into input channel of stage 2. So the tasks execution will be like:

To collect the results of all forked sub-tasks, you can use (join). If the return value is wrapped with join, it won't trigger next stage immediately but to wait all forked tasks to finish.

So with (fork) and (join), it's very flexible to change execution model in Papaline. Internally, I use clojure's metadata to add flags for the return value, without ruining the non-invasive design of Papaline.

"Papaline: Concurrent pipeline with core.async"

2014-04-20T17:21:44+08:00

According to wikipedia, Staged Event-driven Architecture is an approach to software architecture that decomposes a complex, event-driven application into a set of stages connected by queues. We were using Java framework, stages, to implement queue based SEDA. As we are using more and more Clojure nowadays, I decide to re-implement it in Clojure language, and in Clojure way. It's papaline.

The most important difference between papaline and stages is the usage of IoC threads. Core.async introduces IoC threads for Clojure, which is a popular concurrent mechanism recently. In traditional queue based thread pool, threads are blocked on queue to wait for tasks. While for IoC threads, channels act similar to queues but no actual thread is blocked on channel. Once there is a task available in channel, an underlying thread will be picked to execute it. So for core.async, you don't have to assign a static thread pool to each channel. The channel will pick thread from a shared system thread pool on demand. In current core.async release, it's a fixed thread pool with (processors * 4) + 42 threads. That's much flexible and efficient.

Papaline takes advantages of this feature. The base concept in papaline is stage and pipeline. A pipeline is created with a ordered sequence of stages. Stages configured in a pipeline are connected with channels, instead of queues. Threads are automatically managed by core.async, and scheduled based on load of channels.

When you run a pipeline, the input data is sent to the inbound channel of the first stage. The stage will received the data and pick a thread to execute the function. Then the result is put into the second stage's inbound channel. The user-visible behavior is much like comp, but in concurrent.

Also core.async offers different type of channel buffers: fixed buffer, sliding-buffer and dropping-buffer. They are channels equivalent to j.u.c thread pool's RejectedExecutionHandler.

We have already deployed papaline in our asynchronous system and it works great by far. Find the project on github if you are interested in.

"Rust语言：安全的并发"

2014-04-20T16:31:54+08:00

本文原载于2014年3月《程序员》杂志编程语言专题。

Rust 语言是近两年来 Mozilla 正在开发的一种新编程语言，它以并发，安全和实用为口号，主要使用场景是系统编程，用来取代C++语言的角色。有人戏称 Mozilla 由于大量使用 C++，深知其弊端，所以诞生了 Rust。目前，Rust 的两个主要产品是 Mozilla 下一代的浏览器布局引擎 Servo 和 Rust 编译器。由于语言在快速的开发和演进中，每个版本都会产生一些不兼容的变更，所以现在并非是学习这门语言细节并真正使用它的最佳时机。不过，这并不影响我们了解 Rust 语言：作为多年来鲜有的新系统编程语言，他本身有很多新颖之处，也可以帮助我们了解一些编程语言设计的流行趋势。

并发

和现在流行的很多新语言一样，Rust 在语言层面支持了绿色线程（Green threads）：Task。Task 作为并发执行的单元，是用户空间的“线程”，创建和调度成本较低，可以大量共存。Task之间通过消息传递通信，没有直接的共享数据。从最近的流行趋势来看，绿色线程几乎已经成为并发方案大战最终的赢家。除了Rust，之前流行的Go语言，Erlang，Python的Gevent，以及最近Clojure世界里正在发展的core.async，采用的都是这种绿色线程的模式。

绿色线程的程序与传统多线程程序的写法几乎一致。在编写服务器程序时，与事件驱动的回调机制相比，编写更简单，表义更清晰。当并发任务增多时，传统的多线程程序由于启动线程和调度线程的成本高而使系统整体性能降低。而绿色线程可以基本不受限制，随意创建。Rust的文档指出在32位系统上可以支持数十万个Task同时存在。

Task也是Rust程序的基础单元，一个Rust进程又多个并行的task组成，main函数本身也是一个Task。Task之间通过一个 (Port, Chan) 元组传递数据。Port和Chan相当于管道的两端，Port用于取数据，Chan用于发送数据。下面的例子里，我们通过do spawn语法（类似Ruby的block语法），启动一个新Task，并打印收到的数据。

fn main(){ 
  let msg = "hello world"; 
  let (port, chan) = Chan::new(); 

  chan.send(msg); 

  do spawn { 
    let received_msg = port.recv(); 
    println(received_msg); 
  } 
}

引用系统

Rust 语言设计的核心是安全性（这里安全性指safety，而非 security）。Rust 希望通过语言的机制和编译器的功能，把程序员易于犯错，不易检查的问题解决在编译期，避免运行时的Segmentation Fault。Rust 的设计可以说是处处小心。Clojure语言强调可变性给编程带来的复杂性，在 Rust 语言中，设计者对这点也有格外的重视。除非特别声明为 mut，所有 Rust 的局部变量默认都是不可变的，对不可变变量值的修改会导致编译器直接报错。

Rust 的安全性还通过独有的引用类型系统来实现。

Rust 语言中堆内存块的引用类型叫做box。最新版本的Rust 在语言层面只保留了一种owned box，它在使用时具有一种所有权（ownership）的概念，只有具有所有权的变量才可以访问这段内存。Owned box在同一时刻只允许一个变量作为所有者，它的变量赋值称为move。一旦owned pointer被赋值，用户就无法通过原先的引用访问这块数据，这种错误会在编译时检查。一个简单的例子：

fn main() {
    let a: ~int = ~50;
    let b: ~int = a;
    println!("{:?}", *a);
}

~ 代表owned box，这里我们把一个包含值为50的owned box赋给owned pointer a。然后把a的所有权通过赋值的形式move给b。最后我们试图通过 *a 访问这个值。在C语言里，这时a和b同时指向统一块内存，可以通过*a访问到这里的值。但Rust的所有权机制给予了这段内存额外的保护。编译这段程序将失败：

own.rs:4:23: 4:24 error: use of moved value: `a`
own.rs:4     println!("{:?}", *a);
                               ^
...
own.rs:3:9: 3:10 note: `a` moved here because it has type `~int`, which is moved by default (use `ref` to override)
own.rs:3     let b: ~int = a;
                 ^

编译器会明确地指出错误的引用在何处被move。事实上所有owned box的生命周期管理都是直接在编译时完成的，编译器通过静态检查跟踪使用情况，完成内存开辟和回收。这是Rust 确保编程正确、安全的重要手段。

新版本的Rust在标准库中提供 std::rc::Rc（引用计数）和 std::gc::Gc （垃圾回收）类型，取代了原先的managed box，用来提供可以有限共享的引用类型。

在 Task 间传递数据，如果要避免数据拷贝，也有专门的引用类型：用于不可变数据的extra::arc::Arc (atomically reference counted ，原子的引用计数类型) , 以及用于可变数据的 RWArc（带读写锁的原子引用计数类型）。RWArc在操作可变数据时，通过内在的读写锁控制对共享数据的访问，从而在API层面实现安全性。

extern mod extra;
use extra::arc::{RWArc};

fn main() {
    let s = ~"hello world";
    let arc_ref = RWArc::new(s);

    for i in range(0, 10) {
        let (port, chan) = Chan::new();
        chan.send(arc_ref.clone());

        do spawn {
            let arc_local_ref = port.recv();

            arc_local_ref.write(|str| {
                str.push_char('!');
            });

            arc_local_ref.read(|str| {
                println(*str);
            });
        }
    }
}

Rust谨慎地定义如此繁多，各具功能的引用类型，就是希望用户在编程过程中，根据应用场景、引用的功能职责，选择合适的类型，进而在引用类型系统和编译器的保护下，减少在运行时出错的机会。这一点也和Clojure的4种引用类型的设计初衷类似，不过Clojure并不能提供太多编译时的安全保护。

篇幅所限，我只选择了Rust最具特点的两个部分介绍。Rust是一门具备自身显著特点，精心设计的语言，而绝非普通的“又一门编程语言”。在语法层面，它包含了模式匹配，闭包，泛型等流行功能，作为系统编程语言，使用的舒适度不亚于脚本语言。另外还可以通过FFI（Foreign Function Interface）调用已有的C语言库，满足了实用性的需要。

如果你也开始对这门新语言感兴趣，可以：

通过它的文档学习最新版本的语法和细节
加入rust-dev邮件列表了解开发者的讨论
关注Rust项目代码仓库
关注Delicious 和 Reddit 上流行的 rust 链接
关注The week in Rust，介绍每周 Rust 语言正在发生的变化

"slacker library updated"

2014-03-04T23:40:00+08:00

After almost two years idle in commit log, I restarted development of my slacker frameworks recently. It will be used in our AVOS Cloud production as integration solution between clojure systems.

The recent update in slacker, slacker-cluster and link are:

link

There are two releases in the link library, features include:

Ported to Netty 4
WebSocket server handler
Ability to shutdown server
Ability to use core.async with link ring adapter

slacker

The most recent release of slacker is 0.11.0:

New ping-interval option for clients
Async callback will accept two argument, and can handle exceptions
Slingshot removed, we are now using clojure built-in ex-info
All client creation functions and defn-remote are delayed
Bugfix for issue when several clients started in a process

slacker-cluster

There's major enhancement in slacker cluster 0.11.0

Server exception no longer blocks client
Added options to call functions on multiple servers, control return type and exception handling

All these libraries are available on github. I will write more about how we use them in AVOS Cloud in future.

"Archlinux 安全更换硬盘"

2013-10-22T22:26:00+08:00

公司升级所有笔记本到SSD，本来是个好事，不过迁移是个难事。除了我，所有的同事都是OS X，他们有自动工具，毫无个性，不理他们。我们Linux要做这个事其实想想比较简单：首先，我们的分区和目录是抽象为两层的；其次，整个文件系统是透明的，只要拷贝就好了。

首先，拿到新硬盘要按需分区和格式化。用gpartd就可以，这一步千万不要忘记把/boot的目标分区设置为bootable，否则会导致无法引导。

分区完成之后，挂载各个分区，把当前硬盘里的所有文件用cp -ar拷贝到新硬盘上，这一步非常花时间。

搞定之后要再手动mkdir几个目录

/run
/sys
/proc
/dev

使系统启动的时候可以mount上特殊分区。

此外，要修改/etc/fstab，根据新的硬盘UUID来配置。UUID可以在ll /dev/disks/by-uuid里看到。

挂载一些特殊分区到新硬盘目录：

mount -o bind /dev /mnt/new/dev
mount -t proc none /mnt/new/proc
mount -t sys none /mnt/new/sys

然后就可以chroot到新硬盘。

最后一步，在新硬盘上安装grub：

grub-install /dev/sdb

之后可以检查一下生成的/boot/grub/grub.cfg，观察一下硬盘的uuid是否正确，如果不对可以手动改掉。

重启，见证奇迹。

"Delicious 发布"

2013-10-08T21:56:00+08:00

很久不写了，我们最近忙于 Delicious 的发布，终于上个月24号，新版本正式和所有用户见面了。

作为 Web 2.0 的旗帜性产品，Delicious 已经存在了整整十年。我们这次改版，给这个经典的网站换了新的设计，另外增加了一些新的功能，帮助你在收藏之外，从 Delicious 上获取更多的信息。比如可以从#programming里看到最近流行的关于programming被收藏最多的链接。新的Discover会根据用户的社交网络，推荐热门的链接。

所有这些才仅仅是开始，接下来的一段时间内，Delicious 还有更多的功能和产品会推出。

"工作四周年"

2013-07-16T21:33:00+08:00

一不小心工作四年了，四年意味着，工作的时间都超过了上大学的时间。当然这也不能说明什么，接下来还会更快地超过上高中的时间。这些年来，我越来越喜欢把22岁大学毕业作为一个中点，对称着看。往后多少年是什么样，往前多少年又是什么样。这两个样子往往存在这因果关系，离中点近的直接，离中点远的深刻。

我很发愁给自己列计划，所以也不知道当时毕业的时候想的现在，应该是个什么摸样。反正就我照镜子的感受来说，应该没变老。这并不是说保养得好，主要是因为我第一天上班就有人问我是不是来领实习生。而最近都已经有些不开眼的妈妈跟自己的孩子说，还不快谢谢哥哥让座。

工作了四年，四家公司，三个城市，这段说起来太沧桑坎坷，就不提了。前段时间看到某个微薄名人说刚毕业几年，应该多闯几个行业，有好处。我虽然是一直敲键盘写代码，但是也辗转了不同的软件行业。以前以为没有区别，实际上一圈下来最后回到互联网行业里，才知道这大不同，不同到甚至同是程序员你们站在一起一样可能找不到哪怕一个共同话题。互联网行业的节奏快，创新多，年轻人在其中学习的空间最大。

另外我特别认可自己当初下了决定来AVOS。工作的第四年，是完完整整在这里，有机会有舞台面对挑战。我们上线了美味爱读，现在团队紧张地为Delicious添砖加瓦。6年前我注册这个书签网站的时候，是无论如何想不到今天在上面做修改的人是自己。也就是这样的机会，最为吸引人。

无论是公司，还是我们团队，还是我自己，现在还没有到盘点成绩的时候。希望明年夏天再回顾的时候，能有更多的收获。

Grunt for requirejs projects

2013-07-05T00:00:00+08:00

装备 tags:
Grunt
javascript published: true comments: true

the Problem

You have modularize your JavaScript project with requirejs. And you need a build tool for both development and deployment phases, helping you to organize, optimize the source code.

the Solution

Grunt has been the standard tool chain for web development. I used to think the grunt configuration file could be verbose and complicated, because the JavaScript world has never come up with a standard, even common, archetype (until yeoman, but it's after Grunt). The projects are organized manually, or by some custom shell scripts. So grunt cannot take the advantage of 'convention over configuration', which Maven does well in the Java world.

This idea was changed until I use Grunt seriously. Grunt configuration parser has excellent support for expressions of 'path'. You can use wildcards like 'src/*.js', 'src/**/*.js', ['src/**/*.js', 'vendor/lib/*.js'] and even more 'path' to find and match your files. You don't have to write your script name one-by-one. I'm sure Grunt developers have lots of experience on JavaScript development so they know the problem.

So I strongly recommend you to use Grunt to manage your JavaScript project, especially when it's a large project.

Assume you have your JavaScript sources in 'src', and the 'src/main.js' is the entry point of your requirejs modules.

The first step is to create a work directory for publishing your sources, say 'public', and also put your vendor scripts in 'src/libs' Setup your first Grunt task, copy:dev. The copy plugin is one of the most used plugin for copying files. This will copy your source code from src/ to public/, as well as your vendor scripts.

copy: {
  dev: {
    files: [
      {expand: true, src: ['src/**/*.js'], dest: 'public/js', filter: 'isFile'}
    ]
  }
}

Then move your requirejs.config from html to your main.js. Require.js is able to read configuration after it loaded your entry script. This is of great helpful for optimized code.

In development phase, you can have your static server over 'public'. For deployment, you need to optimize the JavaScript code: concat and uglify. This can be done with r.js, which is developed by requirejs project. Grunt also has a plugin to integrate r.js, grunt-contrib-requirejs. r.js could concat all requirejs modules by analyzing their dependency tree. You need a simple config for that:

requirejs: {
  compile: {
    options: {
      baseUrl: "src/",
      mainConfigFile: "src/main.js",
      out: "public/js/main.js"
    }
  }
}

The mainConfigFile is the JavaScript file contains requirejs.config. r.js can also parse it from a requirejs module. r.js will concat and uglify all your scripts, include vendor scripts in one file, output as 'public/js/main.js'. With the same name of your entry point.

With that, you don't have to change any single line of js/html for switching between deployment and development. During development, requirejs loads JavaScript files on demand. While on the production, it loads main.js with all dependencies combined in.

给 Raspberry Pi 添加一个显示 IP 的液晶屏

2013-06-29T00:00:00+08:00

把戏 tags:
raspberry_pi published: true comments: true

我的 Raspberry Pi 在家里一直是通过 DHCP 联网的，每次要登录上去都要先进路由管理界面看看他的 IP 到底是什么，很不方便。于是就买了这块液晶屏幕，准备显示一下 IP，另外以后也可以作为一个输出设备。毕竟用这个比外接一个显示器方便多了（现在显示器最小都是21寸）。

液晶屏就是最普通的1602屏幕，淘宝上有很多，基本上都一样。要注意的是需要自备引脚，要自己焊到板上，否则无法连接。我也是第一回焊，感觉还比较简单。(如图。)另外为了控制液晶屏的对比度需要有一个电位器，为此我中途还专门跑了一趟中关村。

之后就可以按照 Adafruit 上的教程一步一步做了。

最后我简化了一下显示 IP 的脚本，时间就不去刷新了。

把这个脚本作为 systemd 的服务，可以参考这里有关如何创建自定义服务的说明。然后通过systemctl enable ip-display.service设置自启动。

最终效果如下：

纸上得来终觉浅

2013-06-07T00:00:00+08:00

自话 tags:
Life published: true comments: true

之前看过无数的书无数的文章，讲可扩展性讲大型架构，不过真到了自己上场，毕竟还是没有从头到尾实践过，心里还有些没底。每做一个决定，每选定一个方案，心里都要反复打鼓，这是不是在给自己挖坑，是不是导致今后要浪费很多可乐咖啡的一个决定。第一份工作在盛大的时候，参与过这种规模比较大的项目，但是核心的部分，容量规划，性能评估，优化，都是那时的老大操心，我在一旁旁观。操心和旁观的区别大了去了，晚上睡不着的那几个小时，旁观的人享受不到，等来临的时候，就要如履薄冰地担着。

公司的团队构成跟硅谷类似，不存在专门的“产品经理”，负责人要从后端到前端，从开发到部署，从运维到监控，从代码到UI设计，产品甚至到运营，都需要有所操心。好在团队经过一年多的锻炼，技术成熟配合也默契，各司其职又都是三头六臂，能在这样的过程里成长，书里读不到。

一直是做互联网信息类的产品，现在自己制造的信息却越来越少，有些于心不忍，于是寥寥记录一下。

Checkout Ring Adapter for Jetty 9

2013-04-24T00:00:00+08:00

ANN tags:
clojure
jetty
web
websocket published: true comments: true

The Clojure world has been using Jetty 7 for quite a long time because it's supported by the Ring development team. However, Jetty 9 brings us exciting features like WebSocket and SPDY. In order to use websocket in my Clojure web application, I built this adapter last weekend.

[info.sunng/ring-jetty9-adapter "0.1.0"]

The API for Clojure is still consistent with the one for jetty 7.
[cc lang="clojure"]
(use 'ring.adapter.jetty9)
(run-jetty app {})
[/cc]

Options supported in jetty 9 are almost same as jetty 7 except the configurator is dropped. And a new "WebSockets" option is added. Accepting a map of context path and websocket class, it enables websocket protocol in your web application.

[cc lang="clojure"]
(use 'ring.adapter.jetty9)
(run-jetty app {:websockets {"/loc" LocationTracker}})
[/cc]

Due to the lack of WebSocket API standards, I don't spend time on the WebSocket abstraction. Just use Jetty's internal API for websocket. Here is a typical implementation of websocket listener.

;; sample code
(ns xxx.ws.location
  (:gen-class
   :name xxx.LocationTracker
   :init init
   :state state
   :extends org.eclipse.jetty.websocket.api.WebSocketAdapter
   :prefix ws-
   :exposes-methods {onWebSocketConnect superOnWebSocketConnect})
  (:require [clojure.data.json :as json]
            [clojure.tools.logging :as logging]
            [monger.collection :as mc])
  (:import (org.eclipse.jetty.websocket.api WebSocketAdapter)
           (java.util UUID)))

(defn ws-init []
  [[] {:client-id (str (UUID/randomUUID))}])

(defn ws-onWebSocketConnect [this session]
  (.superOnWebSocketConnect this session)
  (logging/warn "new connection: " (get-client-id this))

(defn ws-onWebSocketText [this message]
  (let [msg (json/read-json message)]
    (case (:type msg)
      ...)))

(defn ws-onWebSocketClose [this status reason]
  (logging/debug "close socket"))

Since Jetty will create new instance of adapter for each connection, it requires heavy usage of "gen-class" . Remember to add the namespace to AOT compilation. Detailed Jetty API spec can be found here.
And also find the project is here.

'[ANN] Handlebars Clojure API'

2013-04-12T00:00:00+08:00

ANN tags:
clojure published: true comments: true

The ONLY real-world modern clojure templating system.
I just can't believe that the clojure world doesn't build web application with server-side template.
hiccup and enlive are neither **real-world**. So people tends to use single page architecture for a clojure backend. That's PAINFUL.

Available on clojars [hbs "0.4.1"], code and docs on github. We have been using hbs on readwise.net for a long time.

第一个开关

2013-02-23T00:00:00+08:00

把戏 tags:
Arduino
Electronic published: true comments: true

过年回家路上无聊看了一些关于电子制作的书，知道了 Android 上的开发板 IOIO。另外认识了 Arduino 的程序，感觉要比想象中还要简单。本来担心还要学一门新的语言，看了之后发现完全是多虑。

在淘宝上找 IOIO 的时候正好发现了一整套元件。买回来以后看看可能价格是贵了，但是对我这样的新手来说，省去了自己找元件的麻烦。因为找元件实在是很容易让人退缩。

点亮 Arduino 基本上没什么问题。但是在 Archlinux 上访问 serial port 需要一些配置。首先要把用户加入 uucp 组确保可以访问 /dev/tty* 的设备。其次，需要给当前用户访问 /run/lock 的权限，否则 Arduino IDE 还是无法访问到 Arduino，这点在 Archlinux 的 Wiki 上有提及。

我这个开关电路太简单了就不详细说了，参考书是一本 Getting started with Arduino。据说这本书出第二版了，第一版上 Arduino 的版本不是 Uno，所以图片有一些出入，不过接口都没有变化。这第一个二极管开关的电路还是挺有成就感的，晚上我就可以让台灯什么的都退了休吧。

'R/W Update#1: 更好的时间线'

2013-01-31T00:00:00+08:00

自话 tags:
readwise published: true comments: true

这周的工作，界面上能展示的不多。我们对时间线做了比较大的手术。

原先的时间线的工作机制，是以☐☐☐☐☐☐☐☐☐☐☐☐☐（此处省略200字）。这样的机制有两个明显的问题：

看过和没有看过的文章常常交错在一起，让人迷惘

一夜过后，时间线上出现很神奇的情况，文章的热度排列为「冷…热…冷…热…」

不仅是很多用户，我自己使用的过程中也感到很不方便。于是我们痛下决心，抄起键盘对时间线大刀阔斧一番。一小时前上线的版本已经基本解决了上面提到的问题。如若问题依旧，请参考题图。

还有可以提一句，用户名旁边显示的数字是你的 Karma。目前 Karma 可以通过评论和评论被投票获得。

还有什么比工程师写得产品博客更平淡的，而且他还要一边 test on production。

对对对，我们的工程师 debugger87 昨天回家结婚，顺便过年了，我们祝他新婚愉快。

'OpenStreetMap Nanjing: A Year of Edits, 2012'

2013-01-09T00:00:00+08:00

装备 tags:
Nanjing
OpenStreetMap published: true comments: true

又到了A Year of Edits节目时间了，去年的场景还历历在目。2012年OSM上的南京地图，变化更加可观。

脚本和mapnik依然在原处，mapnik升级到2.1.x，配置文件有了一些变化。

OSM reporter

2012-12-24T00:00:00+08:00

手艺 tags:
leaflet
OpenStreetMap published: true comments: true

好久没有Weekend project了，礼拜天给一个叫作osm reporter的小项目写了一点代码。这个小程序的功能很简单，显示指定区域里建筑物的贡献者情况。

我做了一些修改，增加了道路贡献情况。还有，利用自己的heatcanvas库显示用户个人编辑的分布情况。

这里有一个live demo，显示南京的编辑情况，不幸而又庆幸的是，离开南京大半年，我已经远远落后于sinopitt了。

这个项目的缘起：http://linfiniti.com/2012/12/holiday-openstreetmap-project-for-swellendam/

螺旋发展的技术

2012-12-21T00:00:00+08:00

自话 tags:
css published: true comments: true

那个谁说世界是螺旋发展的，我说也真是。

现在的云计算潮流，经常能听到哪个地方哪个企业又推广云办公了，大家只要有一个显示器一样的瘦终端就可以连到云中，走到哪办公到哪。可是一想，这不就是黑客时代的主机/终端架构吗，一个用作输入输出的终端，连接到用于运算的主机上。当然，这里又可以说出千差万别（要不然这30年也白活了），但是至少大方面上他们是相同的。

再说这两年流行的移动应用开发，让我想到快十年前那阵的很多共享软件。那会大家还学个Windows的桌面开发，MFC什么的。后来一阵所谓B/S架构的风刮起来，人们一夜之间都不屑于做这种桌面开发了。当时几个论据，跨平台的问题，软件分发的问题，确实得到了很好的解决。但是iphone流行起来以后，仿佛一夜之间又回到了桌面开发的时代。跨平台和软件分发的事也没人提了，辛辛苦苦地为了各种分辨率做设计，做测试，似乎看起来都不是个事。因为人们发现，还是本地应用的体验好。可是谁又能保证也许有那么一天，当本地应用的优势不再那么明显的时候，大家又会谈起跨平台，软件分发的事。

说到跨平台了，Java的WORA（write once, run anywhere）当年是很大的卖点。可后来人们发现，好像也没这个必要，WOCA可以，退一步各个平台开发也不是事。不过又过了这么多年，平台越来越多了，光手机就三四个，这样的事恐怕又要被提起了。

最后再说个小的。当年的网页用表格布局，后来被我们俗称div+css的组合横扫了，以至于用表格布局最后都不好意思跟人打招呼。这么些年过去了，人们发现自己其实真真切切地需要用表格布局，但是为了体现时代的进步，现在叫做grid layout。看看微软提得CSS 3的grid属性：
[cc lang="css"]
grid-column: 1; grid-column-span: 3; grid-row: 1;
[/cc]

活脱一个table里的colspan。

当然，其实还是发展了，原先写在html里的东西，现在用css就可以解决。和前面的例子一样，看似一样，但是都是绕了回来。不好说是从弯路绕回直路，还是相反。在一个时期是正确的，待一些客观条件成熟了，也许换回原来的方式也是正确的。

ANN 美味爱读 readwise.net

2012-12-05T00:00:00+08:00

ANN tags:
readwise
work published: true comments: true

诚惶诚恐地，但是还是得把这盘菜捧出来给大家尝尝。

我们的新产品，美味爱读(ReadWise)现在正式开放帐号申请了。

从哪里说起呢，美味书签，包括整个AVOS都在做信息提取相关的互联网产品，美味爱读依然延续的这个路线。美味爱读是一个阅读产品，不过与市面上其他的类似产品相比，我们有点不同。

首先，我们通过技术手段，给每天抓取到的RSS文章打上粒度极细的标签（就像Delicious那样的tag），初到网站时，您可以选择自己感兴趣的几个标签，从而获得相关的新文章。

其二，我们会跟踪文章在互联网上的传播情况，在微博和twitter上的引用次数，借此来判断它的价值，影响它在阅读器里的位置。我们还会从这些网站抓取用户的评论，看看别人如何说。

由于时间和资源有限，初期我们还只有技术和科技相关的内容。其中有很多英文，有的用户可能会对此存在疑问。考虑这个领域有的特殊性，为了保证信息的质量，我们最后还是决定不回避这些英文内容。这恐怕也是开了先河，既然要不同，那就要不同地彻底。当然很快随着领域的扩大，内容的增加，高质量的中文文章肯定会越来越多。

我们采用的responsive UI可以在各种分辨率的屏幕上工作，所以Android的Chrome和iPhone的浏览器也可以直接访问，不用担心。

最后，在阅读的UI上，可以用键盘J/K查看文章，O打开链接，M标记收藏。之所以强调一下，是因为这是一个工程师驱动的产品，这样的小功能是必备的。

这是我来北京后的第一个完整的项目，参与了从原型到初期开发，到现在的开放邀请，经历了宝贵的从无到有的过程。现在终于推开门，迈出第一步。

产品的详细介绍，请移步我们的产品博客。

heatcanvas is available via bower

2012-11-19T00:00:00+08:00

ANN tags:
heatcanvas
javascript published: true comments: true

The heat map toolkit, heatcanvas, is now available via twitter's package management tool, bower.

You can now install heatcanvas with a single command:

bower install heatcanvas

Enjoy this library.

Exaile 豆瓣电台插件 0.0.13

2012-11-12T00:00:00+08:00

ANN tags:
Douban
exaile
github
python published: true comments: true

近来工作甚忙，一直没有精力来更新这个插件。加之exaile被archlinux清到了aur仓库，项目的前景亦是堪忧。恰好有两位热心网友@JoveYu和@watermelonlh在github上提出愿意帮助维护这个项目。两位都是很好的贡献者，用了一周左右的时间，居然看遍了我乱糟糟的代码，更看遍了Exaile更乱糟糟的代码。说干就干，还真让这个插件在Exaile 0.3.3健健康康地运行起来。而这段时间我没能给两位什么具体的帮助，着实惭愧。

不管怎样，现在我们又拥有了和原先一模一样的功能：

你可以在github找到这个项目并下载最新的版本：
https://github.com/sunng87/exaile-doubanfm-plugin

同时，适用于GNOME 3.6的扩展也已经在审核中了，一旦成功，根据gnome-shell据说最新的自动更新功能，已经安装的用户可以直接更新的最新版本。

Adding -var-missing to Clojure Namespace

2012-10-27T00:00:00+08:00

手艺 tags:
clojure published: true comments: true

Motivation

I Just need some mechanism like "methondMissing" in Ruby. When a nonexistent var is called, the lookup system will try to call a "-var-missing" function in the namespace. This function should return a var and clojure compiler assumes this var as the one it was looking for.

For example, in the shake library:
[cc lang="clojure"]
(ns shake.core)

(defn -var-missing [sym]
(create-executable-var sym))
[/cc]

To support lazy loading, shake 0.3.0 won't read your path. It will now create vars on demand. So on calling sh/uname, a var named `uname` will be created. And to create a var, just use intern or eval.

[cc lang="clojure"]
(require '[shake.core :as sh])
(sh/uname -a)
[/cc]

How to

I'm sorry there is no way to implement this except hacking into Clojure's compiler. Fortunately, it's not too difficult to find out the injection point.

As you may know, there are two phases in Clojure compiler: expanding macros and evaluating forms. Both phases will look up vars to find macros or values. So we should take care both of them.

All code diff is here:

Conclusion

Adding -var-missing is just an attempt to implement lazy loading of vars. And it provides another smooth syntax for writing DSLs. But actually, Clojure's macro system provides a great metaprogramming mechanism. So in most case, you don't have to hack into the Compiler like this. Just put your DSL into a top level macro, and you can get them done all in clojure scripts.

New shake syntax

2012-09-23T00:00:00+08:00

ANN tags:
clojure
project published: true comments: true

As shake goes public, I received a lot of feedback. The top issue is about using clojure variables in shake macros. Now it has been fixed in 0.2.2. Let me show you the new syntax.

Using vars, local bindings in shake macros:
[cc lang="clojure"]
(require '[shake.core :as sh])

(let [x "/home/nsun"]
(sh/ls -l $x))
[/cc]

So you have to prefix the clojure variable with a dollar sign. This is quite similar to what we did in shell programming.

And more interesting, you can also use a $ prefixed clojure form in shake:

[cc lang="clojure"]
(sh/curl $(format "https://github.com/%s" "sunng87"))
[/cc]

Thanks to Clojure macro system, it has great flexibility to manipulate symbols and code lists, making inventing new syntax much easier than other languages. Shake can be a great example in describing macro system.

'Shake: Every Program Can Be a Clojure Function'

2012-09-21T00:00:00+08:00

ANN tags:
clojure
github
linux published: true comments: true

You might have heard of sh, which brings python an interface to call subprocesses. The API of sh is pretty cool: Every command can be treated as a python function, and imported from a namespace. Options and arguments are passed in as python string.

But I think in Clojure, things can be even cooler. We dynamically create symbols for every program. We will have a beautiful DSL so you don't have to quote arguments as string. So when you are using this library, it may look like:

[cc lang="clojure"]
(ls)
(uname -a)
(ip -4 addr)
[/cc]

And actually it's just like that! I create this library called shake. When you load `shake.core`, it indexes all the executables in your path. Then all programs are available to you in a clojure native way.

[cc lang="clojure"]

(use 'shake.core)
(uname -a) ;; returns a java.lang.Process, that you can send data, read data and wait for termination.

;; for those just need output
(alter-var-root *print-outpt* (fn [_] true))
(uname -a)
;; it prints ...
[/cc]

There's a lot of fun in implementing this library. First, to be able to use custom symbol in the DSL, you have to make these executables as macros. Second, find a way to programmably create vars which are named by string. The power of Clojure enables all the ideas and makes it possible. Check out the source code if you are interested in: https://github.com/sunng87/shake/.

'cljts: Java Topology Suite for Clojure'

2012-09-15T00:00:00+08:00

ANN tags:
clojure
GIS published: true comments: true

I almost forgot to announce this library I made half of a year ago. This library is aiming to bring Clojure to GIS. So you can manipulate geometry objects with a set of clojure functions.

The library covers :

Geometries defined in Simple Feature Spec
Spatial relationship test, based on DE-9IM.
IO functions, WKT and WKB support
some spatial analysis functions such as buffer, convex-hull

Also, this week Alexey Pushkin sent pull request and added support for Perpared Geometry and Affine transformations.

The current release of cljts is 0.2.0-SNAPSHOT. You can find API document at here.

If you are also interested in bringing clojure to GIS, feel free to get connected and hope I could help you.

丰宁草原

2012-09-09T00:00:00+08:00

留影 tags:
D60
Travel published: true comments: true

来了北京以后一直没有停止到处游走的脚步，这周末去了丰宁的坝上草原。第一回去草原，第一回骑马，第一回看日出。

丰宁在承德市，我们去的地方叫大滩镇，在丰宁县的北部。晚上九点从北京出发，达到大滩的农家院已经是半夜两点了。农家院的住宿条件还不错。当天天气晴朗，晚上抬头能看到多年未见漫天星辰。本来约好当天去看日出，谁知睁开眼的时候屋里都满是阳光了。上午就直接骑马去草原：村里的旅游经济搞得红火，有开旅店的，有养马领路的。

第一回骑马，或者说第一回和个动物挨这么近。前半程紧张的够呛，坐在马上浑身紧着，都不知道哪用力（或者说全身都在使劲）。骑着骑着渐渐放松，知道用腿加紧马，手拽着缰绳。我把马的速度戏分为三档：一档起步，踱步子；二档小跑，颠着；三档叫奔，后腿蹬起来，骑着有种要飞的感觉（或者说要摔下来的感觉）。这里二档是最难受的，颠得屁股生疼，五脏六腑都快倒出来。开始的时候没觉得累，反倒是休息了一下，开始背疼腰疼腿疼，等到第二天早晨居然就真的弯不下腰了。不过侧面倒是说明，别看这好像是坐在马上，全身肌肉到是没闲着。腰背这部分常年没练，疼点也正常。再说马，马是个随大流的动物，跑不跑全看他认识的这一伙马跑不跑。他要是不想动，再怎么蹬也没有用。当然这马也能被理解，就像那句“一定有一些马，想回到古代”。

第二天早上终于坚定地看到了日出。在满天月亮金星木星的时辰披上长袖出门，看着背后的天色，一路走走跑跑生怕阳光不等看日出的人就位就露出来。坐到山坡上，等天边的第一缕阳光的心情，是美好的。不过更美好的是等到阳光普照后，你踱着步子从山上下来，穿过牛群马群羊群庄稼蔬菜，再被马群穿过。拖上长长的影子，一路鸡鸣犬吠马啸牛叫，往粉雾里的村庄走。

上午去的闪电湖，是草原上一个水坝成湖。有水的地方能有灵性，至少在干燥的地方，一片湖泊让人精神放松，有工夫想点有灵性的事。远处的大坝分隔，这水天相接，像一面镜子一样，互相照着。我在这打破了自己上个月的北纬的纪录，41.656度。

京张铁路

2012-08-19T00:00:00+08:00

当时 tags:
Beijing
Railway published: true comments: true

这两周体验了一下北京周边的铁路。上周从北京西到张家口，这周从北京北到延庆。

用倒叙的方式说，我们常说的京张铁路是詹天佑修的那条百年历史的路线。这条路从现在的眼光看，南起西直门的北京北站，经过八达岭，康庄跨过官厅水库到河北沙城，进而宣化，张家口。不过这个路线现在已经少有车走了（查到一条L295次，但不确定具体路线）。从北京北开到延庆的S2动车是现在这条路线上主角。这是一趟郊区线，准确地说是旅游列车，为了解决从北京市区到八达岭交通压力大的问题。所有的车厢一律是动车一等座，从北京北到八达岭只要5元，可以说是物美价廉。一直到八达岭之前，路线都是老的京张铁路，在青龙桥依然还有著名的”人字形“铁路。作为旅游列车的话还真是个保留节目。

这次车在康庄附近离开京张线，进入康延线，一直开到延庆站，铁路就到了尽头。目前延庆车站也只有往返这个区间的S2线。另外据说延庆还有一个火车北站，是大秦线的一座货运车站，没有客运业务。

再说上周去张家口。现在北京去张家口的主要列车都从丰沙线走，经过丰台，石景山南，三家店进入京西的山区，最后在沙城和老的京张铁路汇合。在车上听人介绍，这段铁路1954年修成。出京经过62个隧道，进京65个。这些隧道全部分布在丰沙线上，据说是这条线是詹天佑最初选定路线，但是因为成本较高只能选了八达岭方向。我乘4447次从北京西出发，进入这段之后风景秀丽，有山有水（官厅水库），打开车窗清风拂面，实在是坐火车的最佳体验。

最后，张家口现在有两个车站。南站位于京包线上，几乎所有经过到达张家口的车都在这里停，是目前主要的车站。它门前是詹天佑的铜像。另一个张家口站是真正的京张铁路终点，也是百年历史，深入张家口市区，现在只有终到张家口的少数几次车。他的样式和我印象里的南京西站几乎一样，地位似乎也和西站类似。

Top Github users in China

2012-07-19T00:00:00+08:00

把戏 tags:
github published: true comments: true

有感于这个版本的github中国用户排名，我觉得单纯根据用户的followers数量不能完全说明问题。因此，需要改进一下排名的分数，加入项目Watchers的数量，这样可以让优质项目多的用户排名到前面。

这个策略是：followers + 1.5 * watchers + 2 * forks

得到的排名如下：

另外，这前100名用户里，语言使用的情况如下：
'JavaScript': 80
'Ruby': 52
'Python': 46
'C': 34
'C++': 30
'Java': 28
'VimL': 28
'Shell': 24
'Objective-C': 24
'PHP': 21
'CoffeeScript': 13
'Perl': 10
'Erlang': 9
'Emacs Lisp': 9
'Lua': 6
'Haskell': 5
'Clojure': 5
'Go': 5
'ActionScript': 4
'C#': 3
'Scheme': 2
'Common Lisp': 2
'Elixir': 2
'Scala': 1
'Objective-J': 1
'Vala': 1
'Nemerle': 1

明天我会补充一下城市的排名。

更新了stages

2012-07-13T00:00:00+08:00

手艺 tags:
github
java published: true comments: true

Stages原先是业余时间开发的一个简单的框架，用来实现SEDA。不过现在这个库经过同事们的加强，已经用在了美味和zeen的生产环境。最近我也对开源的这个分支做了一些修改。

首先是使用更安全的线程池，现在必须指定任务积压后的策略，即RejectionHandler。用户也可以设置自己的Queue，并且指定允许的大小。这是之前应该要做但是一直没做的事情。

其次在Task上增加了一个priority属性，如果你使用的是PriorityBlockingQueue，那么任务会根据这个优先级排序。但是由于PriorityBlockingQueue是unbounded，所以请慎用这个功能。

另外，现在所有的Task都通过perf4j计时，你可以用过配置log4j打印出性能报表日志。也可以通过JMX将耗时情况发布出去，我们在生产环境里通过ganglia监控了这些数据，还是比较有参考价值的。

最后，现在jmx监控stage积压队列的功能终于实现了。我会把每个队列的pending tasks数量通过mbean暴露出来，同样可以配置监控这个数据。有了这个数据后，我们可以很明确地了解各个stage的压力情况，调整线程池的策略。

Timing brings perf4j to clojure

2012-07-02T00:00:00+08:00

ANN tags:
clojure
github
java published: true comments: true

Timing is a dead simple clojure library wraps perf4j, while perf4j is an advanced library to log call time. It's like log4j to System.out.println, that to System.currentTimeMillies.

The core part of Timing library is a `timed` macro. You can put any forms in it and it will log the call time.

[cc lang="clojure"]
(timed "demo"
(look-for-something-from-the-moon)
...)
[/cc]

And it logs:
start[1341215254682] time[1000] tag[demo]

Timing looks up your classpath at startup for a logging backend: slf4j or log4j. If neither of them found, it fails back to log to stderr. By the way, log4j is the recommended logging backend. There are some predefined appender in perf4j to generate semi-realtime summary and charts. Anyway, Timing, as a library, doesn't depend on any library other than perf4j.

The project is hosted at github and available on clojars of version "0.1.0".

登Py山

2012-06-17T00:00:00+08:00

当时 tags:
Beijing
outdoor published: true comments: true

我的个天总算是有可写的东西了。

这次来北京有个重要的主题叫做锻炼身体，为此不惜代价抓住有效的机会来参加这些活动。昨天跑去爬了昌平十三陵水库旁边的蟒山。这个蟒山的，我就叫他python山。据说是本地爬山的入门路线之一。这次活动正好副领队又是三年多没见过的老同学，于是就毫不犹豫地参加了。爬山前的周四是上线的日子，晚上折腾到两点多，第二天又早早去上班。我要说的是周六显然不在最佳状态。

上次有这样的活动还是07年去庐山，那次就几乎中暑倒在山谷里了，为了避免悲剧发生这次背了3升水上山。这山是前半段比较陡，后半段稍微好一些。还是和上次庐山一样，跟着体力好走得快的人，很快就把力气用完了，坐在路边上一歇就是十五分钟，眼看着从队伍前头落到了队尾。然后也没有然后了，登顶的时候确实是在队尾。一开始还有心思照照相，后来赶紧把相机收起来，你不知道那个相机在肚子上一弹一弹的多耗费体力。

登顶之后吃过午饭感觉就好多了，下到天池看了一样大水库，然后再从景区的台阶返回。据说下山的路是1299级台阶。还是一样，刚出发的时候还在前面，走着走着就看见收队的同学了。下台阶下得两腿发颤，最累的时候感觉随时都可能腿一软就坐下了，幸好这种情况没有发生。

这次爬山最有成就感的，除了没有掉队以外，就是没出什么洋相。比庐山下山时坐倒n次要强多了。另外就是参加这个活动，可以跟各个年龄层次的人一起，也是感受一下这些有活力有生活的人。平时接触的年轻人、网民什么的太多了，总是无时不刻地抱怨却少有行动，够腻歪。跟大家一起爬山，是有一种完全不同的空气。

最后就是风景真好，不虚此行。遗憾是只带了35/1.8的镜头，拍风景有点力不从心。这样壮阔的场面还是应该用18段来拍更精彩。

以后只要有时间我还去，哪怕还是38度。

Keep-Alive

2012-06-02T00:00:00+08:00

自话 tags:
Life published: true comments: true

史无前例，上个月只写了一篇blog，再加上网站遭遇认证很多地方都访问不了，故而有必要keep alive一下，该reconnect的请自觉重连。

从家里出来，再次跑到北京来，就做好了艰苦卓绝的思想准备。现在的工作节奏，和2010年春天在盛大在线的时候差不多。那时一腔热血，也没什么经验，做什么事都心里没底。当然也是那段时间学到的东西最多，人生就是这样，熬过一个最困难的时候，总会有巨大的收获（如果没有收获说明还没熬过去，下同）。时过境迁，现在的情况有了巨大的不同，比如看这里。曾经没日没夜的奋斗的项目，最后烟消云散仿佛都不存在过。

人最大的瓶颈是时间，时间不可逆，挥霍掉就没有了。为了能有口饭吃，大部分时间还得拿自己的时间去换别人的金钱。如果这个时间能有合理的回报或是各取所需最好，如果这个工作自己也认同倒也不错。如果是纯粹的时间换金钱（所谓工作毕竟是工作），那就难免悲伤了。所以看到这样一篇文章，还是觉得你很有必要快速浏览一下：

Spend time with the right people.
Spend time on the right activities.
Enjoy experiences without spending time actually doing them.
Expand your time.
Be aware that happiness changes over time.

时间自由是人生最高自由。为了合理的利用时间，请关掉你正在折腾配置文件的emacs。

做了一个brogrammer的测验，和公司同事一起做的。结果得分-105，算是标准nerd了，在公司也是仅次于老板的-120。这个分数基本让人满意，对于那些戴墨镜编程的brogrammer，我想说的是，我的emacs一直是深色背景。

加入了美味书签

2012-05-11T00:00:00+08:00

自话 tags:
Beijing
meifm published: true comments: true

距离上次更新已经有大半个月的时间了，最近一直忙着搬家和适应新环境。现在我又跑到北京来工作，好在这次终于不是在上地。我记得在写工作第三年的愿望的时候，有一条就是能加入一个优秀的小团队。那么目前看来一切顺利，美味书签这样的团队就是我一直希望能找到的。

我们的团队是Youtube创始人陈士骏的AVOS公司中国分支，中国团队由江宏带领，目前有20人，包括技术（前端、后端、移动），编辑等等。我们的团队网站上一一介绍了每个成员，我就不重复了。

在工作上，眼下最好的事情，是我终于可以利用自己喜爱和擅长的技术，来主导一些系统的开发。我们会尽可能地用热爱的语言（毫无疑问是clojure）开发，这想起来就让人兴奋。我这个人对技术还是有一些洁癖和偏执的。这样虽然路漫漫坑无数，但是收获一定不小，过程也在把握中，青春岁月不可再蹉跎了。

最后欢迎大家都来用我们的产品。

Slacker 0.8.0

2012-04-22T00:00:00+08:00

ANN tags:
clojure
github
project
slacker published: true comments: true

A new release 0.8.0 of slacker has been pushed to clojars. Let's go through the changes in this version.

Clojure 1.3 compatible

Slacker finally landed on clojure 1.3. It takes advantages of performance in 1.3. Also, you can use 1.3 API in slacker. For example, a timeout argument is supported in deref, which is useful when dealing with promise returned by slacker's asynchronous call.

Performance Boost

The performance enhancement is on the highest priority in this release. I have migrated the NIO infrastructure to a new library called link. Now slacker 0.8.0 is at least 8x faster than previous release. There is significant improvement both on per-request latency and overall throughput. And the server thread model is optimized for data-intensive tasks. Heavy IO tasks in hosted functions won't block the whole server.

slacker as a ring app

Instead of running default transportation, slacker now can be configured as a ring app and deployed on any ring adapter.

[cc lang="clojure"]
(use 'slacker.server)
(use 'ring.adapter.jetty)

(run-jetty (slacker-ring-app (the-ns 'slacker.example.api)) {:port 8080})
[/cc]

This will expose the name space slacker.example.api with HTTP. Functions could be called with following URL pattern:

http://localhost:8080/<namespace>/<function>.<content-type>

For instance: http://localhost:8080/slacker.example.api/timestamp.json

defn-remote

There is a minor update for the defn-remote macro.

In 0.7.0, you have to specify remote namespace with an option:
[cc lang="clojure"]
(defn-remote sc timestamp :remote-ns "slacker.example.api")
[/cc]

In 0.8.0, it's more convenience:
[cc lang="clojure"]
(defn-remote sc slacker.example.api/timestamp)
[/cc]

To keep the core library compact, in 0.8.0, the cluster support has been moved to a standalone project slacker-cluster.

All above summarized my recent work in the slacker project. If you have any question with this library, feel free to drop me an email sunng@about.me .

Visualizing OpenStreetMap Nanjing Contribution

2012-04-20T00:00:00+08:00

把戏 tags:
Nanjing
OpenStreetMap
visualization published: true comments: true

早上在prismatic上看到mapbox的一篇博客，介绍通过TileMill可视化OSM的贡献者，非常酷。于是我在南京的地图上也做了一个这样的可视化。

一个详细的大图在这里。虽然只做了南京的五个主要贡献者，基本上涵盖了大部分数据。

图例就不专门输出了
[user = 'Sunng'] { marker-fill: @magenta;}
[user = 'fuwuyuan'] { marker-fill: @blue;}
[user = 'sinopitt'] {marker-fill: @yellow;}
[user = 'larryy'] {marker-fill: @green;}
[user = 'zhengz'] {marker-fill: @red;}

MapBox家的东西真的非常酷，这家的技术以nodejs为主，围绕osm开发了不少产品。最近比较大的新闻，比如4sq转到osm上，其实就是转到这家的osm服务上。有兴趣你可以关注一下！

多线程服务器

2012-04-12T00:00:00+08:00

手艺 tags:
NIO
programming published: true comments: true

写了挺长时间网络程序了，有些事到最近才弄明白，记录一下。

写一个高性能的服务器，传统的BIO方式基本上已经被淘汰了，很难获得理想的性能。所以现在都是以事件驱动的方式来写，在Linux上用epoll,Java平台上就是NIO。再向上，有一些包装的库，比如twisted比如libevent比如Java上的Netty。

Netty的server需要至少两组线程，BossPool和WorkerPool,。前者负责accept，后者负责r/w。通常的例子里，这就是仅有的两组线程。用户在框架之上的业务逻辑，写在handler里，以单线程的方式运行在worker线程上。

这样的方式在很多例子里很普遍。但是如果handler里的业务逻辑比较复杂，尤其是IO的等待过长(比如查询数据库)，就会由于在handler上阻塞的时间过长，导致服务器读写的效率下降。所以通常是不能在这样环境下的handler里写IO阻塞的代码。

解决这个问题，一种方式是多线程，一种是全异步化。后者最典型的例子就是nodejs，坦白说编程模型非常复杂，对开发者要求较高。一种相对简单的办法，就是以多线程的方式，增加CPU的利用效率，来平衡IO阻塞带来的影响。IO等待时间的比重越大，线程数就可以陪得越高。牺牲一些sy的CPU时间，换取更高的利用率。

但是随之而来了另一个问题，因为在handler中使用了多线程的模型。对顺序收到的包，交由不同的线程并行处理，就没有办法保证返回时的顺序。客户端就无法了解刚刚返回的包是对应哪个请求的。

这个情况也有两种办法处理。其一是在线程管理上做文章，采用一种折中的办法。对于每一个客户端连接来说，仍然是占用同一个线程来处理。这样首先任务不会占用worker线程，其次在整体上仍然提高了CPU的利用率。但是这样做的缺点是，在单一客户端看来，任务仍然是串行执行: 三个需要耗时500ms的请求同时顺序发出，第三个至少要在1500ms之后才能收到响应，客户端的latency比较高。

另一种，就是在应用协议层面做一个冗余字段，通常叫做serial id或者transaction id。客户端为每一个请求生成一个这样的id，并存储这个id对应的回调。服务器端不需要对包的顺序作任何关注，只需要把这个id原封不动地拷贝回去即可。这样，服务器就可以自由调度线程来处理请求。以上面的例子，在不繁忙的情况下，三个响应在500ms左右就都可以到达了。

这种方式对应用协议有特殊的要求，但是比较常见的协议都预留了这个字段，Diameter协议甚至留了两个这样的字段来便于代理的实现。

slacker 0.7.x基于aleph，由于aleph / lamina无法侵入协议层面，所以采用的都是顺序的客户端和服务器。这种方式编程非常简洁，协议设计简单，实现起来很快。但是作为RPC框架，一旦客户的函数阻塞较长，就会影响整体性能。0.8.0开始，通过新的协议和link库支持，slacker采用了transaction id的方式，服务器端默认使用并行处理，客户端不再依赖顺序指定响应和回调。尽管在一些CPU为局限的测试里性能有少许下降(与单线程相比，增加了调度的成本)，但是针对实际应用里IO等待较多的情况，新版本应该会表现出更好的综合性能。

以上这些，就是最近的心得，希望能解释清楚事件驱动服务器里的这些事情。

Slacker performance enhanced

2012-04-02T00:00:00+08:00

手艺 tags:
clojure
github
netty
project
slacker published: true comments: true

In the slacker framework, performance issue becomes more and more critical as the basic features are almost completed. As mentioned in cnclojure meetup, I will focus on the performance enhancement in next release.

Now I have worked out a testable version. The new slacker core has been moved to a new NIO library, link. Compared with aleph, link is a thin wrapper of Netty. It takes some nice features from aleph (gloss codec dsl, elegant API), and drops the heavy abstraction, lamina. The new slacker client runs on a real nonblocking connection. Connection pooling is no longer needed.

I have some performance benchmark to visualize the improvement. The test was made on my laptop (Intel(R) Core(TM)2 Duo CPU T5870 @ 2.00GHz). It ran 400,000 calls with 40 threads on a local slacker server.

slacker 0.7.0 (clojure 1.2, aleph 0.2.0): 614005.059259msecs slacker 0.7.1-SNAPSHOT (clojure 1.3, aleph 0.2.1-beta2): 409110.909142msecs slacker 0.8.0-SNAPSHOT (clojure 1.3, link 0.2.0-SNAPSHOT): 42468.401522msecs

Check out the new slacker on the 0.8-dev branch.

为WebWorker设置正确的路径

2012-03-22T00:00:00+08:00

把戏 tags:
heatcanvas
javascript published: true comments: true

WebWorker的路径通常是写在代码源文件中，而且这个路径并非其相对父js文件的相对路径，而似乎是相对页面的路径。所以指定一个正确的可随处部署的路径变得有些麻烦。昨天有人给HeatCanvas提了这个问题我才想到上网搜索了一下，有一个还算挺不错的办法。

写一个getPath函数，从document里找到父js的路径，拼到Worker的名字上。对heatcanvas.js这个文件来说就是：

[cc lang="javascript"]
HeatCanvas.getPath = function() {
var scriptTags = document.getElementsByTagName("script");
for (var i=0; i var src = scriptTags[i].src;
var pos = src.indexOf("heatcanvas.js");
if (pos > 0) {
return src.substring(0, pos);
}
}
return "";
};
[/cc]

因此现在HeatCanvas已经解决了这个路径问题，现在这个库应该更好用了。当然如果你改了我的文件名我就无话可说了。

My favorite feature in leiningen 2

2012-03-21T00:00:00+08:00

装备 tags:
clojure
leiningen
maven published: true comments: true

Recently, the leiningen team has released a preview version for leiningen 2. It brings new features to the clojure build tool. But my favorite one is not listed in any document. So I would like to share with you here.

As you know, leiningen is a project oriented tool. It manages dependencies for a particular project. In Java world, Maven and Gradle are also working in this manner.

In contrast, there are tools which manages dependencies in a system scope. For instance, pip(python), npm(nodejs) and gems(ruby). One advantage of these tools is easy for evaluating a library. Concretely, when you want to test pyclj, just run "pip install pyclj" to install it. Then open a REPL and type "import pyclj". That's pretty easy.

But in clojure/leiningen, to take a tutorial of "core.logic", we have following steps:

Find a right directory and type "lein new logic-abc" to create a project.
cd into it, edit project.clj, add core.logic as a dependency
Run `lein deps`
Start a REPL and follow the tutorial

So I guest you must have a lot of empty projects created for such purpose.

Now we could say goodbye to this situation. Leiningen 2 has move its dependency management core to a new library, called pomegranate. Pomegranate wraps aether, which is a maven library created by sonatype. With pomegranate, we can add a maven artifact from repository to REPL classpath. Still on the core.logic example, it becomes much easier:

[cc lang="clojure"]
$ lein2 repl
Welcome to REPL-y!
Clojure 1.3.0
Exit: Control+D or (exit) or (quit)
Commands: (help)
Docs: (doc function-name-here)
(find-doc "part-of-name-here")
Source: (source function-name-here)
(sourcery function-name-here)
Javadoc: (javadoc java-object-or-class-here)
Examples from clojuredocs.org:
(clojuredocs name-here)
(clojuredocs "ns-here" "name-here")
nil
user=> (use '[cemerick.pomegranate :only (add-dependencies)])
nil
user=> (add-dependencies :coordinates '[[org.clojure/core.logic "0.6.8"]])
{[org.clojure/clojure "1.3.0"] nil, [org.clojure/core.logic "0.6.8"] #{[org.clojure/clojure "1.3.0"]}}
user=> (use '[clojure.core.logic])
nilWARNING: == already refers to: #'clojure.core/== in namespace: user, being replaced by: #'clojure.core.logic/==
user=> (run* [q] (== q 1))
(1)
[/cc]

Now core.logic is right on you classpath and you are ready to use any functions under the namespace. There's no need to create project, no need to care about where the jars stored. Just start a REPL at anywhere you want. When you finished, send EOF to the REPL. Nothing to clean up.

My jython dependency manager jip has similar feature as I described above. It does great help to me. So I have been waiting for this feature in leiningen for a long time. Thanks to leiningen guys, it finally comes.

Edit 20120323 21:39

If you want to load libraries from clojars, you should explicitly add clojars in add-dependencies:
[cc lang="clojure"]
(add-dependencies :coordinates '[[incanter "1.2.3"]]
:repositories (merge cemerick.pomegranate.aether/maven-central
{"clojars" "http://clojars.org/repo"}))
[/cc]
(The example is copied from Pomegranate document.)

刷HTC EVO 3D GSM

2012-03-19T00:00:00+08:00

装备 tags:
android published: true comments: true

去年买的水货Desire Z在服役了刚刚一年之后就坏了，看来肯定是上了奸商的当。鉴于最近的新手机也没有什么像当时Desire Z那样一见倾心的，这次保守起见买了个行货EVO 3D。买行货的问题不仅是贵（贵很多），而且默认的ROM实在是没法用。几大国产流氓软件堂而皇之地强制安装后台运行，系统连google账户，官方market都没有。

那么只能刷一下了。所有的步骤开始之前都是解锁，按照官方的解锁方式(http://www.htcdev.com)基本上没有什么难度。在我的archlinux上，不需要安装HTC Sync（也没得装），只需要从aur安装android-sdk和android-sdk-platform-tools就有adb和fastboot在PATH里。唯一值得一提的是，在我的系统上fastboot oem get_identifier_token需要sudo，否则会一直wait device。除了这个小插曲以外，按照官方的步骤就可以解锁HBOOT。

接下来就可以刷recovery了，HTC EVO 3D GSM版的codename叫做shootru，比较可靠的一个版本是4.0.1.4-shooteru，可以在网上搜索 cwm-4.0.1.4-shooteru.img 这个文件，比较好找。继续通过 sudo fastboot flash recovery cwm-4.0.1.4-shooteru.img把recovery刷进手机。

接下来就是ROM的选择了。最好的选择是cyanogenmod，EVO 3D分为GSM和CDMA版，cmod 7只支持CDMA版，似乎还没有稳定的正式版。对GSM似乎有正在开发7.2，不过按照他们的说法，自从4.0发布之后，所有人的注意力都转移到基于4.0的cmod9上，所以7.2这个版本希望也比较渺茫。9.0已经有开发版本，但是都有一些还未解决的严重bug。说了这么多就是说我暂时放弃cmod了。

除了cmod，EVO 3D GSM上一个比较被认可的ROM叫做LeeDrOiD.从网站上下载5.3.0的发布版，拷贝到sd卡上，通过recovery就可以安装。安装之前先要清除旧的数据。剩下这一步也没有什么悬念。但是安装之后5.3.0上，WIFI无法启动。必须继续更新kernel，从网站上下载。安装kernel的方法和之前不太一样，不能通过recovery安装。需要用一个叫做FlashImageGUI的工具，可以在网上直接搜索这个名字找到下载。剩下就很简单了。

折腾这么一圈，手机基本上能用了。不过我还是非常期待早日能用上cmod 9.

Kliment Voroshilov tank 2

2012-03-11T00:00:00+08:00

自话 tags:
D60
tank published: true comments: true

业余时间，我除了写括号以外，也会做点模型，不过是入门水平。用淘宝店家的话说，你随便涂涂就行了。这个KV-2坦克是去年秋天买的，后来周末学车加上天冷坐不住就搁置下来。现在稍微暖和一点，就赶紧把开工。

KV-2坦克，是二战时期苏联的重型坦克。最早参加了苏芬战争，后来投入到早期的苏德战争。但是绝大多数被德军在巴巴罗萨行动中摧毁、俘虏。被俘虏的KV-2坦克被刷上德军的标志也为德军服役，这在二战早期的东线战场倒是很常见。我的这个KV-2附带的水贴纸也分两个版本，分别是苏军和德军的涂装。

花了一天时间素组。

今天又花了一上午时间上漆。第一次上漆，也没看什么教程，就是这个结果了。

下一个目标就是T34。

What's new in slacker 0.7.0 ?

2012-03-09T00:00:00+08:00

ANN tags:
clojure
slacker published: true comments: true

I just released [slacker "0.7.0"] to clojars. This is the first release after my presentation on the Clojure China Meetup. lbt05 contributed an ACL module to slacker, which is the most significant feature in this release.

The ACL module provides a simple DSL to define access rules.

[cc lang="clojure"]
(use 'slacker.acl)
(use 'slacker.server)

(defrules myrule
(allow ["10.60.15.*"]))

(start-slacker-server ...
:acl myrule)
[/cc]

"myrule" defines a limited access control list. Only clients from IP segment 10.60.15.* could access the slacker service.

And there are also minor enhancements in this release:

Content compression, new content type :deflate-carb :deflate-json and :deflate-clj
In debug mode, server side stacktraces are printed on client
Zookeeper node path refined
New options in use-remote, :only and :exclude
Cheshire used as json library

slacker 0.7.0 will be the last version on clojure 1.2 . As aleph 0.2.1 is coming near, we will migrate to clojure 1.3 as soon as possible. If you like to taste slacker on your 1.3 application now, there is a 0.7.1-SNAPSHOT available.

Slacker slides on cnclojure meetup

2012-03-06T00:00:00+08:00

手艺 tags:
slacker published: true comments: true

从北京回来两天了，稍微有点累，还没来得及总结一下，先把slides上传分享一下： http://www.box.com/s/k0alcj1p115jq40bdkik

解压之后 lein deps && lein run 一下即可。

这是一个借助impress.js制作的幻灯片。之所以让它跑在webbit里，是因为我简单hack了impress.js让你可以通过websocket远程控制幻灯片播放。这样，就可以通过手机上的firefox浏览器（目前android上仅有firefox支持websocket）控制播放，把手机变成一款遥控器。

'dosync+: dosync with event listener'

2012-02-24T00:00:00+08:00

手艺 tags:
clojure published: true comments: true

Discussed in clojure-cn mailing list, we come up with an extensible dosync block with event listener: on-start, on-retry and on-committed.

With these extension points, you can bind STM monitor to a transaction. And I believe there will more advanced use cases on this.

燕子矶

2012-02-18T00:00:00+08:00

留影 tags:
D60
Nanjing
photo published: true comments: true

作为几乎是很多人脑海里南京最北端的地方，燕子矶平时算是人迹罕至。我上一次去这个公园是99年小学毕业的夏天，一晃都已经13年（13年！）过去了。

当年通往燕子矶的小街已经被新修的永济大道取代，不过当时的和平街、临江街依然存在。燕子矶公园的门原本开在临江街上，现在这个门已经几乎倒掉，公园在小院的另一侧开了一个面向永济大道的新门。以前这门口是各式拖挂卡车来来往往，环境整治以后现在到公园门口这一段没有卡车，所有的卡车从前面一条小街“新燕街”开到江边的码头。所以万变不离其宗，江边的主题依然是各种大型运输工具。

[mapsmarker marker="3"]

刚到公园门口，就听见有人感叹自己也十年没来这个公园。看来这个公园已经小到、偏到不隔个十多年都想不起他来。然而可贵就可贵在，这么长时间小公园几乎就没有变化。规模小，又有一点特殊的历史背景，再加上有政府的补贴，也不必因为自负盈亏去折腾去影响气氛。说难也难，说简单也简单，就这么无欲无求地保存下来。

Python's Valentines Day Gift to Clojure

2012-02-14T00:00:00+08:00

ANN tags:
clojure
project
python published: true comments: true

Inspired by meh's Ruby-Clj module, I created the python equivalent "pyclj" last weekend. Pyclj is a clojure literal reader/writer for python. It enables data exchange between python and clojure, in a clojure-native way. It's Valentines Day today, I'd like to release it as the gift of python to clojure :)

The API is very simple. It's all like python's data modules (json, pickle)

[cc lang="python"]
import clj

clj.loads("[1 2 3]")
clj.dumps({"a":1, "b":2})
[/cc]

Clojure types are mapping to python data structures :

Clojure	Python
list	list
vector	list
set	set
map	dict
nil	None
string	string
int	int
float	float
boolean	boolean
char	string
keyword	string

But how we win clojure's heart from ruby?

We are faster.

Considering clojure literal below:
[cc lang="clojure"]
[1 2 3 true false nil {:a 21.3 :b 43.2} "Hello"]
[/cc]

Comparing ruby-clj(0.0.4.5, ruby 1.9.3p0) and pyclj(0.1.3 python 2.7.2):
[cc lang="ruby"]
require 'clj'

s = "[1 2 3 true false nil {:a 21.3 :b 43.2} \"Hello\"]"

t1 = Time.now()
for i in 0...10000
Clojure.parse(s)
end
puts Time.now()-t1
[/cc]

[cc lang="python"]
import clj
import time

s = "[1 2 3 true false nil {:a 21.3 :b 43.2} \"Hello\"]"

t1 = time.time()
for i in range(10000):
clj.loads(s)
print time.time()-t1
[/cc]

The result:
ruby: ~~13.451157809~~ python: ~~0.712423086166~~ Edit 20120216 13:30
ruby-clj 0.0.5.3 has resolved the performance issue :)
The new result ruby-clj/0.0.5.4 Vs pyclj0.1.4 (on my laptop):
ruby-clj: 2.044872364
pyclj: 1.19659209251

The project is hosted on github. Feel free to join the development and enhance it.

HeatCanvas performance enhanced

2012-02-11T00:00:00+08:00

ANN tags:
heatcanvas
html5
javascript
project
web published: true comments: true

时隔半年日日沉浸在clojure世界里的时候，多亏了github上Daniel Azuma的提示，现在HeatCanvas通过Image Data数组来绘制图像。过去由于不太熟悉Canvas API，我用的是fillRect来填充1像素大小的区域，模拟像素的渲染。但是这种方式导致浏览器渲染的效率非常低。

ImageDataArray允许用户开辟一个固定大小的buffer，并设置每一像素的像素值，然后一次性地渲染到canvas上。详情可以参考这里：Pixel manipulation with canvas

这次性能的提升基本没有影响API，唯一的区别是如果原先自定义了value-color的映射函数的话，现在不再接受hsl的css字符串了，新的API需要你返回一个四个元素的数组，分别代表h, s, l, a，值域[0-1]。

感谢关注HeatCanvas的朋友。

'China Clojurians Meetup #2 is calling you'

2012-02-09T00:00:00+08:00

当时 tags:
Beijing
clojure published: true comments: true

大家期待已久的第二次Clojure中国用户聚会来了，这次聚会将在三月初的北京举行。感兴趣的朋友请猛击这里报名。如果你有任何关于Clojure的心得，都欢迎加入分享，不要害羞～和上次一样本人会继续抛砖继续不害羞，介绍我的RPC框架Slacker。

For English readers:
If you are interested in Clojure and also living in Beijing, feel free to join our meetup. Please register here. We will see you there!

Slacker Cluster

2012-02-04T00:00:00+08:00

ANN tags:
clojure
project
slacker published: true comments: true

Cluster support is one of the big thing in slacker 0.6.x. Cluster enables high-availability and load balancing on slacker client and server.

Slacker cluster has a centralized registry, a zookeeper node, stores information of all the namespaces and servers instances in the cluster. Once a client declared remote functions, by calling `defn-remote` or `use-remote`, it reads all available servers offering that namespace from the registry and create connection to each of them. We the user issues a request, the client randomly pick up a connection from them. So the load is eventually distributed to every instance of slacker servers. And thanks to zookeeper's notification feature, the client watches certain znode. It will be notified when 1. a connected server goes offline 2. a new server serving required namespace added into the cluster. Thus you don't have to change client code or restart client when server changes.

To start a slacker server and add it to a cluster, you have to provide cluster information using the new :cluster option:
[cc lang="clojure"]
(start-slacker-server (the-ns 'slacker.example.api)
2104
:cluster {:zk "127.0.0.1:2181"
:name "example-cluster"})
[/cc]

:zk is the address of zookeeper node
:name is a znode qualified string, to identify the cluster

On the client side, it's important to use APIs from `slacker.client.cluster` instead of `slacker.client`:

[cc lang="clojure"]
(use 'slacker.client.cluster)
;; arguments: cluster-name, zookeeper address
(def sc (clustered-slackerc "example-cluster" "127.0.0.1:2181"))
(use-remote 'sc 'slacker.example.api)

;; call the function from a random server
(timestamp)
[/cc]

If all servers provide 'slacker.example.api go offline, slacker client will raise a "not-found" exception.

Slacker cluster is also designed with simple and clean in mind. You don't have to change you business code to make it remote or cluster. Everything is transparent and non-invasive. Enjoy it.

'Slacker 0.6: Exposing multiple namespaces'

2012-02-03T00:00:00+08:00

ANN tags:
clojure
project
slacker published: true comments: true

After 98 commits in about one month, I'm glad to announce [slacker "0.6.1"].

One thing in slacker 0.6.x is you can expose multiple namespaces from a single server.

Suppose you have two namespaces `redday.stats` and `redday.api`, both contains functions you want to expose.

[cc lang="clojure"]
(start-slacker-server [(the-ns 'redday.stats)
(the-ns 'redday.api)]
6565)
[/cc]

This will expose `redday.stats` and `redday.api` on port 6565.

On the client side, we have a new `use-remote` behaviors like clojure's use. Instead of local one, it imports functions from a remote namespace to your current namespace.

[cc lang="clojure"]
(use 'slacker.client)
;; create a slacker client
(def scp (slackerc "127.0.0.1:6565"))

(use-remote 'scp 'redday.api) ;; caution, use the symbol of 'scp here
(use-remote 'scp 'redday.stats)

;;top-titles is a function in redday.api
;;now you can use the remote function transparently
(top-titles "programming")

;;check function metadata you can find more slacker properties
(meta top-titles)
[/cc]

If you need to configure callback to a particular function, you can still use `defn-remote` to specify the callback function. In slacker 0.6.0, a `:remote-ns` is required when you define such a remote function.
[cc lang="clojure"]
(defn-remote top-titles :remote-ns "redday.api" :callback #(println %))
[/cc]

The complete code example (both server and client) can be found here.

In next post, I will explain another big new feature of 0.6.x, cluster support.

爬山！

2012-02-01T00:00:00+08:00

自话 tags:
Life published: true comments: true

今天是2月1号，本人决定从今天开始到月底的每个工作日中午去爬山锻炼身体，以摆脱目前体重极速增长的困局。口说无凭，立此为据。

[mapsmarker marker="2"]

ClojureDocs Android App

2012-01-24T00:00:00+08:00

ANN tags:
android
clojure
github
project published: true comments: true

利用春节的假期写了一个Android应用，可以在ClojureDocs.org上搜索clojure API，浏览文档、源代码和社区贡献的代码实例。ClojureDocs在我学习Clojure的过程中起了很大的作用，所以我想这个网站应该对很多人有用。

无暇去学习Android平台上繁琐的知识，不过好在有Phonegap这样的框架，可以把网页应用转化为本地应用，并且提供访问本地设备的API。通过Phonegap开发的程序还可以直接移植到iphone平台上。ClojureDocs Android就是运行在Phonegap中。

首页：

搜索界面

API函数界面

你可以从github获得代码和签名过的apk：https://github.com/sunng87/clojuredocs-android

Known Issue，phonegap程序在屏幕旋转时会崩溃，已经在2.3和3.2上重现，目前还不清楚具体的原因。(Edit 20120127: Fixed in 1.0.4)

欢迎任何的pull request。

'OpenStreetMap Nanjing: A Year of Edits'

2012-01-19T00:00:00+08:00

装备 tags:
OpenStreetMap published: true comments: true

这是2011年OpenStreetMap上，南京的编辑情况。高亮的部分是2011年创建或更新的要素。从这张图上可以看出最近的这一年，南京的数据从无到有到逐渐的完善，这里面倾注了本地几位贡献者结结实实的心血。

对这个可视化感兴趣，可以参考这里的代码和样式表。

Clojure on CloudFoundry

2012-01-13T00:00:00+08:00

装备 tags:
clojure
cloudfoundry
web published: true comments: true

In this article, I will show you how to develop and deploy clojure web application on CloudFoundry. As you may know, CloudFoundry is an opensource PaaS backed by VMWare. Java, Ruby and Nodejs are officially supported. As a JVM language, clojure is born to be also available on this platform, although it's not listed.

CloudFoundry accepts a .war file for Java web application deployment. So you don't need the ring-jetty-adaptor and a procfile as heroku requires. To help your development and deployment, I strongly recommend the lein-ring plugin:

[cc lang="clojure"]
:dev-dependencies [[lein-ring "0.5.4"]]
[/cc]

CloudFoundry provides backend services like mysql, redis, mongodb and more. The connection information are stored as environment variables. Here you can find a subset of them.

Take mongodb as example, connection information (host, port, username and password) are encoded as JSON, stored in environment variables. You can get them with this function:
[cc lang="clojure"]
(defn mongo-config [key]
(if-let [services (System/getenv "VCAP_SERVICES")]
(let [services-dict (json/read-json services false)]
(-> services-dict
(get "mongodb-1.8")
first
(get "credentials")
(get key)))))
[/cc]

In the server bootstrap function, create the mongodb connection:
[cc lang="clojure"]
(defn app-init []
(def db-conn (make-connection
(or (mongo-config "db") "lazypress")
:host (or (mongo-config "hostname") "localhost")
:port (or (mongo-config "port") 27017)))
(when-not (nil? (mongo-config "username"))
(authenticate db-conn
(mongo-config "username")
(mongo-config "password")))
[/cc]
By adding check for nil, local databased is also supported. This is pretty convenience for local development. These environment variables are consistent on all cloudfoundry application, so it's possible to deploy the application on multiple accounts without any changes.

Then you can add your web stuff just like standard clojure web development. (If you are using compojure, place your static files under resource/public.)

Finally, package it. (Suppose your application is named as "lazypress")
[cc lang="bash"]
lein ring uberwar lazypress.war
[/cc]

Use the vmc tool to deploy it:
[cc lang="bash"]
vmc update lazypress
[/cc]

For more usage about the vmc tool, you can read this article.

So you have finished deploying your clojure web application to cloudfoundry.

Backed by spring and vmware, cloudfoundry is more Java-friendly than other PaaS like heroku. You don't have to start a Java process by yourself ("lein run" isn't a graceful way to start your app in product environment). And you don't have to worry about your web container settings (configure jetty with limited options via ring-jetty-adaptor). All you have to do is package the application as a portable war file, which you can deploy to tomcat, glassfish, and also cloudfoundry. The vmc tool could detect you war file and handle it correctly.

'Weekend Project: LazyPress'

2012-01-08T00:00:00+08:00

ANN tags:
cloudfoundry
project
web published: true comments: true

发布一个典型的weekend project, 名字叫做LazyPress.顾名思义,这是一个在线的写作系统. 取名Lazy, 除了因为它用Clojure写成,更因为他的简单: 没有繁琐的注册,没有繁琐的分类tag,没有繁琐的格式化,无论是使用还是开发都力求做到最简单.
LazyPress采用Mozilla刚刚发布的BrowserID. 技术作为账号系统, 用户只需要在首次登录后提供一个ID即可(原本这一步也可以省略, 但是为了保护您的邮箱隐私, 现在需要一个LazyPress专用的ID). 这样LazyPress本身不存储用户的密码,也简化了用户账号管理的代价. BrowserID的登录流程非常简单, 速度也比传统的OpenID和OAuth要快, 用户体验要比多次跳转好很多.
LazyPress使用Markdown进行文本格式化, 简单的编辑器可以支持绝大多数格式的要求. 另外,在浏览器后台LazyPress使用HTML5 LocalStorage技术自动保存用户的文本草稿, 如果用户没有成功发布, 可以在下次浏览器打开时进行恢复.

LazyPress后台存储采用mongodb. 正是mongodb的schema free特性降低了项目功能重构的成本, 促进了人们更快更频繁地优化产品的模型. 这应该是文档型数据库之于传统关系型数据库最大的优势. (犹如git之于svn, 开分支的成本要低得多, 看似是一个普通的功能改进, 实则鼓励促进了开发人员通过开分支实现自己的修改)
LazyPress运行在最近发布的compojure 1.0.0和ring 1.0.0上, 打包为标准的Java web应用直接部署在cloudfoundry上. 前端继续使用的是我偏爱的Mootools库, 因为使用了很多新的浏览器技术, 所以目前只能保证在最新的Firefox和Chromium/Chrome上正常使用.

Fork me on github: http://github.com/sunng87/lazypress

slacker 0.4.0 released

2012-01-04T00:00:00+08:00

ANN tags:
clojure
project
slacker published: true comments: true

Slacker 0.4.0 has been released to clojars.org . There are new features and breaking changes in this release.

Breaking Changes

New maven coordinator: [slacker "0.4.0"] (groupId renamed to slakcer)
defremote renamed to defn-remote
SlackerException removed. slacker now uses slingshot for exception handling
Rename :async option of defn-remote to :async?

What's new in 0.4.0

Add new serialization type :clj
New interceptors: execution time stats, args logger, slow watch dog
New HTTP interface
Server inspect commands

utility functions/macros defn-remote-all, defn-remote-batch and meta-remote

Get more information on github.

Code 2011

2011-12-31T00:00:00+08:00

当时 tags:
Life
programming published: true comments: true

成功人士是不写总结的，所以我来写个总结。

今年的coding从ABAP开始，这个很多人现在不知道以后也不用知道最好永远也不要知道的语言和他的平台，是一个脱胎于Pascal，在发展过程里又杂糅了SQL和C++的怪物，最后几乎变成了满屏幕关键字。再加上缺乏文档，实在是一段不堪回首的记忆。

3月份开始，我又重新开始了一个python项目叫做jip，他兼容maven，可以与virtualenv和setuptools集成，帮助你解决jython项目的java依赖，简化jython项目的发布，提高工作效率。这个小工具倾注了我不少时间，如果你某一天要和jython打交道的话，可以试试看。

今年还尝试了coffeescript，它恰到好处地消除了javascript里一些ugly的部分，大大提高了编码速度。我用它改写了网站首页的js。

6月份我又重拾起1年前的javascript库heatcanvas，和lbt05协作完善了程序。通过HTML5的Web worker API改善了渲染canvas时的用户体验，增加了对Google Maps，OpenLayers,Baidu Map以及Leaflet的支持。这个项目的介绍被顶到hackernews的首页，这是一种前所未有的感觉。

7月份开始迎来了一个重大的转折。断断续续学习了一年半的clojure，终于开始写第一个库，reddit.clj，用clojure封装reddit网站的API。通过这个入口算是真正走进了clojure的世界，七月底reddit.clj基本完成之后我开始写他的第一个应用，rageviewer。这是个clojure的web项目，借着这个契机又接触了compojure和ring。而且写rageviewer的时候恰逢clojurescript公开，一不做二不休，于是这个项目就成了一个full stack的clojure项目：前后端都是clojure。最后rageviewer部署在当时刚刚开始邀请测试的cloudfoundry上。

8月参加了在上海的cn-clojure列表第一次聚会后，我开始用clojure克隆一个已有的并不复杂的程序，当时选择了beanstalkd，一个轻量级的task queue。这个项目取名为clojalk。最后它成功地支持了beanstalkd协议的所有命令，支持了通过Write-ahead log做持久化和恢复。这个项目用到了aleph，见识了一把clojure思维下的网络编程。

另外我还帮clojure-control写了一个leiningen的插件，现在这个插件已经合并到clojure-control项目里了。clojure能有这么快的发展，leiningen作为构建工具也有很大的帮助。就好比上半年做jip时，感受到jython的小世界里就没有一个好的方案来同时解决java和python的项目管理问题，而且人们也不重视这个问题。

年底还有一个clojure RPC框架的诞生，这个项目叫做slacker。项目还没有到总结的时候，我的org file列表上还有一长串的TODO。

总得来说，我觉得今年学习clojure的这个过程很有借鉴价值。对于一个新语言新平台新生态系统，如何入门并且getting real。你可以从一个功能简单的库开始，比如包装一个网站的API，或者（对于clojure来说），包装一个已有的java的库。在完成之后，利用这个库，写一个web应用，进而去了解这个平台上的web开发。再下一步，可以去克隆一个其他平台上的项目，规模不要太大。如此循序渐进，学习的效果很不错。另外，无论做了什么，只要是有用的，就应该说出来，这不仅是自我鼓励，有时候也能找到志同道合的朋友一起参与。

最后除了clojure之外，今年还接着gnome-shell的发布和更新，接触了gnome-shell的gjs扩展开发。又是一个不堪回首的平台，也许是还没有finalize吧，没有任何文档，而且一个平台上的库连变量拼写的风格都不一样！我是不会再浪费时间了，当然，以后的这个豆瓣电台的control还是会继续跟着gnome-shell的发布一直维护的。

除了上面提到的，今年还尝了一些groovy，common-lisp，甚至octave，不管怎么说都算是一个big year了。但愿明年能把这种状态保持下去，享受这种愉悦。

使用Enlive作为模板引擎

2011-12-29T00:00:00+08:00

手艺 tags:
clojure
web published: true comments: true

在所有的clojure web开发例子里，对模板的介绍都很少。很多的简单例子都是以hiccup作为页面生成的手段。hiccup是个clojure的html DSL，例子里用这样的DSL生成页面确实很酷，可是他是real world吗，当然不是。

好在clojure世界里早就有了enlive，它不仅是一个通过css selector解析html的库，本身也可以作为模板引擎应用在web开发中。我不知道这种通过css selector的方式是否是enlive首创，不过他实在是非常新颖独特，而且平滑了页面设计和程序的集成。

例如这样一个模板 index.html：
[cc lang="html"]

Sample Text

[/cc]

在clojure程序中，使用enlive的deftemplate
[cc lang="clojure"]
(deftemplate index "index.html"
[ctx]
[:div#cc] (content (:data ctx)))
[/cc]

在控制器里，可以很MVC地渲染页面
[cc lang="clojure"]
(index {:data "rendered text"})
[/cc]

除了content用于渲染文本，还有html-content可以渲染含html标签的内容，以及set-attr用来修改页面元素的属性。

和传统的模板引擎相比，最大的不同是enlive里没有嵌入模板的直观的控制流，没有循环和条件判断，但是并非不可实现。

循环输出一组list

页面 list.html
[cc lang="html"]

[/cc]

定义一个enlive的snippet
[cc lang="clojure"]
(defsnippet item-model "page.html" [:.list-item]
[ctx]
[:.list-item] (content (:data ctx)))
[/cc]

在页面模板里
[cc lang="clojure"]
(deftemplate list-page "list.html"
[ctx]
[:ul#the-list] (content (map item-model (:some-list ctx))))
[/cc]

这样在页面里列表项会被循环输出，而在页面设计时这里可以放任意个li，并且直接交给后台作为模板。

条件判断

页面，设计时显示所有的内容 msg.html
[cc lang="html"] 只在一定条件下显示 [/cc]

在模板中通过clojure的if进行判断
[cc lang="clojure"]
(deftemplate msg "msg.html"
[ctx]
[:span#msg] (if (:show ctx) identity (html-content "")))
[/cc]

解决了这两个问题，基本上用enlive作为模板引擎就没有障碍了。不过enlive也有一点小问题，其一可能是性能的问题，方便的selector显然要比传统的模板语言消耗更多的CPU。另外，在开发过程里，页面文件在服务器启动后不能热加载，修改页面必须重启ring才能看到。也许有时间的话，可以给它加一个reload选项。

Roar for mootools 1.4

2011-12-24T00:00:00+08:00

装备 tags:
github
javascript
mootools published: true comments: true

早在天下大势还处在分久必合的时候，那时候mootools还有不少简单实用的小库，比如我今天搜索"mootools notification"就找到这个08年的库叫做Roar。不过遗憾的是从那以后，这个库就再也没有更新过了。

Mootools本身也沉寂了很久，这个项目恐怕也要思考自己未来的发展方向了。今年9月Mootools迈进了1.4，API上有一些变化。现在的下载页也能看到with/without backward compatibility的版本分开下载。为了用上Roar，我尝试了这两个版本发现都不能使用。最后downgrade到1.2可以确定Roar本身在当时是没有什么问题。

这么多年对mootools痴心不改，所以顺手维护了一下Roar，现在可以在1.4 without compatibility的发布下运行了。主要是几个小修改，大多是一些多年deprecated函数被正式删除：

Type常量，原先的String.type，Object.type现在统一到一个Type对象下，变成Type.isString和Type.isObject
$empty 常量被删除了，现在直接用function()或Function.from()代替
$pick 方法被Array.pick取代，参数现在也必须接受数组类型了

$merge 方法被Object.merge取代

$type 被typeOf取代

函数对象的create方法被删除了，现在可以用函数对象的bind方法替代

Browser.Engine 被删除了，需要用其他Browser的API替代

修改后的Roar，放在这个gist里，测试过可以在firefox和chromium上健康使用。IE没有做测试。这个08年的库，眼看四年过去了，用起来依然不错。

作为mootools的铁杆，我还是会一直专一地坚守下去的。（于是，我也已经变成了多年前那些我眼中为旧事物顽抗到底的老家伙了）

TF101 101

2011-12-22T00:00:00+08:00

装备 tags:
pad published: true comments: true

上周末决定不再忍耐，又入了一个大件：华硕的平板，变形金刚。TF101上市已经半年了，而且现在TF102号称四核的版本已经开始接受预订了，所以差不多也到了应该出手的时候了。因为我知道如果去等102的话，我还会像现在这样地去和103做比较。

选择这款的主要原因即他的键盘配置，平板加键盘的组合彻底把上网本推进深渊。对于我这种还算是制造内容比率比较高的人来说，有个强有力的输入设备是必要的。目前市面上有这种搭配的只有transformer和think的，而且think似乎又只有配图和说明，没见真正卖那款键盘的。更严重的是，当然，think太贵了。

接下来开始说问题：
第一关叫做充电。TF101在充电方面有严重的缺陷。当电池电量极低时，会出现无法充电的情况。明明接着电源，可是电量提示一直是0%。如此情况下我整整充了一天拔下电源依然无法开机。最后看了网上的说法，在充电自动开机后关机了半个小时终于起死回生。

第二个小问题，键盘底座的平板本身电源是分离的，二者各自充电。所以在前面〝整整充了一天〞之前还有整整充了一晚上键盘。早晨起来键盘电满了，平板没充进去。

系统出厂是Android 3.0，这个系统的伟大之处在于从他一启动开始，就开始不断有程序报出错退出，不断有应用停止响应。他简直都对不起这个版本号。直到后来充上电升级到3.2之后才可以用。但是，还是有浏览器突然僵死然后突然从眼前消失的场面。再有就是机捆绑的什么人人网，电子书，开心网什么的，让你想不root都不行。

再有andrid 3.x上应用可能本来就不多，随机捆的又是一个流氓市场，除了满眼的流氓软件和山寨以外，就是版已经过时的软件。可怜这挺好一机器都不知道该装点什么。要说TF101硬件已经很可以了，只是配上这么个系统，用范伟的话说，白瞎你这个人了。手放键盘上，真恨不得能打开个终端来挡住这个浅薄的外观。等有时间我一定要尝试在这台机器上装个正经系统。也算是对得起这硬件了。

一句话概括一下的话，硬件还好，软件拉倒。

Finished my machine learning courses

2011-12-19T00:00:00+08:00

自话 tags:
course
ml published: true comments: true

经过三个月的时间，终于看完了ml-class的所有视频课程，完成了所有review questions，提交了所有programming exercises.感觉不错，之前一直对数据挖掘相关的方面感兴趣，回想一下大学时候一些地统计分析甚至遥感图像数据处理的课都跟机器学习相关，但是毕竟不是这方面的课程，所以介绍的不是很系统。今年秋天斯坦福推出这个在线课程，机器学习作为其中之一真算是弥补了我们民间科学爱好者的遗憾了。

这个课程在有限的篇幅里涵盖了linear regression, logistic regression, ANN, SVM, PCA, K-Means, Anomaly Detection等等知识，基本上算是一个完整实用的导论。Andrew Ng教授的讲解也算是通俗易懂深入浅出，完全感觉不到什么门槛。

对于online course这种形式，今年秋天斯坦福的人工智能、数据库、机器学习也算是首开先河，目前这三门课程都已经结束，网上的反响非常强烈。好消息是明年Q1斯坦福还有更多数量更多方向的课程。今天MIT也宣布了明年的online course计划，他们也将加入提供在线课程的行列。而且，MIT的在线课程还会颁发一个名叫MITx的certification。开放式课程已经成为大势所趋，信息本应自由传播。

对于对机器学习感兴趣的朋友，除了ml-class.org上的资源，你还可以在academic earth上找到ANG教授的授课视频。这套视频涵盖的内容比ml-class上的更详细完整： http://academicearth.org/courses/machine-learning

课程结束，我在ml-class上所有的编程作业都已经放在bitbucket上，如果有兴趣可以参考这些octave程序： https://bitbucket.org/sunng/ml-class

明年一月斯坦福还会开放更多跟机器学习相关的课程，包括：

Probabilistic Graphical Models pgm-class.org
Natural Language Processing nlp-class.org

Thank you, Professor Ng and your team for this well-prepared, high-quality online course.

Extend slacker server with interceptors

2011-12-18T00:00:00+08:00

装备 tags:
clojure
github
project
slacker published: true comments: true

An interceptor framework was introduced in slacker 0.3.0. It's designed to allow user to add custom functionality without hacking into the internal of slacker.

Like many server frameworks, slacker abstracts the request processing as a pipeline. The request object is modified by adding or updating attributes through each node of the pipeline. So it's easy to add your interceptor into the pipeline, with which you can get the data before and after function executed.

To create such an interceptor, you should use the slacker.interceptor/definterceptor macro and slacker.interceptor/definterceptor+ macro:

(definterceptor name
:before interceptor-function
:after interceptor-function)

(definterceptor+ name [arguments]
:before interceptor-function
:after interceptor-function)

definterceptor+ can accept arguments so you can configure the interceptor when you use it.

See a simple example:
[cc lang="clojure"]
(definterceptor log-function-call
:before (fn [req] (println (str "calling " (:fname req))) req))

(definterceptor+ log-function-call-prefixed [prefix]
:before (fn [req] (println (str
(if (fn? prefix) (prefix) prefix)
" calling "
(:fname req)))
req))
[/cc]

Then, add it to your slacker server by
[cc lang="clojure"]
(use '[slacker.interceptor])
(import '[java.util Date])
(start-slacker (the-ns 'slapi) 2104
:interceptors (interceptors log-function-call
(log-function-call-prefixed
(fn [] (.toString (Date.)))))
[/cc]

Now you can log every function call of your slacker server.

For more detail about the interceptor framework, especially the request data, please check the wiki page.

In slacker 0.3.0, there is a built-in interceptor to stats function calls. You can find it at slacker.interceptors.stats. The stats data is expose via JMX. You can also write monitoring application to retrieve the data.

And there will be more built-in interceptors in 0.4.0, includes function call time stats and logging.

使用Clojure Thread Macro的心得

2011-12-16T00:00:00+08:00

手艺 tags:
clojure
macro published: true comments: true

Thread Macro是clojure里一个很强大的宏，他帮助你简化嵌套函数的调用，比如
[cc lang="clojure"]
(str (inc (count [:a :b])))
[/cc]
就可以利用thread macro简写成
[cc lang="clojure"]
(-> [:a :b] count inc str)
[/cc]

->>和->类似，区别在于->>把值作为函数的最后一个参数传入。

简单的功能介绍完了，接下来就遇到问题了。我需要功能，能够接受一个或多个函数，然后把这些函数组成一个pipeline。这时很自然想到->是一个好帮手。也许只需要一个类似这样的form就可以了： #(apply -> % [funcs])。结果失败了，因为->是个宏，所以根本不能用apply。于是想到有apply-macro吗？有，或者说曾经有过。在contrib中曾经有一个apply-macro，不过被强烈不推荐使用。到这里，这条路堵死了，惟一的办法就是把->放到API之外，放到用户代码里去。

放到用户代码里，你需要写一个详细的说明文档并且告诉用户他必须这么做。然而在clojure世界里有一个更好的办法就是再写一个宏把->包装起来。这么做看似多此一举，其实是保持了API的一致性。通过宏，我们可以把自己的API延伸到用户代码中去。或者说，通过一个类似DSL的宏，给一些并不优雅的API一个缓冲，也为API日后的演化留下空间。

这里还要扯开一句关于宏的开发。clojure中所谓code is data，主要就是体现在宏里。原本在多数其他语言里，宏是不能求值的。但是在clojure里，由于code is data的缘故，宏是可以求值的。所有的输入数据都是list，你可以做first/reverse这样的操作。但是有一点要注意的是，宏中求得的值和代码里的值是不一样的。例如{:a inc}这样一个字面量，在宏里是可以通过:a做求值的，然后这里得到的并非一个函数（function），而是一个符号（symbol）。再者，调试宏的时候你可能会被这样的结果困惑：
[cc lang="clojure"]
(defmacro a [f] (println (:a f)))
(a {:a 1}) ; ==> prints 1
(def b {:a 1})
(a b) ; ==> prints nil
[/cc]
字面量可以，同值的变量就不行了。原因还是那句，宏里不能求值。

继续谈->。这个宏其实远没有你想象的那么驯服。遇到复杂一点的情况：
[cc lang="clojure"]
(def m {:a inc})
(-> 2 (get m :a) str)
[/cc]
这个写法对吗？str是个函数，(get m :a)返回的是inc也是个函数，貌似正确。运行之后却报错get的参数数量错误。所以千万不要忘了->是个宏，(get m :a)这里是不会求值到inc的，直接作为一个list被宏吞下去。在宏里只能通过符号的组合变化来生成代码，那么一不小心，就没有inc什么事了。

于是，你可能想到这里需要一个确切的函数，就好比这样：
[cc lang="clojure"]
(def m {:a inc})
(-> 2 (fn [x] ((get m :a) x)))
[/cc]
也许这样就好多了，我们放了一个匿名函数，并不要求宏去求值，因为这个匿名函数会被宏生成到新的代码里。里面的get也会在运行时求值。看似没什么问题，可是一运行还是没有期待的结果，居然返回了一个匿名函数！而对这个匿名函数求值得到的也是一个错误的结果！简直有点无厘头了。

呵呵，不故弄玄虚了。我们用macroexpand看看发生了什么。

这是用匿名函数包装以前
[cc lang="clojure"]
(macroexpand-1 '(-> 2 (get m :a)))
(get 2 m :a)
[/cc]
->居然只是简单地把2放到了get这个form里面！

再看看用匿名函数包装后的结果
[cc lang="clojure"]
(macroexpand-1 '(-> 2 (fn [x] ((get m :a) x))))
(fn 2 [x] ((get m :a) x))
[/cc]
和刚才一样，2被放到了第一个form的第一个参数位置！得到的是一个非法的form。

那么既然->只是简单地把第一个参数放到后面form的首个参数的位置，那么这个宏正确的使用方法其实是
[cc lang="clojure"]
(def m {:a inc})
(-> 2 ((fn [x] ((get m :a) x))))
[/cc]
再加一层括号！
[cc lang="clojure"]
(macroexpand-1 '(-> 2 ((fn [x] ((get m :a) x)))))
((fn [x] ((get m :a) x)) 2)
[/cc]

可见，->虽然是个功能强大的宏，但宏终归只是宏，和函数的区别是明显的。在使用的时候，不能完全按照函数的习惯。

如果你想了解实际的代码，可以参考slacker 0.3.0里的这个interceptor框架： https://github.com/sunng87/slacker/blob/master/src/slacker/interceptor.clj 上面提到的难处，多半也都是在开发这个框架时亲身经历的。

slacker 0.2.0 is out

2011-12-10T00:00:00+08:00

ANN tags:
clojure
java
project
slacker published: true comments: true

Slacker 0.2.0 has been pushed to clojars today. Connection pooling and json serialization are available in this release.

Connection Pool

Generally, pooling connection is a good idea in high concurrence application. To make slacker for real world, connection pool support is a high-prioritized feature in its development. The new connection pool is backended by commons-pool which you might familiar with. To use connection pool, just create slacker client with a new function `slackerc-pool`

[cc lang="clojure"]
(def scp (slackerc-pool "localhost" 2104))
[/cc]

Then you can use this pool just like a single client.

Some options are available to configure the pool by your wish:

:max-active, max connections opened by the pool
:exhausted-action
- :fail throw an exception when pool exhausted.
- :block block current thread and wait until max-wait exceed (throw an exception)
- :grow automatically create new connection and add it to pool

:max-wait max wait time before throwing an exception

:min-idle minimal number of pool hold idle connections

The options are inherited from GenericObjectPool, you can find detailed information from their javadoc.

JSON Serialization

slacker just added json serialization provided by clj-json. According to my test, clj-json is 1x faster than carbonite in serialization.
[cc lang="clojure"]
(def sc (slackerc "localhost" 2104 :content-type :json))
[/cc]

However, with json serialization, you may lost some clojure types like keyword and set in type conversion. You should be caution when using json as serialization method.

In next release, I am planning to use fastjson as json lib which provides option to write type name into json so it could be a full featured serialization for clojure. And fastjson is claimed even faster than jackson.

Performance

slacker gains high performance with its non-blocking server, serialization and direct function call. As tested on a dual 6 core server, it reaches 10000+ TPS for a single client (50 connections, 50 threads). The server just use 35% CPU so I consider it could have even more TPS if there is two or more client machines.

So if you are interested in some benchmarks, you can test it with client like this. All the requests are using synchronous call because I believe it's the most common case you use slacker.

Next steps

Inspired by discussion in cn-clojure mailing list, I'm going to add HTTP transport for slacker. With HTTP transport, it's easier to debug and evaluate your clojure functions, it also makes slacker available to ClojureScript.

At lst, thanks Zach Tellman for reviewing my client code.

从GNOME网站安装exaile-doubanfm-gnome-shell-extension

2011-12-03T00:00:00+08:00

装备 tags:
gnome
linux
project published: true comments: true

最近GNOME发布了期待已久的extension.gnome.org，这个网站允许你直接通过浏览器安装和管理gnome-shell扩展，有点类似app store的感觉，混乱的~/.local/share/gnome-shell/extensions/终于有了一个官方的界面。

网站开通的第一时间，我提交了exaile-doubanfm-gnome-shell-extension，经过review和修改，这个扩展也得到了进一步的完善，适配了gnome-shell 3.2的风格。

你可以从这个地址直接安装启用 https://extensions.gnome.org/extension/24/exaile-doubanfm-control/

它会在exaile douban.fm启动后显示一个菜单在gnome-shell上，你可以通过这个菜单进行基本的操作。

如果喜欢，别忘了在extension.gnome.org上vote一下：）

Slacker 0.1.0 is out

2011-12-02T00:00:00+08:00

ANN tags:
clojure
project published: true comments: true

Glad to roll out the first release of the slacker framework. Slacker is a clojure RPC framework on top of a TCP binary protocol. It provides a set of non-invasive APIs for both server and client. The remote invocation is completely transparent to user.

In addition to APIs introduced in last post, asynchronous approach is supported in client API :
[cc lang="clojure"]
(defremote remote-func :async true)
@(remote-func)
[/cc]
If you add option `:async` to defremote, then the function facade will return a promise. You have to deref it by yourself. Also you can use the `:callback` option in defremote to specify a callback function.
[cc lang="clojure"]
(defremote remote-func :callback #(println %))
(remote-func)
[/cc]

This gives you much more flexibility of using remote function. But be careful it will break consistency between local and remote mode.

To use slacker, add it to your project.clj
[cc lang="clojure"]
:dependencies [[info.sunng/slacker "0.1.0"]]
[/cc]

You can find examples on the github page.

Exaile豆瓣电台插件0.0.11发布

2011-12-01T00:00:00+08:00

ANN tags:
Douban
project
python published: true comments: true

很高兴时隔半年后我继续发布了Exaile豆瓣电台插件的更新，从第一个版本发布到现在已经有一年半的时间，这期间豆瓣电台插件已经陆续出现在Rhythmbox、Banshee等播放器上。作为第一个视图把豆瓣电台移植到本地的尝试，我感到甚是欣慰：）

这次的更新修正了长久依赖困绕用户登录问题，现在我们有一个专门的界面来输入验证码。这个功能要感谢DigitalPig用户在github的报告（鞭策作用），此外，我参考了豆瓣电台banshee插件的实现，节省了研究含验证码登录的时间，感谢。总而言之，没有用户的推动，这个项目也不会坚持这么久。

除此之外，插件还有一些支持了新的豆瓣说的推荐，优化了播放列表载入的策略。

另外值得highlight的是，对应的gnome-shell扩展发布了0.0.2版本，唯一的更新是专辑封面现在会显示在gnome-shell的菜单中。

你可以从github获得最新的插件和gnome-shell扩展：

exaile-doubanfm-plugin 0.0.11-captcha: https://github.com/sunng87/exaile-doubanfm-plugin/downloads
exaile-doubanfm-gnome-shell-extension 0.0.2: https://github.com/sunng87/exaile-doubanfm-gnome-shell-extension/tarball/0.0.2

安装豆瓣电台插件请参考这里。gnome-shell扩展直接解压至~/.local/share/gnome-shell/extensions/即可

有任何问题都可以在github或这里留言。

Clojure RPC, prototyping and early thoughts

2011-11-27T00:00:00+08:00

手艺 tags:
clojure
opensource published: true comments: true

Last week, I prototyped an RPC framework, slacker, by clojure and for clojure.

What I did ?

Suppose you have a sets of clojure functions to expose. Define them under a namespace:
[cc lang="clojure"]
(ns slapi)
(defn timestamp []
(System/currentTimeMillis))

;; ...more functions
[/cc]

Expose the namespace with slacker server, on port 2104:
[cc lang="clojure"]
(use 'slacker.server)
(start-slacker-server (the-ns 'slapi) 2104)[/cc]

On the client side, we use the `defremote` macro to create a facade for `timestamp` function. This API will keep the client code consistent with local mode.
[cc lang="clojure"]
(use 'slacker.client)
(def sc (slackerc "localhost" 2104))
(defremote sc timestamp)
(timestamp)
[/cc]

Internally, slacker uses aleph for transport and carbonite for serialization. I forked carbonite and made it compatible with clojure 1.2 because the aleph mainline is still running on 1.2.

Going further

High-Order Functions

In clojure, functions are treated as first class value. Within memory, you can pass function as parameter to another function. However, this is not supported by serialization framework. So is it possible to add support for that in future?

Lazy sequence as parameter

This is another interesting feature in clojure function call. You can pass a lazy-sequence to clojure function. In RPC, it requires parameters to be evaluated on the server side.
[cc lang="clojure"]
(defn get-first [& args] (first args))
(apply get-first (range))
[/cc]
Example copied from StackOverflow

Coordinated states between several remote servers

With RPC, we can update states on several servers. So do we need something like distributed dosync:
[cc lang="clojure"]
(defremote a1 update-a1-state)
(defremote a2 update-a2-state)
(dosync-distributed
(update-a1-state some-value)
(update-a2-state some-value))
[/cc]
I'm not sure if this is a valid scenario in real world but I think it's an interesting topic.(distributed STM?)

Conclusion

RPC is the first step to distributed clojure world. I will keep you updated with my prototype.

Spark in common lisp

2011-11-19T00:00:00+08:00

手艺 tags:
lisp published: true comments: true

还是关于spark的，一石激起千层浪，每个人心中都有一个spark。其实spark脚本刚出来的时候问题很多，但是就是因为产生了共鸣，众人拾柴pull request多。像redis的作者antirez也忍不住自己用c写了一个aspark。

说完了别人的，那么来看看我的：clspark，common-lisp的spark。原本是打算用clojure写，但是想到jvm的启动速度，把这个机会留给我的第一个common lisp程序吧。

其实很简单。

common lisp的核心库里没有split，所以这里从cl-cookbook拷贝了一个split的实现，坦白说我还看不太懂这个loop的写法。loop是common lisp中最尴尬的form，因为他的形式太多。这点在clojure中是不存在的。比较一下就能发现，在语言层面，clojure是相对现代得多的lisp方言。

'My response to Spark: Visualize your mercurial commit history from commandline'

2011-11-16T00:00:00+08:00

ANN tags:
github
hg
opensource
python
visualization published: true comments: true

标题长了些。还是用母语吧。

昨天HackerNews上一个小脚本轰动了，所谓山不在高程序不在小。为了响应这个小脚本，我写了一个更加简单的Mercurial(hg)扩展，帮助你输出hg仓库的提交历史。这个feature和github的直方图有点像，在我看来github的直方图是他们最重要的feature之一，它鞭策着你不断地commit。

安装:将这个脚本放在任意一处，在你的hgrc中添加：
[cc lang="text"]
[extensions]
summary = /path/to/your/script
[/cc]

由于很简单，就不按照mercurial的规范发布了。

再见2011赛季

2011-11-04T00:00:00+08:00

当时 tags:
D60
football
photo published: true comments: true

虽然还有两个月才能结束这个2011年，但是舜天队的赛季已经结束了。经过大半年的鏖战，大起大落之后，最终球队取得了史无前例的第四名，这让我们看了十多年次级联赛的球迷一时间几乎无法接受。今年赶在联赛开始前我换工作回到南京，去主场的机会也比以前上学或是在外地时多了很多，最终今年一共看了6个主场，是看球16年以来最多的一年。当然不出意外明年还要刷新这个纪录！

周三下午请假去球场目送了一下球队。距离明年开赛还有5个月，有一些球员可能转会，有的退役，所以每到最后一轮都是伤离别的时候。只是往年，这个时候都是夕阳西下，三三两两的观众看完无关紧要的比赛鸟兽散去；而今年的最后一轮，我们还为了理论上的一个亚冠机会争取。

2009年加入球队，2011年学习回来后，杨晨是舜天队的领队兼助理教练。在比赛开始前，作为助理教练要带领队员作热身活动。

队员训练。前面两位是去年从降级的长沙金德转投而来的刘建业和任航，刘建业现在也是队里唯一的国脚。两人转会过来以后一直是球队的主力。刘建业负责中场的拦截防守；任航是边后卫，可以胜任左右两边，攻防俱佳。
跟在后面的时候杜文辉和李炽。杜文辉上赛季结束后被国安队清洗，自由转会来到舜天本来希望通过更多的出场机会能获得国家队的席位，结果不料第四轮就重伤缺席了后面的比赛。复出后球队已经更换了教练，不过杜文辉还是舜天队里技术顶尖的球员，经历了一番周折到了赛季末他还是占据了主力的位置。后面李炽是队龄最大的队员之一，2005年从广东来到江苏，伴随球队度过了最艰难的05、06、07年。升级之后，李炽一直在主力和替补之间徘徊，不过最后总能通过努力获得首发的机会。今年李炽合同到期，据说一条微博还让很多球迷以为下赛季他会回到广东，为此，有了这么一条横幅：

中间的9号陆博飞是球队的队长，在球场上的角色有点类似皮尔洛。今年陆队已经32岁了，不过据他昨天在广播里说他的状态还可以再踢两年。20号孙可是队里唯一一个能打上主力的由舜天梯队培养出来的队员，今年孙可也经历了最重要的一个赛季，基本上完成了从替补到主力的转换，在比赛中的作用也越来越重要。

罗马尼亚人达纳拉赫，这位仁兄上半赛季经历了漫长的进球荒，如果不是在场上特别积极，恐怕早就收拾东西走人了。好在从对陕西开和之后，状态越来越好，最终打进13球，在射手榜上排到了第三。

达纳拉赫的诡异爆发得益于身边空降了一名优秀的同伴，塞尔维亚红星队的耶夫迪奇夏季转会来到球队，是球队历史上身价最高的球员（140万美元）。身价在总体上当然还是和能力成正比的，耶夫迪奇半个赛季就打进11个球，是球队在场上最重要的球员。

后防线上，两个外援塔基耶夫（左）和埃雷尔森（右）。前者是乌兹别克国脚，他的哥哥和弟弟都曾经在天津泰达踢球。后者是球队的老面孔，埃雷尔森从09年就加入球队，一直是后防线上的定海神针，今年也是联赛中的最佳后卫。

守门员邓小飞也是09年加入球队，前半赛季一直是替补，后来成为主力之后发挥一直很出色，也是球队后半赛季辉煌的功臣。

替补席上的秘鲁外援略显落寞，因为在球队没有位置明年他将是唯一一名离队的外援，所以也有球迷专门给他感谢

比赛最终没有什么悬念地结束，虽然球队没有获得亚冠的名额，不过今年的成绩已经是18年历史上最佳排名。球迷聚在场外放完烟火，约定明年再战！

lein-control 0.2.1 is out

2011-11-01T00:00:00+08:00

ANN tags:
clojure
project published: true comments: true

I have updated the leiningen plugin for clojure-control 0.2.1. There is no new feature for it as a plugin. But some new features from upstream are supported and should be highlighted:

SSH command DSL

This feature is committed by me and first announced in clojure-control 0.2.1. With this DSL, you can write your SSH command with some predefined macros which is more readable and enjoyable.

For example, an ssh task can be defined as:
[cc lang="clojure"]
(deftask :restart-server "restart your jetty server"
[]
(ssh (cd "/opt/jetty/bin"
(run "./jetty.sh restart"))))
[/cc]

which equals to :
[cc lang="clojure"]
(deftask :restart-server "restart your jetty server"
[]
(ssh "cd /opt/jetty/bin; ./jetty/sh restart"))
[/cc]

For full document of this DSL, please check the README.

Improved syntax for defcluster

ssh/scp/rsync options in defcluster could be written as a vector:
[cc lang="clojure"]
(defcluster :mycluster
:ssh-options "-p 44"
:scp-options "-v"
:rsync-options ["-arz" "--delete"]
:clients [
{ :host "c.domain.com" :user "clogin" :ssh-options "-v -p 43"}
]
:user "login"
:addresses ["a.domain.com" "b.domain.com"])[/cc]
(code quote from official announcement)

Parallel support

Tasks could be executed in parallel if you add option :parallel true on defcluster.

Finally, to use this plugin, add dev-dependency to your project.clj:
[cc lang="clojure"]
:dev-dependencies [[lein-control "0.2.1"]]
[/cc]
More detailed instructions could be found here.

BTW, this is the last release of lein-control as a standalone artifact. I will be working on merging lein-control into clojure-control. Soon you will have a few flexible ways to use clojure-control.

Clojalk SCM Visualization

2011-10-30T00:00:00+08:00

装备 tags:
clojalk
visualization published: true comments: true

最近有一个小工具非常流行（如果我没有火星的话），gource，可以将你的代码历史可视化出来。这里有reddit的代码历史，fogus也把写the joy of clojure做成了这样的视频。

凑个热闹，来看看我的clojalk项目可视化 And the video link on vimeo.

除了一名contributor，只有一个commiter。又是一幕Forever alone。

PS：
gource上的wiki里，ffmpeg如果报错File for preset 'slow' not found的话，去掉ffmpeg的-vpre slow就OK了。

Visualize Reddit upvotes by subreddit

2011-10-27T00:00:00+08:00

把戏 tags:
reddit
visualization published: true comments: true

这是我reddit上所有的upvote在各个subreddit上的分布情况，这个情况还是可以说明我是个普通青年。

排在前几位的分别是

Programming
Linux
Python
f7u12
Clojure
Ubuntu

如果你还不了解什么是Reddit：Reddit是一个巨大的社会书签+论坛网站，他的频道叫做subreddit，每个频道有一个相应的主题，涵盖了从IT技术到新闻到生活的各个角落。

这些数据是通过下面的Clojure程序获得（使用reddit.clj库），并通过jfreechart展现出来的。

普通青年、二逼青年与文艺青年的Java代码缩进

2011-10-26T00:00:00+08:00

自话 tags:
java
programming published: true comments: true

普通青年

[cc lang="java"]
while(true) {
if (something) {
System.out.println(something);
break;
}
} [/cc]
特点： tab与空格混用，无其他特点。
常见于：各类代码仓库。

二逼青年

[cc lang="java"]
while(true)
{

if (something)
{
System.out.println(something);
break;
}

}
[/cc]
特点：总担心代码不够长
见于：各类劣质技术书籍

文艺青年
[cc lang="java"]
while(true)
{
if (something)
{
System.out.println(something);
break;
}
}
[/cc]
特点：普通Java青年永远不会理解的缩进，lisp程序员会心一笑
见于：Clojure源码

Substract a vector from a matrix in Octave

2011-10-21T00:00:00+08:00

把戏 tags:
math
octave published: true comments: true

假设你有一个矩阵：

[cc lang="text"]
A = [1,2;3,4;5,6]
[/cc]

以及一个矢量：

[cc lang="text"]
B = [2,5]
[/cc]

你希望对A的每一行元素对元素地减B，例如第一行
[cc lang="text"]
[1-2,2-5]
[/cc]

但你不希望用循环完成这个工作，那么你可能想到利用B创建一个和A一样维度的矩阵然后进行.-：
[cc lang="text"]
C = [2,5;2,5;2,5]
A .- C
[/cc]

在Octave中可以利用repmat这个函数获得C：
[cc lang="text"]
C = repmat(B, length(A), 1)
[/cc]
但是对于大矩阵来说这是一种对内存的浪费。

更好的方法是利用bsxfun：
[cc lang="text"]
bsxfun(@minus, A, B)
[/cc]

bsxfun在octave的文档中似乎鲜有提及。

丽水留影

2011-10-20T00:00:00+08:00

留影 tags:
D60
Zhejiang published: true comments: true

这周去丽水参加大学同学的婚礼，浙江南部又是另一番不同的景色。而且这一带没有过度的旅游开发，也没有工业污染，青山绿水完完全全的原生态。要是度假真是不错的选择，何况这里还有认识的同学。

Grails的核心依赖必须保证项目中版本一致！

2011-10-15T00:00:00+08:00

手艺 tags:
Grails
maven published: true comments: true

好久没写语录式大标题了，实在是今天玩Grails受害很深很深。

Grails因为本身是通过ivy来管理依赖的，虽然后续的版本和maven的集成不断加深，但是本身还是通过ivy来解析pom.xml。也就是说最后的活还是ivy干的。如果你的项目比较大，选择了通过maven来管理项目，而你的依赖中又牵扯了很多其他的依赖，那么你危险了。

:: UNRESOLVED DEPENDENCIES ::

:: log4j#log4j;1.2.16: configuration not found in log4j#log4j;1.2.16: 'master'. It was required from ...;1.7.0 runtime

对maven用户这是一条多么发指的报错！（比如这个）

它的原因其实是你的dependency中有!=1.2.16版本你的log4j，比如1.2.12，即使你在pom里将它添加到了exclusion中也没有用，必须要保持版本的一致！至于你用什么办法让他们保持一致，还是干脆放弃用maven管理你的grails项目：It's up to you.

同样的问题还出现在其他核心依赖上，例如commons-pool。

You say goodbye and I say hello.

2011-10-13T00:00:00+08:00

自话 tags: [] published: true comments: true

You say yes, I say no
You say stop and I say go, go, go
Oh, no
You say goodbye and I say hello world

[cc lang="C"]
#include

int main(){
printf("Dennis Ritchie, %d-%d\n", 1941, 2011);
return 0;
} [/cc]

RIP …

Voting with your reddit account on RageViewer

2011-10-12T00:00:00+08:00

ANN tags:
clojure
project
reddit published: true comments: true

I just implemented a new feature on RageViewer which has been requested for a long time. Now you can login with your Reddit account and up-vote/down-vote rages without turning to Reddit website.

Again, I made a rage comic for this feature.

To be able to vote items with your Reddit account, a Reddit session is maintained in the memory of RageViewer. Rage Viewer is a pure open source software so it will never store or log your password in any form. You can verify the source code on github if you have concern about the privacy. (Currently, Reddit doesn't offer any authorization like OAuth so we can only access your reddit account with your password. Sorry for that.)

For those still have no idea about RageViewer. RageViewer is for browsing rage comics smoothly. It loads most recent comics from fffffffuuuuuuuuuuuu and some other subreddits into the database. It gives you a modern and clean UI for your best experience.

Also important, RageViewer is a full-stack clojure web application that written in the JVM functional language: Clojure(server-side) and ClojureScript(broser-side).

BTW, a new version of Reddit.clj (0.3.0) is available in clojars repository. (the new RageViewer is also based on it). In 0.3.0, reddit.clj is compatible with Clojure 1.3.0. And a "enhance" function is removed that you are no long required to "enhance" a reddit client before you write data to Reddit. Now you have read-write permission once you create the client with reddit.clj.core/login .

The distribution of intelligence

2011-10-10T00:00:00+08:00

手艺 tags:
heatcanvas
visualization published: true comments: true

This could be a big title for the content.

I just work out a heat map based on the data of users who enrolled online courses offered by Stanford.

(Click to enlarge)

I think you already have your ideas about this map. New England, California and Central Europe has higher density than any other area of the world. Also you can find some light in South America, East Coast Australia, India and China. I think this could be an overview of how intelligence distributed around the globe.

山水城林夕阳晚景

2011-10-06T00:00:00+08:00

留影 tags:
D60
Nanjing
photo published: true comments: true

南京玄武湖台城。

GPS数据采集与OpenStreetMap编辑

2011-10-05T00:00:00+08:00

手艺 tags:
GIS
gps
OpenStreetMap published: true comments: true

简单介绍一下通过GPS采集道路数据并上传到OpenStreetMap的流程。

采集

首先你需要一个GPS数据记录器，或者叫做GPS Logger。这类产品在淘宝上可以找到很多，台湾的长天(HOLUX)是相对价廉物美的品牌。我的设备是HOLUX m1000c，下文以此为例。

m1000c的使用非常简单。开机之后，指示GPS的黄灯点亮，设备开始搜索GPS卫星。根据你所出的位置、遮挡情况以及天气情况，搜星的时间略有不同。当GPS黄灯开始闪烁时Logger即开始记录数据，默认情况下m1000c每隔5秒记录一次数据。每次重启后，Logger都会新开一条记录。

导入

对Windows用户，将Logger通过USB线与电脑连接后，可以利用随机附带的软件将数据导入为GPX格式。对Linux用户，可以利用gpsbabel导入数据： gpsbabel -t -i m241 -f /dev/ttyACM0 -o gpx -F myfile.gpx

其中：

-t 表示数据为track类型
-i m241 输入格式为HOLUX m241，m1000c使用的是这种格式
-f /dev/ttyACM0 输入设备是/dev/ttyACM0
-o gpx 输出格式是gpx
-F 输出文件myfile.gpx

在一些发行版上，需要root权限访问/dev/ttyACM0，所以不要忘记将输出的文件chown给普通用户。

导入完成后可以利用下面的命令清空Logger gpsbabel -i m241,erase_only=1 -f /dev/ttyACM0

在Windows和Linux上都可以使用Viking查看导入的数据：

启动viking
添加一个OSM地图图层： Layers->New Map Layer
导入GPX数据： File->Append File...
下载OSM地图，右键点击左侧的Map图层，Download Missing Onscreen Maps

编辑

Windows和Linux用户都可以通过Merkaartor编辑OSM数据。

启动Merkaartor，导入GPS数据： File->Import。
选择左侧的GPS图层，对需要导入的数据，右键点击Extract Drawing Layer将GPS转换为可编辑数据。

根据实际情况编辑道路数据的属性。对GPS转换的数据，选择菜单Feature->Force Upload，将其加入dirty set准备上传。点击Upload即可将数据上传到OpenStreetMap。

游浙江古镇

2011-10-04T00:00:00+08:00

留影 tags:
D60
photo
Travel
Zhejiang published: true comments: true

这居然是我第一次踏上浙江的土地。

浙江西塘，是个人很多车也很多的地方，油炸臭豆腐烤肉串更多的地方。

浙江乌镇是一个人更多车更多，但是没有油炸臭豆腐烤肉串而只有红烧羊肉的地方。

回程的路上很多游客反映，乌镇没有西塘好玩。我想还是油炸臭豆腐符合大家的口味，羊肉不是所有人都吃得惯的。

Upgraded to GNOME 3.2

2011-10-02T00:00:00+08:00

装备 tags:
archilinux
gnome
linux published: true comments: true

ArchLinux最大的魅力就在于Rolling Release，所有的悲喜剧你都比别人早一步见证。

升级到GNOME 3.2后，我的gnome-settings-daemon不能正常工作，导致gtk+的主题都无效。如果没有经验你可能不太容易注意到它的真实原因。最后找到了同病相怜的人，这个问题被报告在这里。恰好是在我发现这个问题几个小时之前。在gnome解决这个问题之前，有一个简单的workaround： sudo mv /usr/lib/gnome-settings-daemon-3.0/libcolor.so /usr/lib/gnome-settings-daemon-3.0/libcolor.so~

库加载失败后gnome-settings-daemon会自动禁用这个插件，避免出现Segmentation fault。以上的操作，at your own risk。

此外，gnome-shell升级到3.2以后有些api的变化，我更新了exaile豆瓣电台的gnome-shell插件，你可以顺手git pull一下。

Moving to ArchLinux

2011-10-01T00:00:00+08:00

装备 tags:
ArchLinux
linux published: true comments: true

这是用新入的Nikon 55-300mm的长焦镜头300端排的远处的塔吊，它与本文没有直接关系。如果实在要计算间接关系，它是我等待fedora无尽的启动时间里消磨时光的手段之一。

这周开始fedora彻底崩溃了，现在在默认的run-level下NetworkManager根本无法启动，次次3分钟超时。还由于不明的原因，以越来越大的概率，gdm会僵死在启动启动之前。如果切换到terminal，输入完用户名居然连password都不会prompt出来。有时甚至在runlevel3里都无法启动。本想忍下去等到下个月f16发布，但是今天晚上已经彻底无法进入系统了，算了，其实也就是挥挥刀的事情。

Ubuntu的回头路是走不得的，索性切换到了Arch，从此享受rolling release，不再在每年的4月10月里蠢蠢欲动惊慌失措。重装的经验和上次一样：看准分区，/home留着/干掉；在创建用户的时候看准原先用户的uid，直接用这个id创建新用户，这样$HOME自动就归属新用户了。Arch仓库里的东西甚至要比fedora还多，没有那么多洁癖，甚至Skype和IDEA的社区版都直接进了仓库。我现在年纪大了，能从仓库安装我是不会自己再去下载了。

其实Arch也是老朋友了，直不过以前一直把它憋在VirtualBox里，现在它从VBox里爬出来了，Ubuntu和Windows这些当年的host们被踹进去乖乖作guest了，翻身农奴这就起来把歌唱。

I cloned Beanstalkd with Clojure

2011-09-24T00:00:00+08:00

ANN tags:
beanstalkd
clojure
opensource
project published: true comments: true

I just cloned Beanstalkd with clojure and you can find this project on github. It's a light weight task queue that "producers" could put tasks in and "workers" are blocked to reserve them and process them. It will help you to split expensive operations (sending email, etc) to background.

The features:

Almost compatible with Beanstalkd protocol
Full support on Beanstalkd verbs: put/reserve/release/bury/kick
Persistence with binary write-ahead logs
Simple JMX monitoring

The networking layer is based on @ztellman's libraries, aleph, lamina and gloss. And I also received great help from him on implementing the protocol with gloss.

This is not my first clojure project but the largest one. I add marginalia in the dev-dependencies, you can generate well formatted code and docs with `lein marg`.

By the way, this project is not well tested. I'm still working on it to find potential issues and to fix them. Do not use it on any production environment before you have carefully gone through the code base. I just made this announcement here to let people know this project if they are interested in this topic.

And always, Any fork/contribution is welcomed.

Beginning Emacs for Clojure

2011-09-19T00:00:00+08:00

装备 tags:
clojure
emacs published: true comments: true

没错我开始用Emacs了！对于一个使用lisp方言的开发的人来说，Emacs无疑是正统，是professional的象征。

其实用Emacs，远不需要太多的配置，就可以创建一个高效率的开发环境。我用了两天不到时间，当然还包括过去三年甚至更长时间里多次试图学习Emacs并最终半途而废残存的精力。

一步一步来，fedora系统的用户，比如这位，还有我，都会奇怪，命名有emacs，可是为什么没有GUI呢。因为系统自带的只是一个简单的版本，用yum安装一下emacs这个包才算是真正完整。

接下来要跳关了，大家注意。Emacs-starter-kit是一个帮助初学者预先配置emacs的一套默认配置文件，有了这个配置文件，也算是爬上了巨人的肩膀，省去了很多探路的时间。安装方式，把这个git仓库的master分支打包下载到~/.emacs.d/里即可（展开到这个目录）。启动emacs后，会自动安装。（作者名字很熟悉，对了，就是leiningen的作者）

由于package.el已经配置好了，接下来就可以安装一些必要的mode，两天的时间初探，我安装了：

clojure-mode
clojurescript-mode
auto-complete
color-theme-tangotango
slime
slime-repl

安装方式：
M-x package-install
输入包名即可。

clojure-mode和clojurescript-mode是编辑clojure的mode，不多说。

配色

color-theme我本来是习惯用solarized，不过尝试了几次color-theme-solarized这个包应该是有一些问题。退而选择了tangotango。要默认选择这个颜色，在init.el里加：
[cc lang="lisp"]
(require 'color-theme-tangotango)
(color-theme-tangotango)
[/cc]

代码提示

auto-complete是代码提示和自动补全插件，安装完成后要简单配置一下才能使用：
[cc lang="lisp"]
(require 'auto-complete-config)
(add-to-list 'ac-dictionary-directories "~/.emacs.d/elpa/auto-complete-1.4.20110207/dict/")
(ac-config-default)
[/cc]
当然网上有更多的高级配置，可以搜一下。

REPL

clojure的IDE必须要有repl的支持，在emacs中，repl通过slime这个mode来实现。此外还要额外安装swank： lein plugin install swank-clojure 1.3.2 在项目目录通过lein swank启动。在emacs中： M-x slime-connect 选择swank启动的host和port即可。这是一个支持tab提示的强大REPL，并且可以引用lein项目中的代码。

Edit/20110920
其实只需要在clojure-mode中通过M-x clojure-jack-in 即可启动swank和slime。

ParEdit

ParEdit是编辑括号的利器，Emacs-Starter-Kit已经把这个包配置好了。ParEdit不仅会自动打印括号，最强大的是还能阻止用户误删或误输入括号！有了它基本上括号的问题就轻松多了。
（当然，有时候需要强制删掉括号C-u DEL，也可能要强制输入括号C-q (或C-q )）

TagList

很遗憾ctags不支持clojure，而且emacs似乎也没有一个比较好的TagList。我看到有人提到imenu在一定程度上倒是可以做到类似的功能： M-x imenu

总得来说，捅破了窗户纸，用emacs编辑clojure还是最好的选择！

流水帐

2011-09-17T00:00:00+08:00

自话 tags:
Life published: true comments: true

最近没有什么特别值得一提的事情，或者说都还在进行中还没有到值得一提的时候。

中秋节休息之后的第一天清早去驾校考交规理论，这个事没什么可说的，除了在4sq上又拓展了一点疆土，后来我又后悔没把GPS带着错过了一些还没有数据的道路。倒是那天去和回分别坐错了车，想十年前本人对城市交通网络了然于胸，除了视力不好把48路看成46路就没有坐错过车走错过路。结果现在公交线路的数量翻了一番，城市的交通网络也更复杂了。人脑则不具备scalability，活地图的时代一去不复返了。

第二件值得一说的是我在VirtualBox里成功安装了ArchLinux和GNOME Shell桌面。我工作的机器是有点古老的Dell OptiPlex 760，显卡还是ATI的Radeon HD 3420。为了开发的方便，我们装的都是CentOS 5，没错是5！！这周上班后升到了8G内存我就开始琢磨开个虚拟机体会一下现代生活。多余的不说了，几个注意事项：

Host要装ATI的fglrx驱动，xorg-x11-drv-ati直接也能用，但是性能非常差
VirtualBox要在4.0.4以上，我看网上说的，具体能个版本也不知道，但是用最新的就可以
3D加速要开，在虚拟机的设置里
最最重要的一点！不要从虚拟机的菜单里安装Guest Addon，那个对Arch不管用。要用pacman安装仓库里，包名我忘了，请自行-Ss
别忘了把rc.vboxadd加入rc.conf的Deamons里

这周最诡异的问题是在配Netty的Pipeline时，我用了：
[cc lang="java"]
Channels.pipeline(new HttpMessageDecoder(), new HttpMessageEncoder(), myhandler);
[/cc]

结果稍微上一点压力居然出现了很多decoder异常，什么包不全、头不全、空指针什么的。不明真相最后改用例子里的：
[cc lang="java"]
ChannelPipeline cp = Channels.pipeline();
cp.addLast("decoder", new HttpMessageDecoder());
cp.addLast("encoder", new HttpMessageEncoder());
cp.addLast("handler", myhandler);
[/cc]

就成功了。也许是顺序的原因也许是名字的原因，可如果这个名字真的具有意义的话为什么没有常量可用呢？不去追究具体原因了，记住就好。

此外遇到的bug还包括clojure中transient数据结构的问题，我有一个transient的map，但是persistent之后发现只有前9（依稀好像是）次assoc!的内容保存了，后面却都丢失了。1.2里的transient都被标记了alpha，不过印象1.3的changes里好像也没提transient。

另一件与clojure有关的诡异事件是一个test case的failure report：

FAIL in (test-read-job) (wal.clj:61)
expected: (= (job k) (rjob k))
actual: (not (= "tomcat" "tomcat"))

不过最后好在是冤有头债有主，睁着眼有时也要说下滑。在从stream中读字节流多读了一个byte，后来用这一组byte去new String的时候，就变成了一个不可见字符。结果在命令行里的输出就是这么骇人听闻，还是在IDEA里跑这个测试才发现错误的那个字符串后面跟了一个方块。至于为什么多读了一个byte，copy/paste害死人啊。

以上这些牢骚是关于clojure的，但是这篇就不加clojure的tag了，否则被planet clojure收录去我又给中文世界丢脸了。

周五晚上我又更新了sunng.info的首页，以后也许我会定期的放一些得意的照片（或者照片上有得意的东西）上去做背景，以免被人看到后发现太单调乏味。

最后还要感谢一下twitter网友Kymair这周将Rage Viewer部署到了Heroku上。

RageViewer updated2

2011-09-07T00:00:00+08:00

ANN tags:
clojure
project published: true comments: true

I just added some new features to RageViewer, a rage comic viewer written in Clojure and ClojureScript. Issue on a recent update of CloudFoundry has been fixed. So I can update this application as normal.

Since there are a lot of over-18 content on rage comics, RageViewer now prompts you to confirm if it is suitable to display NSFW (Not Suit For Work, marked by author) content. If rejected, a placeholder comic (made by me) will be displayed to you.

Also, a lot of rage comic related subreddits are now supported by RageViewer. You can find an indicator on the top bar for current channel. Click it and you can switch to a different channel.

Bugs are fixed when there is a ? on the end of image url. "Show most recent hot comics" button also works now.

Let me know if you have any ideas or questions about this site.

Squealer (a test framework for Pig script) is using jip

2011-09-06T00:00:00+08:00

ANN tags:
jip
jython
opensource published: true comments: true

Squealer is a framework written in Jython to test your Apache Pig scripts, by Mark Roddy. It's now using jip to resolve Java dependencies. On huge dependencies of Hadoop, jip could be great helpful to setup Squealer.

To get started, it is recommended to create a standalone Jython environment for Squealer: virtualenv -p /usr/local/bin/jython --no-site-packages squealer-env

Activate the environment cd squealer-env . bin/activate

Install jip with pip pip install jip

Download squealer from bitbucket project page, extract it to somewhere. Install it with jip: jython setup.py install

Dependencies will be downloaded from Maven Central. You just wait for it to finish.

Start a Jython interpreter with 'jython-all' and now you can import squealer.

吉尔157

2011-09-04T00:00:00+08:00

留影 tags:
D60
model published: true comments: true

这是1CM的ZIL157卡车模型，虽说是五十年代的苏联车，可是咱们看着也眼熟，因为它就是解放卡车(CA30)的原型。这是我的第二个模型。万事开头难，可是做到第二个了怎么还是很难，嗯，说明这头还没有开完。难就难在，打开包装发现少了两根车轴！这车的版件是散装的，也弄不清是丢了还是本来就缺。无奈，最后用的是回形针的铁丝代替，所以后面后轮有粗糙了。但是总体来说，有了上一辆车的经验，加上配置的新的工具笔刀，这次还是挺顺利的。

这是ZIL-157的实物图

157的备胎放在底盘和货架之间

和ATZ油罐车的对照

盛大的中秋礼物

2011-09-03T00:00:00+08:00

留影 tags:
snda published: true comments: true

真没想到，离开盛大快一年了，人事部门还记着给我寄东西。过年收到大礼包算是惊喜，这次收到月饼就是有点感动了。难得啊，居然还有人惦记着咱，而且因为离开上海当时登记的电话也失效了，负责的人事还辗转了一番才找到我。当然这个不是针对我，所有的离职员工貌似都收到了盛大寄来的中秋礼物。能做到这点的公司，全世界不多吧。

拆开邮包是一如既往的红得喜人的logo

（插一句，终于有盛大的环保袋了，以前用的都是08年找工作时候顺的百度腾讯支付宝的）

月饼包装盒

月饼和茶叶

我琢磨了半天，请教了原来的同事才知道这是个U盘。

这是盛大在线（SDO）的企业文化宣传册

我这里就不为前前东家摇旗呐喊了，说得多了也有吃人嘴短的嫌疑。总之能有今天，离不开在盛大在线一年多的工作和学习，离不开同事们的帮助。希望公司能够越来越强大！

Clojure client for Beanstalkd forked

2011-08-28T00:00:00+08:00

ANN tags:
beanstalkd
clojure
project published: true comments: true

Beanstalkd is a distributed task queue written by Keith Rarick. I just forked the clojure client as the original version is no long active. Some features are added:

Add commands: stats-tube, stats-job, pause-tube, list-tubes, list-tube-used and list-tubes-watched
Use yaml library to decode stats output into clojure data structure.

Use it in your leiningen project:
[org.clojars.sunng/beanstalk "1.0.5"]

Clojure Developers You Should Follow

2011-08-27T00:00:00+08:00

他山 tags:
clojure
opensource published: true comments: true

介绍一下Clojure社区的活跃人物，有助于大家更好地学习和了解clojure，以下罗列的前提是包含但不限于，排名亦不分先后。

Rich Hickey (richhickey)

Clojure的创始人。

Michael Fogus (fogus)

The joy of clojure一书的作者，clojure社区的活跃人物，Clojure/core的成员。参与和维护着很多clojure项目。

James Reeves (weavejester)

Compojure等一系列web框架的作者。是Clojure web开发方面的先驱，还维护着大量的clojure项目。

Mark McGranaghan (mmcgrana)

Clojure web规范Ring的创始人，还维护着clj-redis等项目。

Stuart Hallowa (stuarthalloway)

Programming Clojure一书的作者，Clojure的核心开发人员之一。

Christophe Grand (cgrand)

cgrand是clojure web开发方面的专家，维护了enlive moustache等库。

Phil Hagelberg (technomancy)

Clojure构建工具leiningen的作者。

Zach Tellman (ztellman)

Zach是框架aleph/lamina/gloss的作者，是clojure网络编程的专家。

Nathan Marz (nathanmarz)

Nathan是twitter的clojure dev，维护着一些与hadoop相关的clojure项目。

以上列举的人都可以在github和twitter上找到。

苏制油罐车模型

2011-08-20T00:00:00+08:00

留影 tags:
D60
model published: true comments: true

前段时间说发展兴趣爱好，于是又多了一个心灵手巧的爱好：静态模型。昨天买了一套油罐车模型（ATZ 5-4320）1：72，今天上午花了一上午时间就把它组装起来了。这种静态模型需要用胶水把各个零件粘合起来。所以对心灵手巧的要求程度比较高，作为一个小时候手工课沿着线剪纸都剪不齐的娃来说，其实这是一种挑战。

这个是乌克兰的品牌叫做ICM，1：72的模型通常在50元上下。质量一般，有的小零件刚刚还没有拆下来就损坏了。当然全看个人喜好，我之所以买这个来入门主要是出于随便。静态模型入门的工具，需要一个水口钳（用来把零件剪下来），一瓶模型专用胶水（味道不太好），一把镊子，一把钢尺，一张砂纸。网上还说的角刀一类，暂时可以不用。

上面的照片是还没有上漆的效果，等到我把第二个也做出来，再买一点专用的油漆把它刷出来。敬请留意。

我小时候的愿望就是住一楼有个院子，在一角能开辟一个沙盘，把我的小人兵通通部署上去。我小时候确实就生活在这种没有硝烟的战争里。。。

Clojure Chinese User Group第一次线下聚会

2011-08-06T00:00:00+08:00

当时 tags:
clojure published: true comments: true

今天下午赶到上海参加了clojure中文用户的第一次线下聚会，见到了国内clojure的的主要用户。感谢一直在努力组织这次活动的朋友，还有提供场地的朋友。

这是我关于clojure构建工具、生命周期管理的slides

Clojure cnclojure-meetup

View more presentations from sunng87

欢迎对clojure感兴趣的朋友加入中文用户邮件列表，希望这样的聚会活动可以长期的办下去。

Using Google closure library with ClojureScript

2011-08-05T00:00:00+08:00

手艺 tags:
clojure
clojurescript
javascript published: true comments: true

Google closure library is shipped with ClojureScript, and could be compiled with ClojureScript into a minimized javascript file. So closure library is doubtlessly the first candidate when you are considering to use an external Javascript library in your cljs browser application.

However, different from clojure's interoperability with Java, ClojureScript has its own characteristics when you are interoperating with JavaScript and JavaScript based libraries.

Clojure types are not fully compatible with JavaScript types In ClojureScript, you can never treat a Clojure map as a JavaScript object although they have similar characteristics. You have to do some conversion before passing a clojure map to javascript functions. Matthew Gilliard made a sample of such conversion.

JavaScript package is not Clojure namespace This could be a common mistake for ClojureScript newbie. Actually, JavaScript doesn't have concept of "Package" or "Namespace". Many JavaScript libraries(dojo, Google Closure) made enhancement on this. ClojureScript also takes advantage of this mechanism. So before you start to coding with closure, you may browse closure library API document, and find a module called goog.net which includes lots of types. Then you write this:
[cc lang="clojure"]
(ns myjs
(:require [goog.net :as gnet]))
[/cc]

But compiler shows you "ERROR: JSC_MISSING_PROVIDE_ERROR. required "goog.net" namespace never
provided at ... ". This is not a PATH issue. The root cause is that closure module has a lower granularity than Clojure ones. Types are often contained in their own modules. You can find closure source code in clojurescript/closure/library/closure. Modules are declare with goog.provide function. Thus, you should require this name instead of the logical module name.
[cc lang="clojure"]
(ns myjs
(:require [goog.net.XhrIo :as gxhr]))
[/cc]

In addition, ClojureScript does not support 'use'.

Just use full name for JavaScript class For functions contains in some module, you can refer it with the clojure way:
[cc lang="clojure"]
(ns myjs
(:require [goog.dom :as dom]))
(dom/$ "element-id")
[/cc]

But for classes, just use the full name and ignore the module alias.
[cc lang="clojure"]
(ns myjs
(:require [goog.net.XhrIo :as gxhr]))
(def xhr (goog.net.XhrIo.))
[/cc]

These are basic tips before you start using Closure with ClojureScript. Leveraging on Google's closure library, you can create cross-browser JavaScript application with Clojure easily.

RageViewer updated

2011-08-03T00:00:00+08:00

ANN tags:
clojure
cloudfoundry
project published: true comments: true

Weekend project "RageViewer"最近新增了一些功能：

界面更新
Rages现在持久化到redis中，支持permalink
程序可以直接部署到cloudfoundry上

RageViewer现在也有一个cloudfoundry上部署的版本： http://rageviewer.cloudfoundry.com/index.html

对本地开发、调试，现在需要在本机上启动一个监听默认端口的redis，执行lein ring server即可。对部署在cloudfoundry的情况，受益于cloudfoundry基于环境变量的数据库配置机制，不需要做任何额外的配置和修改：执行lein ring uberwar && vmc update your-app-name 即可。

Geohash rewritten with Clojure

2011-07-29T00:00:00+08:00

ANN tags:
clojure
geohash
project published: true comments: true

Sorry but this is another release announcement.

I just rewrite my node-geohash module with clojure. You can include it with leiningen according to the instructions shows here. The project is hosted on bitbucket this time. The API is rather simple, please just follow the README doc.

It's totally different experience to write such kind of algorithm in a functional language. You have to translate loops to recursions, also make sure they are available for tail recursion optimization. I really enjoy coding in clojure.

Clojure-Control plugin for leiningen

2011-07-28T00:00:00+08:00

ANN tags:
clojure
lein
project published: true comments: true

Clojure-Control is the clojure port of node-control, developed by killme2008. Clojure-Control allows you to define clusters and tasks in a DSL and execute them with simple command.

Lein-control is a leiningen(clojure build tool) plugin, with which you can integrate Clojure-Control into your build tasks. It could be helpful to execute deployment tasks on several machines.

To use lein-control, simply add this to your project.clj . And download dependencies with lein deps.
:dev-dependencies [[lein-control "0.1.0"]]

Create a sample control file in your project home: lein control init

Check your cluster configuration: lein control show cluster-name

Execute tasks against particular cluster: lein control run cluster-name task-name

Enjoy your deployment !

'Reddit.clj: clojure wrapper for Reddit API'

2011-07-26T00:00:00+08:00

ANN tags:
clojure
project
reddit published: true comments: false

As mentioned in Rage Viewer, I have another clojure library to communicate with Reddit. Now it's public available as "reddit.clj".

Reddit.clj is managed with leiningen. The current reddit.clj release is ~~0.1.3~~ 0.2.0. You can include it in your project.clj:
[cc lang="clojure"]
(defproject xxxx "1.0.0-SNAPSHOT"
:dependencies [[reddit.clj "0.2.0"]])
[/cc]

This is a simple tutorial for you to getting started :
[cc lang="clojure"]
;; include reddit.clj
(require '[reddit.clj.core :as reddit])
;; create a reddit client with reddit/login.
;; you can also ignore the arguments to use it
;; anonymously
(def rc (reddit/login "your-reddit-name" "your-reddit-passwd"))

;; load reddits from subreddit "clojure", and print titles
(doseq
[title (map :title (reddit/reddits rc "clojure"))]
(println title))

;; enhance reddit client to enable writing, for login user only
;; this operation will retrieve reddit user modhash under the hood
(def rc (reddit/enhance rc))

;; vote-up a thing on reddit
(reddit/vote-up rc "t3_iz61z")

;; you may also submit links to reddit.
;; permalink will be returned when success.
;; be careful to use this API because reddit may ask you for a
;; captcha. But as a library, reddit.clj will return nil on this case.
;; use it at your own risk.
(reddit/submit-link rc "title" "url" "subreddit-name")

[/cc]

Detailed API documents are listed here.

This library should be useful to crawl data from reddit which is rich of information. Reddit.clj is hosted on github.

'Weekend Project: RageViewer'

2011-07-25T00:00:00+08:00

ANN tags:
clojure
project published: true comments: true

"Weekend is for weekend projects."

介绍Weekend Project前，先说个事。早上HN上有人说：你们这些个人，自个偷偷摸摸搞了半年一年的东西，然后发到HN上说这是两天就搞定的weekend project，你们恶心不恶心。本人郑重声明，下面这个东西确实是标准的weekend project，只用了周六下午和晚上的时间，结果周日还因为元气大伤只改了一点小东西。因为确实只有不到两天的effort，所以就不发到HN上丢人现眼了。

话说，比起HN，我更常看reddit。于是就有了这个weekend project，Rage Viewer，可以浏览reddit ffffffffuuuuuuu上最新的rage comic。

功能很简单，唯一值得一提的是它是统统用clojure写成的，后端是clojure，前端是最近公布的clojurescript编译的js。之所以这么搞，不为别的，只为cool。这个和每天早晨五点起床化妆是一个道理。

在github上可以找到这个项目，他可以随意跑在任何地方，只要三个步骤：

git clone git://github.com/sunng87/rageviewer.git
lein deps
lein ring server

欢迎feedback。

ClojureScript Recipes

2011-07-24T00:00:00+08:00

手艺 tags:
clojure javascript published: true comments: true

一周前左右有人说javascript是assembly language for the web, 结果一周不到clojurescript发布了。闹了半天clojure 1.3迟迟不发布是因为effort都迫不及待地转移到向javascript迁移上去了。简单地说cljs是clojure在javascript上的实现，通过cljsc可以把clojure编译成js，运行在浏览器里或是Node环境里。

目前clojurescript还没有正式的发布版本，需要从github签出开发版本。

cljs是在Oracle JDK上开发的，引用了sun.org.mozilla.javascript.internal.Context，这个类在OpenJDK里叫做sun.org.mozilla.javascript.Context。所以没有办法，暂时只能在Oracle JDK上用clojurescript。
cljs自带的所有脚本，启动jvm时，heap size都是开2G的。可怜我所有的内存才2.5G，还是分布在两台电脑上（#@&*……@￥@！）。不过我手动把它改为512M后cljsc还是依然可以正常运行的。
cljs与javascript的互操作是最麻烦的部分，一般情况cljs通过(js*)这个form来访问javascript数据和对象，比如访问document：(js* "document")。进而访问getElementById时，即(.getElementById (js* "document") "some-id")。
cljs访问js对象时，通过(aget)而不是(.属性名)，例如(aget rage "ups")编译后为rage.ups，如果(.ups rage)就会被当作函数调用。不过奇怪的是如果(.title rage)依然会被编译成rage.title。这种不一致的情况在对.url也存在。当然用aget是可以获得一致的结果的（aget在clojure里是根据索引取java数组的form，在cljs里可以支持js object了）。
当访问无参数的js对象时，cljs与clojure有不同。例如在clojure里(.toString date)，而在cljs里，这样写编译的结果是date.toString，注意没有括号，直接访问这个function对象了。所以在cljs里，正确的写法有些变化(. date (toString))。
创建js对象，可以通过(js-obj)这个form
修改dom属性，需要用(set!)这个form，如 (set! (.src img) "http://xxx")。如果把cljs用在网页里，类似这样的操作比比皆是，这和clojure大不相同。
cljs里没有STM，暂时也不支持ref。可以直接用def定义变量，随意地访问和修改，js环境是单线程环境。
对于要对外访问的方法，在声明时加上^:export可以让编译器不修改方法的名字。

用cljs开发有趣归有趣，调试还是很困难的，建议开发的时候就写好打log的代码(js* "console.log")，因为目前cljsc编译的速度也不快，反复地修改代价还是挺高的。当然，为了cool，以上都不是问题。

使用defrecord与defprotocol的注意事项

2011-07-22T00:00:00+08:00

手艺 tags:
clojure
programming published: true comments: true

简单地说，protocol是clojure中的接口，record是clojure中的数据类型。

可以通过这样的code定义一个protocol
[cc lang="clojure"]
(defprotoco DummyProtocol
"doc string..."
(method-one [self x] "doc string..."))
[/cc]

需要注意的是，protocol里所有方法的第一个参数都是self/this参数（类似python），从第二个开始才是调用时传入的参数。如果方法要重载呢？

[cc lang="clojure"]
(defprotocol DummyProtocol
"doc string..."
(method-one [self x] [self x y] "doc string")
) [/cc]

Apress的 Practical Clojure 书里的例子，给重载的参数表加上了括号，这样会导致编译错误（注记）。

定义一个record实现protocol

[cc lang＝"clojure"]
(defrecord DummyRecord [a b c]
DummyProtocol
(method-one [self x] (+ a x))
(method-one [self x y] (+ a x y)))
[/cc]
Practical Clojure里关于这部分的代码，又丢掉了self参数（注记）。

最后还有一个问题，如果直接use你的ns，你会发现调用record时出现：
java.lang.IllegalArgumentException: Unable to resolve classname: DummyRecord

怎么回事，不是都use了吗？原因是record被编译成了java对象，所以引用时要用java对象的引用方式，import之。

工作第二年

2011-07-18T00:00:00+08:00

当时 tags:
Life
work published: true comments: true

这个周末就是我正式工作两年的日子了，第二年过得稍微有些起伏，晚上写了一点总结。但是刚才读了一下觉得不太满意，也不太合适发出来。这样，即将跨入三年级的时候，我就改改风格谈谈愿望吧。

1. 把日常工作做好，积累技术，流程，项目管理的经验
2. 业余时间拓展周边领域的知识：数据挖掘，数据分析，可视化方面
3. 希望能主导去做成一点有始有终的事情
4. 希望不久的将来能参与一个志同道合齐心协力（self-motivated）的团队一起做好一个产品

HeatCanvas support for Leaflet

2011-07-18T00:00:00+08:00

ANN tags:
GIS
heatcanvas
javascript
map published: true comments: true

Leaflet is a light weight web mapping library developed by Cloudmade. Leaflet is designed for compatibility with both desktop browser and mobile browser.

HeatCanvas-Leaflet extension enables heat map on Leaflet. You can create heat map layer and add it to Leatlet map:
[cc lang="javascript"]
var heatmap = new L.TileLayer.HeatCanvas("Heat Canvas", map, {},
{'step':0.3, 'degree':HeatCanvas.QUAD, 'opacity':0.7});
heatmap.pushData(32.1104, 118.0852, 14);
//push more data ...
map.addLayer(heatmap);
[/cc]

You can find live demo on: http://sunng87.github.com/heatcanvas/leaflet.html Mobile browser is also supported. (Tested on Firefox Android and default Android browser)

Find more about HeatCanvas on github page.

Leaflet is still buggy for extension. There is a latlng-pixel coordinate conversion issue in low zoom level, affects this demo. Hope it could be fixed soon.

Staged Event-Driven Architecture

2011-07-13T00:00:00+08:00

手艺 tags:
Architecture published: true comments: true

按照传统的编写应用程序的思路，当server接到请求，包装完成之后，分配到线程池中交给一个线程完成，返回。Java的servlet容器就是这么设计的，这么多年大部分的应用程序也是在这种模式下编写的。当任务的代价比较大，比如多次和数据库交互，并且可能和后端其他服务通信，这是线程被任务占用的时间就相对较长。如果请求的并发量很大，容器的线程池耗尽，新的请求就无法被处理，导致并发性无法提高，吞吐量也无法提高。

实际上在大部分应用程序里，所谓代价很高的任务，往往都是I/O Bound。涉及网络通信，磁盘读写，线程被迫wait，CPU却是空闲的。所以，I/O Bound的程序理论上都还有优化的空间。于是有了这种Staged Event-Driven Architecture，即SEDA。

SEDA的思路是将原先由一个线程完成的任务，分割为相对独立的多个阶段。每个阶段由专用的一组线程负责执行，阶段之间用过队列交互。又是上次提到的老话：If you cannot split it, you cannot scale it.

例如，我们的业务逻辑是读取请求，操作数据库，与后端通信，操作数据库，写回结果。如果采用NIO的方式，网络通信可以认为是非阻塞的。而目前与数据库的交互，通常还是阻塞式的风格。这样这五个阶段分别是非阻塞、阻塞、非阻塞、阻塞、非阻塞。组塞操作容易成为性能瓶颈，CPU时间用于等待，占用率不高，所以对组塞操作可以分配相对多的线程；非阻塞操作速度较快，为了避免快速的切换导致sy升高，采用和CPU核数一样多的线程即可。

这样，原本一个线程反复等待的阻塞操作，变成了部分线程等待的同时，其他线程仍然在处理自己的业务，有效使用CPU。利用的多核的优势，提高了CPU的占用，即提高了系统的处理能力。

而对外部接口来说，当读取数据的线程在读取完毕之后，将任务dispatch到相应队列即返回，前端可以保证很高的处理速度，并发性也可以保证。任务被积压在阻塞操作的队列中，而消费阻塞操作的线程要多于提供者，在一定程度上也保证了处理速度。再退一步说，当阻塞操作的速度却是无法消费大量任务时，前端可以根据队列的大小判断当前系统的load，拒绝服务。

当然，采用这种方式，只有在并发量提高到一定程度，并发成为系统瓶颈时才能体现价值。就单个操作而言，由于队列的传递，他的latency一定是有所上升的。

关于SEDA，可以参考Matt Welsh的相关论文：The Staged Event-Driven Architecture for Highly-Concurrent Server Applications。

自制山寨摩卡

2011-07-09T00:00:00+08:00

留影 tags:
coffee
Life published: true comments: true

一共也没去过几次咖啡店，但是几乎每次要的都是摩卡，感情特深。所谓摩卡就是不明颗粒+奶油(optional)+牛奶+咖啡+巧克力（排名分先后）。我晕，扯这些没用的干啥，先上图：

这是自制摩卡，奶油暂时还做不来，所以放弃了。不明颗粒太麻烦，就拿巧克力代替了。

值得一提的是这次的巧克力是从可可粉熬过来的。先拿一个小的奶锅装一点牛奶，待烧开以后加两勺可可粉和一定量的白糖，然后就在小火上搅拌即可。有点类似过去搅咖哩，你不搅它它必然糊掉。等到液体粘稠到一定程度以后出锅就可以了。在实际操作里，我的牛奶加多了，以至于最后也没有真正的粘稠，这个过程有待优化。如果觉得这个过程麻烦的同学，可以直接买巧克力酱，或者拿现成的巧克力熬。当然如果你从可可粉开始熬的话，可定制性更强一些。这个直接JDBC，或是用Hibernate类似。

出锅的巧克力放一边，凉了也不太要紧，我还滴了一点香草糖浆，不过似乎那味道只有在一开始，后来就消失了。

拿一个大一些的杯子，把巧克力倒进去垫底。继续做咖啡，打牛奶。完成以后依次把咖啡和牛奶倒进杯子。摩卡好像不需要太多泡沫，打牛奶的时候可以收敛一些，不过看个人爱好了。我现在还处在杯子里没有泡沫就没有成就感的阶段，so

这个山寨版本还是很简单的，连我都可以轻松搞定。如果你觉得太山寨了，实在看不下去，千万不要人身攻击我。。。

味道？还行吧。

Edit(20100711)：老师指点说你没有可可脂是永远熬不出粘稠的感觉的。我明白真相了。

Failure Detection

2011-07-03T00:00:00+08:00

手艺 tags:
algorithm
distribute published: true comments: true

分布式系统中检测节点的工作情况，最直观的方法是采用心跳包的方式，通过定时发送心跳包，如果对端节点没有正常返回，则认为此节点处在failure状态，这时系统需要采取一定的措施来保证正常运行。目前，Zookeeper就是采用这种方式（org.apache.zookeeper.ClientCnxn）。

但是为了避免由于网络抖动等等意外因素导致的误报，通常在心跳包的基础上做一些改进。我在盛大做服务的路由代理时，代理和后端的服务通过心跳包保持连接。当心跳包出现异常，或服务调用出现异常（类似HTTP 500的系统异常），代理会记录当时的时间戳。根据配置，代理会存储最近50次的时间戳，并且检查他们的方差，当方差小于一个阈值时，就认定服务为failure状态，将服务从列表中剔除并发送报警。在一些测试里，这套机制是可以按照预期工作的。可惜这个系统最后没有上生产系统，所以也没有实际的运维经验。

最近看到了Cassandra使用的Failure Detection机制，叫做Phi Failure Detection Model。这个思路在一定程度上跟我的方式类似，在Cassandra的实现里，他会存储最近1000次失败的信息（org.apache.cassandra.gms.FailureDetector#sampleSize_）。此外，Cassandra存储的是失败的间隔，而不是绝对的时间戳（首次失败，存储的是心跳间隔的二分之一）。判断失败的φ值是通过这个公式就算： φ = (now - last_failure) * lnE / mean(interval_samples) 当φ值大于配置的threshold时，Cassandra的Gossip机制认为这个节点为failure。默认的配置里，这个threshold值为8. 关于Phi Failure Detection Model，可以参考论文：Information Propagation on the Phi Failure Detector

而为了提高Zookeeper的Failure Detection的质量，去年的一个Google Summer of Code项目为Zookeeper引入了一些流行的检测模型，包括前面提到的Phi Failure Detector，以及Bertier的方法和Chen的方法。

Chen方法以一个固定的alpha常数，加平均到达时间作为估计的timeout值。

在Bertier方法中，用于判断心跳包失败的timeout时间通过三个参数gamma/beta/phi被动态修正： error = now -ea - delay; （收到心跳包的时间-估计的心跳包到达时间-估计的延迟） delay = delay + gamma * error; （根据gamma和error修正延迟） var = var + gamma*(abs(error) - var); （error值的variation，即var_n=Σ g(1-g)^n-i*e_i） ea = now + avg(‌interval); （根据心跳包的平均间隔修正估计时间） timeout = avg(interval) + beta*delay + phi*var (计算新的timeout)
假如心跳包在timeout后到达，timeout还需要在上面的基础上加上常数moderationStep。

GSoC项目里，gamma/beta/phi/moderationStep的默认值分别为0.1/1.0/4.0/500。Bertier方法的timeout值根据网络情况自适应。

评价一种Failure Detector的标准，包括它发现failure节点的时间和误报率。这里有GSoC项目中作者进行的实验及结论，可供参考。

'ngeohash: node module for geohash algorithm'

2011-06-24T00:00:00+08:00

ANN tags:
GIS
javascript
nodejs
opensource published: true comments: true

ngeohash是一个geohash的javascript实现，之所以叫做ngeohash是因为到了Publish的时候才发现已经有geohash这个module了。这么令人沮丧的事就不多说了。

安装 npm install ngeohash

使用
var geohash = require('ngeohash');
sys.puts(geohash.encode(32.1717, 118.2342));

详细
访问github的相关页面：https://github.com/sunng87/node-geohash

Checkout my forked version of reddit-is-fun

2011-06-15T00:00:00+08:00

ANN tags:
android
opensource
reddit published: true comments: true

每天上下班要花掉两个多小时，这一路只好浏览一些新闻、reddit以及HN。reddit的app相对来说不算多，找了一圈倒是在market里没找到的reddit-is-fun最好用，功能最全。HN的app最近添加的一个小功能非常实用，通过viewtext.org打开链接。使用这个服务，可以提取出页面的正文部分，既减少了流量又提高了阅读体验。于是我想到给reddit-is-fun添加这个功能。reddit-is-fun是个GPLv3的软件，程序本身就在github上，对Android一无所知的我花了两个小时完成了这个功能。感谢IDEA，感谢IDEA的Android插件。

给作者发了pull request，不过作者最近似乎没有什么实质性的动作。不等他了，今天先把包含这个功能的fork放出来，大家如果感兴趣可以下载安装。这个fork的版本为1.1.4-sunng0，应该不会影响未来升级的吧（我猜啊）。

可以通过这个码下载：

链接地址： https://github.com/downloads/sunng87/reddit-is-fun/reddit_is_fun-sunng-fork.apk

Update on HeatCanvas and gefr

2011-06-14T00:00:00+08:00

ANN tags:
gefr
heatcanvas
javascript
jython
opensource
project published: true comments: true

HeatCanvas的百度地图扩展

感谢@lbt05姐的无私贡献，现在HeatCanvas又增加了百度地图API支持。你可以在你的百度地图中使用heat map了。详情可以参考@lbt05姐撰写的文档，而这里是一个简单的live demo。此外，@lbt05姐还贡献了GoogleMap扩展的patch，帮助我解决了地图拖动后Canvas无法覆盖viewport的bug。再次感谢@lbt05姐。

百度地图支持已经汇入主干，可以在github找到它。

Gefr新增 Jetty WSGI Bridge

昨天为gefr新增了Jetty服务器的支持，这样你可以将自己的Python WSGI程序运行在成熟的Jetty服务器上。性能是大家关心的因素，下面是在我的本机（32位CentOS，双核2.8GHz，4G内存）上一个粗略的测试结果：

100并发，20000请求：

Server Software: gefr-jetty/0.3dev
Server Hostname: localhost
Server Port: 8088

Document Path: /
Document Length: 19 bytes

Concurrency Level: 100
Time taken for tests: 3.120827 seconds
Complete requests: 20000
Failed requests: 0
Write errors: 0
Total transferred: 2584515 bytes
HTML transferred: 380665 bytes
Requests per second: 6408.56 [#/sec] (mean)
Time per request: 15.604 [ms] (mean)
Time per request: 0.156 [ms] (mean, across all concurrent requests)
Transfer rate: 808.44 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 4 114.1 0 3000
Processing: 0 7 18.5 5 1776
Waiting: 0 6 18.5 4 1776
Total: 0 12 115.8 6 3015

Percentage of the requests served within a certain time (ms)
50% 6
66% 7
75% 8
80% 8
90% 10
95% 13
98% 70
99% 74
100% 3015 (longest request)

如果打开KeepAlive，吞吐量可以达到10000以上：

Server Software: gefr-jetty/0.3dev
Server Hostname: localhost
Server Port: 8088

Document Path: /
Document Length: 19 bytes

Concurrency Level: 100
Time taken for tests: 1.749189 seconds
Complete requests: 20000
Failed requests: 0
Write errors: 0
Keep-Alive requests: 20000
Total transferred: 3062142 bytes
HTML transferred: 380266 bytes
Requests per second: 11433.87 [#/sec] (mean)
Time per request: 8.746 [ms] (mean)
Time per request: 0.087 [ms] (mean, across all concurrent requests)
Transfer rate: 1709.36 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.8 0 23
Processing: 0 8 8.0 6 85
Waiting: 0 8 8.0 6 85
Total: 0 8 8.1 6 85

Percentage of the requests served within a certain time (ms)
50% 6
66% 7
75% 8
80% 9
90% 11
95% 20
98% 41
99% 43
100% 85 (longest request)

你可以根据gefr的文档安装它。

'jip.embed: On-the-fly classpath resolution for Jython'

2011-06-10T00:00:00+08:00

ANN tags:
jip
jython
opensource
project published: true comments: true

jip 0.7 introduces a module called jip.embed, which allows you to add libraries to your code in the runtime as you declare them. With jip.embed, you don't have to download jars manually and append them to your -Dpython.path. You just pick your editor, import jip.embed, code your business, then save and run it.

Code example:

[cc lang="python"]
import jip.embed
jip.embed.require('commons-lang:commons-lang:2.6')
from org.apache.commons.lang import StringUtils

print StringUtils.reverse('jip rocks')
[/cc]

Output:
[cc]
skcor pij
[/cc]
(jip will print some log here if dependencies are included for first time)

So please check out my new released jip, 0.7: https://github.com/sunng87/jip

For virtualenv user, you can install full-featured jip via pip: $ pip install jip

To install jip globally, download the package from python cheese shop and run: $ jython setup.py install

OpenLayers extension for HeatCanvas

2011-06-06T00:00:00+08:00

ANN tags:
heatcanvas
javascript
OpenStreetMap
project published: true comments: true

As the screenshot shows, now you can embed HeatCanavs in your OpenLayers application, as well as OpenSteetMap.

Three steps to create such kind of map:

1. Create HeatCanvas layer:
[cc lang="javascript"]
// constructor params:
// name, OpenLayers map instance, OpenLayers layer options, HeatCanvas options
var heatmap = new OpenLayers.Layer.HeatCanvas("HeatCanvas", map, {},
{'step':0.3, 'degree':HeatCanvas.QUAD, 'opacity':0.8});
[/cc]

2. Feed some data on layer:
[cc lang="javascript"]
heatmap.pushData(latitude, longitude, value);
[/cc]

3. Add layer to map:
[cc lang="javascript"]
map.addLayer(heatmap);
[/cc]

The live demo is hosted on github: http://sunng87.github.com/heatcanvas/openstreetmap.html

HeatCanavs is a heat map implementation on HTML5 canvas and WebWorker API.

Take my coffee

2011-06-04T00:00:00+08:00

当时
留影 tags:
coffee
Life published: true comments: true

是coffee不是Java也不是CoffeeScript。买了两个月的咖啡机，到今天才终于把磨豆机和拉花杯都制备齐了。我上周用搪瓷缸打牛奶场面真是残不忍睹。不过我发现其实设备区别不大，蒸汽的掌握还是很重要的；牛奶的选择也很重要，鉴于家里没有其他牛奶可选，这部分跳过。蒸汽喷嘴与牛奶的举例很重要，我的咖啡机上还有个橡胶嘴我今天把它彻底扔掉了，直接用金属的喷嘴即可。按照某视频介绍，蒸汽嘴距离牛奶表面3毫米。这个距离如果太大就会导致牛奶乱喷，如果直接把喷嘴伸进牛奶我还没有尝试。

打好的牛奶就是这个样子，对不住大家的是，焦点跑了。

加上我们刚喷好的咖啡

就变成了这个样子（我晕，焦点又跑了）

这个算是cappuccino吗。。。

最后还有一点咖啡，不要浪费了，搞点艺术创作：焦点你最后终于来了。

HeatCanvas hits 1.0, and public available

2011-06-03T00:00:00+08:00

ANN tags:
heatcanvas
html5
javascript
project
web published: true comments: true

As described in Wikipedia, a heat map is a graphical representation of data in a two-dimensional table. HeatCanvas enables heat map on HTML5 canvas. With HeatCanvas, you can visualize your data on modern web browser without server-side support.

HeatCanvas is based on the prototype I wrote 15 months ago. I just rewrite the whole with WebWorker API to keep user away from UI frozen and annoying slow-script warning. HeatCanvas is implemented as pixel based, so the image quality is great.

The API is rather simple. There are only three steps to create a basic heat map.

1. Create the heat map object:
[cc lang="javascript"]
var heatmap = new HeatCanvas('canvasId');
[/cc]

2. Add some data to heat map:
[cc lang="javascript"]
heatmap.push(223, 98, 10); // x,y and value for this point
[/cc]

3. Render it:
[cc lang="javascript"]
heatmap.render();
[/cc]

In contrast to the base API, HeatCanvas also supports flexible options to customize the rendering. Even custom colour scheme is allowed. You can refer to the doc for detail.

And for your convenience, we have a GoogleMap plugin, HeatCanvasOverlayView, that wraps HeatCanvas. You can use it in your GoogleMap application.

For live demos, you can find at: http://sunng87.github.com/heatcanvas/

As always, the project is hosted on github: https://github.com/sunng87/heatcanvas .

The three javascript files are only necessary in your application, thus, please ignore the htmls in your deployment. Any feedback is welcomed and also please kindly let me know your application using this API.

网站五月访问量的可视化

2011-06-01T00:00:00+08:00

手艺 tags:
visualization
web published: true comments: true

今天用正在调试中的heatmap做了一个网站访问量的可视化。数据从google analytics得到，再通过我本地的geonames数据库做了geocoding（用google的就太慢了）。这里有一个live版本。

关于这个heatmap目前还在开发中，很快会介绍给大家的。

手动设置Fedora15网卡

2011-05-28T00:00:00+08:00

把戏 tags:
fedora
linux published: true comments: true

今天上午的Fedora更新，版本为0.8.999.3的NetworkManager会致使NetworkManager和network service的版本不一致，从而导致网络功能无法使用。而这个时候要通过yum downgrade NetworkManager*降级又没有网络连接可用，悲剧。

这时只有手动设置网卡了。service network restart和 service NetworkManager restart都报告失败，ifconfig查看网卡，只有本地回环启动。

接下来接上网线，通过 ifconfig -a 查看所有的网卡接口，例如我的接口叫做em2.

启动网卡 ifconfig em2 up

查看网卡情况 ifconfig em2

如果没有获得ip，可以通过dhcpclient获得ip dhclient -4 em2

再查看网卡情况，如果获得了ip，可以尝试ping www.baidu.com，如果出现network unreachable的报错，需要再配置一下路由信息，其中gw是你的网关： route add default gw 192.168.1.1

这时你的网络应该暂时可用了，立刻执行yum downgrade NetworkManager*降级吧。

jip 0.5.1 released

2011-05-15T00:00:00+08:00

ANN tags:
jip
jython
project published: true comments: true

I just rolled out jip 0.5.1 as a bugfix version of 0.5. It has been published to pypi and you can install it with pip install jip in your virtualenv.

From 0.5, you have new features available:

User-Agent 'jip/0.5' is added to http request.
New command `freeze` just like pip.
Improved jar downloading. By default, at most 3 jars are downloaded in parall.

In 0.5.1, bugs were fixed:

Repositories defined in pom are now included for install command.
Placeholder resolving of #{pom.groupId} is corrected. (instance)
urllib2.URLError is caught to prevent dump.

For any problem and feature request, please refer to github issue tracker.

用coffeescript重写了首页

2011-05-13T00:00:00+08:00

装备 tags:
coffeescript
javascript
web published: true comments: true

下午有时间看了一下coffeescript，发现非常优雅。过去对JavaScript的工作，从dojo到jquery主要是在库的层面，这次coffeescript的出现是在语言层面对javascript做了一次加强。现在对语言的加强不再需要mozilla/microsoft/google/apple几家坐下来慢慢聊了，民间的力量就可以实现。

coffeescript的几个特点也属于博采众长：

类似python的，以缩进取代代码块
类似ruby/perl，方法调用括号可选
类似ruby，无须return
正常的类声明语法

在nodejs的环境里可以通过npm安装coffer-script，利用它的命令行程序，可以把coffeescript编译成javascript。不过最给力的是可以在网页里通过引入coffee-script.js来直接执行（其实也是编译一下）coffeescript。

于是我顺手重写了一下首页的js，改写成coffeescript。因为少打很多() {}，手可以控制在键盘中心的，敲字的效率大大提高。用空你也可以尝试一下。

安装Exaile豆瓣电台插件及Gnome-Shell扩展

2011-05-09T00:00:00+08:00

ANN tags:
exaile
gnome-shell published: true comments: true

介绍一下新版本的Exaile豆瓣电台插件和新的GNOME-Shell扩展的安装。

下载

从github上下载相应的版本：

$ wget --no-check-certificate https://github.com/sunng87/exaile-doubanfm-plugin/zipball/0.0.10-dbus

$ wget --no-check-certificate https://github.com/sunng87/exaile-doubanfm-gnome-shell-extension/zipball/0.0.1

$ ls
sunng87-exaile-doubanfm-gnome-shell-extension-0.0.1-0-g5cc29c6.zip
sunng87-exaile-doubanfm-plugin-0.0.10-dbus-0-g90f7175.zip

解压安装

如果你已经安装过exaile豆瓣电台插件，可以先删除旧版本：

$ rm -rf ~/.local/share/exaile/plugins/doubanfm

解压缩下载的文件：

$ unzip sunng87-exaile-doubanfm-plugin-0.0.10-dbus-0-g90f7175.zip
$ unzip sunng87-exaile-doubanfm-gnome-shell-extension-0.0.1-0-g5cc29c6.zip

移动到指定的目录：

$ mv sunng87-exaile-doubanfm-plugin-90f7175/ ~/.local/share/exaile/plugins/doubanfm
$ mv sunng87-exaile-doubanfm-gnome-shell-extension-5cc29c6/ ~/.local/share/gnome-shell/extensions/exaile-doubanfm-gnome-shell-extension

配置

启动Exaile，通过菜单“编辑->首选项->插件”，激活doubanfm，禁用lastfm covers。如图设置插件：

重启GNOME-Shell，按下alt+f2，输入r，回车。

使用

启动exaile，可以通过文件菜单打开豆瓣电台频道。可以通过ctrl+d或者视图菜单切换到豆瓣电台视图：

当然也可以通过gnome-shell扩展的菜单控制豆瓣电台的播放。

GNOME-Shell Extension for Exaile DoubanFM Plugin

2011-05-07T00:00:00+08:00

手艺 tags:
dbus
Douban
exaile
foss
gnome-shell
javascript published: true comments: true

从有这个动机到基本可用，花了整整一天的时间。现在可以通过GNOME-Shell的一个小菜单从外部控制Exaile豆瓣电台了。它的意思就是说如果你使用Gnome-Shell，你可以把Exaile界面扔到一个你不想看到的地方去，比如第n+1个workspace。然后通过左上角的菜单来控制豆瓣电台的播放。见多识广的你不会对此感到太惊奇，其实它和Ubuntu上的Sound Menu Indicator类似，不过是专门给豆瓣电台设计的。

要实现这个功能，需要播放器通过dbus来expose一些接口供外部程序调用，它和Sound Menu是一样的，通过dbus来解耦。开发起来比较困难的是目前GNOME-Shell的API还不成熟，还没有文档，传统的javascript object inspect方法似乎在这个mozjs的环境里也不能用，所以实在是无从知道一些API。更不要提通过gjs来调用dbus了。网上有一些文档起了很大的作用，如果你也感兴趣，这些文章是：

开发GNOME-Shell Extension：http://blog.fpmurphy.com/2011/04/gnome-3-shell-extensions.html
gjs调用dbus： blog.roodo.com/rocksaying/archives/14229429.html

支持dbus的exaile-doubanfm-plugin会在stable之后合并到主干供大家使用。现在和gjs一样，它的API也不稳定，所以放在分支中： https://github.com/sunng87/exaile-doubanfm-plugin/tree/dbus

gnome-shell extension的代码现在也放在github上（其实还不成熟的东西放到bitbucket比较好的）。有兴趣可以了解： https://github.com/sunng87/exaile-doubanfm-gnome-shell-extension

以上都是unstable，仅供吊胃口之用。

去西安

2011-05-03T00:00:00+08:00

当时
留影 tags:
vocation
Xi'an published: true comments: true

除了02年在北京打了几天酱油，我还没有因为打着去玩的旗号出过远门（到镇江这里就不算远门了）。今年五一痛下决心，卷入五一滚滚洪流，抱着轻度腹胀不下火线的精神，突破了我所到达的经度下限。
View Larger Map

我坐的K560是一趟开到延安老区的车，老区人民伤不起，一路上尽给到乌鲁木齐到拉萨的车让道了。晚上在上铺作原地翻滚，发现铁皮太厚根本没有信号，为了不虚此行，早晨7点就从上面跳下来，在窗边占个座位打开GPS。抬头一看已经到了开封，不对，才到开封。 http://www.openstreetmap.org/user/Sunng/traces/1001751

到了西安已经是下午三点半，找到老支书，见到身强体壮的新版寇巨头。晚上我们就在曲江新区迷了路，冥冥之中深夜里摸到了我国第一个官二代并富二代，胡亥长眠的地方。最后还好老支书迷途知返，及时拿出诺基亚表明自己身份，与二代们划清界限，我们才又绕道大雁塔回了住处。

第二天是逛城墙。逛城墙之前先说一下出发前吃的腊汁肉揪片，太好吃了，就是油有点大：我当时就指出如果是吃面条吃出高血脂脂肪肝什么的，跟那帮大鱼大肉的比起来实在是有点冤枉。扯回来，西安现存的城墙是明代以后的，保存完好，不过不大，GPS显示周长在15公里左右。从城墙的东西南北四个门上去都可以租到自行车，默认是100分钟，基本上可以很宽裕地把全程骑行下来。 http://www.openstreetmap.org/user/Sunng/traces/1001753

那天天气不太好，本来想拍拍城墙上夕阳斜照点点余辉什么的，结果相机没有被淋雨已经万幸了。况且西安经度比较低，太阳落山的时间要晚不少，执着于点点余辉的话，挑个好天先去吃一顿在上城墙吧。

主题来了，下了城墙我们直奔钟鼓楼后面的回民街。用老支书的话说，这都是硬菜，花样繁多个个顶事，瓶颈不再别处，在你的胃。去了才发现战斗力低下，我们前后去了两次，吃了羊肉馅饼、羊肉串、镜糕、桂花糕、灌汤包、小酥肉。我就不一一描述了，说得再好吃也得真正去了才能体会。去不了就看看吧：这个是卖桂花糕的大叔，pose很专业，但是遇到不专业的人拍照。大叔我对不起你啊！

更多照片请移步到flickr。此外您应当理解，在这种环境下，是没有心思好好拍照的。

最后感谢老支书无微不至的接待。

Convert a Python function to Java anonymous class

2011-04-29T00:00:00+08:00

手艺 tags:
java
jython
python published: true comments: true

When calling Java with Jython, anonymous inner class might be an issue because there is no such equivalent in Python.

In GUI programming, jython made additional effort on AWT event processing. You can pass a python function as some types of event listener.
[cc lang="python"]
def change_text(event):
print 'Clicked!'

button = JButton('Click Me!', actionPerformed=change_text)
frame.add(button)
[/cc]

Described in the Definitive Guide of Jython:

This works because Jython is able to automatically recognize events in Java code if they have corresponding addEvent()* and *removeEvent() methods. Jython takes the name of the event and makes it accessible using the nice Python syntax as long as the event methods are public.

However, it does not work with Runnable, Callable and many other interfaces designed for anonymous usage.

To solve the incompatibility, I created a small decorator that converts Python function to a Java object.

Thanks to python's dynamic magic, we can create class in runtime and assign modified method to a particular instance. The conversion is performed once the function loaded. Also, you can pass something as arguments to constructor.

With anonymous_class decorator, the example above can be written as:
[cc lang="python"]
from javax.swing import JButton, JFrame
from java.awt.event import ActionListener

frame = JFrame('Hello, Jython!',
defaultCloseOperation = JFrame.EXIT_ON_CLOSE,
size = (300, 300)
)

@anonymous_class(ActionListener, "actionPerformed")
def change_text(dummy, event):
print 'Clicked!'

button = JButton('Click Me!', actionPerformed=change_text)
frame.add(button)
frame.visible = True
[/cc]

GPars的Actor实现

2011-04-28T00:00:00+08:00

手艺 tags:
groovy
java
opensource published: true comments: true

Actor是一种Continuation技术，可以在少量的线程运行大量Actor对象。Actor对象之间通过消息机制进行交互。而Actor本身线程安全，这样的模型使并发编程的复杂度降低，同时也在一定的场景下实现了可扩展性。

gpars是Java和Groovy都可以使用的并行编程库，他实现了Actor、Agent、DataFlow等模型，旨在为Groovy提供高层的并行编程模型。以下分析gpars 0.12中非阻塞Actor的实现。

[cc lang="groovy"]
@Grab("org.codehaus.gpars:gpars:0.11")
import groovyx.gpars.actor.Actors

def worker = Actors.actor {
loop {
react {
reply it.reverse()
}
}
}

def console = Actors.actor {
worker << "Hello GPars"
react {
println it
}
}

console.join()
[/cc]

首先，在工厂类中Actors里会初始化一个DefaultPGroup用来封装后台的线程池、管理actors。Actors默认使用ResizeablePool，他是JDK Concurrent Framework中的ThreadPoolExecutor的封装，coreSize和maxSize不同所以称Resizeable。

Actors的工厂方法actor生成的是DefaultActor，它是非阻塞actor的默认实现。（ActorGroup:67）

DefaultActor的构造方法接受一个Groovy的闭包对象，将其封装为DefaultActorClosure对象后，调用其父类AbstractLoopingActor的initialize方法（DefaultActor：73）.

initialize方法创建一个Runnable对象AsyncMessagingCore，并将线程池传递给core对象。（AbstractLoopingActor:57）AsyncMessagingCore对象负责消息的传递和处理，是线程池处理的目标对象。

调用start启动actor后，actor会向自己发送一个start消息（AbstractLoopingActor:173）.
core获得start消息后，调用DefaultActor覆盖的handleStart方法（DefaultActor:328）。

在handleStart中，actor会调用用户传入的闭包方法。上面的例子是一种典型的用法，loop是DefaultActor中的方法，loop也并不是无限空转的，他仅在收到消息被时被触发（DefaultActor:191）react也是DefaultActor中的方法，它将nextContinuation方法设为内部闭包对象，用来处理actor接收的消息。

向Actor发送消息，是通过actor的send方法和重载的leftShift运算符进行操作。（AbstractLoopingActor:236）actor调用core的store方法，将ActorMessage压入core的队列中。入队列之后，core会检查锁对象activeUpdater，判断当前core是否在线程处理中，如果不在，则将core加入线程池中处理。activeUpdater是一个AtomicIntegerFieldUpdater对象，他的compareAndSet可以保证原子性。而通过activeUpdater也可以保证同一时刻只有一个core被线程池处理，从而使actor的线程不安全代码也线程安全地运行。

进入线程池后，core首先将自己放进threadlocal对象中，并保存当前线程的引用。然后会循环消费MessageQueue中的消息直至Queue的可处理部分为空。（AsyncMessagingCore:126）。handleMessage在AbstractLoopingActor中被覆盖，会根据消息的类型进行分发调用（前面提到的start消息就是一种）。默认的业务消息，在DefaultActorClojure中调用DefaultActor的onMessage方法处理。

onMessage中，react的闭包会被调用来处理业务。之后nextContinuation被置为null，这时loop闭包被重新调用，react闭包重新被赋给nextContinuation。这部分代码就是前面所说的loop并非空转，而是在消息处理完成后重新准备而已。

此外，core的MessageQueue的实现是DefaultMessageQueue。它使用两个LinkedList作为输入（向actor输入）队列和输出队列，当输入队列为空时，通过同步方法swap交换输入输出队列。swap是整个actor系统里唯一一个同步方法。这样的机制保证actor的core在线程池中处理时，外界仍然可以向actor发送消息，消息会在actor被调度出线程池之前全部处理掉。不过，他的前提是只有一个线程读这个队列，这个条件在actor系统里，通过core对象的activeUpdater可以有效的保证。

Actor模式采用这种onDemand方式的线程使用，允许大量的actor共存，并只有活跃的actor会占用线程，非活跃状态的actor处在dettach状态，并不消耗计算资源，取消了空转的loop。

'GPS Track of Train K221: Nanjing to Guangzhou'

2011-04-26T00:00:00+08:00

自话 tags:
GIS
gps published: true comments: true

GPS Logger完成了它有生以来最长的一次旅行，1477分钟，行程1767公里，途径江苏、安徽、江西、湖南、广东，包含了宁芜线、浙赣线、京广线等。有了GPS终端，贴地的旅途就变成一件非常严肃的事情。这周末去西安，这个GPS也是16个小时上铺车程唯一的安慰了。

这个数据分享在OpenStreetMap上，也许你会感兴趣： http://www.openstreetmap.org/user/Sunng/traces/996794

告别Ubuntu，迁移到Fedora 15，GNOME 3

2011-04-22T00:00:00+08:00

装备 tags:
fedora
gnome
linux published: true comments: true

昨晚终于下了决心告别Ubuntu的紫色，迎接新的GNOME3桌面。这个想法有一段时间了，Ubuntu从09年生日的时候安装在这台电脑上，已经将近两年的时间，经历了9.04, 9.10, 10.04, 10.10, 11.04五个版本，安装了GNOME, awesome, KDE, LXDE, Openbox, wmii, GNOME3, Ubuntu Netbook等等桌面环境，可以想想那种混乱。而且通过升级获得的新版本，并不能体会到快速开机这样的特性。这次unity发布以后，用了半个月，没有什么眼前一亮的感觉，操作也不太方便，于是换发行版的想法就更加强烈了。

我的系统之前有三个分区，分别挂载/，/home以及/opt。这次更新理想的方式就是格式化/，保留/home和/opt。之前比较讲究规范，所以/下面基本上没有什么需要备份的东西，配置文件都放在/home下面。这样用fedora的livecd安装程序手动配置磁盘分区，只格式化/就可以了。安装的过程非常顺利，重启以后就进入用户配置的界面了。

要把原先的/home/sun分配给新的sun用户，这里我走了一点弯路。系统可以把/home/sun目录配置给新的sun用户作为$HOME，但是目录的owner并不会根据用户名称来匹配。Ubuntu默认第一个用户的UID是1000，而Fedora创建的新用户默认是500. 我现在不确定如果把第一个用户的ID手动指定为1000会不会就直接成功。不过这个问题不大，只要启动之后用root用户把/home/sun目录chown给新的sun用户就可以了，当然文件很多是需要消耗一些时间的。

进入GNOME3桌面之后发现无线网络连不上，而且不弹出密码输入框。因为我最近改了无线的密码，而NetworkManager还是从gnome-keyring里去读旧的密码，所以总是连接失败。这时rm -r ~/.gnome-keyring/ 删除旧密码即可。

桌面的第二个问题是桌面背景仍然是旧的配置（只有颜色没有图片，因为GNOME3默认桌面不由Nautilus管理），这时要毫不留情地删掉所有GNOME2的配置： rm -rf ~/.gnome2 ~/.gconf ~/.gconfd

第三个问题，gnome的applition菜单非常混乱，还存着Ubuntu系统时候的内容。根据freedesktop的标准，用户的菜单配置保存在~/.config/menus里，而用户菜单会从~/.local/share/applications下读取所有的.desktop文件，甚至包括wine也会在这里创建自己的菜单。对付这些内容，一删了之： rm -rf ~/.local/share/applications/*。这样菜单就只会从/usr/share/applications/下读取.desktop文件，这些都是最新安装的。

然后，然后就没有了！就可以开始享受fresh install了，甚至你打开thunderbird，所有的邮件都在那里，什么都不用再做。如果要比较gnome-shell和unity的话：

gs的启动器比unity要好用，unity的启动器搜索程序之后必须点击图标才能启动，gs可以直接回车启动第一个
gs的dock比unity要好用，其实都与windows7的任务栏类似，但是 unity里打开了一个终端之后，再点这个图标就转到终端，如果想新开一个就无奈了，右键点击也没有新开的选项。（难道是shift+click，来不及试了。。。）
unity的indicator比gs的tray强大多了，这是ubuntu的强项，从10.04开始就用自己的indicator，到了11.04已经有成熟的API，除了官方的，还有很多程序支持，还有天气、系统监控的indicator。gs抛弃了原来的panel applets，现在看天气、看系统状况都无从谈起。尤其是看不到cpu使用情况，心里总是不踏实，天知道firefox+flash又把你的系统烧了多久。

总体来说这次重装效果非常好，基本上没有留下任何瑕疵。断断续续用了四年多的Ubuntu，再见了～

Exaile sound menu support updated, now compatible with Natty

2011-04-17T00:00:00+08:00

ANN tags:
exaile
project
ubuntu published: true comments: true

Finally it was fixed. I just updated the plugin according to the new SoundMenu registration process. Now you can download the head version from github and extract it under ~/.local/share/exaile/plugins.

You can fire an issue on github if you have problem of using it.

'Don''t repeat yourself: distribute jython package with jip.dist'

2011-04-14T00:00:00+08:00

ANN tags:
jip
jython
python published: true comments: true

As a new feature in jip 0.4, we can use some helpers from jip.dist to simplify package distribution. With jip.dist, you can define Java dependencies for your jython package. In an environment with jip, dependencies will be automatically installed when user uses pip to get you package.

We have two different approaches allow you to choose.

Approach 1, Define dependencies in POM

This is the standard maven way. To describe your jython package and its dependencies, create a pom.xml in your project. The directory hierarchy looks like:

├── app
│   ├── module1
│   │   ├── __init__.py
│   ├── core.py
│   ├── __init__.py
├── LICENSE
├── MANIFEST.in
├── pom.xml
├── README
└── setup.py

In pom.xml, just add dependencies as you do with Maven.
[cc lang="xml"] xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

...

org.slf4j slf4j-api 1.6.1

org.slf4j slf4j-log4j12 1.6.1

...

sonatype-oss-sonatype http://oss.sonatype.org/content/repositories/snapshots/ [/cc]
You can also define repositories in pom.xml if you use custom repository. (for example, jboss, java.net)

Remember to add pom.xml in your MANIFEST.in, to ensure the file will be packaged into source package:
[cc lang="text"]
include pom.xml
[/cc]

Approach 2, Define dependencies with Python

You may be tired with endless XML configuration. jip allows you to define dependencies with python, just like gradle with groovy.

In your setup.py, add something like:
[cc lang="python"]
requires_java = {
'dependencies':[
## (groupdId, artifactId, version)
('org.slf4j', 'slf4j-api', '1.6.1'),
('org.slf4j', 'slf4j-log4j12', '1.6.1'),
('info.sunng.soldat', 'soldat', '1.0-SNAPSHOT'),
('org.apache.mina', 'mina-core', '2.0.2')
],
'repositories':[
('sonatype-oss-snapshot', 'http://oss.sonatype.org/content/repositories/snapshots/')
]
} [/cc]

Then pass it to setup(). The keyword argument require_java is jip specific.
[cc lang="python"]
setup(
...
requires_java=requires_java,
...)
[/cc]

Use jip's setup wrapper

To use jip's power, the only difference is to use setup() from jip.dist instead of setuptools or distutils.
[cc lang="python"]
from jip.dist import setup
[/cc]

Then publish your jython package to Python Cheese Shop: $ jython setup.py sdist upload

Internally, jip uses setuptools. So you can still do jython setup.py develop .

And jip 0.4 is available under MIT License. You are free to use jip.dist in your code.

For your user

You should write a guide forcing users to use your jython application within virtualenv. And install jip as a prerequisite: $ pip install jip

Then simply install your package with pip: $ pip install <your-package-name>

No additional step required!

So please just release your jython package with jip !

For more information:

Enhanced jip to simplify Jython module distribution

2011-04-10T00:00:00+08:00

手艺 tags:
jip
jython
project published: true comments: true

As you might notice, the installation of gefr is too complex, requiring several manual actions. User have to remember the long maven coodinator to resolve dependencies. wtf!

So I have been working whole day to simplify the process.

Currently, gefr's approach is to upload pom.xml to a public maven repositoy (sonatype oss). And the source is uploaded to pypi. Pip will find the source and install it. Jip will find the plain pom and resolve it. Because once pip finished the installation, the source package will be erased and jip can never find the pom. So I have to distribute them seperately.

It would be better to invoke jip right before pip exits. I did some investigation about post-install script. And lucky enough, distutils allows you to override default install command. We can use it to invoke jip, in the scope of setup scrript. It does make sense.

Another problem is the original design of .jip configuration file. From jip 0.2, .jip is available as environmen-scoped: we define some custom repositories and the whole environment shares them. But if we have multiple projects in the same environment, jip may waste time to find public artifact in a private repository. Even worse, jip may load invalid artifact from private repos. In the new design, private repositories are defined in pom.xml, as project-scoped, just like most java build tools.

With new jip, to distribute a jython package, you should write a pom in the same way of Java, specifying the dependencies and custom repositories if you have. Then modify your MANIFEST.in to include it to your source package. At last, in the setup.py, define a new install command to call jip and pass the command into the setup() . From the new approach, only 'pip install' is required for end user. Super easy!

Upon the new usage of jip(as a library), I am also considering to migrate from GPL to LGPL or MIT. I have little knowledge about conflicts between licenses. So if you have some ideas or concerns, feel free to let me know.

Gefr with multiple backends support

2011-04-09T00:00:00+08:00

ANN tags:
gefr
jython
project
wsgi published: true comments: true

I have been working on gefr this week to add apache MINA backend for it. The goal of gefr is to provide adapters between Python's WSGI and Java network infrastructures. In cPython world, most WSGI servers are implemented with C code(fapws, meinheld, etc.), which is not applicable on Jython platform. However, the Java world has its own reliable network foundations. So my gefr turns them into WSGI servers. The ultimate goal of gefr is to make it possible to port any of your WSGI web applications to Jython seamlessly.

There has been many attempts to use Jython in Java web development. Most of them is focusing on applying Jython in Servlet framework. This is helpful, but it doesn't take the whole advantage of Python web programming. The most valuable thing in Python web development is its various web frameworks and agile tools. But inside servlet framework, we can hardly apply them, the only things we have is Jython's beautiful syntax. That should not be enough.

OK. You are eager to meet gefr? Let's get hands dirty with some setup. I just assume that you have some essential software installed in the right place. Is it true for you?

Create Jython virtual environment: $ virtualenv -p /usr/local/bin/jython gefr-test
$ cd gefr-test
$ source bin/activate

Install jip. jip is a great tool to manage Java dependencies for your Jython application. jip>=0.3 is required in this guide, and pip will handle this for you. $ pip install jip

Install gefr. Since gefr is a pure Python package, pip is still helpful. $ pip install gefr

Now create a jip configuration file called .jip in your virtual home. We should add sonatype oss repository.
[cc lang="ini"]
[repos:oss]
uri=http://oss.sonatype.org/content/repositories/snapshots/
type=remote

[repos:central]
uri=http://repo1.maven.org/maven2/
type=remote

[repos:local]
uri=/home/sun/.m2/repository/
type=local
[/cc]

New in jip 0.3, we can use a single command to resolve dependencies of gefr. $ jip install-dependencies info.sunng.gefr:gefr:0.2-SNAPSHOT

OK. Then everything is ready. Create your first Jython WSGI application. Actually, there is no difference.
I just copy the example of gefr here, you can find it in the code repository.
[cc lang="python"]
#! /usr/bin/python

__author__="Sun Ning "
__date__ ="$Jan 5, 2011 10:14:27 PM$"

import sys
from gefr.core import Gefr

def simple(environ, start_response):
"""a static app"""
headers = []
headers.append(('Content-Type', "text/html"))
start_response("200 OK", headers)

return ["

it works.

if __name__ == "__main__":
from optparse import OptionParser
parser = OptionParser()
parser.add_option('-b', '--backend', dest='backend', help='server backend')
(options, args) = parser.parse_args()

if options.backend == 'soldat':
from gefr.backends.soldat import SoldatBackend as backend
elif options.backend == 'mina':
from gefr.backends.mina import MinaBackend as backend
else:
print 'backend %s not supported.' % options.backend
sys.exit(1)

g = Gefr(simple, backend)
g.start()
[/cc]
With the command line options, you can control which backend to be used. Now start it with: $ jython-all example.py -b soldat or $ jython-all example.py -b mina

Soldat is another network framework written by myself. And MINA, you must know. Open your browser, redirect it to http://localhost:8080 , now you see it works.

Sure, that's not enough for your needs. Let's have an advanced example. Among all the web frameworks in Python, I like bottle most. So we just build a simple application with GET and POST in bottle.

$ pip install bottle
$ pip install mako
$ mkdir bottleapp
$ cd bottleapp

The bottle application looks like:
echo.py
[cc lang="python"]
# -*- coding:utf-8 -*-

from bottle import Bottle, mako_view, request
from gefr.core import Gefr
from gefr.backends.mina import MinaBackend

bapp = Bottle()

@bapp.get('/')
@mako_view('edit')
def display_form():
return dict(ip=request.environ.get('REMOTE_ADDR'))

@bapp.post('/')
@mako_view('show')
def display_content():
content = request.POST.get('content')
return dict(content=content)

Gefr(bapp, MinaBackend).start()
[/cc]

The simple mako templates are:

edit.tpl
[cc lang="html"] Bottle on MINA

Bottle on MINA

User from ${ip}, leave your words please:

[/cc]

show.tpl
[cc lang="html"] Bottle on MINA

Bottle on MINA

${content | h}

[/cc]

Start the bottle app: $ jython-all echo.py

This is rather simple but it covers the most basic features of a web server.

I should say thank you for reaching here. Gefr is still an experimental project in early development. So there must be bugs and potential performance improvements in it. Feel free to contact me if you are also interested in it. The project is hosted on bitbucket: https://bitbucket.org/sunng/gefr

jip 0.2 released

2011-04-05T00:00:00+08:00

ANN tags:
java
jip
jython
maven
project
python published: true comments: true

As you may know, jip is a dependency management tool for Jython/Java development. It resolves and downloads Java packages from maven-compatible repositories. jip also follows some best practices, encouraging you to use a portable and standalone environment (virtualenv) for your Jython development.

It has been four months since the initial release. In version 0.2, I made following changes for you:

Improved console output format
Correct scope dependency management inheritance
Snapshot management, alpha
Environment independent configuration
Bug fixes

You can find the typical usage doc on github: https://github.com/sunng87/jip

jip-0.2 has been published to pypi so you can install or upgrade it with:
easy_install -U jip

Please do remember to use it inside virtualenv!

南京的第一个周末

2011-04-03T00:00:00+08:00

自话 tags:
Life
LilyStudio
Nanjing published: true comments: true

回了南京，最大的变化就是心里踏实多了，从上大学以后几乎就没有再在家里好好呆过。虽然年纪轻轻就告老还乡有点不太给力，但是这样实在是比在外乡遥遥无期地飘着感觉要好（飘着好，遥遥无期地飘着不好）。

上班的地方在江宁，你可以从sunng.info页面的location标签上找到我。那个园区应该是聚集了一些软件公司，不过规模比显然比不上浦东软件园（还一二三期）。当然啦，规模大有个毛用，稍微晚几分钟食堂还要排队，快算了吧。

交通比想象的要方便，换一次公交车就从家门口到园区门口了。即使是早高峰时间，也只有在市区的一条路上稍微堵一下，大部分时间都是飞驰的专车，夫复何求！！换车的地方在未来的京沪高铁附近，将来南京南站也建在那一带，施工的时候还是尘土飞扬的，这点比张江要差点。（嗯，也就跟张江比比吧）

小公司有小公司的好处，新人去了没有繁文缛节的洗脑。开发岗位的直接用linux桌面，我把它看作一种福利，虽然是个rhel5，但好歹有自己配置的余地。当然即使这样，Windows还是少不了，Office是主要的原因，不过现在虚拟机是它永恒的家了。其他嘛，印象深刻的是公司的OpenDNS规则配得很厉害，好在firefox有个配置项叫做network.proxy.socks_remote_dns，你懂的。

周末在南京就可以随心所欲了。今天是新赛季中超联赛第一轮，下午3点半奥体又要热闹了。去年舜天队不给力，在盛大又特别忙，全年我就看了第一个主场的比赛，结果还输了（十年来第一次在现场输球）！！初中高中的时候要忙学习，大学的时候工作室周六开会，所以这么多年都没有条件保持看球的出勤率。现在时候到了，这是一种怎样的情怀了。

除去安逸的事情以外，我最近在看UEAP，再和@rlove的Linux System Programming对照看比较有感觉，不过我好像动手偏少了。另外还要看一下一个python的wsgi server叫做meinheld它为什么这么快呢。。

最后还要恭喜工作室战友、某著名互联网企业优秀员工、抢了04地理（我几乎忘了我是地理学院的了）第一婚的成功人士tiger新婚愉快！（除了The connection was reset以外就是成功人士的定义了）

gefr API updates

2011-03-28T00:00:00+08:00

ANN tags:
gefr
java
jython
opensource
project
python
wsgi published: true comments: true

早上收到jythonet作者的一封邮件，受到启发，我打算扩展一下gefr这个WSGI adapter。原本gefr是写给soldat用来测试的，结果发现现在出现了买椟还珠的效果，既然大家更加关注这个，我决定多花一些时间在上面。不过话说回来gefr确实是Jython Web程序的新思路，过去大家都在想怎样把Jython放进Servlet中，gefr的思路是把Java的服务器实现放到WSGI后面。未来会有gefr-netty, gefr-mina, gefr-servlet等等出现，如果真的存在一个可靠的backend，也许这种思路也不失为一个办法，毕竟python的web框架更吸引人，而java的基础设施相对可靠，各取所长。

根据这个目的，现在gefr 0.2的API更新为：

即在创建Gefr的时候需要告知backend类型，目前还只有soldat一种后端。未来也可能通过自动检测让这个参数成为可选。

gefr 0.2已经在开发中，您可以通过这里关注： https://bitbucket.org/sunng/gefr/overview

Setting up soldat and gefr

2011-03-27T00:00:00+08:00

装备 tags:
java
jip
jython
project
python
soldat
wsgi published: true comments: true

本文介绍soldat服务器和gefr WSGI适配器的环境搭建，以及jip的基本使用。

安装python工具

virtualenv和pip是python开发的关键工具
sudo apt-get install python-virtualenv
sudo apt-get install python-pip

jython需要您手动下载安装。推荐安装到/usr/local/下，并建立软连接到/usr/local/bin/中，下文将假设您是这么做的。

创建虚拟jython环境

virtualenv -p /usr/local/bin/jython gefr-test
cd gefr-test
source bin/activate

安装jip

pip install jip

配置jip

在$HOME下创建文件.jip，内容为：

[cc lang="ini"]
[repos:oss]
uri=http://oss.sonatype.org/content/repositories/snapshots/
type=remote

[repos:central]
uri=http://repo1.maven.org/maven2/
type=remote

[repos:local]
uri=/home/sun/.m2/repository/
type=local
[/cc]

安装soldat

配置完jip后，可以使用jip来安装soldat
jip install info.sunng.soldat:soldat:1.0-SNAPSHOT

文件将被下载到 javalib 目录中，您可以检查安装的正确性：
$ ls javalib/
log4j-1.2.16.jar slf4j-log4j12-1.6.1.jar
slf4j-api-1.6.1.jar soldat-1.0-SNAPSHOT.jar

安装gefr

pip install gefr==0.1dev2

创建一个简单的Python WSGI程序

创建test.py

[cc lang="python"]
from gefr import Gefr

def wsgiapp(environ, start_response):
status = '200 OK'
res_body = "Welcome

It works!

"
res_headers = [('Content-Type', 'text/html'),
('Content-Length', str(len(res_body)))]
start_response(status, res_headers)
return [res_body]

Gefr(wsgiapp, host='0.0.0.0', port=8000).start()
[/cc]

启动服务

使用jip附带的jython-all
jython-all test.py

打开浏览器，访问 http://localhost:8000/

用ab测试服务性能

$ ab -n 10000 -c 100 http://localhost:8000/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking localhost (be patient)
Completed 1000 requests
Completed 2000 requests
Completed 3000 requests
Completed 4000 requests
Completed 5000 requests
Completed 6000 requests
Completed 7000 requests
Completed 8000 requests
Completed 9000 requests
Completed 10000 requests
Finished 10000 requests

Server Software: gefr/0.1dev
Server Hostname: localhost
Server Port: 8000

Document Path: /
Document Length: 79 bytes

Concurrency Level: 100
Time taken for tests: 2.539 seconds
Complete requests: 10000
Failed requests: 0
Write errors: 0
Total transferred: 1640000 bytes
HTML transferred: 790000 bytes
Requests per second: 3938.11 [#/sec] (mean)
Time per request: 25.393 [ms] (mean)
Time per request: 0.254 [ms] (mean, across all concurrent requests)
Transfer rate: 630.71 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.6 0 8
Processing: 9 25 22.4 21 239
Waiting: 9 25 22.4 21 239
Total: 13 25 22.3 21 239

Percentage of the requests served within a certain time (ms)
50% 21
66% 22
75% 22
80% 23
90% 26
95% 40
98% 65
99% 233
100% 239 (longest request)

Good Luck!

'"Update ${new Random().nextInt()}"'

2011-03-24T00:00:00+08:00

当时 tags:
Life
Shanghai published: true comments: true

多少年没写Update体了，看Samson的Update Series都到了53了，咱就只好来这么个标题了。

头等大事，officially announce 一下艰难决定，经过慎重考虑我决定离开上海了。从09年3月第一次到上海到张江，现在整好两年的时间。一方面是获得了大城市的工作机会，另一方面也被在这里边缘的生活闹够了。于是这个悲喜交加的本命年春天决定告老还乡卸甲归田，过没有追求没有房东的土著生活。
雁过留声踏雪留痕，我在晨晖路1001号半年最大的影响就是让这里又多了两个kindle用户，其他嘛，惭愧了。。。
要说在上海有什么舍不得的话，就是这里的朋友了，同学同事真不少。有一起干活的，有一起吃饭的，有一起听歌的，各种都有，回了南京就没有这种条件了。不过其实大家在上海很忙一个月也聚不上一回，这么想的话没什么区别，赶上什么RubyConf之类的就又过来了，给沪宁线作贡献是咱的宿命。（话说今年的这些会什么时候开啊，我夏天的衣服还没有攒够呢）
新赛季中超3号就揭幕了，今年舜天队的比赛可能连电视转播都没有了，你说不回南京能行吗！！能行吗！！从96年开始，今年就是第16年了。
本来想说最近一两个月荒废得厉害，我回家以后要怎么怎么的，在这还是改为此处省去多少多少字吧。。。

Exaile DoubanFM Plugin 0.0.9

2011-03-19T00:00:00+08:00

ANN tags:
Douban
exaile published: true comments: true

新版本的Exaile豆瓣电台插件。这个版本的变更：

新增分享菜单，分享当前音轨到豆瓣、新浪、开心001、人人
改进了推荐方式，采用豆瓣电台的永久链接
修改了0.0.8以来存在的登录bug
修改了0.0.8以来存在的加载播放列表bug

从github获得新版本： https://github.com/sunng87/exaile-doubanfm-plugin/downloads

Continuous Learning

2011-03-14T00:00:00+08:00

当时 tags:
methodology
tech published: true comments: true

一直想总结一下学习的方法，今天看到Programmer的97件事里，作者叫做Clint Shank的Continuous Learning这篇，感觉比较靠谱，跟大伙分享一下。

阅读书籍、杂志、博客、Twitter和各种网站。如果希望深入了解一个主题，可以加入一些邮件列表。这个比较基本，程序员需要有开放的、稳定的、最新的信息渠道。除了上面提的方式，我比较推荐dzone和reddit上的相关频道，这两个书签网站可以帮你过滤排序每天技术圈的热点和新闻。

如果你确实希望沉浸于一种技术，那么你需要着手写一些代码。这个不说了，如果还认为自己是Programmer的话，写一些代码是最最基本的事情。要了解一种技术，写一些代码，跑一个demo是最最基本的。

尽可能和一位导师，或者一个顶尖的家伙一起工作。尽管从任何人身上学到东西，但是你可以从一个更聪明更有经验的人身上学到完整的（a whole lot more）。这个体会比较深，刚搬进工作室的时候坐在@samson959旁边，虽然只有短短几个月，但是跟着入了门，少走了很多很多弯路。再后来在盛大也从老大身上学到不少东西。这样的机会并不是在哪里都有的。

找一位虚拟导师。这是在上一条无法满足的情况下。在Web上找一位自己喜欢的作家，订阅他们的blog。这条比较有意思，你可以拜一位网上的大牛为师，关注他的博客、Twitter以及Github，关注大牛关注的事情、做的事情。这点很有帮助，最早做前端的时候我关注过当时还在雅虎的陈贤安，后来在盛大关注过新浪的杨卫华，以前他们的博客、Twitter质量不错而且经常更新。不过现在前者转行做了苹果开发的Freelancer，后者也许是太忙了，不好找了。其实就是这样，真正牛的人几乎是没有时间做这样的分享的。技术圈毕竟不是娱乐圈，整天在twitter上大放厥词从早说到晚的往往不是你需要关注的，这需要你有一些辨别能力。

去了解你使用的框架和库。了解他们的工作原理可以帮助你更好的使用他们。如果是开源的，你可以用debugger单步跟所有的代码了解内部的工作原理，你可以看到由优秀的程序员编写和审察的代码。这也是很重要的，好在现在有了github让这变得更简单。我自己曾经花过一些时间在redis上，用gdb单步跟踪来浏览程序确实是学习的好方法，尤其是对于向C这样本身程序结构并非非常清晰的项目，通过调试器来了解程序的组织事半功倍，远远高效于单纯的阅读。

无论合适遇到问题或修正了一个bug，尽可能去了解其后真正发生的事情。可以通过Google去了解网上已经存在的相似问题。这又是很重要的一点，现在除了Google，你还可以直接到StackOverflow上去搜索、提问和解答。

分享一些东西本身就是最好的学习方法。当有人将要听你介绍或问你问题时，你会拥有很大的动力去学习。在盛大的时候，每个部门定期会有分享会，在其他很多公司肯定也有这样的活动。我也曾经去做过这样的分享，真要说收获不是这种活动搞的多成功，而是之前准备的阶段。

参加一个学习小组、本地用户组。这个我没有经验，不过各地的LUG都很活跃，一定是很多人乐在其中的。

参加会议，或者看会议录像、slides。这也很有趣，我参加的第一个活动是08年北京的Perl&PostgreSQL会议，后来在上海参加过KongfuRails，RubyConf还有Apache Road Show。不过会议上能获得什么特别有价值的东西也有限，主要还是开阔眼界，了解社区的动态，了解同行的关注点。我们还可以从InfoQ上看到SpringOne, QCon, StrangeLoop等等会议的视频，既可以了解一些技术，又可以锻炼一下听力。能够收录在InfoQ里的Session质量应该都还是不错的，除此以外，还可以通过Slideshare搜索一些特定主题的slides。

收听podcast。

使用静态检查工具提高你的代码质量。

遵循Pragmatic Programmers中的建议，并每年学习一门新的语言。至少是一种新的技术或工具。这种发散可以给你新的想法，运用在你现在的技术栈中。如果你今年还没有什么想法的话，推荐clojure或者nodejs，一个是函数式一个是全异步。（如果你已经都精通了别说我老土啊）

不要局限在技术中，了解一些你工作的领域知识，可以更好地了解需求，解决业务问题。技术的方向很多，SAP在这方面是个典型。SAP的优势不是基础技术，了解行业了解业务是SAP成功的最重要因素。这点在SAP圈子里容易有更深刻的体会，大部分技术人员更希望能够直接面对客户，了解客户的真实业务，并以此为提升自身价值的途径。

回学校返工。不用说了，从工作岗位回到学校的，一般都有明确的目标。系统地深入地学习还是得在心无旁骛的校园里。

Tiny LifeStream widget available on sunng.info

2011-03-11T00:00:00+08:00

手艺 tags:
daf
javascript
web published: true comments: true

首先推荐samson的stdout，这是一个LifeStream Web应用（针对Loser的LifeStream称为LoserStream）。你可以从github上获得代码，参考samson的deployment和customization文档，在一二三四五六七八九十十一十二……分钟内搭建一个自己stdout，至于是不是LoserStream你自己看着办。

本来打算在自己的主机上搭一个实例的，怎奈怎奈我那CentOS5的主机。所以我说我们这些CentOS用户最伤不起了！！！源里有Ruby有个毛用！！1.8.4，泥玛gem都装不上！！还要去找1.8.6的代码来编译，有没有！！！好不容易装上gem了，gem 1.6.1说找不到Win32API！！！干掉重装1.4.5！再装ruby-sqlite3，源里的sqlite3版本又不行，装不上，有没有！！！有没有！！！

最后我无奈了，还是用老朋友Yahoo Pipes吧。拖一拖拉一拉神马都有了，页面上整点咱最擅长的document.getElementById就成了。你可以在http://sunng.info找到这个东西，现在这个源里收录了：

blog
豆瓣
github
osm editing
twitter
reddit like

这些也是我主要混迹的地方了，遗憾就是bitbucket居然没有个人的RSS输出。倒是可以通过他们的API获得，不过在Pipes里要多拖点东西，所以我先琢磨一下再说吧。网易八方我说过了，不愧是互联网产品经理驱动的东西，连个RSS输出都木有。饭否嘛现在作为扯淡专用场所就不收录了。

说实在的把这些东西都聚合在一起还是挺吓人的，所以我把他稍微藏了一下。

还有，今天日本地震，祝daf同学平平安安平平安安。

Correct source file encoding with one liner

2011-03-08T00:00:00+08:00

把戏 tags:
bash
shell published: true comments: true

Amoeba项目最早的代码可以追溯到2008年了，其中有多个作者贡献代码，因为一直在Windows下开发，所以没有使用UTF8编码，最近大家统一到UTF8，遇到了代码编码不正确的问题。

于是我们需要统一解决一下这个问题： iconv -f gbk -t utf8 -o ConnectionManager.java ConnectionManager.java

这样可以把gbk编码的源文件转换为UTF8，原地转换。

推广到整个代码目录，用find和xargs做，xargs通过-I来制定一个占位符。 find . -name "*.java" -type f -perm +600 -print | xargs -I _ iconv -f gbk -t utf8 -o _ -c _

结果发现iconv运行中报了错，进一步检查发现一部分代码正常转换了，另一部分却乱码了。原来，两个作者的代码分别是gbk和gb2312，这iconv转换的时候两种编码并不兼容。这就麻烦了，必须对代码分别处理才可以，区别代码的编码，暂时就用Java源文件里的作者名字。又看了一下find似乎没有对文件内容过滤的条件，不过不要紧，我们可以用xargs做： find . -name "*.java" -type f -perm +600 -print | xargs -I _ sh -c 'grep -q hexianmao _ && iconv -f gb2312 -t utf8 -o _ -c _ '

对这位hexianmao作者的代码，我们利用grep进程的返回值来进行判断。grep的-q参数相当于>/dev/null。这里有一个tricky的地方，再xargs里我们不能直接用&&来组合命令，不过可以通过sh -c这样的方式，并且其中的占位符会被xargs合适地替换掉。

这样执行之后，这位作者的gb2312代码就被成功转换了。而另一部分作者的gbk代码也可以用同样方式解决了。

When nodejs meets mapnik

2011-03-05T00:00:00+08:00

装备 tags:
javascript
mapnik
node
web published: true comments: true

tilelive.js是一个基于nodejs的web地图工具，帮助用户快速查看他们创建的地图样式。tilelive.js是Mapbox众多产品中的一个，你可以通过tilemill了解更多。

要运行tilelive.js，你需要安装一系列软件。

安装mapnik

首先需要安装mapnik2，注意并非是目前的稳定版本0.7.1，而是开发版本。
签出SVN代码： svn co http://svn.mapnik.org/trunk mapnik-trunk

按照Mapnik的文档描述进行安装。

安装node依赖

推荐你安装最新的node 0.4.2和npm 0.3.1。

安装npm后执行 npm config set unsafe-perm true 去除超级用户运行npm时的警告。

接下来就可以安装一系列node modules了： sudo npm install mapnik sudo npm install carto sudo npm install generic-pool sudo npm install underscore sudo npm install node-get sudo npm install step sudo npm install express sudo npm install sqlite3 sudo npm install compress

签出 tilelive.js

tilelive.js并不兼容最新的node 0.4.x和express 2.0.0，所以你可以签出我fork的版本： git clone git://github.com/sunng87/tilelive.js.git git checkout new-fork

运行： ./bin/tilelive_server.js examples/stysheet.xml

打开浏览器，访问 http://localhost:8888/ 即可

Python3 script to query free TOEFL seats

2011-02-28T00:00:00+08:00

手艺 tags:
python
web published: true comments: true

应同学要求，写了一个爬托福考试空闲考位的脚本。这是第一次真正用Python3写。

通过调用get_seat_status，传入省名（如'Jiangsu'），时间（如'201104'），您可以得到这样的数据结构：
[cc lang="python"]
[ [datetime.datetime(2011, 4, 23, 10, 0), 'STN80085B', '南通市教育装备与勤工俭学管理中心', '1415', True],
[datetime.datetime(2011, 4, 23, 10, 0), 'STN80086A', '扬州大学', '1415', True]]
[/cc]

下面是一个多线程调用的例子：
[cc lang="python"]
#! /usr/bin/python3

import threading
import pprint
from toeflgraber import get_seat_status

# 查询江浙沪 2011年3月和4月的考位
locations = ['Jiangsu', 'Shanghai', 'Zhejiang']
months = ['201103', '201104']

def descartes(x, y):
for i in x:
for j in y:
yield (i, j)

lock = threading.RLock()
tasks = len(locations) * len(months)
e = threading.Event()
results = []

def task(location, month):
global results, tasks
all_seats = get_seat_status(location, month)
available_seats = filter(lambda x: x[4], all_seats)
with lock:
results.extend(available_seats)
tasks -= 1
if tasks == 0:
e.set()

for t in descartes(locations, months):
t = threading.Thread(target=task, args=t)
t.daemon = True
t.start()

e.wait()
pprint.pprint(results)
[/cc]

Enjoy it.

宁夏川两头头尖

2011-02-27T00:00:00+08:00

当时 tags:
Music published: true comments: true

前天在豆瓣电台上听到赵牧阳的《黄河谣》，循声找过去发现这两天在上海有小演出，一时兴起叫上纯西北人亚洲就决定去听听。

地点在上海电视台后面的Wooden Box酒吧。鉴于是第一次在上海听这样的演出，所以也没有什么可比较的。酒馆不大，为了能占个好位置，9点开始的演出我们一行人7点半就坐在了整个酒馆最好的座位上，开始等着。事后证明这是正确的选择，节目开始整个酒馆连个落脚的地方都没有。

大约9点半赵牧阳出现了，先挂了一副艺术品，抱歉我实在没看懂画上画什么。头戴雷锋帽，身穿，身穿还是土豆上大家能看到那个视频的衣服，还专门做出了一道汗渍。当然啦，沧桑是装不出来的，吼两声就知道有没有。

第一环节是赵牧阳弹三弦唱秦腔，大约唱了三首。具体唱什么现在都忘掉了，以前觉得三弦一响都是何玉笙，何勇，现在老观念改改了。亚洲基本上都能听懂，而且能听出出处，虽然是新唱，但都是老曲老调，所以正宗西北人听得透。我之前补习过张佺和苏阳，宁夏川两头头尖，黄河水流过了家流过了兰州我还是知道一点的。

第二个环节是赵牧阳和酒吧老板出门抽烟，场子里周朝的吉他solo。周朝这个人我之前还不知道，不过去的好多人是周朝的朋友，以至于很多人不知道赵牧阳是谁，还得跟我这样的打听。周朝的吉他谈得没得说，在豆瓣上听几首就知道了。

第三阶段，三人合作，牧阳打鼓，周朝吉他，酒吧老板弹贝斯。到了兴头上赵牧阳会吼两嗓子，周朝顺势来了一首Another brick in the wall。后来又请上来一个女的，据说也是德国回来的，乍看还有点龚琳娜的意思，一开口整个一个有过之无不及，让人怀疑是不是德国走一趟都这股味了。四个人各显神通，即兴演出，场面越来越尽兴，那种感觉，等过几天土豆优酷上看视频吧！

为了赶末班地铁我不得不提前一个小时走了，最后肯定错过不少好场面。西北民谣确实挺适合我们干旱地区生长的人，听得带劲听得舒心，今后有机会还是想看看苏阳张佺什么的。

Using dojo on Chrome/Chromium from local file system

2011-02-21T00:00:00+08:00

手艺 tags:
Chrome
dojo
web published: true comments: true

dojo.require uses XMLHttpRequest to load additional components. On default Chrome settings, XMLHttpRequest on local file system is not allowed. This will break whole dojo system.

To change the default policy, you can start Chrome with a command line option --allow-file-access-from-files.

This issue is a well known one for Chromium project and still under active discussion: http://code.google.com/p/chromium/issues/detail?id=40787

Fix ogg/oga not play in Firefox 3.6

2011-02-15T00:00:00+08:00

把戏 tags:
apache
firefox
html published: true comments: true

Native audio support was introduced in since Firefox 3.5 . Ogg is one of the media format supported by Firefox. However, sometimes you may find it doesn't work even if you set the right source path. And you just check the network status of audio element:

document.getElementsByTagName("audio")[0].networkState

Then you get the constant of a 4, which is HTMLMediaElement.NETWORK_NO_SOURCE.

This is because firefox checks the Content-Type header to make sure it's a media file. (Webkit based browsers don't have this restriction.) However, ogg format is not configured on most http servers. You can check the content type by: curl -I <url-to-media-file>

Take Apache as example, you can add following content to your configuration file: AddType audio/ogg .oga AddType video/ogg .ogv .ogg

For more, check this article: https://developer.mozilla.org/en/Configuring_servers_for_Ogg_media

pgpoolII的管理功能

2011-02-14T00:00:00+08:00

装备 tags:
postgresql published: true comments: true

pgpool是postgresql的中间件，他的主要功能包括：

Connection Pooling 连接池
Replication 双写
Load Balance 负载均衡
Limiting Exceeding Connections 连接限制
Parallel Query 并行查询

除此以外，pgpool还提供了对数据库节点的健康检查功能，自动fail over。

对pgpool的管理，pgpool本身除了工作端口（默认5433）以外，还开放一个pcp端口9898，类似FTP的控制端口。通过pcp端口可以获取pgpool的运行时信息，也可以进行运行时的操作。这些功能罗列在：
http://pgpool.projects.postgresql.org/pgpool-II/doc/pgpool-en.html#reference

封装这些命令的二进制文件也随着pgpool发行，由于是通过网络通信，所以并不要求这些工具与pgpool安装在同一台机器上。

除此以外，为了用户友好，pgpool还有一个具有UI的用户管理工具。这个工具的功能包括：

系统信息，主要是pcp的信息
配置文件编辑，这个功能似乎要求pgpooladmin和pgpool安装在一台机器上以便直接都写配置文件
切分规则编辑

另外，pgpool还通过一些自定义的SQL语句允许用户从工作端口提取一些配置信息和运行时信息：
http://pgpool.projects.postgresql.org/pgpool-II/doc/pgpool-en.html#show-commands

春节留影，牛

2011-02-08T00:00:00+08:00

留影 tags:
photo d60 published: true comments: true

家里有两头牛，准确说本来是一头，一个半月前添了新成员。仔细看，都是双眼皮。

瞧这一家子

她是我们家的老成员了

小牛好像还没有长好牙，现在还不吃草，只是添添秸秆，饿了还是得找妈

后面是第二次拍的，到这次的时候小牛已经认识我了，一点都不怕，镜头感十足

双眼皮，长睫毛，和你一样

我最喜欢这张，已经用它做头像了

也别光顾自己臭美，大牛妈妈还是要不停地吃草来养活这孩子

:-;

一头秀发

狮子王？

最后一张，英俊潇洒

春节留影，农村

2011-02-08T00:00:00+08:00

留影 tags:
D60
photo published: true comments: true

北方农村的冬天外屋凋敝满眼看不到一点绿色，空气里弥漫烧煤和烧秸秆的烟气。这个时候的夕阳还是很到位的。

来张逆光

树上的鸟巢

浓雾里的村中一角

村道

春节留影，烟火

2011-02-08T00:00:00+08:00

留影 tags:
D60
photo published: true comments: true

村里能放烟花，是到了后几天才想起来的事。在妹妹的协助下实验了一把，ISO1600，快门优先半秒曝光

Breaking changes in compojure 0.6.0

2011-02-02T00:00:00+08:00

手艺 tags:
clojure
compojure
web published: true comments: true

在compojure 0.6.0里，默认的middleware被移除了。因为还没有正式发布，所以网上几乎没有相关的文档说明，而0.5.x的例子已经没能正常工作了。

[cc lang="clojure"]
;...
(defroutes root
(GET "/" {params :params} (str params)))

(run-jetty root {:port 8080}))
[/cc]

这样在0.5.x中可以正确运行的代码，在0.6.0中params变成了空的map。

在0.6.0中，compojure引入了一个新的ns叫做compojure.handler，其中包含两个function， api和site，它们包含了一些默认的middleware，适合相应的开发场景。为了让代码能够工作，在新版本中：
[cc lang="clojure"]
;...
(use 'compojure.handler)
(defroutes root
(GET "/" {params :params} (str params)))

(def app (site root))

(run-jetty root {:port 8080}))
[/cc]

详细可以在这里找到 https://groups.google.com/group/compojure/browse_thread/thread/4f8574d808ddf53e

包管理与路径管理

2011-01-22T00:00:00+08:00

装备 tags:
java
maven
nodejs
python
tools published: true comments: true

现在几乎每一种语言都有一些依赖管理工具，或者是中央的包仓库。比如这些：

Java: maven, ivy, gradle
Ruby: gems
Python: easy_install, pip
Clojure: leinigen
Groovy: maven, grape, gradle
Hashkell: cabal
PHP: pear
Nodejs: npm

这些工具在管理包和路径时都会采用各不相同的策略，有的是通过自身实现，有的是借助语言平台本身的特点。

Java

其中最注明的Maven，它的方式是在POM文件中定义你的依赖，Maven会在本地仓库中维护这些依赖。Maven的本地仓库默认是在$HOME/.m2/repository目录下，是用户独立的，当然要下载一个依赖也不需要root权限。而在通过Maven运行Java项目时，Maven插件会自动管理classpath，你并不需要把这些依赖从本地仓库里拷贝出来而单独维护一个所谓lib目录（这样也不好管理）。这是Maven的方式，目前看来，这也是最经典的一种方式。除了maven本身的特性以外，这也和Java的classpath机制有关。

最近势头很猛的Java构建工具gradle，方式也与Maven类似，它会把下载的依赖存放在$HOME/.gradle/cache目录里，并自动管理classpath。

同样是Java，与maven相对应的是ant+ivy。ivy可以为你管理依赖，但是ivy不会帮你管理classpath。ivy的包管理，是以project为scope的，你需要维护一个lib目录来存放这些下载的包，再通过传统的ant的方式去管理classpath，从而使项目可以进行编译和运行。

在Java世界里，还有一个特别的工具叫做grape，它是专门用于groovy的轻量级的依赖解决方案。grape是以脚本为scope，在需要依赖的脚本中通过@Grab声明依赖，grape工具可以从maven仓库中下载依赖到$HOME/.groovy/grapes中，并把相关的依赖加入groovy的classpath。除此以外，grape还有一个命令行工具帮助你手动下载依赖到本地仓库。grape的内部是基于ivy的，不过它的方式比ant要自动化很多。

在Java世界里还有一个特例，是Clojure的依赖管理工具leiningen。leiningen本身也比较简单，它的方式与ivy相同，会解析project.clj文件中定义的依赖关系，并下载到当前的工程目录下的lib中。lein是鼓励通过uberjar的方式把依赖统统打包的，所以它并没有classpath的管理功能。

总体来说，Java世界的工具和Java是相似的，其最大特点就是System independent，安装包不需要root权限，每次的运行都需要管理classpath。作为开发人员，classpath中有哪些可以访问的类库是可以控制的，这也使Java程序的移植性得到良好的控制和管理。

Python

与Java不同，Python通常作为系统分发的一部分，他的包管理和PATH管理要相对混乱一些。通常我们有两种方式来安装一个Python的软件包：

sudo apt-get install python-redis
sudo easy_install redis

一种是通过系统的包管理工具（如apt-get）从系统的软件仓库里安装，一种是通过python自己的包管理工具（如easy_install / pip）从Python Cheese Shop中下载安装。这两种安装方式有什么不同呢。以Ubuntu为例，通过apt-get安装的python包通常会被放在 /usr/share/pyshared 或 /usr/lib/python2.6/dist-packages 中，相对应的，由easy_install安装的Python包，则存放在 /usr/local/lib/python2.6/dist-packages 中。Python启动后可以通过查看sys.path来了解当前的path情况。

除了安装到系统目录，easy_install可以通过 --user 选项来把软件包安装到用户目录 $HOME/.local/lib/python2.6/site-packages。不过无论是系统级别还是用户级别，python都很难在启动时管理Path，即任何时候python都可以访问安装在系统中的所有软件包。这导致了混乱的情况，导致编写的python软件难以进行依赖管理和移植（即使没有定义在setup.py中，很多依赖还是可以访问的）。

由此virtualenv营运而生，virtualenv帮助你创建一个独立的python运行环境。激活这个小环境之后，easy_install/pip仅仅安装软件到小环境，python仅能访问环境内部的site-packages，这样整个环境中的依赖关系就非常清楚，也保障了程序的移植性。这样，就将原本系统scope的python包管理级别改进为项目级别。我之前写的jip也是将依赖下载或拷贝到virtualenv的小环境中，并且修改jython的启动脚本修改PYTHONPATH的设置，保证Java依赖对Jython的透明可访问。

Nodejs

nodejs是一个新兴的生态系统，一个包管理工具对其也是必不可少。npm是目前整个社区都比较认可的工具。

不过目前npm并不好用。npm默认会把自己安装到 node安装前缀的目录，比如node安装时你选择了默认前缀/usr/local，那么npm会把自己安装到/usr/local/lib/node里。这个目录是系统级别的，所以需要root权限，而npm本身又不鼓励用户用root权限来安装软件包（安全问题）。所以作者说希望用户把/usr/local/lib/node权限授予用户，或者把node安装到用户目录里。这两种方式其实都不太优雅。

Ruby的gems在这方面最符合unix哲学，即用户知道自己在做什么。如果用户以root权限运行gem install，gem会把软件包安装到系统目录中对所有用户可用，而如果以普通用户权限运行，则安装到用户目录 $HOME/.gem 中仅当前用户可见。

nodejs在加载软件包时，会在require.paths中的几个目录里查找，前两个都是用户目录，所以npm也并非一定要把包安装到系统目录里去。虽然现在可以用过修改.npmrc文件在修改npm的默认行为，不过在这个CoC的时代，显然太繁琐了。

Best Pratice

总结一下，包管理和路径管理的最佳实践应该是：语言平台有CoC的路径机制，包管理器有基于环境变量、用户权限的判断执行合适行为。

Update on exaile-soundmenu-indicator and exaile-doubanfm-plugin

2011-01-14T00:00:00+08:00

ANN tags:
Douban
exaile
project
ubuntu published: true comments: true

Exaile-soundmenu-indicator

As many users complaint about the "minimise to sound menu" issue, I updated exaile-soundmenu-indicator plugin. Now it is basically compliant with specification of SoundMenu: it will keep playing if you click the close button while the player is playing, and will exit if not playing. However, to be able to complete the functionality, you have to commentify the line 1506 of /usr/lib/exaile/xlgui/main.py, which is "return true" of method "delete_event" (On Ubuntu 10.10, exaile 0.3.2.0-ubuntu3). Otherwise, whenever you close the window it won't exit.

I know this is a bad idea to require user to modify the source code, but it‘s not possible to override the behavior of a GTK callback, especially when you do not have the handler_id of the callback. If you do not mind the incompliant of closing behavior, you can just keep it as is, and exiting by menu and CRTL+Q.

Grab the snapshot of github repository to get the up-to-date version: https://github.com/sunng87/Exaile-Soundmenu-Indicator

Exaile-doubanfm-plugin

Exaile豆瓣电台插件更新。豆瓣最近调整了登录的策略：

用户在首次访问豆瓣时被设置cookie bid
用户提交登陆表单时被要求提交cookie bid，否则不予通过。

此外，这次更新开始使用HTTPS提交用户登录信息。

https://github.com/sunng87/exaile-doubanfm-plugin，请下载最新0.0.6c。

HTML5 Form in Opera 11

2011-01-12T00:00:00+08:00

装备 tags:
css
html
opera published: true comments: true

严格意义上我现在已经不能算是个web guy了，不过托Web开放的特性，咱也能评论一下。最近做个小的界面，考虑到要面向未来，HTML5又提供了丰富的表单增强。这些特性中，Firefox 3.6基本上还没有支持，Chromium 8.0有少部分支持，而真正支持比较完整的是Opera 11.

autofocus 页面载入后自动将焦点转到某个input，就如以前的onload时候xxx.focus()

required 指定某个input为必填，提交时会有validation，在Opera11里还会给你这样的警告并且禁止提交：

email / url 指定某个input的特殊类型，提交时也会有对应的格式检查：

这样的提示可能满足不了你的替用户着想的产品经理，但是你清楚他帮你省了多少事情。而且，在DiveInfoHtml5里提到，iphone甚至为这个input做了优化，在软件盘上把空格键变得很小（因为输入邮件地址用不着），并且提供了一个@键；这就是工程师的用户体验啊。

placeholder 在input里显示提示文本：

注意到后面的红色星号了吗。这本来是我设计的一个workaround，既然Firefox 3都还不支持required validation，那么我们通过CSS来显示一个必填的提示：
[cc lang="css"]
input[required="required"]:after {
content: '(*)';
color: #F00;
} [/cc]

结果这个伪类最后只有在Opera里实现了预期的效果，看在Stackoverflow上的讨论才得知input的:after和:before伪类只有Opera支持。

HTML5 Form这部分是一个真正务实的标准，你可以看到几乎每一个特性都是我们日常每时每刻都需要，几乎每个网站的JS都要实现的功能。标准是沟通上下游（浏览器和应用开发人员）的契约，一个真正反应相互需求的标准才是有实际价值的。

soldat & gefr

2011-01-08T00:00:00+08:00

手艺 tags:
gefr
java
jython
project
python
soldat published: true comments: true

我的这一套stack正在走向完整。上次贴了一张soldat-http的图，现在基于soldat的wsgi服务器也已经有了一个基本可以运行的实现，名字叫做gefr（我的命名出处参考这里）。现在gefr上已经可以跑基于bottle框架的wsgi程序了，也就是说一些基于python的web应用可能可以通过jython来运行在soldat上。为了搞定jython的环境，这几天我还花了不少时间做了jip帮我从maven仓库里自动下载依赖的jar包。

soldat和gefr的代码都放在我的bitbucket上：

soldat https://bitbucket.org/sunng/soldat
gefr https://bitbucket.org/sunng/gefr

此外，这两个项目也分别发布到了sonatype oss仓库和python cheese shop。

现在还有几个问题：

soldat在读buffer的时候先获得buffer的limit，再去读相应长度的buffer有时会出现BufferUnderflowException。这个可能存在线程安全问题，现在还没发现。
gefr启动之后可以通过在jvisualvm里找到这个进程，但是绑定profiler之后很诡异的是gefr就不再处理请求了。
直接用soldat的处理http请求，吞吐量可以上万；但是在上面加上jython的gefr，再加上bottle框架，同样的功能吞吐量就剩下原来的十分之一了。就是因为没法做profile，所以还不知道时间花到哪里去了。

简单地 announce 一下，这样我有更多的动力来继续把这两个小东西做好。

jip 0.1

2011-01-04T00:00:00+08:00

装备 tags:
java
jip
project
python published: true comments: true

The original idea is to create a standalone jython environment, I took traditional Java tools, ant and ivy, to resolve Java dependencies. But the XMLs seem to be verbose and not pythonic. So I decide to create something like pip, that is, resolves and installs dependencies in a pythonic way. It is jip.

jip will automatically download jars and its non-optional runtime dependencies from Maven repositories. By default, jip will search your local repository and maven central repository for the requested artifact. Also, you can create a configuration file to overwrite this.

Virtualenv is required by jip. You must run jip within a standalone environment, created by virtualenv: virtualenv -p /usr/local/bin/jython jython-env cd jython-env source bin/activate

Don't forget to activate it.

Then download jip with pip: pip install jip

Now you have pip for python and jip for java. To install a Java package, just type:
jip install <groupId>:<artifactId>:<version>

groupId+artifactId+version is known as the coordinate of a maven artifact. For example, you need spring-core in your jython development: jip install org.springframework:spring-core:3.0.5.RELEASE

The jars will be stored in javalib directory: ls javalib

commons-logging-1.1.1.jar     spring-core-3.0.5.RELEASE.jar
spring-asm-3.0.5.RELEASE.jar

And When you installed jip, I will provide you a jython-all command to include dependencies by default. So use jython-all instead of jython to run your program and the shell.

For traditional Java user, there is a resolve subcommand to download dependencies defined in a pom file. This is more maintainable, some of you may prefer this way to typing it one by one. jip resolve pom.xml

To define custom repositories, place a dot file .jip in your home directory:
[cc lang='ini']
[jboss]
uri=http://repository.jboss.org/maven2/
type=remote

[local]
uri=/home/sun/.m2/repository/
type=local

[central]
uri=http://repo1.maven.org/maven2/
type=remote
[/cc]
You may have internal Nexus, just append to this file following the pattern.

Finally, a clean subcommand to remove everything you downloaded.

That's all. You can find the project at:

Your feedback is appreciate. Fire an issue in github if you find any bugs or new ideas about this tool.

Happy New Year!

2011-01-01T00:00:00+08:00

留影 tags:
boardgame published: true comments: true

今天基本上学会了农场主的基本规则，在我看来虽然复杂，但是多少也和波多黎各什么的类似，这大概就是这类桌游的pattern吧。负责任地说，绝对没有两个人玩的晨昏对峙复杂（又是太空又是核武又是战争指数还有全球战场搞神马啊）。这点从桌游店就能看出来，去拿农场主的时候老板还会对你表示一下惊叹和欣赏；可是要玩晨昏对峙呢，根本店里根本找不到。高出不胜寒啊！你一生要是能找到一个棋逢对手的朋友一起玩晨昏对峙，也是一件幸事 -___-。

Anyway，农场主也很好玩，我就喜欢这种卡牌多、道具多的桌游。桌游的道具模型都可以复用了，它的猪和卡卡颂商人扩展里的一模一样。

专心休假，停止劳作。

Setup a Jython development environment

2010-12-30T00:00:00+08:00

装备 tags:
ant
java
jython
python published: true comments: true

This article will show you some basic steps to setup a standalone environment for Jython, with the power of some popular and standard tools.

0. Install essential tools

Take Ubuntu Maverick as an example, before starting, you have to make sure these packages installed on your system.

Essential Python tools (Python is shipped with most Linux distribution by default) sudo apt-get install python-pip python-virtualenv

Java sudo apt-get install openjdk-6-jdk openjdk-6-jre

Jython The Jython package in Ubuntu repository is obsolete. Download Jython installer from official website. A full installation is recommended here. http://jython.org/downloads.html

As an optional step, I often move Jython direcotry to /usr/local/share/ , and use a symbol link to add Jython to PATH: sudo ln -s /usr/local/share/jython/bin/jython /usr/local/bin/

Install additional Java tools sudo apt-get install ant ivy

1. Create a standalone environment

Jython 2.5 is fully compatible with virtualenv, so you can create a standalone environment just like what you do with python: virtualenv -p /usr/local/bin/jython jython-env cd jython-env

List the directory, you will see these files and directories:

bin/
cachedir/
Lib/
jython.jar
registry

Source the activate script: source bin/activate

2. Download and install python packages

Now the python environment is just ready, you can install python packages as you want. Install bottle, for example: pip install bottle

3. Download and install Java dependencies

This is the different step. As you know, the most important feature of Jython is availability of Java libraries to Python code. So we need some additional tools to manage Java dependencies. Popular Java lifecycle management tool Maven is not suitable here, because Maven is tightly depends on its archetype. Gradle is also known as a powerful build tool with DSL support. However, Gradle uses Groovy as the scripting language to create build file. Bringing Groovy to a Jython project seems terribly strange.

So I prefer the traditional Ant way to manage dependencies. First of all, create a build file with following content: build.xml [cc lang="xml"] [/cc]

Then create an ivy xml to configure dependencies: ivy.xml [cc lang="xml"] [/cc]

Also, as an optional step, you can overwrite default settings to configure ivy to use maven local repository. ivysettings.xml [cc lang="xml"] [/cc]

All done, now you can download everything. In Ubuntu, default ivy installation, you have to specify ivy path in ant command line: ant -lib /usr/share/java/ivy.jar

You will see jars in javalib.

4. Reconfigure start up script

The default Jython start up script is not friendly to external Java dependencies. To include jars, you have to use such dirty command line parameters: jython -Dpython.path=javalib/commons-lang-2.5.jar:javalib/...

To get rid of this, first rename bin/jython to bin/startJython. (Follow the Groovy naming convention)

Then create a new bin/jython script wraps the old one:
[cc lang="bash"]
#! /bin/bash

JYTHON_CMD="startJython"
JAVA_LIBS="javalib/*.jar"
PYTHON_PATH=""

for lib in $JAVA_LIBS
do
PYTHON_PATH="$PYTHON_PATH:$lib"
done

#echo $PYTHON_PATH
$JYTHON_CMD -Dpython.path=$PYTHON_PATH

[/cc]

5. Run

Finally, it comes to an end. Type jython to execute the interactive shell: jython Jython 2.5.1 (Release_2_5_1:6813, Sep 26 2009, 13:47:54)
[OpenJDK Server VM (Sun Microsystems Inc.)] on java1.6.0_20
Type "help", "copyright", "credits" or "license" for more information.
>>> from org.apache.commons.lang import BitField
>>> import bottle

Both Python and Java dependency is accessible. Now it's time to get your new start.

My first http server, soldat-http

2010-12-28T00:00:00+08:00

手艺 tags:
http
java
project published: true comments: true

2008年的冬天，有一天和一个不认识的网友聊天，他说，以前也对这些框架啦什么的感兴趣，后来就变了，他说他当时的目标是写一个HTTP服务器。我当时能够认同他的观点，不过没什么特别的共鸣。到了今天春天，项目开始了，周末老大休假回杭州，留下大伙大眼瞪小眼要联调。出现了问题发现自己一窍不通，然后开玩笑说一定要把老大的NIO框架看懂才跳槽。结果不幸还没来得及怎么看就闪人了，还好老大开源，现在依然还可以偷偷看看。另外，我还隐约记得09年冬天的时候，似乎也给自己定过个类似一年之内写个HTTP服务器之类的目标。

所以我说，自己写程序是一件情怀驱动的事情：就像有些同学一再强调自己再也不写wordpress插件了，可是还是不断有新版本发布。

好吧，其实这个目标最后没有实现。目前这个版本仅仅是能够work，在2010年快要结束的时候赶紧把他搬出来，聊以自慰，嗯，我这一年不是一无所获。

接下来我还会进一步完善它和底层的事件驱动框架，还有意完成一个Jython的WSGI实现。

LM Tooling, 2010

2010-12-24T00:00:00+08:00

装备 tags:
hudson
maven
netweaver published: true comments: true

阿哈，大家都开始总结2010年了，我也想找个角度来总结一下今年。三句不理老本行，还是聊软件开发周边的事情。Lifecycle Management Tooling，软件生命周期管理的工具和我一年的感受。

一月份的时候我还有大把的业余时间，在做一个叫做Yan的验证码服务。这个项目从我刚一到盛大工作就开始了，不过因为没有特别的需求，最后变成了自己的开源项目。这个项目用Maven做dependency management，用hg做版本控制，代码放在bitbucket上。它对Maven的使用还很基本，是一个Single Module的小项目，因为服务本身已经实现了插件机制，本来我准备把它拆成Multimodule的Maven工程来着，不过后来因为比较忙，这件事就放掉了。那时我已经开始尝试用hg进行分支管理、每个release打tag，甚至还有一段时间会有一些两个分支的并行开发。这些基本上是实验性质的尝试，不过和后来相比也算是做的比较规范的了。

三月份我注册了github，顺带就开始用git了。到目前为止，我对hg和git的区别还没有特别的感受，选择的主要依据其实bitbucket和github。相对social一些的项目，github是当仁不让的选择。bitbucket上人少比较清净，一些incubator项目放在上面，烂尾了也不至于太丢脸。扯远了，哈哈。

之后我们开始做一个规模比较大的项目，我们使用Maven，使用Nexus，使用SVN。项目规模比较大，我们有数个Multimodule的Maven项目，遇到的第一个问题就是集成的成本非常大。最初几周，我都是在自己的机器上做集成，Windows，你懂的，又不太方便做自动化，结果整个过程非常痛苦。到了四月份项目还没有全部完成，已经不能忍了，于是我引入了Hudson。我们为每一个项目创建单独的build task，unstable的构建会有邮件通知开发人员。一方面把我从每天反复的手动集成打包中解脱出来，另一方面也促进了大家写高质量的UnitTest，因为一旦有测试不通过就会有一个虚构的200000000@snda.com的邮箱给大家发邮件，以至于最后几乎所有人都把这个地址拉黑了。

写真正能够Automation的单元测试其实很不简单，尤其是DAL层。理想的solution是用内存数据库来做单元测试的数据源，不过在实际开发里，因为一些SQL会依赖特定的数据库，所以这个方案并不太理想。如果有事务的话，Spring的TestCase可以设置自动回滚，可是互联网项目，你也懂的，连一致性都搞成最终一致了，事务这么重的东西我们是不用的。

我们遇到的另一个问题是，多个独立的Maven项目，在做集成时，会存在依赖的冲突。这类问题一旦出现，找原因的代价还是比较大的。这方面，老大有一个Best Practice，定义一个统一的、专门管理版本的pom，通过dependency management的import来使用，你可以看这里来了解。

我们suffer的另一个问题是SVN的分支管理，到了项目的后期，功能越来越多，也出现了两个分支的并行开发，回滚的情况也出现了。我们基本上可以保证每次发布都有tag，但是分支的管理实在是非常痛苦。我现在的认识是，两方面原因。第一，SVN的分支成本还是比较高的，远程整个目录拷贝一下，本地需要指向新的地址。第二，项目的计划不明确，根本没有办法去估计新的分支、新的版本。两个原因结合起来说，其实分支管理不完全是一个版本控制系统层面的问题，和整个项目规划都有一定的联系。

到了后期，我们对Hudson的使用也有了一些最佳实践，结合ssh/scp的插件，task的trigger机制，我们有了自动化的部署，你可以在这里了解。不过我们的自动化最后倒在公司强制的动态密码验证机制上，每次登录需要使用动态密码，这样一切最后又都回归了手动。

除了在公司的项目，在9月份我又做了一个实验性的项目，叫做Bason，他可以在编译时生成JavaBean到Mongodb BSON代码。也是用Maven管理，不过值得一提的是，我申请了Sonatype提供的OSS Repository，这样可以把项目都deploy到公共的服务器上，使用会非常方便。还值得一提的是，OSS Repository的管理者是校友@Juvenxu

不过今年Maven并不是Java生命周期管理的唯一工具，还有一些工具也开始进入视线，当然我说的不是ant+ivy。前段时间发布0.9的Gradle是比较受关注的，它又回归了ant的task oriented ，结合Groovy的DSL和插件机制提供更高的灵活性。另外，断断续续学了一年的clojure，clojure的生态系统里已经有了一个叫做leinigen的生命周期管理工具，在clojure的世界里，它非常好用。

另外Python的世界，我逐渐开始强制自己用virtualenv来创建一个更可控，更具有移植性的python环境。随着年底开始的一个小项目，我应该对python项目的生命周期管理有更深的认识。

年底到了SAP，开始在NetWeaver平台上做Abap开发。NetWeaver是一个复杂的平台，它的Scope也涵盖了生命周期管理。在NetWeaver中，开发一个非local的程序，需要首先创建一个Change Request，之后所有的变更，最后都会保存到这个ChangeRequest上，有些类似传统的分支。当开发完成后，开发人员把change request release掉，这部分代码会自动被transport到Test系统或者其他下游系统上。实际开发里，一个Change Request可能对应一个Ticket，一个特性。这样的平台上，开发人员需要额外操心的事情，非常少。

Exaile doubanfm plugin 0.0.6b

2010-12-21T00:00:00+08:00

ANN tags:
Douban
exaile
ubuntu published: true comments: true

上周豆瓣电台增加了电影原声频道，这次的插件更新支持了这个新频道（OST）。

下载地址
https://github.com/sunng87/exaile-doubanfm-plugin/downloads

安装指南
https://github.com/sunng87/exaile-doubanfm-plugin/wiki/Installation

欢迎使用！

Blackboard Pattern

2010-12-19T00:00:00+08:00

手艺 tags:
pattern published: true comments: true

昨天很虔诚地在图书馆把POSA第四卷里所有的Pattern Languages都抄了一遍。恰好遇到Modeling部分的第9个Pattern， Blackboard，没有感性认识。今天简单地搜索了一下。

POSA上指出Blackboard模式用于解决尚没有绝对解决方案的问题，将几个子系统的知识组合起来提供一个近似的解决方案。在解决这类问题的过程中，几个子系统相互独立，Blackboard作为中央控制对子系统进行控制和反馈。在这个系统中有三个角色：

Control Shell: 系统对外的控制接口
Blackboard: 中央的知识管理，接受Specialist运算的反馈，对Specialist进行调度
Specialist: 具有专业知识的子系统，负责独立的运算

这里有一个描述Blackboard模式的代码例子： http://www.andypatterns.com/index.php/blog/blackboard_architectural_pattern/

参考：
http://www.vico.org/pages/PatronsDisseny/Pattern%20Blackboard/
http://en.wikipedia.org/wiki/Blackboard_system
http://chat.carleton.ca/~narthorn/project/patterns/BlackboardPattern-display.html

For 12.13

2010-12-14T00:00:00+08:00

当时 tags:
Nanjing
OpenStreetMap published: true comments: true

For people of Nanjing, December 13th is a day that they can never forget.

The memorial hall of the victims in Nanjing massacre.

View Larger Map

The John Rabe house

View Larger Map

Douban is now available as a cover provider of CoverGloobus

2010-12-11T00:00:00+08:00

装备 tags:
Douban
foss published: true comments: true

This is a feature requested by a douban user, we need a provider for CoverGloobus to retrieve covers from douban.com

I just modify the code of exaile-douban-cover, and adapt to CoverGloobus 1.7 API. In 1.7, CoverGloobus has simplfied SPI for cover providers, which has much enhancement from 1.6 . So this provider is only compatible with CoverGloobus 1.7 .

The patch is now merged into the bazaar repository, you can find it at:
http://bazaar.launchpad.net/~gloobus-dev/covergloobus/trunk/files/head%3A/src/covers/

Chinese user will benefit from this patch that CoverGloobus will try to download album art if it's not available from your music player.

欢迎加入OSM中文邮件列表

2010-12-07T00:00:00+08:00

ANN tags:
OpenStreetMap published: true comments: true

大家好，欢迎加入OSM中文邮件列表。现在OSM的中文用户、贡献者终于有一个交流平台了，在 OSM地图编辑的过程中，大家一定遇到过非常多的问题，今后可以在邮件列表中共同探讨了。

周一我在决定邀请一些用户加入列表之前，了解了一下国内OSM贡献者的情况。这个过程其实非常简单，也非常有趣，我查看了包括上海、苏州、杭州、南京、北京、青岛、济南、沈阳、广州、合肥等几个城市的地图作者，管中窥豹，向几名其中非常活跃的中文用户发出了邀请。同时我也发现有一些用户曾经非常活跃，但是最近一段时间提交的次数比较少，OSM是一个巨大、繁琐的工作，持续的贡献需要兴趣也需要恒心，过去大家孤军奋战，因为一些原因很容易放弃这项工作，这次有了中文邮件列表，希望这个平台对OSM贡献者也能起到一个促进的作用，让制图更加有趣。

自我介绍，我的OSM用户名是Sunng，从2008年开始关注OSM，不过到了今年上半年才开始提交地图，我主要在南京、上海活动，目前也主要关注这两个地方的制图。我在Linux上使用Merkaator作为编辑器，数据来源主要是卫星地图和一个GPS Logger。

上周，随着OSM的创始人Steve Coasts加入Bing，OSM和Bing的合作全面开始，社区动作非常快，目前Poltach2/JOSM/Merkaator等编辑器已经都支持以 Bing卫星地图为底图的编辑模式。这对中国贡献者来说是一个巨大的福音：Ｂing地图的分辨率要远高于之前Ｙahoo提供的卫星地图。今后以卫星地图为数据源的制图工作会更加轻松、质量会更高。

再提一个有趣的事情，我在浏览地图时，发现湖南南部的行政区数据明显比别处多，下载了数据才了解这是用户 wangchun(http://www.openstreetmap.org/user/wangchun) 的作品。 wangchun是OSM中国的活跃贡献者，他维护了很多铁路数据，此外，还包括钓鱼岛边界的这次编辑 (http://www.openstreetmap.org/browse/changeset/3937490)

抛砖引玉，希望大家在OSM邮件列表上畅所欲言。也希望大家邀请身边的OSM用户、贡献者、潜在用户、潜在贡献者加入邮件列表，让OSM 中国社区更加壮大！

$$$$$$$$$$$$$$$$$$$$$酱油分割线$$$$$$$$$$$$$$$$$$$$$

OpenStreetMap(osm.org)是一个以Wiki方式绘制全球街道地图的项目，这个项目的所有数据都来自志愿者贡献，并以CC-BY-SA许可开放所有的地图和原始数据。
OpenStreetMap在国内也有一批贡献者，很多贡献可以追溯到2007年。目前，上海、杭州、北京的OSM已经初具规模，不过更多的城市需要志愿者加入。

于是在这里邀请您成为OSM的贡献者，并加入到中文邮件列表的讨论中来(http://lists.openstreetmap.org/listinfo/talk-cn)。

成为OSM的贡献者，你可以以这篇Wiki作为基础教程：
http://wiki.openstreetmap.org/wiki/Zh-hans:Beginners_Guide

设备？
您可能需要一个GPS设备，但是这不是必须的。还可以通过对卫星地图进行数字化的方式参与到这项工作中，最近，OSM与Bing地图进行了合作，在国内也有了较高分辨率的卫星影像作底图。

软件？
OSM有很多编辑器，您可以从Potlatch/JOSM/Merkaator等工具中选择一个。

制图？
你需要了解一些基本的制图规范。OSM数据的基础单元是点、线和关系，您可以在这里找到所有的要素类型：
http://wiki.openstreetmap.org/wiki/Map_Features
也可以参考已有的数据，更可以在邮件列表中进行相关的讨论。

欢迎你成为OSM的贡献者，加入到开放地图贡献者的行列中来！

$$$$$$$$$$$$$$$$$$$$$酱油分割线$$$$$$$$$$$$$$$$$$$$$

写了一晚上就写出这两段字来，现在不写大段文字表达能力迅速退化。

I am Location Aware

2010-12-03T00:00:00+08:00

自话 tags:
GIS
gps
OpenStreetMap published: true comments: true

身为一个跟GIS沾过边的人，我直到今年才真正知道我在哪。尽管有了带GPS功能的手机，但是为了能离cartographer更进一步，今天我又买了一个专门的GPS Logger设备Holux M1000C。所谓GPS Logger就是以固定时间间隔采集GPS数据并记录的设备，现在国内的绝大多数GPS设备都是以导航为主，少有这样功能简单价格合理的GPS产品。

这类设备，自带的软件当然都是Windows only的，不过在Linux上也不是没有办法。处理GPS数据最著名的工具叫做BT747，支持多种设备、格式，用Java写的，可以通过jnlp启动，quick and dirty一下还是很不错的。不过如果要找一个长相厮守的命令行工具，还是要用gpsbabel。

以USB连接为例，将M1000C通过USB线连接到电脑，开启设备。可以用dmesg命令查看连接的USB设备，找到该设备（我的机器上设备叫做 /dev/ttyACM0）。M1000C使用的是MTK芯片，gpsbabel的命令为： gpsbabel -t -i m241 -f /dev/ttyACM0 -o gpx -F output.gpx

其中：

-t 表示track
-i 输入格式，可以带参数如 -i m241,erase=1 表示导入并擦除设备上的数据
-f 输入设备
-o 输出格式，导出gpx格式
-F 输出文件

有了GPS设备，现在可以名正言顺地为OpenStreetMap贡献了，今天揣着设备把下班的路记录了一下，而且还专门走了小区后面没有路灯的一条路上采集了一下数据，没有路灯还真有点...

View Larger Map

来吧，加入到OpenStreetMap的贡献者队伍里吧！

The post is brought to you by lekhonee v0.7

dbus-python, in case you don't know

2010-11-29T00:00:00+08:00

手艺 tags:
dbus
linux
python published: true comments: true

上周用dbus-python写exaile插件，实现mpris2.0，非常痛苦，因为几乎没有完整的文档，只有一个tutorials帮助你入门。总结一下我这次quick and dirty的开发所掌握的资料，当然，因为没有太多时间，所以也没有对dbus做更深入的了解，仅仅是in case you don't know。

DBus Interface Properties

对mpris 2.0中定义的properties用dbus-python应该如何实现呢，似乎没有@dbus.service.properties这种decorator啊。这里的文档对Properties进行了简单的说明，对于python程序，只能这样实现了：
[cc lang="python"]
@dbus.service.method(dbus.PROPERTIES_IFACE, in_signature='ss', out_signature='v')
def Get(self, interface, prop):
...
@dbus.service.method(dbus.PROPERTIES_IFACE, in_signature='ssv')
def Set(self, interface, prop, value):
...
@dbus.service.method(dbus.PROPERTIES_IFACE, in_signature='s', out_signature='a{sv}')
def GetAll(self, interface):
...
[/cc]
程序里通过prop判断property名字，返回结果。没办法，就是这样。

指定返回数据的dbus类型

对于dbus接口返回的variant类型，dbus-python会guess_signature。可是这部分的功能有的时候并不如我们想象，比如返回一个dict类型，其中的value有字符串有list有int，而out_signature是v。这种情况在Property Get的时候非常常见，如果不能手动指定类型，guess_signature得到的结果，value是统一类型，即，int会报错，如果没有int类型，会将所有字符串转成list（dbus的array）

这种情况需要手动指定返回的类型，用dbus.types模块下的类型对python显示包装，对dict类型，需要用dbus.types.Dictionary()包装，并且在构造函数里传入signature='sv‘及相应的variant_level即可显示告知类型。同样，对list对象，需要用dbus.types.Array()包装。

这样即可绕过guest_signature，如果用dbus-monitor查看，就可以看到类型为variant string了。

Exaile sound menu integration

2010-11-28T00:00:00+08:00

装备 tags:
exaile
opensource
ubuntu
work published: true comments: true

Sound menu indicator was introduced in Ubuntu Maverick(10.10). User can control playback from this menu, and view current track information.

The control is based on mpris spec 2.0, which is a common specification of controlling media player with dbus. To enable sound menu support, media player should implement mpris 2.0, and register itself with libindicate.

So this week, I have been working on an exaile plugin to support sound menu and finally got a workable version.

The code repo can be found at github: https://github.com/sunng87/Exaile-Soundmenu-Indicator

Artificial301 Firefox Addon 1.1

2010-11-21T00:00:00+08:00

装备 tags:
firefox
project published: true comments: true

由于一些众所周知的原因，一些链接仅仅是因为feedproxy.google.com这样的链接不能打开而无法访问（链接本身是可以访问的）。这个时候你需要Firefox插件：Artificial301。

本次更新的1.1版本，新增了“Reload With Artificial301”的选项。

下载页面： https://github.com/sunng87/Artificial301/downloads

First Week

2010-11-20T00:00:00+08:00

当时 tags:
sap
work published: true comments: true

这周是加入新公司的第一周，一切从新开始。这已经是两年里的第三家公司了，这个嘛，哎，比较坎坷。

因为长得比较苍凉，工作的时间又不长，大家都问你是研究生毕业吧，心里估计还有几分揣摩：这位兄台肯定是越挫越勇，不弃不馁，复读多年的。否定答复后，大家还会觉得我可能比较坎坷，读书比较晚，最后还要追问一句是哪年的。得到答案心中一凉，87年的都长成这样了，岁月不饶人啊。其实我没那么显老吧。

公司的东西全部是封闭的，而且自成体系，所以基本上是从头开始了。封闭的副作用就是找人的成本比较高，反倒也促进了公司有完整的培训体系培训资料，新人入门也算是有章可循。周二的培训课程一下午三个小时，简直就是找回了大学上课的感觉。恰好会议室门口有个饮料机，一倒饮料就嗡嗡作响。这倒好，昏昏欲睡的时候，饮料机突然响了，有人说了打下课铃了，众人立刻精神百倍。原来上大学的时候下课就失眠的不只我一个。

如果说公司有什么的特点的话，就是杯具特别多。你不用带着杯子走来走去，每一层楼都有大量的马克杯，统一印公司logo，用完只要放到回收点就可以了。而且公司特别喜欢杯具，周五临下班，又收到一个发杯具的通知。。。

另外中午散步，发现很多人都走一条小道，我跟过去绕到几座楼后面，简直就是豁然开朗，仿佛看到桃花源一般。浦东软件园三期后面有一个规模很大的人工湖，还有小桥流水，中午散步还有波光粼粼，可以租脚踏船！这湖藏的很深，你不绕到湖边是根本看不见。想想中午吃完饭散步、去湖上划船，那是何等的惬意啊。而且盛大文学的办公楼窗户就正对着湖面，在这样的落地窗前面工作，那种感觉！想起以前，同样是一家集团，工作环境的差距怎么就这么大呢。

同事谈论公司的时候，总是会用经济危机前、经济危机后来区分。比如危机前，培训材料都是打印成书的，危机后，大家就都看看pdf得了。作为一个和经济危机一起走上社会的人，我是真的很无奈。

终于能用Unity和Gnome-shell了

2010-11-14T00:00:00+08:00

装备 tags:
ubuntu published: true comments: true

自从升级到Maverick之后，有两个问题就一直如鲠在喉，GNOME3会话和Ubuntu Netbook(Unity)会话能不能用。前者启动之后出现Panel后全部僵死，鼠标可以移动但是任何操作都没有响应；后者桌面背景图片一闪就黑屏，没有任何响应。

查看unity的xsession-error日志，其中的报错比较含糊，搜索也没有找到相似的问题。查看GNOME-Shell的xsession-error之后发现很多JS报错，搜索了一下，终于找到了一个bug报告： https://bugs.launchpad.net/ubuntu/+source/mutter/+bug/618907

情况和我一样，都是之前曾经安装过PPA版本的GNOME-Shell尝鲜，升级之后出现了JS报错。按照说明打开synaptic，果然有两个包使用的是git版本，尽管PPA已经删除，但是已安装的软件包只会被标记为Local or Obsolete，恰好这个git版本是0.9.4比Maverick里的0.9.3还要高，这样更新的时候又不会提示。如果不细看还真的不容易发现。按下Ctrl+E， synaptic会提示Force Version对话框，选择仓库的旧版本，安装、重启。这下不仅GNOME-Shell正常工作了，同样依赖Mutter的Unity也正常了。

这次悲剧，说明使用PPA还是要慎重，尤其是跨版本升级之后，要小心PPA被禁用但软件包没有被升级的情况。

Awesome autostart

2010-11-09T00:00:00+08:00

装备 tags:
awesome
linux
ubuntu published: true comments: true

Problem

让Awesome环境像Openbox一样在启动时，在根上下文中执行一个autostart脚本（启动程序、声明环境变量）。

Solution

Ubuntu中GDM启动后会执行 /etc/gdm/Xsession 这个脚本，如果是custom会话（启动参数custom），会执行用户目录下的.xsession脚本，否则会执行 /etc/X11/Xsession.d/ 目录下的所有脚本。

为了支持autostart脚本，可以在 /etc/X11/Xsession.d/ 里创建一个新的脚本 55awesome-autostart
[cc lang="bash"]
BASESTARTUP=$(basename "$STARTUP" | cut -d\ -f1)
if [ "$BASESTARTUP" = x-session-manager ]; then
BASESTARTUP=$(basename $(readlink /etc/alternatives/x-session-manager))
fi
if [ "$BASESTARTUP" = "awesome" ]; then
AWESOME_AUTOSTART=$HOME/.config/awesome/autostart.sh
if [ -e "$AWESOME_AUTOSTART" ]; then
. "$AWESOME_AUTOSTART"
fi
fi
[/cc]
这个脚本会判断启动的session是否是awesome，如果是，并且autostart.sh存在的话，source这个文件。autostart.sh按照xdg的约定，放在配置文件目录 $HOME/.config/awesome/ 里。

这样，在用户目录下的配置文件里，就可执行一些自启动程序，或者声明环境变量，典型的应用就是指定awesome会话专用的gtkrc：
[cc lang="bash"]
AWESOME_CONFIG_PATH=$HOME/.config/awesome
export GTK2_RC_FILES=$AWESOME_CONFIG_PATH/gtkrc

xcompmgr -cCfF -t-5 -l-5 -r4.2 -o.55 -D6 &
awsetbg -u feh -f .config/awesome/ubuntu.jpg
[/cc]

镇江和栖霞山

2010-11-08T00:00:00+08:00

留影 tags:
Nanjing
photo
Tourism published: true comments: true

放假在家，不甘寂寞，去了南京周边一些地方。回来才发现，去的居然都是寺庙！

镇江的金山寺

从南京到镇江，坐火车大约30分钟。从火车站出来坐2路车，可以在去金山公园之前了解一下镇江的全貌。

南京的栖霞山，山顶上有个老人放羊。下面这只大概是羊王一样的角色，那眼神

下山蜿蜒的路

在栖霞山可以看到整个仙林地区，随着地铁的开通，看来这里是未来发展的重心了。而我们曾经被圈养的江北浦口，恐怕是被彻彻底底的遗忘了。

QQ360

2010-11-04T00:00:00+08:00

自话 tags:
cnweb published: true comments: true

作为一个Linux桌面用户，若不是早些时候幡然悔悟投靠了自由软件，今天怕是也难以有隔岸观狗，苟全性命于乱世的心境。其实我是有两个想法的，一个是新浪的UC，一个是360自己。

我是在twitter上看到有同事说怎么UC没有动静。一说UC能想起来的人都应该想起来的。我不幸作为了见证UC历史的那一拨人，不幸就不幸在事隔多年我几乎都忘记自己这个身份了。2004年初，腾讯推出了一个2块钱注册QQ号的业务，从那个时候起的一段时间里，QQ号不再是像后来和先前这样免费注册。于是骂声一片，在深圳就冒出一个叫做朗玛UC的产品，就在那半年里人气飙升，虽然不及QQ，但是在国内也算是对QQ空前绝后的挑战了。那个时候的各种程序功能、营销手段也都是纯拷贝，我印象最深的是一个挂机时间换靓号的。因为这事我参与过，正好有高中同学弄到了学校服务器的权限，于是就替我就用金陵中学的Windows2000服务器，挂满了要求的时长，得到了6位UC号。

后来腾讯意识到问题，放弃了2块钱的业务，这以后UC很快就走了下坡路，最终卖给了新浪，取代了新浪自家那个更烂的IM产品（连名字都想不起来了）。神奇的是，尽管不景气，但是新浪UC这么些年一直尴尬地活着，还在不断更新。

如今机会来了，360跳出来，腾讯又受到了几年都没有过的挑战。不过有趣的是，这次大战一直是1v1，平时那些个心有不甘的六国似乎也没有一个愿意和360趟一滩浑水的。盛大是在糖果上打出来广告说支持360的，不过似乎没有造成太大的影响。其他都统统袖手旁观了，新浪也没有借这个机会忽悠一个自己的UC，我想如果整合新浪的微博、博客、播客，又能和MSN / Gtalk互通，也不是没有一点竞争力的吧。可惜没有准备好，眼看着事情渐渐平息，UC还是没有出头之日。

又说360，360苦于什么，苦于揭竿而起却又无法真正挽救用户于水火。已经宣战了，却没有能力把驻外侨民转移到安全的地方。忠诚的用户也要做出这样的抉择，坚贞不屈还是忍辱负重，抗战到底还是卖国投敌，是从此走上一条孤独的、不再有企鹅联系人的羊肠修道，还是看见了当没看见知道了当不知道退一步海阔天空。苦啊！

360为什么不搞一个自己的QQ客户端呢？从头开始太难，那何不借点东风。站在我的角度，如果能看到360组织一个团队来维护libpurple的QQ支持，是最好的结果。其实现在Windows上已经有使用libpurple的pidgin(gtk)和instantbird(xul)了，虽然用起来有点麻烦（正是需要专人维护的缘由），但是即使是在最严峻的那几个小时，这些用户用着非腾讯官方的产品也没有太大的问题。这对360来说，难道不是个机会吗？在libpurple的基础上，索性来个GPL的OpenQQ，按照中国用户的需求，想加什么功能随你了。不要托管给什么评测中心，直接放到github，让大家都看看，发动一场人民战争，你怕什么。不过当然了，这样坦荡荡也不是360的风格，踏踏实实做个开源产品更不是他们的风格。

还是开头说了，隔岸观狗，不得不发。都是马后炮，姑且说说而已。

Bash Color Support for Bti

2010-10-31T00:00:00+08:00

装备 tags:
c
foss
linux
opensource published: true comments: true

Bti is well known as a command line twitter/identica/statusnet client, by Greg Kroah-Hartman.

I have been using this tool in CLI environment for a long time, found it difficult for human to parse output by eyes. So I forked it and added this bash color support, to provide some highlight on tweets.

To enable color support, add an option --auto-color to bti command, or append auto-color=yes to your configuration file($HOME/.bti)

I have sent pull request to Greg, hope the patch can be merged into master. Before approved, you can check out my fork and compile it yourself. (If liboauth not found, find it here.)

Installing Weather Indicator on Maverick

2010-10-29T00:00:00+08:00

手艺 tags:
ubuntu published: true comments: true

The appindicator has been enhanced again in Ubuntu 10.10 Maverick. The new datetime indicator has been introduced in the replace Gnome datetime applet. However, the datetime indicator is quite simple, which drops support for EDS (Evolution data server), location and weather. So you need an indicator api based weather widget, and omgubuntu says there is already such a project of weather-indicator, on launchpad.

However, any attempt to install this package will result in a failure of 404. The ppa is no long maintained (Even the project has been in silent for a long time.) Fortunately, we can still build it from sources.

First, check out the sources with bzr: bzr branch lp:weather-indicator

Then, change directory into weather-indicator, package it with debuild: debuild binary

You will get the result in the parent directory: indicator-weather_10.07.16_all.deb

Then you simply install the debian package with dpkg: sudo dpkg -i indicator-weather_10.07.16_all.deb

Enjoy !

Exaile 豆瓣电台插件 0.0.5

2010-10-26T00:00:00+08:00

ANN tags:
exaile
python
ubuntu published: true comments: true

趁热依旧打铁。Exaile 豆瓣电台插件 0.0.5

Features

界面快捷键加心f 跳过s 删除d
调整了按钮的顺序，和官方一致
增强的菜单，可以在豆瓣模式里切换频道、关闭Exaile，无须回到主界面
推荐当前歌曲到豆瓣，可以在配置界面配置推荐语模板

Installation

Wiki page

Downloads

Download from Github

Screenshots

Douban Mode

Enhanced Douban Mode Menu

More ?

豆瓣 on Ubuntu

When I am 64

2010-10-23T00:00:00+08:00

留影 tags:
Life published: true comments: true

Exaile 豆瓣电台插件 0.0.4

2010-10-21T00:00:00+08:00

ANN tags:
Douban
exaile
python
ubuntu published: true comments: true

趁热打铁， Exaile豆瓣电台插件今天又有了一些更新：

支持今天豆瓣新发布的摇滚、民谣、NewAge频道
支持Exaile 0.3.2开始的界面透明
与官方保持一致，在非个人频道时禁用trash按钮

下载 http://github.com/sunng87/exaile-doubanfm-plugin/downloads

很多朋友纠结于安装，安装确实稍显麻烦，大家注意：

确认你的Exaile版本0.3.2。
下载，重命名下载的文件为doubanfm.tar.gz（Exaile要求压缩包内的文件名要以压缩包的名字开头，否则报错；而github上使用相同的文件名用作下载会有潜在的问题）
如果已经安装过这个插件，请删除 rm -r ~/.local/share/exaile/plugins/doubanfm
打开Exaile，打开Preferences，到Plugins页，安装
勾选doubanfm
如果plugins树下没有出现Douban Radio，关闭Preferences重开，找到Douban Radio，设置用户名密码
重启Exaile
打开文件菜单，Open Douban.fm，选择你需要的频道
双击音轨或点击播放开始播放
切换到豆瓣视图，菜单View->Doubanfm Mode，或快捷键 Ctrl+alt+d

Enjoy！

豆瓣 on Ubuntu

2010-10-20T00:00:00+08:00

ANN tags:
Douban
ubuntu published: true comments: true

半年来，围绕豆瓣做了几个应用，今天上班路上突然心血来潮，决定汇总一下，推广一下。如果你是豆瓣用户，也是Ubuntu用户，你可以尝试一下。

http://sunng.info/doubantu/

Python Web 开发框架 Bottle

2010-10-17T00:00:00+08:00

装备 tags:
bottle
python
web
wsgi published: true comments: true

Bottle是一个非常精致的WSGI框架，它提供了Python Web开发中需要的基本支持：URL路由，Request/Response对象封装，模板支持，与WSGI服务器集成支持。整个框架的全部代码约有2000行，它的核心部分没有其他任何依赖，只要有Python环境就可以运行。

Bottle适用于小型的Web开发，在应用程序规模比较小的情况下可以实现快速开发。但是由于自身功能所限，对于大型的Web程序，Bottle的功能略显不足，程序员需要手动管理模块、数据库、配置等等，与Pylons等框架相比Bottle的优势就难以体现出来了。

快速入门

通过一个简单的、典型的例子描述Bottle的使用：
[cc lang="python"]
from bottle import Bottle, run, mako_view, request

myapp = Bottle()

@myapp.get('/hello/:name/:count#\\d+#')
@mako_view('hello')
def hello(name, count):
ip = request.environ.get('REMOTE_ADDR')
return dict(n=name, c=int(count), ip=ip)

run(app=myapp)
[/cc]

我们创建一个Bottle对象，通过decorator配置一条路由记录。Bottle的url映射支持具名参数，“/hello/:name/:count#\\d+#” 格式的参数，可以匹配/hello/(.+?)/(\d+?)的URL。在方法体中，通过environ字典获得客户端IP，这个操作和其他WSGI框架是一致的。接着通过一个字典类型将Model数据传递给View。View模板通过decorator定义，采用mako模板引擎实现，模板名为hello，他表示在当前目录下一个名叫hello.tpl的文件。

剖析

Bottle主要可以分成4个模块：

Router和WSGI Application
Request和Response, Web helpers
Template Adapters
WSGI Server Adapters

Router和WSGI Application

一个Bottle对象是一个标准的WSGI App，这使他可以与很多WSGI Server集成。每个app下管理一个Router用于针对URL映射到handler方法。根据Python decorator的特性，路由规则是在程序启动时自动执行的。

Bottle的route方法用于注册handler到router中。除此以外，还有很多function currying帮助您简单地路由GET / POST 等特定HTTP方法。

Bottle最近以来支持了hook，可以注册一些方法在每个请求之前、或之后执行。

当接受一个HTTP请求时，WSGI Server会调用WSGI App的wsgi方法。它的流程是：

根据标准的WSGI接口规范，从WSGI environ中生成一个Request对象，初始化一个response对象。
在寻找方法之前，实际上Bottle会自动执行您注册的before_hook。（Bottle._add_hook_wrapper）
根据request.path的URL在router中寻找对应的handler方法（Bottle.match_url, Router.match）。这一步中除了找到合适的handler方法，还要负责提取url中的具名参数，将结果以tuple的形式返回。
以返回的方法和参数，执行handler，获得返回值。
执行所有的after_hooks。
根据返回的不同类型，写入Response的头部。在这一步，Bottle还会应用一些filter，在Bottle中，filter是用于处理handler返回类型的。例如，一个典型的filter即内置的dict2json，他将handler返回的dict类型自动换成json。（Bottle._cast）
根据返回的HTTP状态码，对handler返回对象进行处理。调用WSGI Server的start_response方法将返回对象写给客户端。

Request和Response, Web helpers

Bottle对HTTP的请求和响应封装了Request和Response对象。它采用threadlocal的方式，由Bottle app管理生命周期。您可以在声明handler方法时不必像Java Servlet那样将他们以参数传入，这样增加了方法设计的灵活性，也使得单元测试变得相对轻松。

Request对象是对WSGI environ属性的封装，可以从中取得的属性取决于WSGI Server对PEP333的实现。

关于Request API，可以参考文档

类似的，可以参考Response API了解如何对HTTP响应进行操作

和很多Web框架一样，你不必手动去设置HTTP重定向，helper方法会简化这些操作：abort, redirect, static_file。当然，你也可以自己创建一些helper。

Template Adapters

template方法用于渲染视图，您可以使用不同的模板实现：mako, jinja2, cheetah, simpletal以及Bottle自己的简单实现。

view作为一个decorator可以简化模板的选择。与route类似，作者也提供了一些function currying来支持mako_view这样简便的写法。

Server Adapters

Bottle的Server Adapters简直可以说是WSGI Server的博览会，从这里您可以了解目前比较流行的WSGI实现：

flup
wsgiref
cherrypy
paste
fapws3
tornado
Google Appengine
twisted
diesel
meinheld
gunicorn
eventlet
gevent
rocket

当然，这些不是全部，如果要使用不在其中的WSGI Server，您只需实现一个ServerAdapter的run方法即可，需要做的就是将Bottle app传给server并启动它。

内置的run方法用于启动服务，您还可以指定一个reloader参数使Bottle在后台检查源文件的修改情况，实现热加载。
除了run方式的启动，由于Bottle app本身就是一个符合标准的WSGI app，所以也可以通过一些服务器特有的方式启动服务，例如gunicorn： gunicorn -w 2 -D -b 127.0.0.1:18080 module:app

实战

Middlewares

Middleware是WSGI的重要概念http://www.python.org/dev/peps/pep-0333/#middleware-components-that-play-both-sides 借助一些成熟的middleware可以添加一些Bottle目前不具备的功能：没错，Session。

Session Middleware最著名的选择叫做Beaker，要其用Beaker，只需要一个装饰器模式的App声明即可，您可以参考Beaker的文档.

Pylons以使用Middleware著称，而除了Routing这样核心的Middleware，包括Beaker和Authkit都可以应用在Bottle程序上。

App Mounting

Bottle的App提供一个很有用的mount方法帮助你将Web应用模块化。您可以将一个Bottle App挂载到一个父App上的某个路径，以父App启动后，父App可以为子App在一个路径下提供路由。

不过你会遇到这样的问题：
[cc lang="python"]
child = Bottle()

@child.get("/")
def hello():
return "hello world"

parent = Bottle()
parent.mount(child, "/child")
[/cc]

很自然的，您希望打开浏览器访问http://localhost:8000/child可能看到hello world，然后却得到404.这个问题不难察觉，于是访问http://localhost:8000/child/，工作正常。

我曾给作者提过这个问题http://github.com/defnull/bottle/issues#issue/88，（补一句，Bottle的作者少有的Nice，对你提出的问题他通常都会认真解答），作者提了一个重定向的方式，不过还是没有决定把它直接加进mount方法里。

那么，我们需要一个新的mount来支持http://localhost:8000/child

[cc lang="python"]
def mount(parent, child, path):
parent.mount(child, path)
@parent.get(path)
def redir():
redirect(path+"/")
[/cc]

Google AppEngine

因为有WSGI标准，你可以用Bottle开发Google AppEngine程序。您只需要在handler文件中加入这样的代码即可：
[cc lang="python"]
from google.appengine.ext.webapp.util import run_wsgi_app
def main():
run_wsgi_app(my_bottle_app)

if __name__ == '__main__':
main()
[/cc]
依赖？Bottle本身是self-contained，不过你可能还需要一个强大一些的模板引擎来完成你的应用，比如Mako。这样，你需要把依赖和自己的程序一起上传到GAE。对于Mako来说，除了它自己，还依赖marksave，别忘了它。

以上就是我对Bottle的理解和使用心得，希望您在合适的场景下使用Bottle，只有这样，才能感受到这个框架所带来的乐趣。

Kindle已过万重山

2010-10-16T00:00:00+08:00

装备 tags:
friends
kindle published: true comments: true

契机。

早就想买个类似技术的电子书，年初的时候就有过这样的打算，几乎到了只欠东风的节骨眼上，还是畏惧了2000多的高价。事实证明等待是正确的，半年之后，盛大的Bambook发布了，Kindle3的价格也出来了，从此6寸的电子书都降到了1000人民币以下。情绪逐渐接近临界，开始和samson讨论购买的计划，熟人代购or淘宝代购。不料看到goodtiger率先出手，积聚的能量瞬间爆发。不到24的小时之后，kindle三人组成立了。。。

动机。

作为城市的低收入群体，我们有责任有义务把钱花到刀刃上。很多人说为神马不买ipad呢，功能强大得多。实际上，我的需求仅限于消费我~/Docuemnt/EBook/目录下永无止尽的文档。在电脑屏幕上，从Adobe Reader，到Simply a reader的Evince，到more than a reader的Okular，到apvlv，到zathura，即使支持了inverted colors这样的功能，终归还是不能满足舒适看书的需求。OK，只有看书这么简单，甚至你还要防止设备上多余的功能让你在看书的时候分神，你还有其他选择吗？

渠道。

什么样的渠道让能量毫无顾虑的突破临界呢，当然是有人吃过螃蟹的渠道了。这是一个中继服务，他们为你生成一个美国的地址，你只需要用这个地址在Amazon网站上注册购买，货物会寄到该地址然后转寄到国内你的真实地址。9月7号，我在Amazon网站上pre-order了Kindle3，到了9月17号，Amazon发货；9月20号，包裹到达中继服务的美国地址；支付了国际邮递费用的，9月22号包裹发货，9月23号包裹离开美国。

接下来悲剧就开始了，漫长的纠结的杳无音信，直到9月28号下午，突然收到一个陌生号码发来的短信：您的包裹需要交税！最终还是倒在了之前说的大boss手下。因为短信实在可疑，花了一天核实，到了9月30号下午终于把关税费用打给了对方。接着是漫长的十一假期，继续杳无音信。到了10月8号，终于上班了！打电话到这家公司，结果对方的电话居然坏掉，一接通就是杂音，根本没有办法对话。我心一凉，这回是不是要悲凉了。

实物

好在这回没有背到那种程度，10月11号毫无征兆地接到快递的电话，我想这事成了！

拿到Kindle，开封。一张简易说明书、一个机器，一根数据线。

屏幕效果：

对pdf格式，kindle3虽然原生支持，但是由于pdf本身格式的限制，只能支持到区域缩放，而不支持字体缩放。6寸的屏幕阅读还是有难度的。好在，Amazon提供了格式转换服务，您可以参考samson的预习作业把pdf转换成kindle格式。

当然，kindle3内置一个浏览器，如果你能够忍受黑白屏幕和它的屏幕刷新速度，可以尝试一下。 UA显示是Linux操作系统，Webkit核心。

费用

最后透露一下费用。Kindle3 Wifi的价格是$139，Amazon美国邮递免运费。中继服务国际邮递的费用是$21.79，海关关税190元人民币。最近汇率动荡得厉害，今天的汇率已经是1:6.6405了。总价是
echo "(139+21.79)*6.6405+190" | bc
1257.7259

今天看到淘宝上已经有1150的价格了，应该是少了关税。

A fine day

2010-10-11T00:00:00+08:00

当时 tags:
Life published: true comments: true

好久没有聊生活了，最近心绪比较杂乱，虽说不像以前那么忙，不过也没像以前那样有时间来贫一下。好在今天倒是这么多年难得的一个顺风日，一切顺利。

上周体检今天出了结果，全部PASS。虽然有一点点心动过速，不过没有大碍。我一直担心的谷丙转氨酶这次终于没有出乱子。其实这半年加班加上压力比较大，有的时候能明显感觉到胸闷，体检之前心里还真没底。不过好在是还年轻，还能顶一顶。尽管是有紧张的因素，但是心动过速也算是个预警吧，以后要加强锻炼。这话不知道说了多少遍了。

另一件事，Kindle终于毫无征兆的到了。9月6号我们kindle三人组（1，2）通过comgateway订了kindle3，到了9月17号Amazon发货，9月23号从comgateway发货。之后就杳无音信，从comgateway上的跟踪系统看根本就是绝望。结果到了9月28号正在跟samson闲聊的时候，突然收到一条莫名奇妙的短信，说您的货物已经到了北京库到家，要交税，真是又喜又悲。这还没完，花了一天confirm短信的真实性，直到30号中午才把税款打出去。接着就是无尽的国庆假期，漫漫7天过后，迫不及待打电话到库到家，结果8号一天占线，9号好不容易接通了，对方电话却坏了全是杂音跟不听不见说话。说实在的要不是有pipitu先前购物的经验，我这时候就觉得被骗了。好在，好在，今天上午顺丰快递总算是把东西送来了！

有关kindle的细节，过两天再和大家慢慢唠。

今天正好还是妈妈的生日，晚上我们找了一家山西饭馆饱餐一顿，感觉好极了！

The 4k Story

2010-10-08T00:00:00+08:00

把戏 tags:
linux
mmap
mongodb
nosql
redis published: true comments: true

从 Redis 2.0 开始，Redis的作者就不断地被问道，你为什么要自己造一个VM轮子呢。尽管作者在FAQ里说明了，但是仍然有很多不同意见。

反向代理Varnish的开发人员，Poul-Henning Kamp 写了一篇文章，What's wrong with 1975 programming ?，锋芒毕露，矛头直指竞争对手Squid，顺便也打击一大片牵连到了Redis的作者Antirez。他说：

I have spent many years working on the FreeBSD kernel, and only rarely did I venture into userland programming, but when I had occation to do so, I invariably found that people programmed like it was still 1975.

Kamp兄有来到user-space之后一夜回到解放前的感觉，又好像摇晃着饮料瓶子对着Antirez说：你Out啦！也许是因为作者就是个内核开发者，所以Varnish对操作系统的Virtual Memory机制充分信任，把Squid对内存的手动管理称为wasted work。"So Welcome to Varnish, a 2006 architecture program. "

还有用户也提出

Redis doesn’t use OS swap. According to Salvatore Sanfilippo, the creator of Redis, it was because the page size of 4KB was too big. I personally don’t think that helps but it’d be better if Redis preallocated specified amount of buffer pool and bring related objects to the same page to increase locality of reference, instead of letting the heap manager blindly fragment objects. In my opinion, the page size of 32 bytes is too small, considering that the hardware architectures and the compilers are optimized for the conventional page size. In that scale, even the latency of reading something from RAM could be dominant (RAM is too slow for CPU, therefore it’s got L1/L2 cache), and RAM has the pipelined burst mode to pre-fetche memory contents at a few clock cycles, before they are actually requested.

5号，Antirez在博客上写了回击 What's wrong with 2006 programming?，他认为：

OS Swap在一些情况下会导致客户端阻塞
4K大小的Page可能包含很多key，其中总有一些被访问到，导致操作系统无法swap这些page
使用自己实现的Paging为程序提供了极大的自由度，包括作者提到的2.2将会引入的数据压缩、新的数据结构以及自定义的过期算法

前段时间，Foursquare用MongoDB时，因为Sharding方法一些疏漏把大量的数据集中到了一台机器上，导致一台EC2实例内存耗尽无法工作。Mongodb的内部机制就是mmap，我的同事做过相关的测试，当内存耗尽时，读写操作都使用磁盘，这时mongodb的性能是完全无法使用的。事后10gen的开发人员Horowitz总结出现问题的原因总结出现问题的原因时，其中很重要的一点是

Document size is less than 4k. Such documents, when moved, may be too small to free up pages and, thus, memory.

看了这个原因，Redis的作者Twitter上大喜："Real world instance of my 4k page + small objects concerns"

'Douban on Gwibber #2'

2010-10-07T00:00:00+08:00

ANN tags:
Douban
gwibber
ubuntu published: true comments: true

Douban support on gwibber, tested on Gwibber 2.32.0-ubuntu2 or 2.32.0.1-ubuntu1 , Ubuntu Maverick.

You can download it from bitbucket: http://bitbucket.org/sunng/gwibber-douban/downloads

Installation:
Unpack and run install script with super user privilege: sudo bin/install.sh

We will create backup for you. To rollback, just run sudo bin/uninstall.sh .

Any feedback is welcome.

Rhythmbox plugin for Douban FM

2010-10-06T00:00:00+08:00

他山 tags:
Douban
ubuntu published: true comments: true

Rhythmbox 豆瓣电台插件是由cdredfox基于libdoubanfm开发的另一个Linux桌面豆瓣电台客户端。如果您是Rhythmbox的忠实用户，现在您有一个新的选择了。

Douban on Gwibber

2010-10-05T00:00:00+08:00

装备 tags:
Douban
foss
gnome
gtk
gwibber
python
ubuntu published: true comments: true

Now it's possible to use Gwibber as a desktop Douban.

Setup a douban client in the account dialog:

Authorize Gwibber to access private data on Douban (OAuth):

Display Douban activities on Gwibber timeline:

The code has been uploaded to bitbucket: https://bitbucket.org/sunng/gwibber-douban/overview

I am currently working on an installation script.

Redis Data Struct

2010-10-01T00:00:00+08:00

手艺 tags:
c
redis published: true comments: true

Redis的几个核心数据结构定义在redis.h和dict.h中。Redis服务器总的数据结构里的根节点是redisServer，下面包含一个redisDb结构数组。数组的大小定义在redis.conf中的databases项，客户端可以通过select命令选择相应的DB。

一个redisDb定义了redis数据库的基本数据结构，redisDb结构定义如下
[cc lang="c"]
typedef struct redisDb {
dict *dict; /* The keyspace for this DB */
dict *expires; /* Timeout of keys with a timeout set */
dict *blocking_keys; /* Keys with clients waiting for data (BLPOP) */
dict *io_keys; /* Keys with clients waiting for VM I/O */
dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */
int id;
} redisDb;
[/cc]

其中

dict 用于存储键值的哈希表结构
expires 用于存储键、过期时间的哈希表结构
blocking_keys 用于存储键、阻塞数据的哈希表结构。目前仅仅在阻塞式的blpop brpop中使用。
io_keys 存储等待将数据从swap读出的key （vmThreadedIOCompletedJob, dontWaitForSwappedKey, waitForSwappedKey）
watched_keys 用于支持WATCH命令，实现乐观锁功能
id 数据库编号

dict结构定义在dict.h中，主要的定义有：
[cc lang="c"]
typedef struct dictEntry {
void *key;
void *val;
struct dictEntry *next;
} dictEntry;

typedef struct dictht {
dictEntry **table;
unsigned long size;
unsigned long sizemask;
unsigned long used;
} dictht;

typedef struct dict {
dictType *type;
void *privdata;
dictht ht[2];
int rehashidx; /* rehashing not in progress if rehashidx == -1 */
int iterators; /* number of iterators currently running */
} dict;

[/cc]

每个dict中包含两个dictht结构，用来在rehash的时候进行数据交换。rehashidx用于记录rehash的进程，值是当前rehash的table索引。dictht中table二维数组，以hash值为索引。size是哈希表的大小，初始值是4，随着rehash的进行，变成大于size的最小2ⁿ。sizemask是size-1，用来与哈希值做&运算。

redis在引如virtual memory之前，就是以这样的数据结构运行在内存中的。

Visualize call tree of a C function

2010-09-24T00:00:00+08:00

把戏 tags:
c
dot
foss
visualization published: true comments: true

Requirement

You want to visualize a call hierarchy of a C function.

Solution

Utilities you need are listed below:

GNU cflow
cflow2vcg
graphviz

Take 'rdbSaveBackground' (redis/rdb.c) for example:
[cc lang="bash"]
cflow --format=posix --omit-arguments --level-indent='0=\t' --level-indent='1=\t' --level-indent=start='\t' -m 'rdbSaveBackground' ~/osprojects/redis/src/rdb.c | cflow2dot | dot -Tjpg -o rdb.jpg
[/cc]

Output:

Source: unix diary

The post is brought to you by lekhonee v0.7

Lua script for Geany to view manpage of functions

2010-09-22T00:00:00+08:00

装备 tags:
c
foss
geany
linux
lua published: true comments: true

Requirement

When editing when Geany, you need some document of system library functions at hand. So you want to browse manpage at any time.

Solution

Just two lines:
[cc lang="lua"]
sel=geany.selection()
geany.launch('rxvt-unicode', '-e', 'man', sel)
[/cc] http://gist.github.com/591279

Install

Make sure you have geany-plugin-lua installed: sudo apt-get install geany-plugin-lua

Create a lua source file named 'ShowMan.lua' in ~/.config/geany/plugins/geanylua/ . If the direcotry does not exist, you should create it first.

Copy two lines of lua code into this file, save and close.

Create a file named hotkeys.cfg in ~/.config/geany/plugins/geanylua/, add following content: ShowMan.lua

Restart geany, then open Preferences->Keybindings, Lua Script-> ShowMan, bind a key, for example, Alt+m

Usage

Select the function name, and press Alt+m (or from menu Tools->Lua Scripts->ShowMan), then you see the terminal and the manpage.

The post is brought to you by lekhonee v0.7

GUI Debugging tools

2010-09-18T00:00:00+08:00

装备 tags:
c
foss
gdb
gnome
linux published: true comments: true

想了解一个C程序的运行，打算用gdb来单步看一下流程，发现直接用gdb不太方便，然后模仿偶像用emacs的gdb支持(M-x gdb)。但是境界实在是比不上偶像，emacs的操作都还不熟练。最后选择了geany。geany是一个简单的C/C++ IDE，它有一个geanygdb插件可以帮助你在geany的图形界面里调试。

但是最近安装在仓库里的geanygdb插件有一些问题，会导致很高的CPU占用。不过这个问题被报告在这里，现在已经修复了。因为新版本还没有release，所以如果急着用的话，可以从svn签出代码： svn co https://geany-plugins.svn.sourceforge.net/svnroot/geany-plugins/trunk/geany-plugins 然后执行：
[cc lang="bash"]
cd geany-plugins
./autogen.sh
./configure
cd geanygdb
make
sudo make install
[/cc]

重启geany，打开plugin manager，看到geanygdb的版本已经变成0.20就可以使用了。

geany现在还不支持ctags，是因为它内部有一套自己的tags实现。代码导航可以用过上下文菜单 Go to tag Definition 或者 Go to tag Declaration 实现，最好是到Preference中给这两个命令设置一个快捷键，比如Ctrl+]，再对Navigate back 设置一个Ctrl+t，就如同vim+ctags一样了。

实际上在GNOME桌面还有一个专门的GDB图形界面，叫做Nemiver。Nemiver对gdb的常用命令都有快捷键操作，把鼠标移动到代码上还可以查看变量的值，效果和eclipse调试java程序一样，非常强大。

The post is brought to you by lekhonee v0.7

Artificial301

2010-09-16T00:00:00+08:00

装备 tags:
firefox
github
jetpack
project published: true comments: true

Get artificial301 at: http://github.com/sunng87/Artificial301/downloads

The post is brought to you by lekhonee v0.7

Hudson tips

2010-09-15T00:00:00+08:00

装备 tags:
hudson
java
maven published: true comments: true

Hudson的项目有三种状态，分别是failed, Success, Unstable。当单元测试未能通过时，Hudson不会fail掉整个build而是设置为ubstable，并且继续执行post build scripts和actions。这就为集成的版本带来了一些不可知因素。取消这个设置，可以通过在maven options中添加一个 -Dmaven.test.failure.ignore=false。或者在全局设置，manage hudson -> configure hudson -> Global MAVEN_OPTS。这个方法来自：http://stackoverflow.com/questions/1004540/fail-hudson-build-on-single-unit-test-failure

此外，我们借助hudson来自动完成开发环境的部署。从hudson的插件列表中安装ssh plugin和scp plugin。对打包项目新增一个post build action，使用SCP插件把打包生成的压缩文件上传到开发机上。本想同时配置一个build script，在开发环境机器上执行一个自动化部署脚本，但是使用发现ssh plugin的操作居然先于scp操作，而且这个顺序无法配置！不过不要紧，新建一个freestyle项目，项目只利用ssh插件运行远程脚本，再在打包项目配置中新增一个post build action -> build other project，填写前者的项目名，使之成为打包项目的downstream project即可。

The post is brought to you by lekhonee v0.7

迁移pylonsbook chapter 8到pylons1.0

2010-09-12T00:00:00+08:00

手艺 tags:
pylons
python
sqlalchemy published: true comments: true

Pylonsbook的第八章，是一个完整的CRUD程序例子。pylons升级到1.0之后，有一些代码不能正常工作了。

首先查看你使用的各种库的版本： paster shell development.ini [cc lang="python"]
import pylons
pylons.__version__
import sqlalchemy
sqlalchemy.__version__
import webhelpers
webhelpers.__version__
[/cc]

Pylons 1.0开始鼓励通过继承Base类的声明式ORM（pylonsbook介绍的是pylons 0.9x，sqlalchemy 0.5x，使用mapper的方式）
对pylons1.0，mode/__init__.py中声明model的代码如下：
[cc lang="python"]
from sqlalchemy import *
from sqlalchemy.orm import relationship

class PageTag(Base):
__tablename__ = 'pagetag'
id = Column('id', Integer, Sequence('pagetag_seq_id', optional=True), primary_key=True)
pageid = Column('pageid', Integer, ForeignKey('page.id'))
tagid = Column('tagid', Integer, ForeignKey('tag.id'))

class Page(Base):
"""docstring for Page"""
__tablename__ = 'page'
id = Column('id', Integer, Sequence('page_seq_id', optional=True), primary_key=True)
content = Column('content', Text, nullable=False)
posted = Column('posted', DateTime, default=now())
title = Column('title', Unicode(255), default=u'Untitled Page')
heading = Column('heading', Unicode(255))

tags = relationship(PageTag, backref='page')
comments = relationship("Comment", backref='page')

class Tag(Base):
"""docstring for Tag"""
__tablename__ = 'tag'
id = Column('id', Integer, Sequence('tag_seq_id', optional=True), primary_key=True)
name = Column('name', Unicode(20), nullable=False, unique=True)

class Comment(Base):
__tablename__ = 'comment'
id = Column('id', Integer, Sequence('comment_seq_id', optional=True), primary_key=True)
content = Column('content', Text, default=u'')
name = Column('name', Unicode(255))
email = Column('email', Unicode(255), nullable=False)
created = Column('created', TIMESTAMP, default=now())
pageid = Column(Integer, ForeignKey('page.id'))

[/cc]

init_model 方法的内容也不相同，但是对Session的配置都是在Session.configure里进行。如果设置autocommit=True，即使设置了autoflush=True仍然需要Session.flush()一下才能把变更写入数据库。否则，则需要显示调用Session.commit()

在写controller的部分，pylonsbook大量用了
[cc lang="python"]
page_q = model.meta.Session.query(model.Page)
c.page = page_q.get(int(id))
[/cc]

或
[cc lang="python"]
page_q = model.meta.Session.query(model.Page)
c.page = page_q.filter_by(id=id).first()
[/cc]
在新版本里只需要
[cc lang="python" inline="true"]
c.page=Session.query(model.Page).get(id)
[/cc]
即可。

在模板部分，pylons现在默认不依赖formbuild，所以文中提到的helper方法要额外安装formbuild库。不过这些也可以用过webhelper来实现，在lib/helpers.py里：
[cc lang="python" inline="true"]
from webhelpers.html.tags import *
[/cc]

在field.html中
[cc lang="html"]

Heading: ${h.text(
"heading"
)}

Title: ${h.text(
"title"
)}

Content: ${h.textarea(
"content", cols=40, rows=10
)}

[/cc]

模板中一个非常常用的方法url_for在pylons1.0里被改为pylons.url，需要修改/lib/helpers.py
[cc lang="python" inline="true"]
from pylons import url
[/cc]

书中所有的重定向都是直接设置response相关属性实现的，实际可以用redirect，结合url：
[cc lang="python" inline="true"]
redirect(url(controller='page', action='view', id=page.id))
[/cc]

分页部分，如果你使用的是sqlalchemy 0.6的话，随pylons 1.0发布的Webhelpers 0.6还不支持 sqlalchemy 0.6的query object，需要手动升级到1.2. (easy_install -U webhelpers)

最后关于flash状态，webhelpers里有一个专门的实现，不过还是不太好用： http://pylonshq.com/docs/en/1.0/thirdparty/webhelpers/pylonslib/

The post is brought to you by lekhonee v0.7

9月10日运转记

2010-09-10T00:00:00+08:00

当时 tags:
Shanghai published: true comments: true

庆祝教师节，今天请假休息出门放松。

线路：
609 -> 其昌栈渡口 -> 秦皇岛路渡口 -> 37 -> 33 -> 金陵西路渡口 -> 东昌路渡口 -> 东川线

609从张江路经金桥路出张江，经过碧云路、云山路、羽山路、源深路、福山路等，连接了浦东几个人口稠密的地区。从张江出发做609可以直达世纪大道、张杨路的浦东医保中心，这些地方之前去过但是都不知道，今天途径才恍然大悟。不过609的缺点就是太绕，尤其是在张江这段简直无语。

其昌栈渡口人不多，极少行人，多数是摩托车电动车。轮渡稍微有点破旧，行人票价0.5元。

没有带相机，手机拍拍玩。

渡过黄浦江后是浦西的秦皇岛路渡口，附近是4号线大连路车站。从附近坐37路，沿东大名路，经过外白渡铁桥到外滩。像不像这个：http://music.douban.com/subject/2025422/

从外滩坐33路到终点站十六铺码头，问路被告知东门路渡口已经关闭了。只能到附近的金陵西路渡口，金陵西路渡口只有行人票，需要2元，对岸是东昌路渡口。东昌路渡口和东昌路地铁站分别在东昌路的两端，这个比较悲剧。更悲剧的是东川线的起点站很不好找，问了世博志愿者，结果被指的路多走了两站。

东川线经过东方路、浦建路、龙阳路钻进张江，回来比较疲劳，附近的印象就不深了。

The post is brought to you by lekhonee v0.7

Newly designed front page

2010-09-07T00:00:00+08:00

手艺 tags:
css published: true comments: true

The last version of my home page was initialized at 2008.9. After two years, the page is completely obsolete, some features were broken due to different reasons. (fanfou.com has been shutdown and twitter was banned).

So I just bring you this:

The page is extremely simple, without any JavaScript or image. Some CSS3 features have been applied to it, including gradient background, css border radius (also web font will be added when I find a suitable font).

The photo is taken at Expo, outside the Holland Pavilion.

Upgraded to Maverick Meerkat

2010-09-06T00:00:00+08:00

装备 tags:
linux
ubuntu published: true comments: true

上周Ubuntu 10.10 Maverick Meerkat beta发布了，本人向来是在Beta版发布的时候更新，然后经历一个月的黑白颠倒最终走向光明走向stable。因为我安装的规模有点大，这次升级总共要下载两千八百多个包，花了我两天的时间。

升级到Meerkat后，由于内核版本变成了2.6.35，原先ath5k网卡的驱动madwifi不能用了。这点一定要有心理准备，好在madwifi已经有了针对2.6.35的分支。可以从madwifi-project网站上下载： http://snapshots.madwifi-project.org/madwifi-0.9.4-current.tar.gz 然后您可以根据UserGuide上的步骤进行操作： http://madwifi-project.org/wiki/UserDocs/FirstTimeHowTo 话说我升级了网卡驱动之后无线网路稳定性、速度都有了很明显的提升，对一个饱受无线掉线折磨的人来说，这个太重要了。（我先前使用的驱动是 madwifi-hal-0.10.5.6-r4119）

其他变化包括：

主题多了橙色元素
indicator applet增加了几个新的图标
tracker applet可以显示出来了 -_-|||
Evolution 2.30 工具栏有点变化
UpdateManager UI有点变化
多了一个Input Method Switch的图形界面设置
Indicator多了network manager

其他更新还要慢慢体会，不过总得来说这次10.10更新不多，恐怕也和GNOME3跳票有关吧。

The post is brought to you by lekhonee v0.7

A day in Expo

2010-09-05T00:00:00+08:00

留影 tags:
D60
Shanghai published: true comments: true

A day in Expo, Shanghai.

早晨6点开始阳光就非常剧烈，不适合拍照，而且大部分时间都用来排队了，只留下这么一点点能看的而已。

ls my python packages

2010-09-02T00:00:00+08:00

装备 tags:
python published: true comments: true

在豆瓣上看到一个无聊的秀gems的活动，我也无聊一下，秀一下eggs。

ls /usr/local/lib/python2.6/dist-packages/ | grep .egg | sed 's/$.*$/<li>\1<\/li>/'

amqplib-0.6.1-py2.6.egg
argparse-1.1-py2.6.egg-info
AuthKit-0.4.5-py2.6.egg
avro-1.3.3-py2.6.egg
Beaker-1.3-py2.6.egg
Beaker-1.5.4-py2.6.egg
beanstalkc-0.2.0-py2.6.egg
bottle-0.8.1-py2.6.egg
bottle-0.8.3-py2.6.egg
bpython-0.9.6.2-py2.6.egg
bson-0.1.2-py2.6.egg
CherryPy-3.1.2-py2.6.egg
CouchDB-0.6-py2.6.egg
coverage-3.2-py2.6-linux-i686.egg
Cython-0.12.1-py2.6-linux-i686.egg
decorator-3.0.0-py2.6.egg
distribute-0.6.14-py2.6.egg
Django-1.0.2_final-py2.6.egg
Django-1.1-py2.6.egg
Django-1.2-py2.6.egg
django_sphinx-2.2.3-py2.6.egg
docutils-0.6-py2.6.egg
Editra-0.4.95-py2.6.egg
Editra-0.5.05-py2.6.egg
Editra-0.5.72-py2.6.egg
elementtree-1.2.7_20070827_preview-py2.6.egg
eventlet-0.9.9-py2.6.egg
Fabric-0.9.1-py2.6.egg
fapws3-0.5.dev-py2.6-linux-i686.egg
FormEncode-1.2.1-py2.6.egg
GeoAlchemy-0.1-py2.6.egg
Geohash-1.0rc1-py2.6.egg
gevent-0.13.0.egg-info
greenlet-0.3.1-py2.6-linux-i686.egg
gunicorn-0.10.0-py2.6.egg
gunicorn-0.11.0-py2.6.egg
gunicorn-0.8.1-py2.6.egg
httplib2-0.5.0-py2.6.egg
ipython-0.10-py2.6.egg
ipython-0.9.1-py2.6.egg
Jinja2-2.5-py2.6.egg
Mako-0.2.4-py2.6.egg
Mako-0.3.4-py2.6.egg
Markdoc-0.6.4-py2.6.egg-info
Markdown-2.0.3-py2.6.egg
Markdown-2.0.3-py2.6.egg-info
MarkupSafe-0.9.2-py2.6-linux-i686.egg
meinheld-0.3.1-py2.6-linux-i686.egg
Ming-0.2-py2.6.egg
mock-0.6.0-py2.6.egg
mocker-0.10.1-py2.6.egg
MySQL_python-1.2.3c1-py2.6-linux-i686.egg
networkx-1.0rc1-py2.6.egg
nose-0.10.4-py2.6.egg
numpy-1.4.1-py2.6-linux-i686.egg
Paste-1.7.2-py2.6.egg
PasteDeploy-1.3.3-py2.6.egg
PasteScript-1.7.3-py2.6.egg
pip-0.4-py2.6.egg
pip-0.8-py2.6.egg
progressbar-2.2-py2.6.egg
psycopg2-2.2.2-py2.6-linux-i686.egg
pycurl-7.19.0-py2.6-linux-i686.egg
pyev-0.5.3_3.8-py2.6-linux-i686.egg
Pygments-1.0-py2.6.egg
Pygments-1.3.1-py2.6.egg
pygooglechart-0.2.1-py2.6.egg
PyGreSQL-4.0-py2.6-linux-i686.egg
Pylons-0.9.7-py2.6.egg
Pylons-1.0-py2.6.egg
pymongo-1.6-py2.6-linux-i686.egg
pymongo-1.7-py2.6-linux-i686.egg
pymongo-1.8-py2.6-linux-i686.egg
pysal-1.0.0.egg-info
python_cjson-1.0.5-py2.6-linux-i686.egg
python_memcached-1.45-py2.6.egg
python_openid-2.2.5-py2.6.egg
PyXML-0.8.4-py2.6-linux-i686.egg
PyYAML-3.09-py2.6.egg-info
RDFobject-0.1.4-py2.6.egg
Rocket-1.1.1-py2.6.egg
Routes-1.10.3-py2.6.egg
Routes-1.12.3-py2.6.egg
Rtree-0.6.0-py2.6.egg
ruffus-2.2-py2.6.egg
scipy-0.8.0-py2.6-linux-i686.egg
setuptools-0.6c11-py2.6.egg-info
setuptools-0.6c9-py2.6.egg
setuptools-0.6c9-py2.6.egg.OLD.1283177768.67
Shapely-1.0.12-py2.6.egg
Shapely-1.2-py2.6.egg
simplejson-2.0.8-py2.6.egg
Spawning-0.9.3rc2-py2.6.egg
Sphinx-1.0b2-py2.6.egg
SQLAlchemy-0.6.3-py2.6.egg
Tempita-0.2-py2.6.egg
threadpool-1.2.7-py2.6.egg
tornado-0.2-py2.6.egg
twill-0.9-py2.6.egg
Twisted-10.1.0-py2.6-linux-i686.egg
vimpdb-0.3.8-py2.6.egg
virtualenv-1.3.3-py2.6.egg
WebError-0.10.1-py2.6.egg
WebHelpers-0.6.4-py2.6.egg
WebOb-0.9.6.1-py2.6.egg
web.py-0.32-py2.6.egg-info
web.py-0.34-py2.6.egg
WebTest-1.1-py2.6.egg
Werkzeug-0.6.2-py2.6.egg
whizzer-0.2.egg-info

话说用sed能不能让开头重复的行不输出呢？或者什么命令能实现？

The post is brought to you by lekhonee v0.7

Open for a new job

2010-08-31T00:00:00+08:00

ANN tags:
job published: true comments: true

I am about to leave current company and looking for a new challenge for future. If you are interested, and also looking for a Java or Python developer, please check the hot baked resume:

Actually, I am not good at documenting myself. So if you need more details, feel free to get connected with email: classicning[at]gmail.com

The post is brought to you by lekhonee v0.7

周记

2010-08-28T00:00:00+08:00

自话 tags:
bason
flash
Life published: true comments: true

先讲个笑话，然后回顾一下这个星期。

这个星期从周四晚上开始，和一位外国朋友一位台湾女士聊天。第一次经历这样的场面，忐忑得很，起初还尝试和大家说英文的，奈何我的口语和听力实在是难以支撑，最后不知不觉间大家都平滑过渡到中文了。后来我想着听力还可以通过看InfoQ上的会议录像什么的练习一下，口语就鲜有机会和场合提升了。进而又想到长期在一个小环境里做重复的事情，有些能力的退化你甚至都感觉不到，更不要说原先不具备的能力了，你甚至都不能觉察到自己缺乏某一方面的训练。

今天下午又和原先在IBM实习的同事聚会，正好在五角场附近转转。比起张江这种近乎边缘的生活环境，五角场实在是强太多了，更难能可贵的是如果你在附近转一转，询问一下房租，那里的生活成本实际上并不比张江高，生活质量实在是没法比。这是为什么呢？不理解。另外今天看到了samson理解不了的沃尔玛，还有传说中那一片Oracle / EMC / eBao / 百度。上海真是大，地铁走几站就是一个完全不同的世界。

从同事那里了解到了团购网站的一些事情，这年头，好像不做个团购网站都不好意思跟人打招呼似的。于是有了这种东西，又是一窝蜂，这就是我们的互联网，你有什么意见呢。

昨天本想写一个对 Continuous Deployment 的理解来着，结果不料电脑过热死机了。什么原因呢，原来是浏览器里开着一个崔永元的网站，一个基于flash的网站，你懂的，CPU一直占满。这么明显的、严重的、高能耗的问题，这么多年了，Adobe一点动作都没有。另外我发现今天禁用了Adobe的Flashplayer居然Firefox的Ctrl+C/Ctrl+T等等几个快捷键突然恢复了，对于这种情况还是不说什么吧。最近听说开源的实现gnash已经可以播放Youtube的视频了（当然严格地说这事跟咱们没什么关系），一会写完blog我决定配置一下试试。

这周另一个重要的事情是Kindle 3上市了，第一次对一个手持设备产生这么强烈的兴趣。而且尤其是发现你没有那么容易的渠道能够买到它的时候，这种兴趣膨胀得更厉害了。半年前电子墨水的电子书都还在2000人民币以上，这次6寸不带3G的Kindle 3只要139美元，折合人民币连950都不到，这个领域很快又要炸开锅了。

最后，我把Bason放到Sonatype的OSS Repository上了。Sonatype提供了一个免费的Maven仓库，你可以把自己的开源项目deploy到这个仓库中方便分发。详情您可以去看sonatype提供的文档。

The post is brought to you by lekhonee v0.7

'Bason: A BSON Serialization Code Generator'

2010-08-23T00:00:00+08:00

ANN tags:
java
maven
opensource published: true comments: true

Bason is a code generator for object to bson serialization and deserialization. Different from tranditional reflection way, bason uses an annotation processor to generate serialization manager at compile time. You just add Bason as compilation dependency and drop it in the runtime.

To use Bason, you simply add annotation to JavaBeans:
[cc lang="java"]
/**
*
*/
package info.sunng.bason.example;

import java.util.Date;

import info.sunng.bason.annotations.BsonAlias;
import info.sunng.bason.annotations.BsonDocument;
import info.sunng.bason.annotations.BsonIgnore;

/**
* @author SunNing
*
* @since Aug 18, 2010
*/
@BsonDocument
public class Passenger {

private double packageWeight;

private long ticketId;

private String name;

private Date createdDate;

private Flight flight;

/**
* @return the packageWeight
*/
@BsonIgnore
public double getPackageWeight() {
return packageWeight;
}

/**
* @param packageWeight the packageWeight to set
*/
public void setPackageWeight(double packageWeight) {
this.packageWeight = packageWeight;
}

/**
* @return the ticketId
*/
@BsonAlias("ticket")
public long getTicketId() {
return ticketId;
}

/**
* @param ticketId the ticketId to set
*/
public void setTicketId(long ticketId) {
this.ticketId = ticketId;
}

/**
* @return the name
*/
public String getName() {
return name;
}

/**
* @param name the name to set
*/
public void setName(String name) {
this.name = name;
}

/**
* @param createdDate the createdDate to set
*/
public void setCreatedDate(Date createdDate) {
this.createdDate = createdDate;
}

/**
* @return the createdDate
*/
public Date getCreatedDate() {
return createdDate;
}

/**
* @param flight the flight to set
*/
public void setFlight(Flight flight) {
this.flight = flight;
}

/**
* @return the flight
*/
public Flight getFlight() {
return flight;
}

}

[/cc]

@BsonDocument marks this bean to be processed by bason processor. Serialization and deserialization support for this bean will be added to the manager. The bean must follow the Java Bean specification that has a getter and a setter for each property.
@BsonAlias on the getter allows user the specify a name for bson document instead of the default java bean property name.
@BsonIgnore on the getter marks a property to be transient when serialization and deserialization.

Then you need a bason.properties at the root of classpath which looks like
[cc lang="properties"]
bason.managerClassName=info.sunng.bason.BasonManager
[/cc]
You specify the manager class name here. This name can not be duplicated if you use Bason in multiple modules.

Take maven configuration as an example:
[cc lang="xml"]
info.sunng.bason bason-annotation compile info.sunng.bason bason-internal compile org.mongodb mongo-java-driver

${project.artifactId}

org.apache.maven.plugins maven-compiler-plugin

1.6 1.6

info.sunng.bason.internal.BasonProcessor [/cc]

when everything is ready, run mvn compile to generate the manager source file. By default, in a standard maven project, the generated file will be placed at: /bason-example/target/generated-sources/annotations/ [cc lang="java"]
package info.sunng.bason;
import org.bson.*;
import javax.annotation.Generated;
@Generated({"info.sunng.bason.BasonManager"})
public final class BasonManager{
public static final BSONObject toBson(info.sunng.bason.example.Passenger o){
if (o == null) {
throw new NullPointerException();
}
BSONObject bson = new BasicBSONObject();
bson.put("ticket",o.getTicketId());
bson.put("name",o.getName());
bson.put("createdDate",o.getCreatedDate());
bson.put("flight",toBson(o.getFlight()));
return bson;
}
public static final info.sunng.bason.example.Passenger fromBson(info.sunng.bason.example.Passenger o, BSONObject bson){
if (o == null || bson == null) {
throw new NullPointerException();
}
o.setTicketId((java.lang.Long)bson.get("ticket"));
o.setName((java.lang.String)bson.get("name"));
o.setCreatedDate((java.util.Date)bson.get("createdDate"));
o.setFlight(fromBson(new info.sunng.bason.example.Flight(), (BSONObject)bson.get("flight")));
return o;
}
public static final BSONObject toBson(info.sunng.bason.example.Flight o){
if (o == null) {
throw new NullPointerException();
}
BSONObject bson = new BasicBSONObject();
bson.put("company",o.getCompany());
bson.put("flightId",o.getFlightId());
return bson;
}
public static final info.sunng.bason.example.Flight fromBson(info.sunng.bason.example.Flight o, BSONObject bson){
if (o == null || bson == null) {
throw new NullPointerException();
}
o.setCompany((java.lang.String)bson.get("company"));
o.setFlightId((java.lang.String)bson.get("flightId"));
return o;
}
}

[/cc]

The project is hosted at http://github.com/sunng87/bason

If you have any ideas, just let me know.

The post is brought to you by lekhonee v0.7

Introduction to Amoeba

2010-08-19T00:00:00+08:00

ANN tags:
amoeba
mysql published: true comments: true

Amoeba is a distributed database middleware works as mysql proxy, provides sharding and high availability support for large scale applications using multiple mysql servers as backend.

Compatible with mysql protocol, Amoeba is fully transparent to any client using standard mysql drivers, which means, to use Amoeba you don't have to modify any code of database connector. You just configure rules for amoeba, then the client request will automatically route to certain mysql instance. Amoeba has a flexible set of configuration rules that can satisfy your requirements.

Amoeba is written in Java, and deployed on Linux server in most cases. The IO module is built on the top of Java nonblocking IO, which keeps communication between client, Amoeba and mysql at a high performance.

The project is initialized in 2008. Stable release 1.2.1-GA have been available since July, 2010 . It is now serving on the production environment of the social networks http://t.sdo.com/

Project home: http://code.google.com/p/amoeba/

Development logs: http://amoeba.meidusa.com/wordpress/

The post is brought to you by lekhonee v0.7

geb for browser functional testing

2010-08-17T00:00:00+08:00

装备 tags:
groovy
Testing
web published: true comments: true

虽然现在不做前段了，但是发现好的工具还是很兴奋。今天在twitter上看到Grails in Action的作者 @pledbrook 转了一个geb 0.4的消息，顺带看了一下这个工具
http://geb.codehaus.org

geb项目旨在创造一套groovy dsl帮助人们进行webapp的functional test。它是对selenium的封装，举例：
[cc lang="groovy"]
@Grapes([
@Grab('org.seleniumhq.selenium:selenium-firefox-driver:latest.release'),
@Grab('org.codehaus.geb:geb-core:latest.release')
])
import geb.*

println "Dependencies downloaded, ready for testing"
Browser.drive('http://sunng.info:8000/Pacajus'){
assert title== 'Pacajus'

assert $("p", 3).text() == 'Population: 41558'
} println "Tested, bye"
[/cc]

打开页面，执行断言。如果断言失败，driver方法会报null：
Caught: geb.error.DriveException: null

只要在命令行用groovy执行即可，grapes会搞定依赖关系。

很方便吧，文档上说还可以跟grails / junit等等集成，快去看看吧 http://geb.codehaus.org/manual/latest/index.html

The post is brought to you by lekhonee v0.7

Next to Richard Stallman

2010-08-13T00:00:00+08:00

自话 tags:
gnome
linux published: true comments: true

我这个人一般不八卦，你知道的。但是个别时候实在是情难以堪。

Bug 626593 - Gnome ate my boyfriend! Help!
https://bugzilla.gnome.org/show_bug.cgi?id=626593

这位女士在GNOME bugzilla上提交bug，bug提交在empathy项目下。（注 dict empathy: 心意相通）

先不看正文，备注信息就极具幽默感：
Status: RESOLVED INVALID
Product: empathy
Component: User Guide
Version: unspecified
OS: Windows
Importance: Normal critical

是不是真的RESOLVED就不知道了。

事情的直接原因是上周海牙GUADEC，此男cancel了周末和这位reporter的约会。此女不堪长期忍受此男、Linux、Maemo、C等等，彻底爆发了。

He even tried to put Linux on my computer and I simply could not take it. I came home from work one day and my computer said "UNIX" all over it!
这句有力的证明了我曾经看到的一句箴言，给女生装linux，对她们、对电脑、对linux都是一种折磨。

接下来搞笑开始了。一楼就是一位极缺乏幽默感的大叔：
Akhil Laddha 2010-08-11 06:45:46 UTC
This is a GNOME bug tracking system, not any family consultancy.

二楼是位好心人，提出了一个Linux week计划，还一厢情愿整了个交易计划：
for each bug you report, he has to spend one night with you without the computer.

八楼精华：
David Liang 2010-08-12 08:53:16 UTC
不得不顶

九楼亮出一个家属俱乐部的邮件列表：
gnome-women-list@gnome.org，说你要是在家属圈子里麻将打得无敌手，自然你的boyfriend就崇拜你了，到时你就是爷了

高潮在十楼出现了，“你不说这男的是谁我们怎么帮你？”

紧接着十一楼一位神秘人士笑而不语。

十四楼比较直接
#apt-get remove boyfriend --purge

十九楼知道宁拆十座庙的道理，建议先查看一下情况再说：
cat /dev/boyfriend | grep love

最冷的是十六楼说咱们有这么个项目的：
http://projects.gnome.org/outreach/women/

你以为故事就这么结束了，你错了。
没想到男主人公的网站被我不经意间人肉出来了：
http://zachgoldberg.com

一上来第一篇就说这事：
HELP! My Girlfriend Learned How To Use A Bug Tracker

I never thought it would happen.

此男字字珠玑：
It all started one night when I got home very late from work (where I get to play with Linux all day… who would ever go home?). I got the usual “you need to pay more attention to me” and “Linux will never have sex with you!”. I sat through it all and when it was over she went to sleep and I…. opened up my Laptop (running Ubuntu Linux, of course) and started hacking. All is right with the world.

于是他发现自己上了LWN的Quote of the Week，和RMS的新闻并列，然后又被转载到hacker news, geek.com, slashdot。他感叹道 I never imagined my entry into the “slashdot number of zero” (think Erdos or Kevin Bacon) club would happen in this way.

最后他说他要开一个bugs.zachgoldberg.com专门解决这类的问题，If you want your own component in the bugtracker to help you and your loved one vent your problems all you need to do is ask!

哈哈哈哈

补充个精华链接：http://www.reddit.com/r/linux/comments/d02j6/bug_626593_gnome_ate_my_boyfriend/

最后daf同学总结性地指出，她不会学习使用bug tracker。

The post is brought to you by lekhonee v0.7

beanstalkd

2010-08-11T00:00:00+08:00

装备 tags:
foss
opensource published: true comments: true

beanstalkd是一个极轻量级的消息队列服务，作者的说法叫做Work Queue。

概念

Beanstalkd里包含以下几个概念：

Producer
Worker
Job
Tube

Producer 与传统的消息队列服务中的概念类似，是Job的生产者。这个角色通过put命令来创建Job。

Worker 即消费者，worker通过reserve / release / bury / delete 等命令操作job的生命周期。

Job 是beanstalkd中的基本单元，一个job包含id和body，从属于一个tube。Job的生命周期是beanstalkd中的核心概念，它包含DELAYED / READY / RESERVED / BURIED / DELETED等状态。beanstalkd文档中的这个图对Job的声明周期进行了说明： http://github.com/kr/beanstalkd/blob/master/doc/protocol.txt#L81

Tube 是类似namespace的概念，Producer在生产Job前通过use指定相应的Tube。而Worker通过watch / Ignore命令来决定从哪些Tube中获得Job。

安装

Beanstalkd 可以通过很多Linux发行版的包管理器直接安装。依赖libevent 1.4.1 以上版本。
通过以下命令启动即可

beanstalkd -d -p <PORT>

协议

Beanstalkd在各方面都继承memcached的风格，协议也与memcached类似，同样是基于文本的：

命令参数 [参数...] [命令体字节数]\r\n
[命令体]\r\n

beanstalkd很多命令的返回是yaml格式，但是系统对命令体的格式并没有限制。

客户端

Beanstalkd协议见简单，有各种语言的客户端实现。python有一个非常简单的beanstalkc，可以通过easy_install安装。不过，这个客户端缺少断线重连机制，正式发布的0.2.0版本也有一些严重的bug。可以从github上下载源代码安装，并在使用时控制重连。

The post is brought to you by lekhonee v0.7

近况1

2010-08-09T00:00:00+08:00

自话 tags: [] published: true comments: true

Exaile豆瓣电台插件发布一个多月，github和googlecode的下载量加载一起大约有190次左右。考虑的这两个用户群的交集有限，这个数字应该算是超乎期望了，呵呵。等下载量超过500的时候，我。。。
本来计划三周做完的项目，后台服务调用的中间件，做了刚一周整个流程刚跑通就被砍了。最近工作得很不顺心，公司各种产品之间结构松散，模型各不相同，想要all in one谈何容易。不愉快就容易萌生去意，可是看了JavaEye robbin的这篇，就彷徨了。
上面一节原本写了不少，但考虑到说出来不太合适，就删了。你懂的。
最近听豆瓣电台非常喜欢苏阳、野孩子这些西北味的歌，我毕竟还是干旱地区的人，听着就有共鸣。苏阳的长在银川我很喜欢，我喜欢这种带着地名的歌。有西北的味道，能让我想起小时候。“我的家住在，同心路边上” ，如果有机会，能去考察一下就太他妈好了。
今天图灵把八月份的新书列出来，发现这么一本《我编程，我快乐》。本来评价不错的书，起这么个名字，你说谁还敢买，买了还不被同事鄙视死。编辑同志您做到了！
最近某公司的电子书宣传力度很大，连CEO都请自上阵的（请注意右侧第二条）。我突然想买个Kindle，上周五在Amazon.com上订了到了最后一步，结果是地址不能邮寄。看来还得想其他办法，今天貌似关于国际网购邮寄有了新的规定。

The post is brought to you by lekhonee v0.7

Exaile-doubanfm-plugin for exaile 0.3.2

2010-08-03T00:00:00+08:00

ANN tags:
Douban
exaile published: true comments: true

Ubuntu 10.04的Exaile还停留在0.3.1，而Fedora 13上已经升级到0.3.2了。为此我更新了豆瓣电台插件，现在这个版本可以在0.3.2上正常工作。

可以到github的下载页面获取 doubanfm-0.0.3a-exaile032.tar.gz http://github.com/sunng87/exaile-doubanfm-plugin/downloads

此外for exaile 0.3.1的版本也有一个优化和bugfix release, Ubuntu用户可以获取
doubanfm-0.0.3-exaile031.tar.gz

接下来三周又有项目了，难度比较大，估计豆瓣插件近期不会有什么新的惊喜了。

The post is brought to you by lekhonee v0.7

sunng's pastebin

2010-07-31T00:00:00+08:00

ANN tags:
gae
python published: true comments: true

写了一个基本的pastebin放在appengine上： http://sunoffline.appspot.com/pb/

支持纯文本、Markdown和代码高亮。数据永久保留，推荐大家收藏以备不时之需。

The post is brought to you by lekhonee v0.7

用markdown书写文档

2010-07-26T00:00:00+08:00

装备 tags:
foss
linux published: true comments: true

写文档是头疼事，没人愿意写文档。在word里写文档，时间长了都怀疑自己是不是搞技术的。我阅历有限，在我的印象里就没有用word格式看过什么有价值的东西。只要一打开word想到的就是连篇累牍的废话、码字。word最重要的功能是什么？保存。其次呢？字数统计。我所写过的word文档绝大多数都是“只写”的，通常作为流程里的一个附件，没有人真正去看。

以上是人身攻击，接下来比较实际的问题，word文档不是符合unix哲学的东西。格式不开放，你就没有办法进行diff操作，把word文档放到svn里，只能使用最基本的版本控制，没法查看changeset，只知道改了，不知道改了什么。

为了改变这种情况，我试过用docbook格式。docbook用xml书写，定义了一套复杂的Schema，详细到作者的email都有定义。docbook还有丰富的工具集，可以通过xsl把docbook转换成所有你知道的文档格式。Maven: the Definitive Guide就是用docbook写成的。不过用docbook也存在一些问题，docbook太复杂了，用纯文本编辑器很难处理，作者的学习曲线也比较高，需要所见即所得的编辑器支持。与docbook相类似的DITA，也存在这样的问题，它们是重量级的格式。

轻量级的Wiki格式不错，但是Wiki格式很让人头疼就是没有统一的规范。举例，dokuwiki里顶级标题是6个=，而moinmoin里顶级标题恰恰相反是一个=，不portable，文档维护起来就非常麻烦。

铺垫了这么多，委屈以上格式了，该markdown出场了。markdown是简单的html原型，用来生成html，它的设计目标就是为了KISS，兼容html。看看一些必要的格式吧：（或者直接看Wikipedia）
标题
# 标题
## 二级标题
...
###### 六级标题

对于一级标题还可以这么写
headline
========
二级标题可以
headline
--------
这个怎么输入呢，我想起来前几天看vim hacks里的一组快捷键
yypoVr=
yypoVr-
谁用谁知道

段落：
一段文本以两个换行结束。
换行：
一行文本行末两个空格。

图片
![alternative text](image-url "image-title")
用markdown，图片的alt你不写都不行。

链接
[Linktext](link "linktitle")

列表
ul 无序列表
* *
ol 有序列表
1.
2.

以上就是主要的格式支持。用标题来划分文档层次，没有多余的格式，没有机会让你五颜六色。

在linux上可以安装markdown的处理脚本：
apt-get install markdown
安装vim的语法文件：
http://www.vim.org/scripts/script.php?script_id=1242
这里是一个简单的例子：
http://github.com/sunng87/exaile-doubanfm-plugin/blob/master/README.mkd

The post is brought to you by lekhonee v0.7

bottle & fapws3

2010-07-21T00:00:00+08:00

装备 tags:
bottle
fapws3
python
wsgi published: true comments: true

Bottle是一个Python web框架，兼容wsgi标准，lightweight，self-contained。

提到web框架，自然要和相类似的python框架相比。

Django是大型框架，包含ORM、Controller、Templating全套，这也是Django的缺点，使用Django意味着必须使用关系型数据库进行存储（尽管有一些Model层的其他实现，但绝大多数都是Hack的方式实现），必须使用Django并不非常出色的Template系统。Pylons针对Django的这些问题，采用了松散的方式，数据层可选择由SQLAlchemy实现，模板系统可以选择mako / jinja等。Pylons用paster来管理项目、创建代码模板。借鉴了rails的哲学，目录结构也相类似。可是pylons仍然显得重量级，把注意力放到web.py。只要定义一个router，定义相应的handler就可以处理web请求，handler对象的GET POST等方法分别对应相应的HTTP请求。看起来不错了，不过与bottle相比，webpy仍然显得繁琐、功能有限，而且它本身的db模块就更加鸡肋了。

看一个实例便知：
定义一个简单的HTTP页面：
[cc lang="python"]
from bottle import Bottle, run, mako_view, request
from bottle import FapwsServer

myapp = Bottle()

@myapp.route('/nihao/:name/:count#\\d+#')
@mako_view('nihao')
def nihao(name, count):
return dict(n=name, c=int(count), ip=request.environ.get('REMOTE_ADDR'))

run(app=myapp, server=FapwsServer)

[/cc]
对应的nihao.tpl模板，用mako引擎实现：
[cc lang="html"]

Nihao

Request From ${ip}

<%def name="greeting(n)">

Nihao ${n}

% for i in range(c):
${greeting(n)}
% endfor [/cc]
仅仅是一些简单的内容，接着只需要： python bottle-test.py 即可运行服务器。

bottle通过decorator定义route规则，还支持url提取参数。通过decorator指定模板、模板引擎。可以说近乎简化到了极致。

bottle遵循单一职责原则，不提供数据层的实现，由用户自己指定，bottle没有任何限制。模板引擎，bottle支持mako / jinja / cheetah，本身还内建一个默认SimpleTemplate引擎。bottle还支持多种wsgi服务器，包括flup / wsgiref / cherrypy / paste / twisted / tornado / fapws3 等等。

最后提一个wsgi的实现fapws3，号称是目前最快的wsgi服务器。fapws3用libev实现，在不同的操作系统上采用不同的多路IO模型以达到高性能。

bottle的作者做过一个关于不同实现的性能比较： http://bottle.paws.de/page/2009-12-19_Comparing_HelloWorld_Performance

The post is brought to you by lekhonee v0.7

Bayeux Protocol

2010-07-17T00:00:00+08:00

把戏 tags:
bayuex
cometd
http
websocket published: true comments: true

运行一个CometD Demo非常简单，只要创建一个Maven项目即可（CometD Howtos）： $ mvn archetype:generate -DarchetypeCatalog=http://cometd.org

maven会提示用户选择archetype，包括cometd的版本1、版本2，jetty6、jetty7的实现，以及客户端dojo或jquery的实现。这里可以选择最新的： http://cometd.org -> cometd-archetype-dojo-jetty7 (2.0.0 - CometD archetype for creating a server-side event-driven web application)

项目创建完成后执行mvn jetty:run即可，打开http://127.0.0.1:8080/{artifactId}即可。

CometD的协议包容了各种主要的浏览器，比如在Chromium 5上，dojo采用WebSocket实现；而在不支持WebSocket的Firefox 3上，通过long-polling实现。Bayuex是一个应用协议，CometD是Bayuex的实现，类似鸡与蛋的关系。

有了昨天在Chromium上看WebSocket协议的经验，先看一下CometD的WebSocket实现：
握手。客户端请求/{artifactId}/cometd/handshake
包含Header

GET /cometd-jetty/cometd/handshake HTTP/1.1
Upgrade: WebSocket
Connection: Upgrade
Host: 127.0.0.1:8080
Origin: http://127.0.0.1:8080
Cookie: JSESSIONID=12jqq6hbsfkfic8vzqpevxtrw

这是标准的WebSocket握手协议，服务端返回：

HTTP/1.1 101 Web Socket Protocol Handshake
Upgrade: WebSocket
Connection: Upgrade
WebSocket-Origin: http://127.0.0.1:8080
WebSocket-Location: ws://127.0.0.1:8080/cometd-jetty/cometd/handshake

双方完成WebSocket连接的建立。客户端通过websocket发送JSON，进行bayuex的握手：

[{"version":"1.0","minimumVersion":"0.9","channel":"/meta/handshake","supportedConnectionTypes":["websocket","long-polling","callback-polling"],"advice":{"timeout":60000,"interval":0},"id":"1"}]

服务端返回JSON，下发clientId完成握手：

[{"channel":"/meta/handshake","clientId":"8g6dbnlqr2k6jfo1tdpaeb7iw","version":"1.0","successful":true,"minimumVersion":"1.0","id":"1","supportedConnectionTypes":["websocket","long-polling","callback-polling"]}]

握手完成，bayuex连接建立。

在Demo中，客户端添加了一个handshake的listerner
[cc lang="javascript"]
function _metaHandshake(handshake)
{
if (handshake.successful === true)
{
cometd.batch(function()
{
cometd.subscribe('/hello', function(message)
{
dojo.byId('body').innerHTML += '

Server Says: ' + message.data.greeting + '

';
});
// Publish on a service channel since the message is for the server only
cometd.publish('/service/hello', { name: 'World' });
});
}
}
[/cc]
所以在完成握手后，客户端发送一个批量请求，subscribe /hello频道，并且向/service/hello发送json格式的消息。向/service channel发送的信息表示客户端与服务端的单独通信，不会被转发给其他客户端。
id用于区分每个请求，bayuex spec规定向/meta和/service发送的请求必须包含id字段，用于标示请求响应。
请求的内容最终聚合为一个Json

[{"channel":"/meta/subscribe","subscription":"/hello","id":"2","clientId":"8g6dbnlqr2k6jfo1tdpaeb7iw"},{"channel":"/service/hello","data":{"name":"World"},"id":"3","clientId":"8g6dbnlqr2k6jfo1tdpaeb7iw"}]

服务端发回响应，id=2的请求成功，订阅/hello频道成功

[{"channel":"/meta/subscribe","successful":true,"id":"2","subscription":"/hello"}]

之后，服务端发回/hello channel的消息

[{"channel":"/hello","data":{"greeting":"Hello, World"}},{"channel":"/service/hello","successful":true,"id":"3"}]

客户端还要定期发送连接请求保持连接

[{"channel":"/meta/connect","connectionType":"websocket","advice":{"timeout":0},"id":"4","clientId":"8g6dbnlqr2k6jfo1tdpaeb7iw"}]

服务端返回，连接成功

[{"channel":"/meta/connect","advice":{"reconnect":"retry","interval":2500,"timeout":15000},"successful":true,"id":"4"}]

connect请求是用于在客户端和服务端维持连接， Bayeux标准中提到(1, 2)：

A transport MUST maintain one and only one outstanding connect message. When a HTTP response that contains a /meta/connect response terminates, the client MUST wait at least the interval specified in the last received advice before following the advice to reestablish the connection

The client MUST maintain only a single outstanding connect message. If the server does not have a current outstanding connect and a connect is not received within a configured timeout, then the server SHOULD act as if a disconnect message has been received.

至此，cometd客户端就可以在/hello频道上订阅、发布消息了。
在Chromium上，所有的操作都在一个WebSocket连接上完成。

而当断开连接时，客户端向服务端发送

[{"channel":"/meta/disconnect","id":"188","clientId":"a8iutjvfp7dtwhzrfujeonk5q"}]

服务端响应

[{"channel":"/meta/disconnect","successful":true,"id":"188"}]

Bayuex基本上就可以理解为一个websocket上的应用协议了。

再看看Firefox 3.6上的实现。Firefox 3.6不支持WebSocket，所有的通信只能通过XHR来实现。
握手，通过一个xhr post请求实现：

POST /{artifactId}/cometd/handshake HTTP/1.1
Host: 127.0.0.1:8080
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.6) Gecko/20100628 Ubuntu/10.04 (lucid) Firefox/3.6.6
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: UTF-8,*
Keep-Alive: 115
Connection: keep-alive
Content-Type: application/json;charset=UTF-8
X-Requested-With: XMLHttpRequest
Referer: http://127.0.0.1:8080/{artifactId}/
Content-Length: 182
Cookie: JSESSIONID=fjnyxb28raih1cnaljrijl1ic
Pragma: no-cache
Cache-Control: no-cache

服务器端响应：

HTTP/1.1 200 OK
Content-Type: application/json;charset=UTF-8
Set-Cookie: BAYEUX_BROWSER=df92-h8q89f416mutgbpxrwb8185u;Path=/
Content-Length: 213
Server: Jetty(7.1.5.v20100705)

[{"channel":"/meta/handshake","clientId":"9185k23lo482oq1po3ivxup2cj","version":"1.0","successful":true,"minimumVersion":"1.0","id":"1","supportedConnectionTypes":["websocket","long-polling","callback-polling"]}]

握手完成，执行客户端定义的回调。发送bayeux请求，通过一个新的XHR上
[{"channel":"/meta/subscribe","subscription":"/hello","id":"2","clientId":"9185k23lo482oq1po3ivxup2cj"},{"channel":"/service/hello","data":{"name":"World"},"id":"3","clientId":"9185k23lo482oq1po3ivxup2cj"}]

服务端同时返回三个bayuex的请求响应

[{"channel":"/meta/subscribe","successful":true,"id":"2","subscription":"/hello"},{"channel":"/hello","data":{"greeting":"Hello, World"}},{"channel":"/service/hello","successful":true,"id":"3"}]

客户端开始发送连接请求

[{"channel":"/meta/connect","connectionType":"long-polling","advice":{"timeout":0},"id":"4","clientId":"9185k23lo482oq1po3ivxup2cj"}]

注意这里使用的是long-polling方式，这是由dojo针对浏览器特性决定的。

Long-polling server implementations attempt to hold open each request until there are events to deliver; the goal is to always have a pending request available to use for delivering events as they occur, thereby minimizing the latency in message delivery.

如果没有新消息，服务端阻塞十秒后返回

[{"channel":"/meta/connect","successful":true,"id":"7"}]

客户端接收到返回立刻发起新的connect请求

当有新消息时，阻塞在服务器端的connect请求会立即返回，同时带回新的消息，如

[{"channel":"/hello","data":{"name":"555"},"id":"6"},{"channel":"/meta/connect","successful":true,"id":"619"}]

而如果是本客户端publish的新消息，会在请求成功的响应中返回，不会影响connect连接，如：

[{"channel":"/hello","data":{"name":"nihao"},"id":"715"},{"channel":"/hello","successful":true,"id":"715"}]

断开时，仍然是通过xhr post一条bayuex命令到服务端

[{"channel":"/meta/disconnect","id":"750","clientId":"9185k23lo482oq1po3ivxup2cj"}]

服务端响应：

[{"channel":"/meta/disconnect","successful":true,"id":"750"}]

至此，通过long polling方式实现bayuex的cometd客户端也描述清楚了。long-polling仍然是通过connect请求来实现pull的方式准实时，与websocket真正push的方式还是存在区别的。

The post is brought to you by lekhonee v0.7

Websocket Protocol

2010-07-16T00:00:00+08:00

把戏 tags:
html5
http
jetty
websocket published: true comments: true

下午用jetty的WekSocketServlet写了一个简单的WebIM程序，正好第一次瞥见WebSocket的狰容。

服务器端
jetty 7.1.5
客户端
Chromium 5.0.375.86

通过wireshark抓包获得这样一些数据： var _ws = new WebSocket("ws://127.0.0.1:8080/nothing") 这个环节创建WebSocket，浏览器与服务器端进行handshake，发送请求

GET /nothing HTTP/1.1
Upgrade: WebSocket
Connection: Upgrade
Host: 127.0.0.1:8080
Origin: http://127.0.0.1:8080

客户端发出一个Upgrade头，upgrade头在RFC2616 14.42定义

The Upgrade general-header allows the client to specify what additional communication protocols it supports and would like to use if the server finds it appropriate to switch protocols.

Upgrade必须被放入Connection头中标示这是一个Upgrade请求
Connection定义在RFC2616 14.10中：

The Connection general-header field allows the sender to specify options that are desired for that particular connection and MUST NOT be communicated by proxies over further connections.

Origin头还没有进入RFC，他的标准草案可以在这里找到，W3C的标准草案Cross-Origin Resource Sharing里定义Origin Header：

The Origin header indicates where the cross-origin request or preflight request originates from.

Origin头的提出是为了解决CSRF的潜在危险，通过Origin服务器端可以获知请求的来源，进而判断其合法性。也就是说将跨域安全性检查的责任交给了服务器端，浏览器端采取信任的策略，避免了原先对跨域一棍子打死的做法。
Jetty 7的org.eclipse.jetty.servlets.CrossOriginFilter对这个头进行了处理。

此外，handshake请求的header中还允许一个Sec-WebSocket-Protocol，用于对服务器端指定一个子协议（应用协议）。

服务器端应答

HTTP/1.1 101 Web Socket Protocol Handshake
Upgrade: WebSocket
Connection: Upgrade
WebSocket-Origin: http://127.0.0.1:8080
WebSocket-Location: ws://127.0.0.1:8080/nothing

Websocket连接建立。此后，服务器端和客户端可以实现bidirectional的通信，消息体即websocket.send(msg)中的纯文本。要实现这样的机制，浏览器和服务器间需要建立至少两个连接。目前，WebSocket协议中还没有规定客户端对服务器端的连接数限制。不过关于这个限制，RFC2616（HTTP1.1）中规定：

Clients that use persistent connections SHOULD limit the number of simultaneous connections that they maintain to a given server. A single-user client SHOULD NOT maintain more than 2 connections with any server or proxy.

对此，另一个Bayeux协议倒是已经有了明确的限制：

the Bayeux protocol MUST NOT require any more than 2 HTTP requests to be simultaneously handled by a server in order to handle all application (Bayeux based or otherwise) requests from a client.

到此，客户端和服务器端已经可以建立双工的通信，这也是浏览器级别实现WebSocket协议的最大优点。而对于Firefox 3.x， IE x.x等等，只能在现有的HTTP连接机制上实现WebSocket，如通过long polling和callback polling的方式，但终归无法实现真正双工的通信。

The post is brought to you by lekhonee v0.7

clojure recur

2010-07-15T00:00:00+08:00

手艺 tags:
clojure published: true comments: true

clojure是函数是编程语言，本身没有循环的语法。要实现类似循环的效果，需要用递归来实现。比如计算从1加到n的和这样一个函数：

[cc lang="lisp"]
(defn addup
([limit] (addup limit 0 0))
([limit current sum]
(if (< limit current)
sum
(addup limit (+ 1 current) (+ current sum)))))
[/cc]

调用

(addup 10)

可以得到55

但是调用

(addup 50000)

不出意外，出现了StackOverflowException，这是递归典型的错误。

为此，需要进行优化。尾递归优化是指如果递归满足一定条件，编译器可以将递归展开，避免出现栈溢出的问题。这里的条件，就是递归的最后一次调用是否是其本身，比如上面的代码，最后一次操作仍然是addup，即满足尾递归的条件，而如果同样的代码写成：

[cc lang="lisp"]
(defn addup2
([limit] (addup2 limit 0))
([limit current]
(if (< limit current)
0
(+ current (addup2 limit (+ current 1))))))[/cc]

最后一个操作是+，不满足尾递归循环，无法进行优化。

clojure默认不进行尾递归优化，需要使用关键字recur来保证优化，把第一段代码写成：

[cc lang="lisp"]
(defn addup
([limit] (addup limit 0 0))
([limit current sum]
(if (< limit current)
sum
(recur limit (+ 1 current) (+ current sum)))))
[/cc]

社区的解释是，如果程序员在无法进行尾递归优化的代码中使用recur会发生报错，这样有助于他们发现代码中潜在的缺陷。

在第二段代码中使用recur，会得到异常：

java.lang.UnsupportedOperationException: Can only recur from tail position

此外，clojure提供loop函数简化书写：

[cc lang="lisp"]
(defn addup3
([limit]
(loop [current 0 sum 0]
(if (< limit current)
sum
(recur (+ current 1) (+ current sum))))))
[/cc]

这种写法同样可以应用尾递归优化而不会导致栈溢出。

The post is brought to you by lekhonee v0

fixing "libmozjs" missing when using mongodb on Ubuntu lucid

2010-07-13T00:00:00+08:00

把戏 tags:
mongodb
ubuntu published: true comments: true

Problem When running mongod/mongo/mongos, you got message like this: mongod: error while loading shared libraries: libmozjs.so: cannot open shared object file: No such file or directory

Solution Make sure you have xulrunner-dev installed: sudo apt-get install xulrunner-dev

then find libmozjs on your filesystem: sudo locate libmozjs

in lucid, it's supposed to locate at: /usr/lib/xulrunner-1.9.2.6/libmozjs.so

(and some other directories, such as firefox / thunderbird / seamonkey)

Just create a symbol link: sudo ln -s /usr/lib/xulrunner-1.9.2.6/libmozjs.so /usr/lib/

try to restart mongodb: sudo service mongodb start

take a look at process list: ps aux | grep mongo

it works.

The post is brought to you by lekhonee v0.7

Update1

2010-07-10T00:00:00+08:00

自话 tags:
Life
work published: true comments: true

搬家了，搬了一条街，从马路这边搬到马路那边。从二楼搬到四楼，告别了潮湿发霉的小屋，换了新环境迎接工作第二年。本来想搬出这个玉兰香苑，但是看了一圈不是太远就是太贵。都说现在是不炒房价改炒房租了，别的不知道，反正我原来那屋房租就涨了200，而且我搬出去那天就租出去了。
妈妈来上海，晚上可以一起玩桌游。妈妈对卡卡松还挺感兴趣的，我们一开始玩基础版，然后加河流扩展、旅馆教堂扩展。卡卡松绝对是家庭娱乐的好工具，各位常年在外的童鞋休假回家可以带一个和父母一起玩，调节气氛，增进和谐，居家旅行，必备良方。
周五盛大创新院，人间网介绍mongodb实践。人间网的用户不多，数据量不大，mongodb用来存储timeline里的status id，至今有不到900M的数据和900M的索引。交流活动持续一个小时，最火爆的环节是Q&A。人间网用mongodb的经验也不是非常丰富，很多问题也解释不清楚，最后多亏了我们组一位上海程序员界的新星救场，除了解决了四面八方有意义无意义的问题以外，也引来了全场的叹为观止，以至于都有人说这是SDO的人嘛。其实不完全是，其实人家才大三。
工作一年了，下周安静下来总结一下吧。

The post is brought to you by lekhonee v0.7

Exaile-doubanfm-plugin 0.0.2

2010-07-04T00:00:00+08:00

ANN tags:
Douban
exaile
foss
gtk
opensource
python published: true comments: true

Exaile doubanfm plugin 0.0.2 预览版，目标是在Linux桌面提供豆瓣电台的完整体验。

目前插件只能运行在Exaile 0.3.1版本上。

0.0.2增加了豆瓣电台专用的视图：

相比第一版通过rating来实现豆瓣电台喜欢、跳过和删除的功能，在专用视图上有专门的按钮来操作。

其他细节更新：

当剩余曲目超过15首时不再增加播放列表
当播放到最后一首歌曲取新播放列表时增加重试机制
修正libdbfm跳过曲目bug一个

安装：
打开Exaile Preference，Plugin页，点击按钮Install Plugin，选择doubanfm.exz即可。如果存在问题，可以执行以下命令：
mv doubanfm.exz douban.tar.gz
tar xf doubanfm.tar.gz
mv doubanfm ~/.local/share/exaile/plugins/

转到doubanfm设置页面，填写用户名密码重启Exaile。

打开File菜单，选择豆瓣电台频道

选择曲目就可以开始播放了，选择视图中豆瓣电台视图可以切换到豆瓣电台视图。

项目地址： http://github.com/sunng87/exaile-doubanfm-plugin

下载： http://github.com/sunng87/exaile-doubanfm-plugin/downloads

另外，doubancovers插件也有一个针对豆瓣电台的更新可以快速获取豆瓣电台音乐的封面： http://bitbucket.org/sunng/exailedoubancovers/downloads?highlight=9265

The post is brought to you by lekhonee v0.7

exaile豆瓣电台插件(exaile-doubanfm-plugin)

2010-07-02T00:00:00+08:00

ANN tags:
Douban
exaile
linux
opensource
python published: true comments: true

豆瓣电台一直是flash客户端，嵌入浏览器，出于对flash的厌恶，本人开发了这个exaile插件，让广大linux同学在exaile里享受豆瓣电台一目了然桌面集成和全部豆瓣电台功能。

exaile-doubanfm-plugin features:

登录豆瓣，获取豆瓣电台播放列表
持续下载电台播放列表，实现不重复的持续播放
标记/取消“喜爱”、标记“回收站”、跳过
显示歌曲信息

项目地址： http://github.com/sunng87/exaile-doubanfm-plugin

下载页： http://github.com/sunng87/exaile-doubanfm-plugin/downloads

使用：

激活插件，填写用户名密码
重启exaile
文件菜单，open douban.fm，选择频道
点击播放开始
将rating设置为5 标记喜欢
rating设置2 豆瓣标准跳过
rating设置1 豆瓣删除

The post is brought to you by lekhonee v0.7

Exaile-Douban-Covers 0.0.3 Released

2010-06-30T00:00:00+08:00

ANN tags:
exaile
linux
opensource published: true comments: true

一眨眼有大半年没有维护这个插件了，Exaile从0.3.0升级到了0.3.2。严重的是这三个版本的插件接口各不相同，0.3.1新增了cover providers管理，修改了track获得相应字段的api，简化了CoverSearchMethod的职责（去掉了缓存管理，只负责find_convers和get_conver_data两个功能）。而0.3.2至少也修改了配置管理界面的API，所以可以在0.3.1上工作的版本也不能在0.3.2上工作。

这次升级维护把插件升级到0.0.3，兼容目前Ubuntu仓库里的Exaile 0.3.1.1。0.3.1.1新提供了一个cover provider的配置界面，可以调整cover provider的优先级，如果你听中文歌比较多，建议可以把douban cover放在第一位。

下载页面（doubancovers-0.0.3.exz ）： http://bitbucket.org/sunng/exailedoubancovers/downloads

新版本和0.3.0已经无法兼容，0.3.0的用户可以继续使用0.0.2 。而兼容0.3.2的版本预计要等到10月份之后推出了，用Archlinux和其他自己安装的用户要稍等一阵了。

The post is brought to you by lekhonee v0.7

Twitter talks about the LBS feature and implementation

2010-06-27T00:00:00+08:00

未分类 tags: [] published: true comments: true

这是3月份OReilly Where 2.0会议上Twitter介绍自己LBS功能和实现的幻灯片 http://www.slideshare.net/raffikrikorian/handling-realtime-geostreams-3597425

Handling Real-time Geostreams

View more presentations from Raffi Krikorian.

都封了，越封越傻逼，封封更傻逼。

The post is brought to you by lekhonee v0.7

Redis

2010-06-24T00:00:00+08:00

装备 tags:
kvstore
redis published: true comments: true

Redis是一个高性能Key-Value store

Installation

下载解压，make之后就可以直接启动./redis-server 默认读取当前目录下的redis.conf作为配置，亦可参数指定。默认监听6379端口。

Features

支持多种数据结构

相较memcached，redis支持多种数据结构，包括

针对每种数据结构，redis都提供比较完整的操作支持。

高性能

据Wiki上说可以达到110,000 SETs/second, 81,000 GETs/second，数据根据一定的策略存在内存和磁盘上（支持持久化）。从1.1开始支持append-only持久化方式，数据被加到文件中，并进行异步的维护，保证文件的大小。从2.0（即1.3）开始支持virtual memory，当内存占用超过配置文件中vm-max-memory时，数据被写入virtual memory。

Replication

redis支持主从复制，从而提供多台实例进行读操作，可以在slave的配置文件里配置master的地址。

Protocol

redis目前只有基于TCP的文本协议，与memcache类似，有一些改进。
客户端通常发送 命令参数... 值字节数\r\n 值\r\n

服务端的返回，根据第一个字节，可以判断：

- 错误信息
+ 普通文本信息
$ 变长字节数，$6表示CRLF之后有6个字节的字符
: 返回一个整数
* 返回组数，即*6表示CRLF之后将返回6组变长字符

其他

项目地址 http://code.google.com/p/redis/ http://github.com/antirez/redis/ 开发者twitter http://twitter.com/antirez http://twitter.com/pnoordhuis

Redis功能简单精悍，很符合Unix哲学，核心redis.c只有一万多行，实在是个让人爱不释手的东西。如果可能，争取把他用到生产环境来取代现在的memcached。

The post is brought to you by lekhonee v0.7

下班了

2010-06-22T00:00:00+08:00

自话 tags:
snda
work published: true comments: true

先汇报一下时间，我这个WP主题默认不显示具体时间，现在是2010年6月22日凌晨4点整，西班牙2：0领先洪都拉斯，比赛进行到75分钟。

我刚刚下班，晚上我们部署了t.sdo.com的新版本，性能有了一定的改善。后半夜发现一台memcached行为诡异，暂且先禁用了那台，踉踉跄跄回家准备睡觉。

今天t.sdo.com正式发布了，现在不需要鸡和马就可以注册登录。产品本身不谈了，如果你不感兴趣说明你不是目标人群，缺乏90后的气质。前两天twitter上有一篇新浪工程师的离职感言，里面透露新浪要做的“游戏平台”，t.sdo.com就是典型的这种东西。至于里面说的新浪那种气氛，，恐怕在国内的互联网公司里，这种现象都比较普遍吧。

邀请链接，大家点这个就可以了 http://isdo.cn/10CM

这就睡觉去，今天不用上班了。

The post is brought to you by lekhonee v0.7

近日琐事

2010-06-18T00:00:00+08:00

自话 tags:
Life published: true comments: true

最近创作激情很是强烈，又赶上大家在博客上踊跃留言，我继续无聊闲扯吧。

做现在这个项目以来，我总是被需要同时处理多件事情的状况困扰。多任务处理，今天终于发现自己是LIFO的方式，后进先出，总是在做最近发生的事情，之前的就压栈，栈满了没准栈底就自动丢失了（策略就是java.util.concurrent.ThreadPoolExecutor.DiscardOldestPolicy）。用这种方式，耗时较长的任务往往花掉的时间非常长而且不断被打断。

今天公司新鲜事，我们的工牌的带子终于换掉了。这以前带子的颜色表明了森严的等级制度，员工深蓝色，中层红色，高层黄色，访客绿色，外包白色，物业粉色，平时走在公司里花花绿绿的实在是他妈的一道景观。这事还在twitter上被冯大辉retweet了一下搞得地球人都知道了，今天通通换成了统一的红色。对于一个员工来说，今天看见自己领子上挂着一个鲜艳的中层颜色的带子，时常还是有那么一点错觉。

还得说说世界杯，这是我看得第四届世界杯了，已经说不上自己支持哪个队了，为此我都怀疑自己已经是伪球迷了。眼看着当初看球时候的球星现在陆陆续续当了教练，那种沧桑感啊。98年的时候还在收集方便面里的球星卡，那时候法国的5号布兰科，人家今年世界杯以后就要上任了。而像比埃尔霍夫这样96年欧洲杯一战成名的，现在都是德国队领队了。大伙再瞧瞧踢了四届世界杯的球员：

亨利法国 1998/2002/2006/2010
布冯意大利 1998/2002/2006/2010
卡纳瓦罗意大利 1998/2002/2006/2010
李云在韩国 1998/2002/2006/2010
楢崎正刚日本 1998/2002/2006/2010
川口能活日本 1998/2002/2006/2010
里戈贝特-宋喀麦隆 1994/1998/2002/2010

98年大家都说法国队锋线不行，其实那是是亨利和特雷泽盖的组合，不过这二位确实从2000年欧洲杯才开始成熟。布冯98年的时候还是打酱油吧，卡纳瓦罗那时倒是已经有点名气了。李云在，包括十多年来轮着换的楢崎正刚和川口能活现在都打不上主力了，不过一个个都算是现象。

昨天收到了新买的桌游“全球传染病”(PANDEMIC，名字是恶心了点)，这是一个合作性质的游戏，参与的人扮演不同的角色拥有不同的技能为达到相同目标。昨晚自个玩了一局，难度不小，一颗CPU是搞不定了，下回小聚的时候和大伙一起玩吧。话说不知不觉现在我有卡卡松（加四个扩展），三国杀，UNO，矮人金矿和全球传染病，这发展下去要开店了。。。

都是玩的事情了，正经事都没提。最近准备看Practical Clojure，看看Clojure如何Practical吧。

The post is brought to you by lekhonee v0.7

我在那里吃拉面

2010-06-16T00:00:00+08:00

自话 tags:
Beijing
Life published: true comments: true

“终于找到一家和我身份地位品味收入都相符的拉面馆。” 这条本来要发到twitter上的，结果不料哪哪出了问题，没发出去，却被我吃面条的时候记下来了。自从有了饭否twitter，只言片语多了，真正坐下来搞创作的动力却没有了，咱虽然比不上极少部分搞艺术的男青年，但追求上进也不该含糊是吧。

纵然再有追求，也比不上清真拉面馆热卖鱼香肉丝面。上海郊区天高真主远，远亲不如近邻，再不创个新，小小的拉面馆恐怕连在这里匹配我的身份地位和品味的可能性也没有了。但是在首都的时候就不一样，同样是少数民族兄弟开的面馆，人家可不含糊，别说是买鱼香肉丝了，门都不让进。

在宝盛里的半年，我发现最贴近我们民工生活的就要数西北拉面和成都小吃，碗大量足（当然也不会有拿着筷子在碗里一粒一粒拣肉末吃的男士）。就为了第一次在成都小吃发现盖浇饭里鸡丁可以比花生多，我在那家店里活活吃过了夏秋冬，后来我每每想起这事都难免情绪激动。而之所以没能熬到冬去春来，也是因为老板时间长了实在看不下去，问我要不要换点别的。我是受宠若惊，才不得不转战拉面店。那家叫不上名字店，名字不重要你知道它在哪就成，墙上还挂着清真寺的画，就像很多湘菜馆会挂毛主席像一样。你可以想象这样一家店是绝对做不出卖鱼香肉丝的勾当的。十三块一个的烤羊腿是他们冬天的热门；端菜的小孩最多也就初中年纪，解析几何他大概是不会清楚了，但是你不催他他也还是不会给你上菜。

另一家印象深刻的面馆是中关村软件园北门对面的，名字好像叫老马拉面，店的规模还不小，在那个鸟不那啥的地方算是鹤立鸡群了，是软件园民工，西北旺、西二旗一代租住户，应届大学毕业生理想的消费场所。我就在那吃过一次，印象深刻仅仅是因为一位服务员长得好看。那是北门最美好的两件事物之一，另一件是那里成排的杨树，我每次在那里等642路等会被这两件事物陶醉。

思绪万千了又。其实我就是感叹能找到一家10块钱以内打发晚饭晚上十点还不会饿的地方，抑制不住内心的喜悦，又回忆起以前了。

最后标题是借名记唐师曾的书名。

The post is brought to you by lekhonee v0.7

Perfomed my first commit to OpenStreetMap.org

2010-06-13T00:00:00+08:00

自话 tags:
GIS
map
opensource
OpenStreetMap published: true comments: true

每每看到OSM上南京的地图都一阵唏嘘，这么多年了几乎没有任何变化，仅有的一些数据也都是错误百出，身为一个南京人，又是一个GIS专业毕业的，深感压力巨大。

实际上编辑OSM没有大家想象的那么复杂。任何人都可以注册登录网站，用默认的Potlatch工具进行编辑，即使你手上没有数据也可以编辑一些基本的属性，比如把错误的中山路纠正为北京东路。我从MapMyTracks上导出GPX文件上传到OSM，GPS数据会在OSM上被显示出来，根据这些数据稍作加工就是道路信息了。浏览器里的编辑器功能并不强大，KDE桌面的Merkaator的编辑能力要强大得多，可以对道路进行split/join操作，这些操作对之前南京地图上各种错误的数据非常必要。

其实OpenStreetMap可以借助一些背景图进行数字化，但是在国内，目前只有分辨率非常低Yahoo卫星地图可以用。至于Google的卫星地图，由于License的原因，你是不能在编辑自由地图时使用的。

上海的OSM已经非常完善，数据完善的程度、渲染出地图的壮观已经让你难以想象，连去年开通的张江电车已经在地图上标出，还有各个站名。注册后可以发现，仅仅在浦东就有十几位OSM的贡献者。相比之下，南京在这方面一片空白，甚至还没有苏州的地图完善。考虑到南京有这么多学校这么多GIS专业学生，每年做那么多无用的、自以为是的数字化作业，真正有意义的工作却无人问津，并非没有人愿意去做，而恐怕是大部分人对OSM都闻所未闻。

今后每周我回抽出一定的时间来编辑南京的地图，也算是为家乡做一些贡献吧。

The post is brought to you by lekhonee v0.7

RPC, Serialization and Schema

2010-06-12T00:00:00+08:00

手艺 tags:
java
sergent
work published: true comments: true

The post is brought to you by lekhonee v0.7

糖果项目的后端用Java编写，我负责service gateway的开发（暂且叫sergent），服务以Java接口+Annotation的形式声明，与Spring集成使用，Java对象被序列化为JSON和XML（通过jackson和castor）与外部系统交互。专门的JSON Schema和XML Schema是可选的，系统交互通过简明的文档和人工确认。

RPC框架是跨进程、跨系统交互的重要工具，RPC框架中又包括远程调用、网络传输和序列化反序列化等等部分。流行的工具包括Facebook的thrift，Google的Protobuf和原先Hadoop项目下的avro。其中thrift包含远程调用、反序列化、网络等等全部的功能。Protobuf本身是一个序列化反序列化库，另有很多第三方RPC实现，avro目前除了序列化和反序列化的功能，也包含了ipc的HTTP Server和SocketServer等实现。在序列化的格式方面，Thrift支持JSON和二进制协议，Protobuf本身仅有二进制支持，但已经存在第三方的其他格式实现。 avro原生支持二进制和JSON格式。

从效率上来说，二进制方式的序列化要比文本方式的快。Google Code上（最近迁往了github）有一个tpc项目（thrift-protobuf-compare），根据这个项目的最新的比较结果（与原先不同）：

protobuf成为了三者中耗时最少的框架，之后是thrift和avro，这次avro的耗时甚至超过了文本方式的jackson（主要在反序列化上）。

但是二进制协议通常都需要定义Schema，thrift / protobuf / avro三者各自定义了Schema的格式，没有类似XSD和Json Schema的统一标准，也就是说，当你需要传输一个对象，就要为它编写一个Schema文件。按照通常的习惯，都是先编写Schema，然后通过命令行工具或者自动构建工具来生成Java source。对于新系统还好说，对旧系统这个改造就比较麻烦了。另外，二进制协议不便于调试，所以各个thrift/protobuf/avro先后也都有JSON的实现，在文本的序列化格式上，JSON对XML的优势是全方位的。

所以综合起来，很难说有一种完美的解决方案。二进制协议的效率高，但是改造、编写Schema的代价并不小，还要面对核心Model被绑架到具体框架的风险。文本协议开发简便，不需要Schema，直接POJO就可以序列化和反序列化，但是在时间和空间上都不如二进制的方式。

补充
从tpc项目的结果上看，kryo在时间、空间上都击败了所有对手，而且，kryo的API非常简洁，不需要Schema文件就可以序列化POJO，听起来太完美了，看来以后sergent要借鉴一下的。

补充 2010-06-14 发现avro现在也有ReflectDatumReader和ReflectDatumWriter，可以通过反射内部自动映射生成Schema，可以尝试一下。

ibatis infinite loop when getFirstResultSet

2010-06-08T00:00:00+08:00

手艺 tags:
ibatis
java published: true comments: true

前几天上线后老大发现几台负载非常高，dump线程状态后发现多个线程死循环在同一处，于是发现了ibatis的这个bug：
https://issues.apache.org/jira/browse/IBATIS-384
https://issues.apache.org/jira/browse/IBATIS-587

在mysql数据库上，没有结果集时，stmt.getUpdateCount()会返回0，而非-1.
ibatis 2.4.3
[cc lang="java"]
private ResultSet getFirstResultSet(StatementScope scope, Statement stmt) throws SQLException {
ResultSet rs = null;
boolean hasMoreResults = true;
while (hasMoreResults) {
rs = stmt.getResultSet();
if (rs != null) {
break;
}
hasMoreResults = moveToNextResultsIfPresent(scope, stmt);
}
return rs;
}

private boolean moveToNextResultsIfPresent(StatementScope scope, Statement stmt) throws SQLException {
boolean moreResults;
// This is the messed up JDBC approach for determining if there are more results
moreResults = !(((moveToNextResultsSafely(scope, stmt) == false) && (stmt.getUpdateCount() == -1)));
return moreResults;
}

private boolean moveToNextResultsSafely(StatementScope scope, Statement stmt) throws SQLException {
if (forceMultipleResultSetSupport(scope) || stmt.getConnection().getMetaData().supportsMultipleResultSets()) {
return stmt.getMoreResults();
}
return false;
}

[/cc]
moreResults恒为真，程序出现死循环。

在mybatis 2.5的代码里，这部分已经修改为：
[cc lang="java"]
private boolean moveToNextResultsIfPresent(StatementScope scope, Statement stmt) throws SQLException {
boolean moreResults;
// This is the messed up JDBC approach for determining if there are more results
boolean movedToNextResultsSafely = moveToNextResultsSafely(scope, stmt);
int updateCount = stmt.getUpdateCount();

moreResults = !(!movedToNextResultsSafely && (updateCount == -1));

//ibatis-384: workaround for mysql not returning -1 for stmt.getUpdateCount()
if (moreResults == true){
moreResults = !(!movedToNextResultsSafely && !isMultipleResultSetSupportPresent(scope, stmt));
}

return moreResults;
}

private boolean moveToNextResultsSafely(StatementScope scope, Statement stmt) throws SQLException {
if (isMultipleResultSetSupportPresent(scope, stmt)) {
return stmt.getMoreResults();
}
return false;
}

/**
* checks whether multiple result set support is present - either by direct support of the database driver or by forcing it
*/
private boolean isMultipleResultSetSupportPresent(StatementScope scope,
Statement stmt) throws SQLException {
return forceMultipleResultSetSupport(scope) || stmt.getConnection().getMetaData().supportsMultipleResultSets();
}
[/cc]
这部分条件判断实在很极致了。

新的实现当getUpdateResult是0时，moreResults恒为真，这时再进行一个判断，如果是由于isMultipleResultSetSupportPresent为false导致了moveToNextResultsSafely为false，那么实际moreResults应是false

MyBatis 2.5还有一个issue没有解决，离发布还有一些时间，这个问题只好签出新版本代码自己build了

t.sdo.com上线

2010-06-08T00:00:00+08:00

ANN tags:
snda
work published: true comments: true

昨天搞到3点多，盛大糖果http://t.sdo.com/，昨天晚上终于开放IP给大家访问了。

留一些邀请码给大家

2HlXyYKYz2
2dKoCcQZYV
oHBYhO1JPw
-~YTMDYmN+
IXKYMq0kE@
Ub-C@xk8~r

我们后端服务从3月初开始正式开发，11个成员，加了三个多月的班。

Python获取本机IP

2010-06-05T00:00:00+08:00

把戏 tags:
linux
python published: true comments: true

除了用inetface库和分析ifconfig输出以外，一个比较简单的获取本机IP的方法：
[cc lang="python"]
import socket
def get_local_ip():
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.connect(("sdo.com",80))
return s.getsockname()[0]
[/cc]

参考 http://stackoverflow.com/questions/166506/finding-local-ip-addresses-in-python

Alexandria with Douban support

2010-05-25T00:00:00+08:00

装备 tags:
opensource published: true comments: true

迟到的新闻了，5月8号，GNOME桌面的书籍管理程序Alexandria发布了0.6.6 Beta2。上个月底我提交的豆瓣支持已经被加入了标准发布的打包里，这里可以看到Release note http://alexandria.rubyforge.org/news/2010-05-08--0.6.6beta2-released.html

最近半年忙里偷闲给开源软件做一点贡献，上次gnome deskbar wiki名字是自己加上去的，这次在alexandria里终于算是得到了一些认可，再接再厉，嗯！

各位用开源桌面的读者是不是看在这个份上也装一下这个软件啊。。。

我的卡卡颂

2010-05-24T00:00:00+08:00

自话 tags:
boardgame
carcassonne published: true comments: true

口水了一年多的入门桌游，在山寨高仿版本泛滥的时候，我终于拥有了属于自己的。

卡卡颂规则简单，号称是最佳入门桌游。除了基本版以外，后来又陆陆续续除了很多扩展，更有传闻说还有一款投石机扩展，提供一个木制的简易投石机让卡卡松变成了动作类游戏。我最喜欢卡卡颂的地方除了本身的趣味性之外，还要数最后游戏结束时的场面，让人看了真有成就感。（本来这里有幅图的，鉴于背景是床单，就不展示给大家了）

原版的卡卡颂big box 2（所谓全集），在亚马逊上要卖到64美元。而淘宝上山寨的原版加四合一扩展大概也就不到90元（big box比这个多了一个修道院与市长扩展），关于这个我也不说什么了。

第一次玩卡卡颂是全年三月底左右和工作室的上海帮在桌游店，那是第一次玩桌游，印象那叫一个深刻。第二次是毕业前和原来寝室同学一起玩他自己买的Bigbox（那叫一个阔气）。嗯，要提一下，第一次组织游戏的童鞋后来去了伦敦，第二次组织游戏童鞋后来去了米国。等过几天回南京了，我再找那位要去倭国的童鞋来两局，进一步提升一下国际影响。

我还是个桌游新手，最近盯上了冷战背景的Twilight Struggle，心里有痒痒的，希望能有一笔横财，让我好不心痛地拿下它。

'Maven recipe #1: Test Java code with groovy'

2010-05-19T00:00:00+08:00

把戏 tags:
groovy
java
maven published: true comments: true

问题：受够了，不想写Java了，写个含有数据的map还要new出来一个一个put进去，想用groovy解决单元测试
解决： gmaven+groovy eclipse插件可以解决这个需求
在pom.xml中添加gmaven的依赖，注意，仅用来测试。老大不让生产代码里有不可靠的东西。
[cc lang="xml"]
...
org.codehaus.groovy.maven.runtime gmaven-runtime-default 1.0-rc-3 test ...
org.codehaus.groovy.maven gmaven-plugin 1.0-rc-3 generateStubs compile generateTestStubs testCompile [/cc]

在eclipse中新建source folder, src/test/groovy，在其中创建groovy test case即可

'Maven recipe #0'

2010-05-16T00:00:00+08:00

手艺 tags:
java
maven
recipe published: true comments: true

问题：多个root pom的dependencyManagement有重复的内容，希望统一管理。
解决：
新建一个空pom.xml，在dependencyManagement中指定这些依赖，如
[cc lang="xml"] xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

4.0.0 info.sunng root pom 0.0.1-SNAPSHOT

info.sunng X 0.0.1-SNAPSHOT

[/cc]
将这个pom.xml部署到你的Maven私服。

在其他root pom中添加这样的dependencyManagement
[cc lang="xml"]
....
info.sunng root 0.0.1-SNAPSHOT pom import ....
[/cc]

开始实践Poromodo Technique

2010-05-12T00:00:00+08:00

把戏 tags:
work published: true comments: true

看了@juvenxv的博客介绍Poromodo Technique Illustrated一书，结合我现在低下的工作效率，我决定实践一下这个方法。

一张TODO表记录今天的计划
一张Activity Inventory表用于记录长期的任务，标记已完成的任务
一张Record表统计每天完成的任务数量

一个Poromodo持续25分钟，在这25分钟内只专注当前任务。Poromodo间隙用来给大脑做缓冲，清空前一个任务的影响，以便下一个Poromodo开始时快速切换到相应任务。

应对Interruption，对internal的accept, record & continue，一个poromodo作为一个原子单元不可被打断，一旦被打断应该重新开始。
对external的，评估重要性，分别拒绝、延后、安排时间、安排回调。

交通游戏OpenTTD

2010-05-02T00:00:00+08:00

把戏 tags:
foss
opensource published: true comments: true

我总是对这种城市建设、交通规划一类的游戏欲罢不能，以前在Linux上一直只是玩Lincity，后来发现了纯交通类的simutrans，最近升级到Ubuntu10.04以后，终于可以玩这个六年磨一剑，精雕细琢的OpenTTD了。

可以建造各种客运货运的汽车站、火车站，机场，码头等等，可以建设道路、铁路，可以购买公交车、卡车、火车头、火车车厢等等。可惜我玩了大半天还不知道怎么盈利。。。

五月一号

2010-05-01T00:00:00+08:00

当时 tags:
Life
ruby published: true comments: true

今天值得说的事情挺多的。首先，Ubuntu 10.04发布以后，Sun JDK 被放到了partner 仓库里，要使用Sun JDK，添加这个仓库： sudo apt-add-repository "deb http://archive.canonical.com/ lucid partner"

这是悲剧的开始，早晨七点四十起床，添加了这个仓库，把机器上的Sun JDK升级到6u20，为此到了八点三十五才出门。现在没有自行车不比从前了，等公交加上下来走到公司最后九点零六分打上卡。进了办公室一看大家整整齐齐地坐着了，这才听到悲剧：三薪工作日不能迟到，否则只算半天。就为了6分钟，一天半的工资没了。这事现在想起来我都郁闷，发自内心的郁闷啊。

在上班的公交车上恰好收到邮件，是rubyforge的更新，昨天提交的patch已经被接受了，放进了svn仓库，会随Alexandria的0.6.6版本发布。项目的负责人修改了代码，把我那些\t都换成了空格。另外，豆瓣的API接口是json格式的，解析需要依赖libjson-ruby1.8这个库，这段代码被负责人修改了，真的很神奇，原来json可以就这样被转换成yaml
[cc lang="ruby"]
def json2yaml(json)
# insert spaces after : and , except within strings
yaml = json.gsub(/(\:|\,)([^A-Za-z\/\\])/) do |match|
"#{$1} #{$2}"
end
yaml.gsub!(/\\\//, '/') # unescape forward slashes
yaml
end
[/cc]
震惊了，不过我之前也太了解yaml，也许这个技巧在ruby世界是众所周知的吧。这下json模块的依赖就可以去除了，真没想到会这么简单。

想起来我给另一个开源软件fantasdic提交的google translate的patch，作者已经认可了，但是至今还没有被加进仓库里。这位作者在日本读书不亦乐乎看来心思已经完全不在这个项目上了。

下午下班回家又是坐公交车，越想越忿忿，晚上又去买了一辆新自行车，于是今天基本上就算是白干了。之前的自行车被偷，多半的原因是后来买的锁强度太弱。先前的锁呢又因为生锈最后没法用了，归根结底，还是我保养地不好。其实保养锁很简单的，买个肉包，把里面的肉吃掉之后，那钥匙蘸蘸剩下的油，放到锁眼里捅捅就成。

五一了，世博了。和奥运会一样，还是和我没有什么直接关系。

Douban provider for Alexandria

2010-04-30T00:00:00+08:00

ANN tags:
Douban
foss
gnome
ruby published: true comments: true

Alexandra is a desktop book collection manager on gnome written in ruby. With an extensible architecture, Alexandria uses different sources to retrieve book's data, including Amazon and many local sites.

Douban.com is considered to be most applicable data source for books published in Chinese. So I write this provider according to Alexandria's SPI. Now it's possible to add Chinese books and manage reading lists.

Now the code can be found in Alexandria's bug tracker: http://rubyforge.org/tracker/index.php?func=detail&aid=28160&group_id=205&atid=865

However, the patch file of book_providers.rb in that list is for svn trunk head version only. To use it with currently stable version of Ubuntu, first, make sure you have Alexandria version 0.6.5-0ubuntu1 and libjson-ruby1.8 installed.

Download douban.rb from rubyforge: http://rubyforge.org/tracker/download.php/205/865/28160/4923/douban.rb Copy the file to /usr/lib/ruby/1.8/alexandria/book_providers/ with super user privileges.
Use this patch to /usr/lib/ruby/1.8/alexandria/book_providers.rb
[cc lang="ruby"]
310a311,323 < begin < begin < require 'json' < rescue LoadError < require 'rubygems' < require 'json' < end < require 'alexandria/book_providers/douban' < rescue LoadError =< ex < log.error{ex} < log.warn {'Fail to load douban as provider'} < end <
[/cc]

Feel free to report issue here.

在苏州河

2010-04-25T00:00:00+08:00

留影 tags:
D60 published: true comments: true

今天又到苏州河附近拍，发现在四川路桥对面的邮政博物馆楼顶拍浦东效果甚佳，闹中取静。另外在河南中路和宁波路路口有一家小杨生煎店，人相对其他地方比较少。

最后一张景不错，不过拍得曝光过度了，处理了一下

今天在朱家角了

2010-04-24T00:00:00+08:00

留影 tags:
D60 published: true comments: true

这张手持着暴了两秒，拿到电脑上一看还是抖了。

My First Hello World Web App Using Compojure

2010-04-24T00:00:00+08:00

把戏 tags:
clojure
compojure
java
lein published: true comments: true

Compojure是一个用Clojure写成的类似Sinatra的Web框架。Leiningen是一个新的Clojure构建工具，它用Maven来处理依赖管理，而通过封装Lancet（基于Ant）来实现build-in的task。

以上是背景介绍。以下是HelloWorld。

创建一个目录作为工程目录
[cc lang="bash"]
mkdir compojure-app
cd compojure-app
[/cc]

像创建build.xml和pom.xml一样创建project.clj
[cc lang="lisp"]
(defproject info.sunng/compojure-app "0.0.1"
:description "A demo app running on compojure framework"
:dependencies [[org.clojure/clojure "1.1.0"]
[org.clojure/clojure-contrib "1.1.0"]
[compojure "0.3.2"]]
:dev-dependencies [[leiningen/lein-swank "1.1.0"]]
:main info.sunng.compojureapp.helloworld)
[/cc]
首行定义了项目的groupId, artifactId和version，其后的是maven风格的依赖定义，最后我们还定义了程序的主类。

这个helloworld只有一个文件，被放在src/info/sunng/compojureapp/目录下
[cc lang="lisp"]
(ns info.sunng.compojureapp.helloworld (:gen-class) (:use compojure))

(defroutes example-routes
(GET "/" "Hello W0rld")
(ANY "*" [404 "Page Not Found"]))

(defn -main []
(run-server {:port 8080} "/*" (servlet example-routes)))
[/cc]
中间就是Sinatra风格的URL映射定义，最后在主类中通过一个run-server方法以嵌入式的方式运行一个jetty

回到工程目录，执行构建
[cc lang="bash"]
lein deps
lein compile
lein uberjar
[/cc]

通过uberjar可以将依赖通通打入一个jar包中，接着就可以通过 java -jar compojure-app-standalone.jar 启动你的Web程序了，很酷吧

除了这种方式，还可以通过 lein swank 启动一个swank server（project.clj中定义了dev-dependency），再用Emacs的SLIME交互式地运行程序。

参考

XAuth.org & OpenAddresses.org

2010-04-20T00:00:00+08:00

他山 tags:
opensource
web published: true comments: true

XAuth.org 提供一个新的轻量级认证机制，他的机制可以参考： http://xauth.org/spec/

OpenAddresses.org是上个月O'Reilly Where 2.0上发布的开放的Geocoding服务，类似OpenStreetMaps http://openaddresses.org/

今天在植物园

2010-04-18T00:00:00+08:00

留影 tags:
Shanghai published: true comments: true

悲剧不止你一个

2010-04-14T00:00:00+08:00

当时 tags:
apache published: true comments: true

近日连连悲剧，今天一早收到root@apache.org发送的邮件： issues.apache.org compromised: please update your password

事情发生在4月6日，大意是apache的jira被黑，怀疑内部的用户资料包括SHA-512加密的密码被黑客拷贝，请大家更新所有相关的密码，以免造成更严重的损失。

详细的情况在这里： https://blogs.apache.org/infra/entry/apache_org_04_09_2010

终于有个契机，把我的gmail密码更新一下了。这世上的悲剧啊。

事与愿违

2010-04-08T00:00:00+08:00

自话 tags:
hudson
snda published: true comments: true

本以为hudson to rescue，结果no silver bullet。本想着大家都遵守定时构建，一个小时一次，结果事实却是每个人都想一提交就构建自己的项目，然后立刻集成、部署。每个人都认为自己的事非常urgent，结果定时任务成了聋子的耳朵。逃避了每天手动构建，现在却还是频繁地要到hudson上去点点。工具再好，架不住违背工具哲学的使用。

今年北京QCon大家是看不到我了。从1月份就跟老大提要参加，折腾到昨天公司终于开始报名了，结果就他娘的报了四个人。四个人实在是轮不到我了。老大还专门向高层替我争取一个名额，结果得到一个诡异的眼神。那高层啊，你要是以后不出人头地都对不起他那小眼神。

也好，终于有个周末可以陪dearaprilfool出去玩了，最近太他娘的忙了。

我真是羡慕goodtiger啊。

We are using Hudson for continuous integration

2010-04-06T00:00:00+08:00

装备 tags:
CI
dev
hudson
java
maven
software
tool published: true comments: true

经历了持续两周的人肉集成，今天上午抢得一台Linux机器，终于尝试用hudson来替代人肉构建。

Hudson的安装和配置远比想象的简单，只要下载发布的war包，在相应的目录执行
nohup java -jar hudson.war > hudson.log 2>&1 &
即可启动到后台

hudson的web图形界面可以胜任几乎全部工作。我们主要使用maven来构建项目，hudson提供了非常强大的功能：邮件提醒（通过插件支持twitter/jabber/irc提醒）；自动构建，除了基本的定时构建以外，hudson还会自动解析其管理的项目之间的依赖关系，从而实现级联的构建，这个功能非常震撼。

刚刚上手以后我还安装了两个插件。一个是build-timeout插件，可以之间一次构建的超时时间：我们的项目中有老大写的交互式的maven配置插件，一旦这个插件在自动构建时运行会阻塞构建的流程。另一个是scp发布插件，可以自动scp一个文件到远程服务器上，我用这个插件来把构建版本发布到运行环境中，只要在适当的时候重启一下运行环境的服务器就可以实现部署了。不过scp插件由于上游依赖的问题貌似不支持putty生成的privatekey，这是暂时的美中不足。

配置了整整一天，终于有了CI工具，我就彻底解放出来可以做其他事了。

Reset default cursor theme and web browser after installing kubuntu

2010-04-03T00:00:00+08:00

把戏 tags:
linux
ubuntu published: true comments: true

If you installed kubuntu parallel to ubuntu, you might find that the default browser is set to konqueror and cursor theme is oxygen which cannot modified by "gnome-default-applications-properties" and "gnome-appearance-properties".

To fix this, use Debian update-alternatives tool: update-alternatives --config x-www-browser update-alternatives --config x-cursor-theme

All configurable options are listed at /var/lib/dkpg/alternatives

Update0

2010-04-02T00:00:00+08:00

自话 tags:
java
snda
spring published: true comments: true

太忙了，真的太忙了，每天重复无数遍 mvn clean install -Dmaven.test.skip，一不小心再遇上"cidaemon.exe"锁死文件无法删除，或者SVN报点Tree conflict，无法见证奇迹就只剩下悲剧了。都是重复的工作，但是在Windows下想做automation还是一筹莫展，比如要构建多个maven项目，也不知道怎么自动化地判断maven构建成功还是失败；再者在Windows里也不知道怎么自动化的scp文件到服务器上去，还要ssh执行重启服务的命令；手足无措啊。

最严重的问题是每天忙的要命，但是并没有感觉有应有的收获或者长进什么的，折腾了半天做的事情还是自己熟悉的小方面，只是做得相对变态而已。每天新的情况让你根本来不及重构，而且严重的问题是，重构好了又有什么用呢，谁能想到后面又有什么变化把你自己引以为豪的设计通通推翻。程序员要考虑的事情太多了，常常要揣摩一些需求方的心思，偷偷摸摸地提前做一些准备。

我现在已经有了一个annotation driven的自动暴露Java接口的框架。之前在CRL实习时，在Jazz上开发也是用一个类似的机制，当时是使用接口的命名规范来确定暴露，比如说有以get和post开头的接口都暴露为HTTP服务，就有很多类似postUpdate、postAdd之类的名字，昨天同事说这个名字太诡异。后来参考了淘宝Open平台的实现，通通的XML描述接口，服务名、方法名、参数名、约束通通写XML配置，我懒，也放弃这个方案了。最后选择用annotation，通过反射解析Java接口，实现的效果和前两者差不多，自认为相对名称的约定要灵活一些，相对无数XML描述符要简洁一些。

后来还为方法的每一步调用都加上监听器，每一个环节都可以注册外部自定义的监听器，所有的核心功能之外的需求都放到自定义的监听器里处理，和框架核心剥离。

再者，框架原本直接序列化接口返回的对象，后来需求有变，要加各种各样的包装。OK，弄一个WrapperFacotry的接口出去，想怎么搞也放到框架核心之外了。Spring的@Authwire(required=false)真是解决了许多问题，在实现InitializingBean初始化一个默认实现就可以了，这样在applicationContext里可以轻松控制外部功能。

还有的发现，序列化的框架分别用的是castor和jackson，结果做profile的时候一比吓一跳，jackson序列话的时间占整个调用的20%，castor的就占到50%了，太可怕了，恐怕要试试其他实现了。

细节扯多了，其实框架的核心都是一天写成的，后面加各种各样的功能花了很大精力。

最近升级到UBuntu10.04已经可以见证奇迹了，眼看着Bug越来越少，之前启动打在tty1上的ureadahead错误日志现在也隐藏了。一切趋于完美，新indicator菜单很好用。

清明回家，下午的火车。因为回家周一不能加班了，少了3倍的工资，悲凉啊。

封闭开发2

2010-03-26T00:00:00+08:00

自话 tags:
snda
work published: true comments: true

明天不用加班了，给大家汇报一下封闭开发的情况。这周最大的变化在于我们搬上了二楼专门又会议室改装的封闭开发室，终于可以在安静、宽敞的环境里做事了。以前巨大的办公室放眼望去他娘的全是人，现在在楼上平均一个人可以用两个桌子，台式机笔记本一边一个舒舒服服，实在是享受啊。而且这两天公司又批钱让我们买了很多零食（两大箱），不夸张地说我今天活活吃了一整天。

项目进度还算可以，最近产品策划比较忙，大家可以趁着这间隙写实现。我主要负责为实现业务的童鞋们写一些节约时间的框架，所以和业务本身关联不大，这也是最值得庆幸的事情。

我们组11个人，很有意思。我开玩笑说我们是433阵型，四个正式，3个外包，3个实习，剩下一个老大守门。虽说是工作了，可是这种感觉时长让我想起在工作室的时候，大家的关系和在学校里没什么两样。每天上班虽然很幸苦（这周一天都是14个小时），挣得也不多，不过倒是开心得很。

我们组的项目4月9号要内部上线，真正的产品内测是5月18号，大家请期待。

4月23号的北京QCon，今天看到Goodtiger说他要去了，我在这里严重嫉妒一下。哎，我一月份的时候就跟老大说了今年QCon牛人很多，上次老大还说公司在准备订，结果最近忙成这个样子，估计是泡汤了。去也轮不到咱，悲凉啊。

搞定gwibber

2010-03-22T00:00:00+08:00

把戏 tags:
foss
gwibber
pycurl
python published: true comments: true

升级10.04之后，gwibber2.29开始使用pycurl来处理IO。结果一条更新都拿不下来，为此搜到很多相关、不相关的bug。最后终于自己找到问题，原来是pycurl.setopt方法传入字符串如果是unicode就会报typeerror。而通过gwibber配置界面输入的所有字符都是unicode编码，于是问题也就简单了。做个处理，在 /usr/lib/python2.6/dist-packages/gwibber/microblog/network.py 第18到21行：
[cc lang="python"]
self.curl.setopt(pycurl.URL, str(url).encode('ascii'))

if username and password:
self.curl.setopt(pycurl.USERPWD, ("%s:%s" % (username, password)).encode('ascii'))
[/cc]

另外，使用StatusNet的Twitter兼容API来做Twitter API代理，需要把代理的目录名设置为api，因为/api这个路径是写死在gwibber代码里的。通过界面输入的，只是代理的domain。

说实在的gwibber还是挺烂的。
https://bugs.launchpad.net/bugs/542501
https://bugs.launchpad.net/bugs/543860

将！将！将！

2010-03-20T00:00:00+08:00

自话 tags:
Life
snda
web published: true comments: true

汇报一下近况，最近仍然是6*12小时的工作，这是第二个礼拜了。我们的进度还算是顺利，不过架不住产品那里经常会有另他们自己拍案的新点子，这可苦了开发。可怜我们开发在产品面前基本没有什么话语权，连老大都只能说我们尽量支持。因为我负责的部分跟业务关系不是特别紧密，之前也算是有先见之明，坚决解耦，所以策划的变化对我影响不大，只是听见两旁的同事不断地重复“我悲剧了”。
10.04来了，迫不及待了又。结果升级的过程中遇到了无数依赖问题和冲突，apt几乎都无能为力，前天搞到1点多才睡，早晨7点起床又继续折腾。到了昨天中午终于可以进入桌面了，累得够呛，晚上又发烧了。
早晨起床忽然想起winter，现在的4square这么火，昨天又看到了比较mood的微博产品。哎，我们做的时候可是07年啊，也许是太超前了吧。
加班路上哼张楚的《将将将》，我真想再见张楚一回。
看见@dearaprilfool同学抄的《致橡树》，很有共鸣，女生们应该读一下。小时候读不算，这个年纪读才好。
新的一天开始了。

Firefox addon for wms development

2010-03-12T00:00:00+08:00

装备 tags:
firefox
GIS
wms published: true comments: true

今天一个叫做WMS Inspector的Firefox扩展发布了。这个扩展用来查看页面上的WMS请求，还可以生成GetCapabilities的Report。

封闭近况

2010-03-11T00:00:00+08:00

自话 tags:
Life
snda published: true comments: true

其实哪是什么封闭啊，不过是在公司大厅中间辟出一块相对独立的区域，大家坐在一起开发。别提了，我们原来都是分布式开发，也就是最近才坐在一起。除了老大偶尔自掏腰包大伙一起吃饭以外，“有人给你洗衣服”就不要想了。晚上依然是各回各家，老大的老大昨天对老大说，要注意身体，不要天天干到12点，到11点就行了。

最近一周每天工作12小时以上，身体居然真的撑不住了。昨天下午开始头痛无力，按时下了班，结果晚上就发烧了。不过咱底子好，睡了一觉功力又恢复了，今天继续干。

Sunng.info in Mosaic

2010-03-10T00:00:00+08:00

留影 tags:
web published: true comments: true

Mosaic: http://en.wikipedia.org/wiki/Mosaic_browser

这么一看，什么标准通通扯淡，还是图片管用，什么浏览器都可以显示。

New features in JTS 1.11

2010-03-03T00:00:00+08:00

装备 tags:
GIS
java published: true comments: true

JTS最近发布了1.11版本，新增了：

对Delaunay三角网、Voronoi多边形的支持；
把Geometry对象转换为AWT的Shape对象的功能
对几何对象进行densify的操作（增加结点）；
计算Hausdorff相似度和Area相似度的支持

计算Delaunay三角网和Voronoi多边形：
{% raw %}

import java.util.ArrayList;
import java.util.Collection;

import com.vividsolutions.jts.geom.Coordinate;
import com.vividsolutions.jts.geom.Geometry;
import com.vividsolutions.jts.geom.GeometryCollection;
import com.vividsolutions.jts.geom.GeometryFactory;
import com.vividsolutions.jts.triangulate.DelaunayTriangulationBuilder;
import com.vividsolutions.jts.triangulate.VoronoiDiagramBuilder;

/**
 *
 * @author Sun Ning/SNDA
 * @since 2010-3-3
 */
public class DelaunayAndVoronoiApp {

    /**
     * create some predefined sites
     * @return
     */
    public static Collection<coordinate> getPredefinedSites(){
        double[][] coords =  {{100,27},{28, 50},{29,
     40},{32, 90}, {12, 26  }};
        ArrayList<coordinate> coordinates = new ArrayList<coordinate>(coords.length);</coordinate></coordinate></coordinate>

        for(int i=0; i<coords.length; i++){
            coordinates.add(new Coordinate(coords[i][0], coords[i][1]));
        }

        return coordinates;
    }

    /**
     *
     * @param coords
     * @return a geometry collection of triangulations
     */
    public static Geometry buildDelaunayTriangulation(Collection<coordinate> coords){
        DelaunayTriangulationBuilder builder = new DelaunayTriangulationBuilder();
        builder.setSites(coords);
        return builder.getTriangles(new GeometryFactory());
    }
    /**
     *
     * @param coords
     * @return a collection of polygons
     */
    public static Geometry buildVoronoiDiagram(Collection<coordinate> coords){
        VoronoiDiagramBuilder builder = new VoronoiDiagramBuilder();
        builder.setSites(coords);
        return builder.getDiagram(new GeometryFactory());
    }</coordinate></coordinate>

    /**
     *
     * @param args
     */
    public static void main(String[] args){
        Collection<coordinate> coordinates = getPredefinedSites();</coordinate>

        /**
         * Delauny
         */
        GeometryCollection triangulations
                = (GeometryCollection)buildDelaunayTriangulation(coordinates);

        int total = triangulations.getNumGeometries();
        System.out.printf("Total triangulations: %d\n", total);
        for(int i=0; i<total; i++){
            Geometry g = triangulations.getGeometryN(i);
            Coordinate[] coords = g.getCoordinates();
            System.out.printf("Triangulation %d: ", i);
            for(Coordinate c : coords){
                System.out.printf("(%.3f, %.3f) ", c.x, c.y);
            }
            System.out.println();
        }

        /**
         * Voronoi
         */
        GeometryCollection diagram = (GeometryCollection)
                buildVoronoiDiagram(coordinates);
        int totalDia = diagram.getNumGeometries();
        for(int i=0; i<totalDia; i++){
            Geometry g = diagram.getGeometryN(i);
            Coordinate[] coords = g.getCoordinates();
            System.out.printf("Diagram %d: ", i);
            for(Coordinate c : coords){
                System.out.printf("(%.3f, %.3f) ", c.x, c.y);
            }
            System.out.println();
        }
    }

}

{% endraw %} 输出：
[cc lang="text"]
Total triangulations: 5
Triangulation 0: (32.000, 90.000) (12.000, 26.000) (28.000, 50.000) (32.000, 90.000)
Triangulation 1: (32.000, 90.000) (28.000, 50.000) (100.000, 27.000) (32.000, 90.000)
Triangulation 2: (100.000, 27.000) (28.000, 50.000) (29.000, 40.000) (100.000, 27.000)
Triangulation 3: (100.000, 27.000) (29.000, 40.000) (12.000, 26.000) (100.000, 27.000)
Triangulation 4: (12.000, 26.000) (29.000, 40.000) (28.000, 50.000) (12.000, 26.000)
Diagram 0: (-76.000, 88.625) (-76.000, 178.000) (176.713, 178.000) (72.699, 65.730) (-38.235, 76.824) (-76.000, 88.625)
Diagram 1: (-76.000, -62.000) (-76.000, 88.625) (-38.235, 76.824) (11.978, 43.348) (56.422, -10.619) (57.006, -62.000) (-76.000, -62.000)
Diagram 2: (11.978, 43.348) (-38.235, 76.824) (72.699, 65.730) (67.316, 48.882) (11.978, 43.348)
Diagram 3: (176.713, 178.000) (188.000, 178.000) (188.000, -62.000) (57.006, -62.000) (56.422, -10.619) (67.316, 48.882) (72.699, 65.730) (176.713, 178.000)
Diagram 4: (11.978, 43.348) (67.316, 48.882) (56.422, -10.619) (11.978, 43.348)
[/cc]

将Geometry对象转换成Shape对象，绘制在JPanel上：
[cc lang="java"]
import java.awt.Color;
import java.awt.Dimension;
import java.awt.Graphics;
import java.awt.Graphics2D;
import java.awt.Shape;
import java.util.Collection;
import javax.swing.JFrame;
import javax.swing.JPanel;

import com.vividsolutions.jts.awt.ShapeWriter;
import com.vividsolutions.jts.geom.Coordinate;
import com.vividsolutions.jts.geom.Geometry;
import java.util.Random;

/**
*
* @author Sun Ning/SNDA
* @since 2010-3-3
*/
public class JTS2Awt {

public static void showUI(final Shape... shape){
JFrame jframe = new JFrame("JTS Geometry to AWT Shape");

JPanel jp = new JPanel(){
@Override
public void paint(Graphics g){
super.paint(g);
Graphics2D g2d = (Graphics2D)g;
if(shape != null){
for(Shape s: shape){
g2d.setColor(new Color(Color.HSBtoRGB(new Random().nextFloat(), 1f, 0.6f)));
g2d.draw(s);
}
}
}
};
jp.setPreferredSize(new Dimension(150, 150));

jframe.getContentPane().add(jp);
jframe.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
jframe.pack();
jframe.setVisible(true);
}

public static Shape toShape(Geometry geom){
ShapeWriter writer = new ShapeWriter();
return writer.toShape(geom);
}

public static void main(String[] args){
Collection coords = DelaunayAndVoronoiApp.getPredefinedSites();
Geometry geomT = DelaunayAndVoronoiApp.buildDelaunayTriangulation(coords);
Geometry geomD = DelaunayAndVoronoiApp.buildVoronoiDiagram(coords);

showUI(toShape(geomT), toShape(geomD));
}

}

[/cc]

封闭开发

2010-03-02T00:00:00+08:00

自话 tags:
Life published: true comments: true

从后天起，我就要被封闭开发了。地点在公司对面的酒店里，问具体的情况据老大说，是要去一个“有人给你做饭，有人给你洗衣服”的地方，说得跟人间天堂似的。去年刚到公司实习的时候就赶上有组封闭开发，印象中好像封了有一个多月。老实说封闭开发也是没办法的事情，我们这个菜场式的办公环境，一个人手上又有多个项目，不断地有人来找你问各种各样的事情，就算不问你，问你旁边的人，声音大到耳机挡不住，这种环境下怎么可能开发出有质量的产品。参考一下敏捷团队空间注意事项，那想想，封就封了吧。

这次项目到四月中旬截止，还不太清楚会是什么情况，能不能上网，每天要干多长时间，具体情况等我从小黑屋发来现场报道吧。

Get your conky location aware

2010-02-19T00:00:00+08:00

装备 tags:
conky
GIS
linux
location published: true comments: true

Add this in your conkyrc
[cc lang="text" nowrap="0"]
${exec curl -s "http://api.hostip.info" | xpath -e "//gml:featureMember/Hostip/gml:name/text()" -q} ${exec curl -s "http://api.hostip.info" | xpath -e "//gml:featureMember/Hostip//gml:coordinates/text()" -q}
[/cc]

Hostip is well known as a service provider of the geoclue framework. It translates IP address to geolocation information. The API we use will return a GML document like
[cc lang="xml" nowrap="0"] This is the Hostip Lookup Service hostip inapplicable 58.212.88.212 Nanjing CHINA CN 118.883,32.05 [/cc]

Because it uses ip to lookup your address, you cannot expect higher resolution and precision currently.

Using weather

2010-02-18T00:00:00+08:00

装备 tags:
linux
location
util published: true comments: true

Ubuntu仓库里有个weather-util包，可以用来查看天气信息。weather工具从weather.noaa.gov网站获得天气信息，对美国的城市可以直接用名字查询，其他国家只能使用id查询。id的规则和weather.com不太相同。

中国的天气站点id可以在这个页面上查到。比如南京ZSNJ，上海浦东ZSPD。使用weather工具查询： weather -i ZSNJ

Current conditions at China (ZSNJ) 32-00N 118-48E 12M (ZSNJ)
Last updated Feb 18, 2010 - 08:00 AM EST / 2010.02.18 1300 UTC
Temperature: 35 F (2 C)
Relative Humidity: 59%
Wind: from the SSW (210 degrees) at 4 MPH (4 KT)

简化操作，可以在$HOME下创建.weatherrc文件，形如
[cc lang="ini"]
[default]
ID = ZSPD
[nj]
ID = ZSNJ
[/cc]

就可以直接使用 weather

Current conditions at China (ZSPD) 31-07N 121-46E (ZSPD)
Last updated Feb 18, 2010 - 08:00 AM EST / 2010.02.18 1300 UTC
Temperature: 35 F (2 C)
Relative Humidity: 47%
Wind: from the NE (050 degrees) at 7 MPH (6 KT) (direction variable)

和 weather nj

Current conditions at China (ZSNJ) 32-00N 118-48E 12M (ZSNJ)
Last updated Feb 18, 2010 - 08:00 AM EST / 2010.02.18 1300 UTC
Temperature: 35 F (2 C)
Relative Humidity: 59%
Wind: from the SSW (210 degrees) at 4 MPH (4 KT)

I ♥ Free and Open Source Software

2010-02-14T00:00:00+08:00

未分类 tags:
foss published: true comments: true

老物什 / Old Stuff

2010-02-14T00:00:00+08:00

留影 tags:
linux
photo published: true comments: true

大年初一翻旧物，找到一些让人颇有感触的旧物件。2004年买的RH9，2005年夏天买的Fedora 4。前者至今还安装在我家最旧的电脑里，虽然我都忘了它的样子了。

包装

手册

CDs

这个代理商里仁软件似乎已经倒闭了。

List your installed virtualbox virtual marchines using vbox python xpcom api

2010-02-12T00:00:00+08:00

把戏 tags:
linux
python
VirtualBox published: true comments: true

I'm sorry for the long title. Due to lack of documentation, it's not easy to use python xpcom api from virtualbox sdk. The code below is just a sample that lists your installed virtual machines. It works on linux with VirtualBox OSE 2.0.8. Hope useful to you.
[cc lang="python"]
import vboxapi
vmsg = vboxapi.VirtualBoxManager(None, None)
vbox = vmsg.vbox
vmsg.mgr.getSessionObject(vbox)
machs = vbox.getMachines()
names = map(lambda x: (x.name,x.id), machs)
print names
[/cc]
Output:
[cc lang="python" nowrap="false" line_numbers="false"]
[(u'Ubuntu', u'aac3fd46-4f1e-4f6e-8abe-b1a5516abf8c'), (u'Windows', u'fa73952e-f0a6-4bf0-af20-259513d73bc1'), (u'OpenSolaris', u'a951542c-3178-4a6b-8087-f1b0314e283a'), (u'LinuxMint', u'8191f256-1b76-4ce7-a202-93730dae1b33'), (u'Fedora', u'ca250f45-d752-4baf-9281-fb0847dc8287'), (u'Freebsd', u'8322b62a-aed5-4f04-9815-9fadfeba9fe1'), (u'ArchLinux', u'efc1167a-4e06-4c14-aeb0-bfb303c8f5f7'), (u'openSUSE', u'02e18816-311d-420b-99b3-6b4b4cccf7b7'), (u'CentOS', u'ccf0421c-85c4-4123-8722-57abc494c633')]
[/cc]

Virtual Machine Searcher for Gnome Deskbar Applet

2010-02-12T00:00:00+08:00

ANN tags:
gnome
linux
python
ubuntu published: true comments: true

Very glad to announce another daily-coding work: an extension for gnome deskbar applet to search and launch virtual machine. There is a plugin for gnome-do that does the same job. That's what I create the the plugin for. I switched to deskbar because gnome-do's Do.exe reminds me nightmares when I was a M$ Windows user. The deskbar applet has been a great replacement, however, the virtualbox plugin in Do is really impressive while deskbar doesn't provide me the same functionality.

You can ignore words above and just take a look at the screenshot:

Download

Download the extension from (the highlighted one): http://bitbucket.org/sunng/daily-coding/downloads/?highlight=5137

You can also trace the development at bitbucket project. However, the repository is mixed with other small code snippets. Currently, mercurial doesn't support subdirectory pull. So there is no way to grab the deskbar-applet individually.

Installation

copy this file to /usr/lib/deskbar-applet/deskbar-applet/modules-2.20-compatible/ (Ubuntu installation for example) with super user privilege. Right click desktbar applet, select Preference, Searchers tab, hit "Reload" button, then check the Virtualbox Deskbar Module.

Issue

Feel free the report issues on bitbucket: http://bitbucket.org/sunng/daily-coding/issues/

解决Ubuntu Openbox无法启动的问题

2010-02-11T00:00:00+08:00

把戏 tags:
linux
openbox
ubuntu published: true comments: true

今天在工作用的ArchLinux上安装了用Openbox取代了GNOME桌面，感觉良好，回来尝试一下在Ubuntu上也做同样的事情。不料遇到问题，在完成基本的配置之后，Openbox Session无法启动，总是自动跳回gdm。查看.xsession-errors，是gnome-setting-daemon报错：

(gnome-settings-daemon:2519): GLib-CRITICAL **: g_propagate_error: assertion `src != NULL' failed

既然是gnome-settings-daemon报错，就在.config/openbox/autostart.sh中注视掉和gnome-settings-daemon相关的部分：

# Make GTK apps look and behave how they were set up in the gnome config tools
#if test -x /usr/libexec/gnome-settings-daemon >/dev/null; then
#  /usr/libexec/gnome-settings-daemon &
#elif which gnome-settings-daemon >/dev/null; then
#  gnome-settings-daemon &
# Make GTK apps look and behave how they were set up in the XFCE config tools
#elif which xfce-mcs-manager >/dev/null; then
#  xfce-mcs-manager n &
#fi

进而可以启动Openbox Session了，但是发现Conky仍然无法启动，经过搜索是sleep的时间不够长导致的。而根据launchpad上上的讨论，gnome-settings-daemon也可以在Openbox Session启动后正常运行，于是可以这样设置autostart.sh

(sleep 20 && conky 1>/dev/null 2>/dev/null) &
(sleep 2 && tint) &
(sleep 5 && tilda) &
(sleep 20 && gnome-settings-daemon 1>/dev/null 2>/dev/null) &

tint和tilda对启动顺序没有明确的要求，conky和gnome-settings-daemon需要设置一个较长的等待时间。

这是Ubuntu中Openbox的一个bug，可以在此跟踪：
https://bugs.launchpad.net/ubuntu/+source/openbox/+bug/459005

顺手展示一下我的Openbox桌面

openbox / tint2 / conky / tilda 还没来得及认真配置，呵呵。

再有，Ubuntu源里的的tint2版本很低，问题不少，不支持宽度的百分数配置，不支持systray等配置。建议安装开发版本：
http://code.google.com/p/tint2/wiki/Install#For_Ubuntu_9.10_%28Karmic%29

Sunng's Canvas based Heatmap API

2010-02-11T00:00:00+08:00

ANN
手艺 tags:
canvas
html
javascript
visualization
web published: true comments: true

Glad to announce my works this morning: A simple heatmap API based on HTML5 canvas.

The programming interface is rather simple now. To create such a heatmap, you just new a heatmap object by:

<canvas width="300" height="215" id="canv"></canvas>

heatmap = new HeatMap("canv");

Then read your dataset and push data into the heatmap:

heatmap.push(x, y, value);

At last, spread the data and get the canvas rendered:

heatmap.spread();
heatmap.render();

Now you got it.

For advanced usage, you can specify the resolution of heatmap by px:

heatmap = new HeatMap("canv", 2);

Large value will gain performance with low image quality.

Also, you can specify a value to define the attenuation value of each px.

heatmap.spread(5);

Finally, there is an option to use your own color schema for heatmap generation.

heatmap.render(function(value, maxValue){
    var light = value / maxValue * 100;
    return "hsl(20, 75%, "+light+"%)";
});

The parameters passed in are current pixel value and max value in whole context.

That's all the toolkit. More functionality and options might be added in future. Grab it from my bitbucket page: http://bitbucket.org/sunng/daily-coding/src/tip/canvas-heatmap/

There is a demo page which you can test the api by clicking canvas: then click heatmap button!

This is the new year gift for my readers and my dear friends !

无题

2010-02-10T00:00:00+08:00

自话 tags:
football published: true comments: true

我草，这是真的吗，同志们是3:0吗？？！！

是不是电视显示错了？？！

我有生之年居然看到这一幕了！！！

人生啊，这是人生吗

见证历史了！！！

牛逼！！这是真的吗，这是他妈真的吗

邓卓翔！！

牛逼！！！

娘的，要下载录像

这他妈是真的吗？？！！

去你妈的CCTV

去你妈的江和平

Suppressing simple-xml's class attribute

2010-02-08T00:00:00+08:00

手艺 tags:
java
xml published: true comments: true

Simple-xml is an object-xml serialization and de-serialization framework. It's featured by annotation-driven, light-weight and self-contained.

In simple-xml, pojos that will be serialized are annotated with @Root, @Element, @Attribute or @Text. The problem is, when handling with inheritance, if the actual type is different from declared type, simple-xml will add a "class" attribute for de-serialization consideration. That is, the parser will use this attribute to determine the schema of the xml element. However, this is of no useful when we do not parse xml by simple-xml. And there is also risk that the class attribute exposes our program's internal structure.

Take following code as example:

@Root
public class Response{
    @Element
    private Object entry;

// getter and setter ...
}

public class OrderItem{
@Element
private String name;

// getter and setter ...
} When you generate xml from classes above, you will have the entry element of response with an attribute "class", which value is the qualified class name, like "package.OrderItem".

This is done by simple-xml's Strategy interface. By default, the Persister uses TreeStrategy which has an implementation of setElement like:

/**
 * This is used to attach a attribute to the provided element
 * that is used to identify the class. The attribute name is
 * "class" and has the value of the fully qualified class
 * name for the object provided. This will only be invoked
 * if the object class is different from the field class.
 *
 * @param type this is the declared class for the field used
 * @param value this is the instance variable being serialized
 * @param node this is the element used to represent the value
 * @param map this is used to maintain contextual information
 *
 * @return this returns true if serialization is complete
 */
public boolean setElement(Type type, Object value, NodeMap node, Map map){
    Class actual = value.getClass();
    Class expect = type.getType();
    Class real = actual;
    if(actual.isArray()) {
        real = setArray(expect, value, node);
    }
    if(actual != expect) {
        node.put(label, real.getName());
    }
    return false;
}

This is where class attributed. So to suppress the attribute, we simply override this method by inherit TreeStrategy. I take a inline class for convenience here.

Serializer s = new Persister(new TreeStrategy(){
    @Override
    public boolean setElement(Type type, Object value, NodeMap node, Map map){
        return false;
    }
});

Now it works, however, simple-xml won't be able to deserialize xml generated by this modified strategy.

使用gnome-dictionary和dictd

2010-02-07T00:00:00+08:00

装备 tags:
dictd
foss
gnome
linux
ubuntu published: true comments: true

最近琢磨字典多一些，以前一直不知道gnome自带的gnome-dictionary如何使用，因为默认的字典源里都没有中文字典，而且离线更是无法使用。其实不然，字典服务可以自架，并且可以使用自己的字典。

在自己的机器上架设dictionary server，以ubuntu为例：

安装dictd / dict sudo apt-get install dictd dict

前者是字典服务器，后者是字典服务客户端。还可以从仓库里安装已经打包好的字典，如 sudo apt-get install dict-stardic 是一个英汉字典

dictd安装好后会默认自启动，也可以通过 sudo service dictd start 来控制dictd的启动、重启和关闭。

通过dict测试服务的状况 dict -D 命令会列出可用的数据库（即字典）

在gnome-dictionary中添加字典源 Edit->Preference->Source->Add
Name: 自定义的字典名
Transport: Dictionary Source
Hostname: 127.0.0.1
Port: 2628

Close之后可以到主界面打开侧边栏，在Dictionary Source中双击选定此字典，在Aailable Dictionaries里双击选中目标字典，于是就可以在gnome-dictionary里使用本地的字典服务了。

接下来安装自己的字典。stardict的网站上有很多中文字典，上面也都标示了授权协议。要在dictd里使用这些字典，需要进行一个简单的格式转换。安装一个工具 sudo apt-get install dictconv

它的使用方法：
dictconv -o OUTPUT_FILE INPUT_FILE

在input_file指定stardict的.ifo文件，在output_file指定要生成的dictd的.index文件。这个转换非常耗时，需要有足够的耐心。这个操作将会生成.index和.dict文件。对.dict文件进行压缩： dictzip OUT.dict

转换完成后，编辑/var/lib/dictd/db.list文件，在其中添加一个database定义 database YOUR_DB_NAME{
data PATH_TO_DICT_DZ
index PATH_TO_INDEX
}

其中PATH_TO_DICT_DZ是上一步的.dz文件，PATH_TO_INDEX是到上一步生成的.index文件的路径。编辑完成后，重启dictd服务 sudo service dictd restart

使用dict -D可以查看启用的字典。

建议备份/var/lib/dictd/db.list文件，因为每次从apt-get安装字典后，这个文件都会被覆盖。

dictd服务也可以在fantasdic里访问。

很山寨

2010-02-03T00:00:00+08:00

装备 tags:
firefox
foss
gnu
ubuntu published: true comments: true

经常访问GNU的网站你会发现一些很神奇的东西，比如gNewSense，又比如最新的：

怎么样，够震撼啊，GNUzilla套件里的第一个发布，IceCat。IceCat是嘛？你知道Firefox吧，那拉开冰箱门，把Firefox塞进去，带上冰箱门，嗯，那就是IceCat了。当然是开玩笑了，GNU IceCat is the GNU version of the Firefox browser. Its main advantage is an ethical one: it is entirely free software.

现在已经可以在Ubuntu中使用这个病猫，哦不，冰猫了：

sudo add-apt-repository ppa:gnuzilla-team/ppa
sudo apt-get update
sudo apt-get install icecat

Patch for Fantasdic Google Source

2010-02-02T00:00:00+08:00

ANN tags:
foss
gnome
ruby published: true comments: true

I found fantasdic a great powerful dictionary tool with friendly UI and supports multiply sources. Unfortunately, this project seems to be no longer maintained. The latest version is 1.0-beta7.

The google translate source was created in 2007. As the google translate service page changed, this module doesn't work any more, so I just picked up my vim then created this patch for those still want to use it.

This patch has dependency with ruby's json module, so before you apply it, run: sudo gem install json or sudo apt-get install libjson-ruby1.8

Download the patch at: https://bugzilla.gnome.org/attachment.cgi?id=152835

Patch it (Ubuntu installation as example): cd /usr/lib/ruby/1.8/fantasdic/sources/
sudo patch google_translate.rb /home/sun/google_translate.rb.diff

Restart fantasdic, then your get it works! And this bug is tracked at: https://bugzilla.gnome.org/show_bug.cgi?id=605641

翻译po

2010-01-31T00:00:00+08:00

把戏 tags:
foss
gnome
linux published: true comments: true

翻译一个po文件。确认安装了gettext工具包。

cd到po目录，创建pot intltool-update --pot

创建相应的语言文件，例如zh_CN msginit -l zh_CN.utf8

程序会提示选择或输入邮箱，之后就会生成zh_CN.po文件，打开文件，逐条编辑msgstr即可。

手动编辑LINGUAS文件，按顺序将zh_CN添加到其中。

可以通过这个命令查看翻译的进度 msgfmt -cv zh_CN.po

对于更新pot更新的情况，可以使用命令更新po文件 intltool-update zh_CN

参考：

'Emerillon: map viewer for gnome desktop'

2010-01-30T00:00:00+08:00

装备 tags:
GIS
gnome
map
OpenStreetMap published: true comments: true

自从libchamplain / geoclue等库发布之后，gnome桌面的地理信息工具和支持发展很迅速：例如之前提到过的eye-of-gnome的地理信息插件，根据EXIF信息在地图上显示。现在gnome桌面上终于有一个专门的地图查看器了，仍然是基于libchamplain，名字叫做emerillon

仍然是使用open street maps，这两年上海的地图发展的非常不错，连最新的二号线东延都已经被标注出来了。相比之下，南京的地图就还是一片空白。

在Ubuntu上安装emerillon，可以从其网站上下载源码编译安装： http://www.novopia.com/emerillon/download.html

emerillon的几个主要依赖：

libchamplain
librest
ethos

libchamplain在ubuntu 9.10的仓库已经包含

librest也在软件仓库中，不过需要注意的是ubuntu将librest安装在pkg-config里时的名字叫做rest.pc，而emerillon查找的是rest-0.6.pc，所以需要手动建立一个软连接： sudo ln -s /usr/lib/pkgconfig/rest.pc /usr/lib/pkgconfig/rest-0.6.pc

ethos是一个Gtk的插件框架，目前还不在软件仓库中，需要从网站下载代码编译： http://git.dronelabs.com/ethos/ ethos网站上提到的PPA源中的版本偏旧，不建议使用。

实际上也可以直接添加emerillon的PPA源：
deb http://ppa.launchpad.net/mathieu-tl/emerillon/ubuntu karmic main
deb-src http://ppa.launchpad.net/mathieu-tl/emerillon/ubuntu karmic main

另外，也可以通过Ubuntu Tweak安装。

作者Blog： http://blog.pierlux.com/en/

All new SUNNG.INFO

2010-01-28T00:00:00+08:00

装备 tags:
blog
web published: true comments: true

今早短路，在godaddy上注册了我的新域名sunng.info。更换域名主要出于几方面的考虑：

新域名1年的注册费用相当于原先的一半；
众所周知的原因，域名放在国内存在一定的风险；
原先域名过长不方便记忆和交流；
.com后缀和我一穷二白地状况不符
classicning.com曾被加入stopbadware.org，至今没有从twitter的malcious数据库里移除

原先的classicning.com会在今年6月到期，如果没有意外情况我不准备续费了，届时这个使用了四年的域名就要废弃了（当时客服大嫂还在电话里娇嗔地问我为啥不续十年呢，你说为啥呢）。

麻烦大家利用这半年的时间逐步改变习惯，逐步用sunng.info了。

New composite based captcha image

2010-01-27T00:00:00+08:00

ANN tags:
captcha
java
project
Yan published: true comments: true

recaptcha的验证码新增了alpha composite的新机制取代干扰线，今天用了一些时间在YAN上也实现了这种绘图机制。

使用Java2D的AlphaComposite实现，选用的Rule为alpha 1.0的SrcOut，即通过公式

Ar = As * (1 – Ad )
Cr = Cs * (1 – Ad )
用语言描述就是叠加区域的透明度为0. 使用这种机制必须采用BufferedImage.TYPE_INT_ARGB的图像，并且输出支持alpha通道的格式。

近况0

2010-01-19T00:00:00+08:00

自话 tags: [] published: true comments: true

这是经历了又一次长时间的unavailable回来。
最近挺忙，新项目启动了，旧项目月底要上线，早先的项目deadline也要到了，还不见动静不知道什么情况，今天又被叫去说数据部门的老大又有新想法了，娘勒，四个，四个啊。
即使有四个，我发现我在twitter上还是那么神情自若，rabr自动取新消息的功能太害人了，忍不住就想点点看看，看了就想点，很影响注意力的集中。于是最近改用lynx / w3m这样的命令行浏览器上rabr。rabr做的还真是非常不错，在没有Javascript支持的情况下依然能用。诚心推荐大家一起来复古，w3m很powerful，支持vim和lynx的快捷键切换，居然还能显示图片，当时我就shock了。
YAN有了200次commit，接下来的主要工作是把它拆成多个maven module，以便未来开发的方便。尽管之前做了一些准备了，但是这个过程预计不会太轻松。最近精力有限，暂时先不全砸在上面吧。
业余的项目还要做下去，分为multimodule之后YAN的开发也就差不多了；之前写的Exaile的豆瓣Cover插件也没有后续开发的必要了，大家有什么点子欢迎分享。
上周去上图发现楼上的阅览室资源很多，我决定以后每个月至少花一天泡在图书馆。
有时候想想我真凄凉啊，哎

Which University

2010-01-10T00:00:00+08:00

自话 tags:
joke
Life
Nanjing published: true comments: true

这年头怪事真叫多。今天在珠江路地铁站，突然过来一位深度大叔，弱弱地问我这个方向是不是去火车站，我说这大叔也真不容易，牌子都不认识怎么进来的，赶紧说是的。
大叔继续问你也去火车站吗，我想这大叔估计第一次来，人生地不熟的，也说是。
这就罢了吧，您跟着我就行了。但是大叔不罢休，继续，“你是学生吗”。我本能地把手装进口袋握住钱包，说了一个我平生最凄凉的谎话，是的。以为会话到此结束的朋友你们错了，大叔继续不依不饶，问你是哪个学校的啊，我刚要如实撒谎，大叔蹦出一句which university（请相信我的听力，我的听力和大叔的口语水平还是相当的），这句没让我当场摔倒完全是多亏中午吃得多有劲。
奇妙的对话从他娘的which university开始了，大叔滔滔不绝
“英语怎么样？四级过了吗？”
“你是学什么专业的？which major？”
“What about your speaking English？口语怎么样啊？”
“你知道向日葵怎么说吗？桑福拉沃”
“月季呢？”
“肉丝你知道吧？玫瑰。加上中国，China rose就是月季”
（地铁来了，我不堪忍受，从旁边的门进去，大叔跟过来继续）
"toilet你知道吧？toilet water你猜是什么？"
这个时候终于有个座位，大叔当然不让坐下，还不忘循循善诱，“是花露水”。

好在这课也上到花露水为止。临下车摸了一下手机和钱包，嗯，这课是免费试听的，也罢也罢。原来我长得这么像是有英语培训市场价值的啊。

OAuth Step by Step

2010-01-04T00:00:00+08:00

手艺 tags:
mashup
oauth
python
web published: true comments: true

最近琢磨OAuth认证方式。OAuth的优点主要在于

用户不需要直接提供用户名密码给第三方应用，就可以让第三方应用访问受限资源；
资源提供方对第三方应用有更细粒度的控制。

在整个OAuth协议里，生成signature的base string是最容易出错的部分。它由HTTP方法名、URL编码的请求路径和请求的参数表组成。
请求的参数表是除去oauth_signature以外的所有参数，按参数名排序，并进行url转义

def to_signature_key(method, url, data):
    keys = list(data.keys())
    keys.sort()
    encoded = urllib.quote("&".join([key+"="+data[key] for key in keys]))
    return "&".join([method, urllib.quote(url, safe="~"), encoded])

有了这个通用的生成signature base string的方法，以后就可以根据OAuth协议规范按步骤进行。

首先获取Request Token。这一步通常使用资源提供方注册的API Key和API Key Secret

def request_token_params(consumer_key, consumer_secret, path, method='GET'):
    data={}
    data['oauth_consumer_key']=consumer_key
    data['oauth_signature_method']='HMAC-SHA1'
    data['oauth_timestamp']=str(int(time.time()))
    data['oauth_nonce']=''.join([str(random.randint(0,9)) for i in range(10)])
    print data

msg = to_signature_key(method, path, data)
print msg

signed = base64.b64encode(hmac.new(consumer_secret+"&", msg, hashlib.sha1).digest())
print signed
data['oauth_signature']=signed
return data

def result2dict(result_string):
d = {}
params = res.split('&')
for p in params:
d[p.split('=')[0]] = p.split('=')[1]
return d

conn = httplib.HTTPConnection("www.douban.com", 80)

params = request_token_params(consumer_key, consumer_secret, request_token_path)
conn.request('GET', request_token_path+"?"+urllib.urlencode(params))
res = conn.getresponse().read()
print res
request_token = result2dict(res) 这一步可以获得未经认证的Request Token和Request Token Secret。需要注意的细节是在计算hmac签名的时候，即使只有一个Token Secret，仍然需要加上"&"

第二步要求用户授权该Request Token，打开浏览器，将用户定向到相应的授权页面，参数为上一步获得的Request Token

第三步，用授权过的Request Token换取Access Token。这一步类似第一步，只是用于签名的token包括API Key Secret和Request Token

def access_token_params(consumer_key, consumer_secret, oauth_token, oauth_secret, path, method='GET'):
    data={}
    data['oauth_consumer_key']=consumer_key
    data['oauth_signature_method']='HMAC-SHA1'
    data['oauth_timestamp']=str(int(time.time()))
    data['oauth_nonce']=''.join([str(random.randint(0,9)) for i in range(10)])
    data['oauth_token'] = oauth_token

msg = to_signature_key(method, path, data)
print msg

signed = base64.b64encode(hmac.new(consumer_secret+"&"+oauth_secret, msg, hashlib.sha1).digest())
print signed
data['oauth_signature']=signed
return data

params = access_token_params(consumer_key, consumer_secret, request_token['oauth_token'],
request_token['oauth_token_secret'], access_token_path)
conn.request('GET', access_token_path+"?"+urllib.urlencode(params))
res = conn.getresponse().read()
print res
access_token = result2dict(res) 这一步将至少返回Access Token和Access Token Secret，是最终用于访问受限资源的Token。以豆瓣的实现为例，OAuth的相关参数应放在HTTP头里随请求进行发送。

def oauth_header(consumer_key, consumer_secret, oauth_token, oauth_secret, path, realm):
    data = access_token_params(consumer_key, consumer_secret, oauth_token, oauth_secret, path, method="POST")
    header_string = ','.join([key+'="'+data[key]+'"' for key in data.keys()])
    return 'OAuth realm="'+realm+'",'+header_string

posturl = 'http://api.douban.com/miniblog/saying'

content = """<?xml version='1.0' encoding='UTF-8'?>
<entry xmlns:ns0="http://www.w3.org/2005/Atom" xmlns:db="http://www.douban.com/xmlns/">
<content>li lei ju le han mei mei</content>
</entry>
"""

header = {}
header['Authorization'] = oauth_header(consumer_key, consumer_secret,
access_token['oauth_token'], access_token['oauth_token_secret'],
posturl, "http://api.douban.com")
header['Content-Type'] = 'application/atom+xml'
print header

conn.request('POST', posturl, content, header)
res = conn.getresponse().read()

print res

conn.close() 在这一步中，用于生成signature base string的url是要访问的受限资源地址，而签名的参数表依然是oauth相关的参数。
生成的Authorization头如下

Authorization: OAuth realm="http://api.douban.com",
    oauth_nonce="8735717688",
    oauth_timestamp="1262613619",
    oauth_consumer_key="0bc081a01168b263234184e0343a1729",
    oauth_signature_method="HMAC-SHA1",
    oauth_token="5fb836c37543ad691f28a44a5fcb083b",
    oauth_signature="jk6p5qaXVPrGQctSzpO5jjYHfDk="

用这个头就可以在一定的时间内访问所有授权范围内的受限资源。

代码是ugly了一些，不过应该相对易于理解吧。

Happy new year with Yan 0.4

2010-01-01T00:00:00+08:00

ANN tags:
hg
Yan published: true comments: true

I am glad to release the Yan 0.4 at the last night of 2009. It's an important release which witnesses the improvement on both code and the project itself. We have great changes in all modules. Packages have been rearranged and renamed to be more comprehensible. Let's dive into the changeset:

Changeset

ApiKey database derby / h2 support, still use hsql as default because it's fastest (#9)
Captcha provider classes now loaded dynamically on runtime. They are not managed by guice container any longer. (#15)
The useless cache module was completely removed (#10)
ApiKey CRUD UI has been replaced by RESTful GET/PUT/DELETE interfaces
For text-based captcha, just return the question in ticket, no need for (also impossible to) retrieve it from browser (#8)
Resource has been separated from the project file (#14 #18)
Add test to make sure the /ticket and /validate request are sent by the same application (#17)
Standardized error output: use HTTP error for client(browser), a selected error object for application (#24 #26)
/captcha/ request (invoked by client directly) now accepts configuration parameters
ApiKey is now binded to specified domain, it will check the /captcha request's referer (#27)
NEW captcha provider introduced in: Tiled Image Captcha (#12)
JMX monitoring support on EhCache (#33)
a great deal of code improvements and bug-fixes

Interface changes

The object return by /ticket has its attribute "url" renamed to "data".

Screenshots

Use visualvm or jconsole the monitor ehcache status and statistics (enabled in 0.4 by default):

The new captcha provider in ruby and python sample application (Sample Code):

Download & Deploy

Since 0.4, yan package are available for download directly. Please refer to the download page, grab both yan-0.4.war and yan-resource.tar.bz2. Just throw the war package to your servlet container. Then extract the resource package to your disk. Don't forget to set the environment variable: export YAN_RESOURCE=/path/to/your/resource

Start the servlet container in the same context, browser http://localhost:8080/yan-0.4/ to see the test page and emulate the captcha process.

Retrieve the code

Clone the mercurial repository from bitbucket.org

$ hg clone https://sunng@bitbucket.org/sunng/yan/

You will get a copy of whole code repository (because mercurial is a distributed version control system). You are on the default branch at the beginning. The default branch maintains the code of 0.4, if you want to see latest things on Yan, switch to the development branch by

$ hg update 0.5-dev

Yan 0.5 is already on the way.

Reporting Issue

Issue reporting and patch submitting are always welcomed. Check the issue tracker on bitbucket, you will find new features in 0.5

Thanks for your support and !

Uncle Wang 他去年退了休

2009-12-31T00:00:00+08:00

自话 tags:
Life published: true comments: true

好久没有用这么不着边际的标题了，其实这种做法是我的偏好。你要是觉着它顺口的话它确确实实是一句歌词，WG的这篇文章不推荐实在太可惜了。

这本来应该是一篇2009年的总结来着，早上上班的路上我一直在过滤哪些要说哪些值得说哪些能说。不用我说，认识我的人都知道我今年可说的事情太多了。鉴于太多太碎，就不一件一件地说了。另一方面，也正好是过去的已经远去，开始的才刚刚开始，不是作总结的时候。这个年关是客观上的一个坎，于个人的生活和进度，他还不是什么milestone，远不及9号要交房租的重要。

紧接着是老生常谈感叹时光的话，Lightory在twitter上说的这句我很有共鸣——“马上 2010 年了，总觉得这个数字没现实感，是只属于科幻小说里的年代。” 分明是快要到了何勇唱的“宇宙飞船没找到天堂”的时候了。不过前几天鲜果联播上看到有人发的一句话很好地解释了日子越过越快的原因：“对于一个10岁的人来说，每长一岁，意味着他复制新增了自己十分之一；而对一个30岁的人来说，每长一岁，意味着他只复制新增了自己过往经历的三十分之一”。他明白了，你呢？

说总结就要定计划（说这句话的时候我猛然想起这周项目周报又忘填了），不过Tim大牛半开玩笑地说，计划定得越多，洋相出得越大。需求变化那么快，闹不好项目中途都被cut了，所以细节上还是短周期迭代。大局上，还是给自己一直以来的要求，不要随波逐流，注意自己的言行，努力学习技术，认真工作积累经验。

今天晚上找一找Yan的bug，没有什么问题的话，0.4的tag就可以打了。

Setting Environment Variables for NetBeans, Continued

2009-12-30T00:00:00+08:00

把戏 tags:
java
netbeans published: true comments: true

This is a feature introduced in NetBeans 6.7.

Set environment variables for specified life-cycle phases: Open project properties dialog, select action category. Select actions which depend on the variable, click add button to add such an environment variable.

However, this method doesn't work with Glassfish spawned the IDE. If you want use environment variables in the server spawned by NetBeans IDE, you still have to export the variables in netbeans.conf

我是一盏小灯

2009-12-30T00:00:00+08:00

留影 tags:
Life published: true comments: true

长期苦于桌上没有照明设备，上周末买了一盏灯。之所以选择Esc版的，因为咱是VI用户。

Setting Environment Variables for Glassfish v3

2009-12-29T00:00:00+08:00

把戏 tags:
Glassfish
java published: true comments: true

After you test and build your application in NetBeans, you deploy it to Glassfish, but the environment variables are invalid again. In such situation, you should set these variable in glassfish configuration file which is supposed to located at:

$GLASSFISH_HOME/glassfish/config/asenv.conf

Append your variables to the file, and restart the server. It works.

Setting Environment Variables for NetBeans

2009-12-28T00:00:00+08:00

把戏 tags:
java
netbeans published: true comments: true

If you use NetBeans IDE to build an application which reads environment variable, you will have to do these settings in your IDE. There is no GUI to set such variables in NetBeans while Eclipse provides you a "Run Configuration Dialog". So just add the declaration in your netbeans.conf.

It is highly recommended to copy the configuration file to your home directory before you edit it.

cp -r /usr/local/netbeans-6.8/etc ~/.netbeans/6.8/

And append this line:

export YAN_RESOURCE=/home/sun/work/yan-resource

Then restart your IDE, it works. You can test/build/run your application with the environment variable $YAN_RESOURCE inside NetBeans IDE,

Hush!

2009-12-26T00:00:00+08:00

ANN
留影 tags:
captcha
Yan published: true comments: true

今天新增的拼图验证码的可配置性非常强，你只要替换资源文件，在配置文件中修改提问的模版，指定图片的大小、行数、列数，就可以创造一套全新的验证码。他的简单程度实在超出你的想象。

Web 2.0 Icon Captcha

2009-12-26T00:00:00+08:00

ANN tags:
captcha
project
Yan published: true comments: true

Yan 新增了一种验证码类型，Web 2.0 图标验证码。用户根据图标的内容和提示的信息，提交验证码。验证码图片如下：

提示文字： Please figure out twitter icons.

用户输入Twitter图标左上角上的字母，即可进行验证。在Yan的测试界面上使用如图：

Web2.0 Icon实际上是Yan中新增的拼图验证码的一个实例，利用拼图验证码可以生成相似的更有创意的验证码。在我的开发环境中生成这样一张图片大约需要80ms。

项目中使用的图标均从互联网收集，遵循CC等协议或经作者授权，详情参考项目中README文件。

祝DAF同学生日快乐。

Load Test on Yan

2009-12-25T00:00:00+08:00

ANN tags:
captcha
project
Yan published: true comments: true

给Yan的验证码图片服务做了压力测试。测试环境：

Intel Xeon 3.00GHz 4核
内存2G
Red Hat Enterprise Linux AS release 4 (Nahant Update 7)
Jetty 6 / JDK 6

Jetty采用默认配置 maxThreads 200。

测试工具：ab (Apache Bench)

分别用10/50/100/200/500/1000并发用户，每个用户请求100次进行测试。结果如下：

	10	50	100	200	500	1000
Requests per second	487.11	472.09	442.74	421.63	408.11	326.12
Time per request	2.05	2.12	2.26	2.37	2.45	3.07
Transfer rate	987.91	955.54	896.85	854.31	826.25	660.45

目前对每个请求独立使用JDK的awt实时绘图，吞吐量可以达到400以上，如果稍稍优化一下Jetty的配置，性能还有一定的提升空间。这个结果还是不错的。

Be with you

2009-12-24T00:00:00+08:00

自话 tags:
Life published: true comments: true

今天下班骑车到高斯路时，突然路边奔出一只小狗跟着我的自行车一起跑。小狗挺干净，出现在这种工业区人不多的路上倒是挺让人诧异。我开始放慢速度，让它跟着我不至于太辛苦。可是它还足够顽皮，一会跑在左边，一会在右边，好像是知道今天过节一样，欢实得很。不过我对路中间不时经过的汽车有所顾虑，有意得向路边靠，打算把它挤到路涯边，这样安全一些。

大约是嫌我速度太慢了，一会后面又上来一个骑自行车的人，小狗顿时起了劲，蹦达蹦达地追了上去。那速度大概是它向往的吧，我在后面看着，直到他们一前一后，过了马路，我从另一个方向回家了。

Java嵌入式数据库的速度对比

2009-12-24T00:00:00+08:00

手艺 tags:
db
java published: true comments: true

Yan的APIKEY一直是用嵌入式的数据库存储的，最初使用的是hsqldb，最近又添加了H2和Derby的支持，基本上囊括了所有开源的Java嵌入式数据库。实现多了自然需要挑选、比较一下。

数据库特性的比较，H2的网站上有很好的Matrix，一目了然
http://www.h2database.com/html/features.html#comparison

关于速度的比较，今天做了一个简单的测试。

分别从derby / H2 / hsqldb中取出10 、100、1000条数据，循环100000次，比较耗时，如下：

三者的速度差距非常明显，hsqldb远快于其他两个。

而在10、100、1000条记录的索引上查询，并取出指定记录呢，同样是100000次，如下：

再索引上查询，速度受记录数量的影响非常微弱了。但是hsqldb还是远快于其他二者，有趣的是derby的速度要略微快于H2.

根据这样的结果，在Yan的应用中，hsqldb还是最理想的实现。

那年榕树下

2009-12-23T00:00:00+08:00

当时 tags:
internet
snda published: true comments: true

有的朋友看到这标题，肯定感叹，哎呀妈呀，这哥们也堕落了，开始写软文了。好吧，就算是软文吧，我决定东拉西扯地码一些字，不同于上周五的工作指标，这次完全是自觉自愿的。

榕树下，25号，重新上线。

我接触互联网稍微晚了一些，2002年冬天周五的一个下午（不出意外是2002年12月20号），家里终于接上了网线。我打开的第一个网站是搜狐，第二个是华军，第三个不记得了。那时已经听说了榕树下，途径大约是每季度一期的贝塔斯曼广告和天天都有的广播小说节目。

贝塔斯曼当时似乎和榕树下还是合作关系，后来收购了榕树下，这也是榕树的不幸。每一期的目录都会有热门的网络小说，那时还都是以榕树下的为主。我记得曾经买过陆幼青的书，红极一时的。

广播每晚十点左右多会有读小说的节目，安妮宝贝的文字常常是DJ们的偏好。到现在具体的内容早就不记得，但是暖暖的感觉还是值得常常温故。

这是我对互联网最初的认识，虽然我那时也不看网络小说，但在印象里，网络小说是互联网生活很重要的一部分。现在要是问我知名的作者我可能几乎都说不上来，但是看到今天网站上列出来那些名字，诸如李寻欢、安妮、宁财神、慕容雪村这样的，还是有一分陌生的熟悉。

有一天，daf同学说她看小说，我说我只知道榕树下。于是顺手搜到已经忘记了的网址，漫长的载入过程还是以一个空白的窗口告终。这些年这种场面也见得多了，没有什么大惊小怪的：大概是太久远了吧。

今天上午看路金波的博客，突然发现榕树下被收购的新闻，转而打开网站，看到了这个让人想流眼泪的页面和这个让人想擦眼泪的留言板。人们对于榕树下的情感，绝不是现在充斥着肾上腺素的起点之流可以相比的。我说这是我加入以来公司做得最好的一件事情，也希望从此榕树下对大家不再只是一些回忆而已。

那年榕树下
词:叶风曲:马条演唱:马条
那年榕树下我们肩头披着细碎阳光
总会有个枝头将青春安放
那年榕树下我们亲手种下快乐忧伤
可以要风穿过发梢的那一种飞扬
榕树下那年萤火虫一样飞舞盘旋
每道光的背后是怎样的世界
榕树下那年谁其实都在谁的身边
闭上眼的云端却是秋千
......

那年榕树下我们肩头披着细碎阳光
总会有个枝头将青春安放
那年榕树下我们亲手种下快乐忧伤
可以要风穿过发梢的那一种飞扬
榕树下那年萤火虫一样飞舞盘旋
每道光的背后是怎样的世界
榕树下那年谁其实都在谁的身边
闭上眼的云端却是秋千
......
......
榕树下那年萤火虫一样飞舞盘旋
每道光的背后是怎样的世界
榕树下那年谁其实都在谁的身边
闭上眼的云端却是秋千
......
也许只字片语一个不经意的标点都能送给曾经些许温暖
......
......

上海图书馆

2009-12-22T00:00:00+08:00

当时 tags:
Books
Life
Shanghai published: true comments: true

发现南图的资源很不错之后就想着到了上海以后要办一张借书证，眼看住这半年了，险些忘了这件事。上上周六去办证不料比截止时间晚了三分钟，白白跑了一趟。上周六正好约samson去，终于一切顺利。

办证的系统很强大，我第一次见识了二代身份证的高级功能。读卡器可以直接读取身份证里的相应信息，简化填申请表的过程。普通外借功能只需要一年100元押金即可，没有额外的收费。一次可以借5本书，还书的期限是4周。

比较遗憾的是发现在衡山路附近的上图的外借馆非常小，可选的书相对也少。计算机类的书架大约有两个，这个数量和南图是差不多的，但是长度远远没有南图的长，就是说比起南图的外借馆这个规模实在是很可怜。除去一些初级的、质量较低的书，想要刨出理想的计算机图书还是很难的，考虑到这图书馆serve着如此大的一个城市，这也是很正常的，恐怕真要看准时机才能找到目标。

幸运的是这次借到了一直没舍得买的《Unix编程艺术》，当时看到它躺在书架上时几乎是直接抢过来抓在手里的，生怕被别人捷足先登。另外找到一本Jolt获奖的《Code Quality》的译本，也是没翻先拿在手上再说。还有一本《空间数据库》是早先想买但是各大网站纷纷缺货的书，现在拿到有点物是人非的感觉。而另外一本CSS的书是拿回来用来放松的。

临走的时候还拿了一本IBM郭士纳的自传，想来咱也曾经蓝过｜｜｜

有意思的是借书的时候还被搭讪要名片。我就想起年初在南图借书的时候也有意无意地看周围的人手上拿的书，借此推断一个人的技术和背景。

从上图坐1号线一站到常熟路换新开的7号线回张江还是非常方便的，可以避开人多的人民广场站。

Using Yan in Ruby Web Application

2009-12-21T00:00:00+08:00

把戏 tags:
captcha
ruby
web
Yan published: true comments: true

I will show you the usage of Yan captcha service. In this tutorial, it's based on a simple ruby web application of the Sinatra web framework.

Before we start to use the service, it is necesary to get Yan running. Download the code from the project page, then build and run it with maven: mvn jetty:run

To enable the application to use Yan, we have to register our application to get an API Key. If you use Yan 0.3, there is a secret registration page at http://localhost:8080/yan/reg.jsp The page is protected by HTTP Basic Authentication, the username and password are store in 'realm.properties' which is considered to locate in the root directory. Open the file you can see the plain text username and password. If you are running the latest development version, there is no long any UI for API Key creation, but restful interface. This won't be hard to you, pickup your tools such as curl or poster (a firefox extension) to send a HTTP request. Take curl as example, do it like this: curl -X PUT "http://localhost:8080/yan/apikey/" -d "SinatraTestApp" -u "username:password"

If it works, you will get a line of json: {"apikey":"b251b0dc2eed31cac38555b61d4fa6a453923bfd","appName":"SinatraTestApp"} Save this apikey.

Sinatra is generally considered to be the world's lightest and smallest web framework. And our application is rather simple. Just check the code:

require "rubygems"
require "sinatra"
require "net/http"
require "yaml"

apikey='b251b0dc2eed31cac38555b61d4fa6a453923bfd'

get '/' do
conn = Net::HTTP.new('localhost', 8080)
q = "ip=#{@env['REMOTE_ADDR']}&apikey=#{apikey}&alt=yaml&mode=0"
resp, data = conn.get("/yan/ticket?#{q}")
@ticket = YAML::load(data)
haml :sinatra_captcha
end

post '/' do
conn = Net::HTTP.new('localhost', 8080)
q = "ip=#{@env['REMOTE_ADDR']}&apikey=#{apikey}&key=#{params['key']}&code=#{params['captcha']}"
resp, data = conn.get("/yan/validate?#{q}")
data
end

use_in_file_templates!
__END__

@@ sinatra_captcha
%html
%head
%title Yan Captcha on Sinatra
%body
%form{:action=>"/", :method=>"post"}
%p
Username:
%input{:name=>"username", :type=>"text"}
%p
Password:
%input{:name=>"password", :type=>"password"}
%p
Captcha:
%img{:src=>@ticket['url']}
%br
%input{:name=>"captcha", :type=>"text"}
%input{:name=>"key", :type=>"hidden", :value=>@ticket['key']}
%input{:type=>'submit'} There are two parts of this application: ruby code and haml. I just use in-file-template for convenience. We define a get handler and a post handler on the path '/'. The get handler will request a ticket from Yan which contains captcha image url and ticket key. The post handler will extract user input and submit the Yan's validator and return user the result. And the HAML code is template for page rendering after GET request.

Maybe you need to install sinatra and some dependency: sudo gem install sinatra haml

Run the code with a build-in WEBrick ruby sinatra-yan.rb

Browse to the default url, test it:

For another similar tutorial using python, check Yan's wiki page: http://bitbucket.org/sunng/yan/wiki/SampleCode

Thank you for your support. btw, today is my dear girl friend's birthday, I just wish her happy everyday.

Yan 0.3

2009-12-20T00:00:00+08:00

ANN tags:
captcha
java
Yan published: true comments: true

经过一周的重构和开发，我的开源项目，验证码服务，打上了0.3的tag，算是一个release吧。

This release has been focusing on support for different types captcha generators. Now Yan is not only able to provide image/jpeg captcha, but also text/plain and any others.

Changeset:

Internal API Changes:
- Cache API improved: new CacheItemIdentity and CacheIdStrategy were introduced in to provide convertion between cache item name and captcha info model;
- Captcha Generator API improved: Add CaptchaGeneratorInfo to define some meta information on captcha providers (such as mode code, captcha type);
- Captcha Data Model(CaptchaInfo) and Ticket Data Model improved: configuration parameters are separated from required parameters and has been more generic for different types of generator algorisms;
External API Changes:
- Rename /image url to /captcha for better literal accuracy;
- /ticket now supports multiple types of applicable format (plain text / json / xml / yaml);
- /ticket now returns the mime type of the captcha generator;
- Add a Simple-Plain-Text generator as a sample for those whose mime type is other than image/jpeg;
Other changes:
- I created a new branch for next version of Yan. So the code in repository now has multiply branches, you can use 'hg update branch-name' to switch between difference branches;
- The sample test page for the service (index.jsp) has been adopt to the new protocol and totally restyled.

Again, grab code from the development repository: hg clone https://sunng@bitbucket.org/sunng/yan/

If you don't use mercurial/hg, you can also download the tagged version from the page: http://bitbucket.org/sunng/yan/downloads/

Just use maven to resolve dependency, build and run the project: mvn jetty:run

Feel free to report issue :)

A button by GIMP

2009-12-09T00:00:00+08:00

把戏 tags:
foss
gimp published: true comments: true

Inspired by a "Call to action" tutorial of Photoshop, I'd like to do the same thing with free and open source software, GIMP.

Before we start the journey, it's better to get well prepared. Take a look at the powerful plugin "Layer Effects". It provides you complete functionality as "Layer Style" in Photoshop does which is of critical importance in such kind of image manipulation. Follow the installation guide and I won't spend many words about this step.

Open your gimp, create a new canvas with custom size (which makes you feel comfortable)

New a layer, use selection tool to create a rounded rectangle selection area.

Fill the selection with gradient color.

Resize the canvas. Glow the selection with 3px by menu command "selection->glow". The crop the canvas by selection using "image->crop by selection".

Then we apply some layer effects to beauty the button.

layer effects: inner glow, white 75% opacity, size 5
layer effects: stroke 1px

Place some text on the button such as "Sign Up". Bold sans font(DejaVu sans or Helvetica bold) is recommended here.

Use gradient overlay effect on the text. As the layer effects plugin doesn't support gradient overlay on text, we have to do it in a different way. First, create a new layer. Then convert text to selection with context menu command. Gradient fill the selection and hide the original text layer at last. Now we got:

Don't stop here. Add layer effects on the new layer:

inner shadow, black, size 2px, distance 2px, angle 90
drop shadow, light, size 2px, distance 2px, angle 90

You can tune the color schema by yourself along the process :)

Tikhonov

2009-12-06T00:00:00+08:00

当时 tags:
movie
soviet published: true comments: true

2009年12月4日，苏联功勋演员吉洪诺夫去逝，享年81岁。

吉洪诺夫是《春天的十七个瞬间》里施季里茨的扮演者，春天的十七个瞬间是一部70年代的间谍片，或者说电视剧也行，它有12集。吉洪诺夫扮演的是一个非常牛逼的角色，具体有多牛逼，我也不用自己孱弱的表达能力去描述了，如果有一天大家有机会有耐心看完，多少也能够了解。

第一次看《春天的十七个瞬间》是在缤纷多彩的高三暑假，2005年夏天。中央八套每晚十点左右，一天两集，我印象中当时并没有播完，尤其是到了最后变成了缩减版，结尾都没有播全。那是为数不多的我和我妈都能感兴趣的事物，因为播的时间比较晚，通常是第二天我妈来向我了解剧情。现在想起来，这是一段非常值得回忆的时光。

直到现在我还是很容易被老电影里的英雄人物吸引、单纯地敬仰。施季里茨送走普列什聂耳回柏林的路上，在车里睡了十五分钟。旁白大约说道，多年紧张的特工工作使他睡眠的时间可以自己掌握。这个情节印象非常深刻，以至于不断地想起来不断地试图模仿。

那时还没有视频网站，为了能够看全，后来还买了DVD，是我仅有的一套DVD。从头到尾看过三四遍，还在宿舍里和同学一起看过。情节挺慢，能静下来一点一点享受完的机会不多。再，看完这么一部十二集的长片，时间成本上实在不小。不过这不影响我印象深刻，不影响每天上班路上哼电影里的插曲，不影响一个形象留给人的东西。

其实能看到的吉洪诺夫演的电影不多，《春天》和《战争与和平》是其中最有名的，后者可惜我还没有看过。到了苏联解体以后，吉洪诺夫还在米亥科夫的《烈日灼人》里扮演了一个角色。这部电影我看过，但是吉洪诺夫的角色是今天上午才知道，看电影的时候完全没有发觉，因为像“施季里茨也会变老”这样的事实实在是很容易被忽略。

想到这里，我大概不用再写了，因为对于我这样的观众来说，其实吉洪诺夫还有施季里茨们一直都在我们身边。即使走了，也走不远。所以我把标题里的“别了”删掉，祝他们一切都好。

Adding Ubuntu-GIS repository

2009-11-29T00:00:00+08:00

把戏 tags:
GIS
ubuntu published: true comments: true

在Ubuntu上安装GIS软件，可以添加这个PPA源： deb http://ppa.launchpad.net/ubuntugis/ubuntugis-unstable/ubuntu karmic main

导入GPG KEY gpg --keyserver subkeys.pgp.net --recv 089EBE08314DF160
gpg --export --armor 089EBE08314DF160 | sudo apt-key add -

这个源中目前包含了最新版本的GIS软件：

gdal 1.6
grass
qgis

在RHEL4上搭建Python/Lighttpd/FastCGI环境

2009-11-27T00:00:00+08:00

手艺 tags:
fastcgi
lighttpd
linux
python published: true comments: true

在一台赤裸裸的RHEL4上部署web.py程序，一切从几乎是从零开始。以下操作均以root用户操作。

1. 安装MySQL数据库

下载安装MySQL wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.41-linux-i686-glibc23.tar.gz/from/http://mirror.services.wisc.edu/mysql/ 解压，按照INSTALL文件说明进行安装，不多赘述

2. 安装Python环境

下载Python源码

wget http://www.python.org/ftp/python/2.6.4/Python-2.6.4.tar.bz2 解压，编译安装，不需要特殊操作。

下载Easy_install

wget http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg 安装 sh setuptools-0.6c11-py2.6.egg

安装相关Packages

easy_install DBUtils
easy_install flup
easy_install web.py

安装mysql-python

mysql-python包不能用easy_install安装，手动下载 wget http://downloads.sourceforge.net/project/mysql-python/mysql-python-test/1.2.3b1/MySQL-python-1.2.3b1.tar.gz?use_mirror=softlayer 加压，编辑site.cfg
指定mysql_config的路径，注意是新安装的mysql路径 mysql_config=/usr/local/mysql/bin/mysql_config 编译、安装 python setup.py build
python setup.py install 声明libmysqlclient路径 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mysql/lib

3. 安装服务器环境

下载安装fastcgi头文件

wget http://www.fastcgi.com/dist/fcgi.tar.gz 解压，默认编译安装

下载安装PCRE

wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.00.tar.bz2 解压，默认编译安装

下载lighttpd

wget http://download.lighttpd.net/lighttpd/releases-1.4.x/lighttpd-1.4.25.tar.bz2 configure时指定--prefix=/usr/local/lighttpd 编译，安装

4. 配置

lighttpd fastcgi运行web.py程序请参考 http://www.classicning.com/blog/2009/11/lighttpd%e9%80%9a%e8%bf%87fastcgi%e8%bf%90%e8%a1%8cweb-py%e7%a8%8b%e5%ba%8f/

非常重要的几点注意：

通过fastcgi运行的python脚本必须具有可执行权限， chmod u+x web/main.py；
重启fastcgi程序需要删除/tmp/fastcgi.socket*

任何Python程序出错、权限错误都会导致lighttpd这样的报错： 2009-11-27 18:12:02: (mod_fastcgi.c.1108) child exited with status 13 /home/admin/web/main.py
2009-11-27 18:12:02: (mod_fastcgi.c.1111) If you're trying to run your app as a FastCGI backend, make sure you're using the FastCGI-enabled version.
If this is PHP on Gentoo, add 'fastcgi' to the USE flags.
2009-11-27 18:12:02: (mod_fastcgi.c.1399) [ERROR]: spawning fcgi failed.
2009-11-27 18:12:02: (server.c.931) Configuration of plugins failed. Going down.

报错会提示fastcgi未正确安装，而实际上仅仅是程序错误或权限问题而已。

Nginx HTTP Push

2009-11-26T00:00:00+08:00

手艺 tags:
http
nginx
web published: true comments: true

前些天看到一个Nginx的Module，用来是实现Comet，今天简单试了一下功能。作者名叫Leo Ponomarev，项目地址：http://pushmodule.slact.net/

安装

Module需要在编译时加入nginx，同时下载nginx和nginx-push-module，在nginx configure时增加一个参数： ./configure --add-module=path/to/nginx_http_push_module

使用

编写一个非常基本的nginx配置文件：

events{
    worker_connections 1024;
}
http{
    server {
        listen  80;
        server_name localhost;

location /publish {
set $push_channel_id $arg_id;

push_publisher;

push_store_messages on;
push_message_timeout 2h;
push_max_message_buffer_length 10;
push_min_message_recipients 0;
}

location /subscribe{
push_subscriber;

push_subscriber_concurrency broadcast;
set $push_channel_id $arg_id;
default_type text/plain;
}

}
} 一个简单的Server定义了两个路径分别用于publish和subscribe。所有相关的配置项可以在项目主页找到解释，不作赘述。

启动nginx nginx -c /home/sun/nginxpush/nginx-push.conf

打开一个终端访问subscribe curl -X GET http://localhost/subscribe?id=0

可以看到HTTP请求被阻塞

打开另一个终端访问publish curl -X POST http://localhost/publish?id=0 -d "Hello World"

此时subscriber收到字符串"Hello World" ，完成HTTP请求。

subscriber可以通过设置HTTP头来对消息进行过滤，如 curl -X POST http://localhost/publish?id=0 -d "Hello World" curl -X GET http://localhost/subscribe?id=0 --verbose

* About to connect() to localhost port 80 (#0)

* Trying 127.0.0.1... connected

* Connected to localhost (127.0.0.1) port 80 (#0)

> GET /subscribe?id=0 HTTP/1.1

> User-Agent: curl/7.19.7 (i686-pc-linux-gnu) libcurl/7.19.7 OpenSSL/0.9.8l zlib/1.2.3.3

> Host: localhost

> Accept: */*

< HTTP/1.1 200 OK

< Server: nginx/0.8.28

< Date: Thu, 26 Nov 2009 09:45:25 GMT

< Content-Type: application/x-www-form-urlencoded

< Content-Length: 10

< Last-Modified: Thu, 26 Nov 2009 09:44:59 GMT

< Connection: keep-alive

< Etag: 0

< Vary: If-None-Match, If-Modified-Since

* Connection #0 to host localhost left intact

* Closing connection #0

HelloWorld

从响应的头部可以看到Last-Modified: Thu, 26 Nov 2009 09:44:59 GMT的时间是上一次publish的时间，并且通过Vary字段提示了两个选项

If-None-Match
If-Modified-Since

RFC中对Vary头是这样解释的：

The Vary field value indicates the set of request-header fields that fully determines, while the response is fresh, whether a cache is permitted to use the response to reply to a subsequent request without revalidation.

即可以通过发送If-Modified-Since来获取指定时间之后的数据

curl -X GET -H "If-Modified-Since: Thu, 26 Nov 2009 09:44:50 GMT" http://localhost/subscribe?id=0 --verbose

这时subscribe会重新被阻塞而不是接收上次publish的数据，充分利用了HTTP的语义。

这样用push module来做Web-IM、聊天室的思路就非常清晰了：每个浏览器保持一个subscriber连接，在接收到消息后连接关闭。把消息打印出来，并根据消息响应的头部Last-Modified请求重新subscribe。

这一切没有想象的那么糟

2009-11-23T00:00:00+08:00

当时 tags: [] published: true comments: true

如果还不算太晚的话，大家抬头看看木星拱月吧，一张笑脸少了一只眼睛。今年这木星和月亮已经腻味了半年了。我倒是清楚记得去年冬天这场面也出现过，那时依稀是火星跟金星，没今天这亮但总归比今天齐全。当然不能太强求完整不是。

我们班刚工作的同学除了在张江的两位都回去考研了，顺利的话60%的大家又要团聚了。我想经历过这半年的同学回去以后肯定有更深刻的体会，我们这个专业找工作阻力很多很大，有的是没办法的事情。现在我又是在旁观者的角度看别人了，冷暖自知，自己的状况，也只有大家自己心里有数。

话说，好久没有码字了，下班一路上想了不少事情，回来写起来却非常吃力，表达能力进一步退化，恶性循环。

又，发现冬天听广播很有感觉，最早听广播还是某个冬天晚上六点半左右电视坏了寻找的替代，一晃今年正好是第十年。至于为什么时间记得这么清楚，呵，因为当时的节目到现在印象还很深。话说现在很多人肯定不能想象，我还有过打热线电话中奖的经历，不过中的什么门票到最后也没用着。那会南京电台还在著名的延龄巷50号，这个难找的地方着实花了我很长时间去领奖。

再，这个月公司也十周年，不过到现在都没看出有什么特别的动静，也没什么可透露的，估计是比不了马云家的大场面的。

Exaile-DoubanCover 0.0.2

2009-11-22T00:00:00+08:00

ANN tags:
Douban
exaile
foss
glade
python published: true comments: true

The Exaile plugin "Douban Covers" has been upgraded to 0.0.2. Now there is a new preference pane inside exaile preference dialog. This update provides you an optional choice to specify your own apikey when access douban.com open api. With an apikey, your request frequency will be raised to 40 times per minute.

Again, you can get the plugin from: http://bitbucket.org/sunng/exailedoubancovers/downloads/

Grab source with mercurial: hg close http://bitbucket.org/sunng/exailedoubancovers/

Also, exaile-cn has its first 0.3.0-compatible version released early today. As a part of Exaile-cn, Exaile-Doubancovers 0.0.1 has been packaged into the public release for the first time. Find the project at: http://code.google.com/p/exaile-cn/

Groovy http-builder tips

2009-11-20T00:00:00+08:00

把戏 tags:
groovy
java published: true comments: true

最近用Groovy的HttpBuilder模块开发RESTful服务的客户端，遇到不少问题，浪费不少时间

网上的例子都是从Grape开始的，但是按照例子上运行，无论是通过grape install还是在代码里@Grab都没有办法把http builder加到classpath里，甚至依赖关系已经下载到~/.groovy/grapes里了，但是还是在import的时候报错。用Grails的时候也是一样，如果通过ivy定义依赖，通过ant下载到lib目录中，在grails shell里还是没有办法引用。不理解了，难道还需要手动再指定path吗。最后用grails的rest插件（grails install-plugin rest）总算是下载到了path中了。

第二是http builder的报错太智能了，它会把服务器端50x的报错输出在客户端。在查看错误的时候一定要分清楚。

第三是net.sf.json-lib这个库在转json的时候有一点问题，比如这样的js对象 {"result":"success"}

会因为key上有引号而无法解析，必须是这样的格式： {result: "success"}

至于那种是正确的json我也没有兴趣了解了，只是非常遗憾的是couchdb返回的都是前一种形式。

当然了，瑕不掩瑜，http builder还是提供了非常方便的封装，比直接用HttpURLConnection或是HttpClient更加Groovy

听豆瓣电台的最佳姿势

2009-11-15T00:00:00+08:00

装备 tags:
Douban
firefox
foss published: true comments: true

豆瓣电台，如果你是豆瓣用户我不多说了；如果不是豆瓣用户，嗯，算了，您换台吧。

总算找到Prism的用处了。如果你在用豆瓣电台，并且你使用Firefox，那么只要安装Prism，就可以把豆瓣电台变成一个任意大小的窗口，和你的多tab的浏览器分离。如果非常巧合你是一位少数派的Windows用户，嗯，Prism在Windows上还可以最小化到系统栏。

安装Prism扩展，嗯，最好确定你的Firefox是最新的（这个下雨的晚上最新的是3.5.5），当然也别新到3.6去。OK没有问题的话，就猛击下面这个链接： https://addons.mozilla.org/en-US/firefox/addon/6665

注册都不需要了，直接点安装，然后等着重开Firefox就行了。安装完成，可以看到Tools菜单下面多了一个"Convert Website to application..." 这就是Prism，点开设置如下参数：

Windows用户的选项会多一些，记得勾上那个show in the notification area（如果是这个名字的话），确定即可。

Windows用户（注意升级到3.5.5的Firefox）这时直接点桌面上的图标就可以了。由于cookie不能共享，你需要重登录一下，有必要的话最好选上“记住我”。等豆瓣电台的flash播放器出现的时候，把窗口拖到合适的大小，Prism会记住每次正常关闭时的窗口大小，下次打开就那么大。然后你把它最小化，于是就在右下角了（不好意思，至今我都不知道那个区域到底中文名叫什么，直译是提示区，但是从来没听人用普通话这么说过）。

Linux的用户稍微麻烦一些，第一次执行桌面生成的文件时会需要confirm，mark as trusted即可。因为和你的Firefox不共享数据，所以首次执行Prism程序会创建一套新的Firefox profile，然后检查插件更新，显示欢迎等等。没关系，关掉它，重新再执行一次，就会看到正常的登录框了，其他和Windows差不多。

但是Linux上的Prism还没有提供最小化到右上角(GNOME)或者右下角(KDE)或者其他什么角里的功能，怎么办？咱们有Window Manager，我是菜鸟，我刚会用Compiz，开启Scale Window吧，然后可以把窗口按比例缩小，所到不影响桌面工作，设不设置Always on top就看自己的想法了。

好的，就罗嗦到这里。

Use pipe in subprocess

2009-11-12T00:00:00+08:00

把戏 tags:
linux
python published: true comments: true

问题：

您要通过python的subprocess模块执行一些命令，要在程序中获得命令的标准输出，此外，命令中还有管道操作。

解决：

以这个命令为例： cat /home/admin/deploy/log/2009-11-11.log ｜grep example.com ｜wc -l

import subprocess

cmd1 = 'cat /home/admin/deploy/log/2009-11-11.log'
cmd2 = 'grep example.com'
cmd3 = 'wc -l'

pipe1 = subprocess.Popen(cmd1.split(), stdout=subprocess.PIPE)
pipe2 = subprocess.Popen(cmd2.split(), stdin=pipe1, stdout=subprocess.PIPE)
pipe3 = subprocess.Popen(cmd3.split(), stdin=pipe2, stdout=subprocess.PIPE)

result = pipe3.communicate()[0]

Come back to see you

2009-11-10T00:00:00+08:00

自话 tags: [] published: true comments: true

在彻查病毒之前这个网站的可访问性已经差到一定程度为此我甚至加了cron任务每天定时两次恢复文件但是怎奈病毒运行时间无常最后难免心力交瘁。

现在问题基本解决在可预见的将来网站的可访问性暂时不会再有问题了大家也不用担心打开本人网站的时候被执行广告代码或者重定向到什么世外桃源去了。

在清理病毒期间正好在linuxtoy上发了一篇文章可惜因为清理病毒没有赚到点击量和知名度了。

DoubanCovers has been merged into Exaile-cn

2009-11-10T00:00:00+08:00

ANN tags:
exaile
foss published: true comments: true

既然是exaile-cn，就不扯蹩脚的英语了。

前天和Exaile-cn的作者进行了一些沟通，现在DoubanCovers插件已经合并到Exaile-CN项目里了。Exaile-CN为Exaile提供符合中文用户习惯的一系列插件，包括歌词插件、迷你模式等。

As exaile-cn has not been adapted to exaile 0.3, the plugin will not be packaged into public release at once. if you use svn, you can checkout the plugin from branch: svn checkout http://exaile-cn.googlecode.com/svn/branches/0.3/

For a ready to use package, download from here as mentioned before: http://bitbucket.org/sunng/exailedoubancovers/downloads/

'Exaile cover plugin: Douban Covers'

2009-11-05T00:00:00+08:00

装备 tags:
Douban
exaile
foss
python published: true comments: true

I have created a plugin for exaile which fetches album cover from douban.com

You can download the plugin archive from: http://bitbucket.org/sunng/exailedoubancovers/downloads/

To install it, open exaile, click menu edit >> preference >> plugins, hit button "install plugin file", select "doubancovers.tgz"(if you cannot find the file, just change filter to "all files")

In some cases, the plugin could not be shown in the list at once, you can close the preference dialog and open it again, then active it.

To get album art, right click the album art icon, select "fetch cover" and wait for right cover downloaded.

The plugin is open sourced under GPL v2, you can grab the code from bitbucket using mercurial: hg clone http://bitbucket.org/sunng/exailedoubancovers/

Some screenshots for you:

Lighttpd通过FastCGI运行web.py程序

2009-11-02T00:00:00+08:00

手艺 tags:
fastcgi
lighttpd
python
web.py published: true comments: true

web.py是个很小的python框架，特点就是小，连session都没有实现人家就发布了。前几天KungfuRails大会上他们吹牛说Sinatra可以写出世界上最小的Webapp，但是有web.py的化，那个最小至少要加上个“之一”。

Web.py在Lighttpd上通过fastcgi运行的配置，可以在web.py的网站上找到文档： http://webpy.org/cookbook/fastcgi-lighttpd

实际我用的时候把静态的index.html用作首页，稍改动一下：

server.document-root = "/home/sun/projects/sdostatweb"

server.modules += ( "mod_fastcgi" )
server.modules += ( "mod_rewrite" )

server.port = 4000

mimetype.assign = (
".html" => "text/html"
)

index-file.names = ( "index.html" )

fastcgi.server = ( "/sdostatweb.py" =>
(( "socket" => "/tmp/fastcgi.socket",
"bin-path" => "/home/sun/projects/sdostatweb/sdostatweb.py",
"max-procs" => 5,
"bin-environment" => (
"REAL_SCRIPT_NAME" => ""
),
"check-local" => "disable"
))
)

url.rewrite-once = (
"^/$" => "/static/index.html",
"^/flotr/(.*)$" => "/static/flotr/$1",
"^/static/(.*)$" => "/static/$1",
"^/(.*)$" => "/sdostatweb.py/$1",

) 另外用fastcgi的方式使用web.py，需要安装flup。

详细的事，可以看看新浪的Tim Yang的优化： http://timyang.net/python/python-webpy-lighttpd/

我之前真不敢相信搜狐Mail是跑在web.py上。

芦荟和桔子们

2009-10-28T00:00:00+08:00

留影 tags:
daf published: true comments: true

Restore Nautilus to open gnome menu after installed PCManFM

2009-10-25T00:00:00+08:00

把戏 tags:
gnome
linux
nautilus published: true comments: true

After installed PCMan File Manager with LXDE, the gnome "places" menu items were opened by PCManFM as default. To switch back to nautilus, follow these steps:

check /usr/share/applications/nautilus-folder-hanlder.desktop make sure the line "Exec=nautilus" is not modified. (There are lots of hack article that teach user to change default file manager by modify this)
check /usr/share/applications/defaults.list grep the line "x-directory" by cat /usr/share/applications/defaults.list | grep x-directory make sure the value was kept as "nautilus-folder-handler.desktop", if not, restore it.
Then grep the line "inode" by cat /usr/share/applications/defaults.list | grep inode also be sure about the result "nautilus-folder-handler.desktop". if not, restore it again.
So it must be your own configuration that has been changed. check ~/.local/share/applications/defaults.list grep the two lines described above, it must be changed to "pcmanfm-folder-handler.desktop", so replace them by "nautilus-folder-handler.desktop"

To check the result, click menu item at once (no restart or logout needed), again, you see the slow file manager...

Yan Captcha Service

2009-10-24T00:00:00+08:00

把戏 tags:
captcha
foss
project
Yan published: true comments: true

I'd like to announce my recent works, a project called Yan Captcha Service written in Java which is aimed to provide whole solutions of captcha for your websites. It will be very easy to use the service because 1. interfaces are based on plain http url; 2. different kinds of usage are supported to fit your requirements; 3. the architecture is open so you can add your own solid implementation of captcha; 4. less coupling with your system. And designed for scalability, currently, it applies JGroups to share sessions (memcached support will be added soon), thus you can setup a cluster for the service.

As you may know, the open-source project is split from my current work-time project because it is more closed to my idea. However, soon we will have the product opened to our thousands (millions ?) of users. I can gain feedback from the challenge and improve the open-source edition.

The code is maintained by open-source scm, mercurial (also known as hg). The project is now hosted on bitbucket.org. You can clone the code to local via: $ hg clone https://sunng@bitbucket.org/sunng/yan/

To build the project, run this command in root of project directory: mvn install

To run in a develop environment: mvn jetty:run

Issue reporting and patches are always welcomed.

Check the wiki pages for more information about the project: http://bitbucket.org/sunng/yan/wiki/Home

Open Source Charting Toolkits in JavaScript

2009-10-22T00:00:00+08:00

手艺 tags:
canvas
dojo
html
javascript
mootools
svg
web published: true comments: true

项目的下一阶段，需要做一些数据展现方面的工作，处于对Adobe产品的抵触情绪，我个人还是倾向于用JavaScript来完成。今天找了几个画Chart的库，比较一下功能和编程接口的使用，为接下来的开发做一些准备。

dojox.charting

(BSD License)
没什么悬念，第一个想到的就是曾经用过的dojo。之前实习时候用dojo画chart也算是积累了一些心得。dojox.charting的最主要优点是编程接口完善、全面，可以配置的项目很多，接口易于编程，易于动态地生成、操作Chart。而另一方面最主要的问题就是文档比较匮乏，不了解的人可能问了，doc.dojotoolkit.org好强大，怎么会文档匮乏呢。其实是dojo和mootools类似，都很喜欢用option object来传递可选参数，但是这些option object在文档中没有任何涉及，很多关键的属性都在其中但是却没有办法查到，算是美中一大不足。

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<head>

dojo.require("dojox.charting.Chart2D");

</script>

</head>

<body>

<h1>Dojox.charting</h1>

</div>

（function charting(){

dojo.empty("charting");

var data = [2,4,5,7,7,4,4,7];

var chart = new dojox.charting.Chart2D("charting");

chart.addPlot("default", {type: "Lines", markers: true, shadows: {dw:2, dy:2, dx:2}});

chart.addPlot("additional", {type: "Areas"});

chart.addPlot("other", {type: "ClusteredColumns"})

chart.addAxis("x");

chart.addAxis("y", {vertical: true, min:0, max: 10});

chart.addSeries("Testing Data 1", data);

chart.addSeries("Average", dojo.map(data, function(it){return (Math.sin(it)+Math.random())*4}), {

fill: "rgba(145, 213, 100, 0.5)", plot:"additional"

});

chart.addSeries("All Random", dojo.map(data, function(it){return (Math.random()*5)}), {

plot: "other", fill: "#AEC6E2", stroke:{color:"#333", width:1}

});

chart.render();

}）();

</script>

</body>

</html>

Protovis

(BSD License) Protovis，看域名就知道是斯坦福的项目，Protovis是在prototype基础上，不仅有charting的功能，还包括其他可视化方法的实现。看了Demo会发现它真的很不错，不过Protovis的本意似乎只是借助浏览器的图形功能实现可视化，它并没有提供超出可视化范畴的其他东西，甚至看过实例的代码你会发现，作者是不折不扣的函数式编程和链式方法的爱好者，Protovis的代码算是出神入化了，如果你想看看学术的JavaScript是如何写的，那就看看这个发表了论文的JavaScript库吧。
看起来是很出神入化，可是这样的编程接口如果要用在动态的数据展现上，实在是难以想象。况且，pv.Panel居然没有传入dom对象的接口，无从控制chart的生成位置。说白了，Protovis并不是一个满足项目需要的Library，不过它的功能和代码还是值得多看几眼的。

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<head>

</head>

<body>

<h1>Protovis</h1>

var width = 300;

var height = 225;

var data = [1,2,3,4,6,7,5,8,9];

var dataMax = data[0];

for(var i=1; i<data.length; i++){

dataMax = dataMax > data[i] ? dataMax : data[i];

}

var x = pv.Scale.linear(0, dataMax).range(0, width);

var y = pv.Scale.ordinal(pv.range(10)).splitBanded(0, height, 0.9);

var charting = new pv.Panel();

charting.width(width).height(height).left(20).top(20);

var bar = charting.add(pv.Bar);

bar.data(data).top(function() y(this.index)).height(y.range().band).left(0).width(x);

bar.anchor("center").add(pv.Label)

.textStyle("white")

.textAlign("center")

.text(function(d) d.toFixed(1));

charting.add(pv.Rule)

.data(x.ticks())

.left(function(d) Math.round(x(d)) - .5)

.strokeStyle(function(d) d ? "rgba(255,255,255,.3)" : "#000")

.add(pv.Rule)

.bottom(0)

.height(5)

.strokeStyle("#C00")

.anchor("bottom").add(pv.Label)

.text(function(d) d);

charting.render();

</script>

</div>

</body>

</html>

Flotr

(MIT License)
不同于上面两个库通过SVG绘图，Flotr是用canvas api来完成绘制的。与dojo相比，Flotr的API比较简单，主要只有一个Flotr.draw方法，可以传入三个参数：目标DOM对象，数据和绘图选项。和dojo不同，Flotr的文档里关于这个option object有非常明确的文档。另外强大的是Flotr还提供了一些交互的功能，支持事件绑定。

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<head>

<title>Flotr</title>

</script>

</head>

<body>

<h1>Flotr</h1>

</div>

(function d(){

var series1 = {data: (function(){

var d = [];

for(var i=0; i<10; i+=0.5){

d.push([i, Math.random()-0.5+Math.sin(i)*3]);

}

return d;

})(), label:"d1", lines:{fill:true}};

var series2 = {data: (function(){

var d = [];

for(var i=0; i<10; i+=0.5){

d.push([i, (Math.random()-0.5)*2+Math.cos(i)*2]);

}

return d;

})(), label: "s2", points:{show:true}, lines:{show:true}};

Flotr.draw($("charting"), [series1, series2], {

legend: {position :"se"},

yaxis: {min: -3.5, max:3.5}

});

})();

</script>

</body>

</html> 此外，还有一个与Flotr很类似的Protochart，后者的网站上写自己是motivated by Flotr，不过我很难想象功能几乎相同是如何motivated的。

MilkChart

(Apache License 2.0) MilkChart是一个建立在Mootools上的Charting库，采用canvas api绘图。它的特点是把HTML Table的数据绘制成Chart，如果场景允许，倒是省去了不少构建数组的麻烦。这个项目目前规模还不大，并且在作者积极的开发中，可以参考它的Wiki获得详细的使用方法。

Time Tracking and Task Management with TaskCoach

2009-10-20T00:00:00+08:00

装备 tags:
foss published: true comments: true

TaskCoach其实是老朋友了，wxpython的，跨平台，最初只是TODO LIST，后来又加进了Time Tracking的功能。早先给frank05推荐过，不过在学校的时候，在电脑上的时间往往是支离破碎的，没有什么tracking的价值。

现在不同了，工作以后每天在电脑前面坐至少8个小时，如果没有点控制，时间一样是像以前一样莫名其妙地溜走了。去年刚开始实习的时候，我大概有个习惯是把每天的TODO写在本子上，一来当时清楚，二来时间长了也有数。今年工作以后一开始也是这样，但是时间长了发现只用笔来记录功能还是太有限，比如事情做了一半pending了，经常是画个圈，但是时间长了还是忘掉了。而进一步想做Time Tracking就更麻烦了。

上周想了一下确实需要个工具，这周一开始就重新开始在开发用的Windows机器上用TaskCoach了。有将近一年的时间没关注这个软件，版本号虽然没有什么大的突破，不过用起来倒是更顺手了。现在可以最小化到系统栏，开机自动启动。本身的功能除了支持多层的Task管理，Time Tracking，还可以顺手记一些Notes，另外还有定时的事件提醒，也不会错过总也想不起来的培训了。

推荐给大家在Windows上用。

音乐节看张楚归来

2009-10-18T00:00:00+08:00

留影 tags:
Music
rock
Shanghai
zhangchu published: true comments: true

这周末是上海爵士音乐节，虽然名字上是爵士，但是实际上还有摇滚的场。18号下午是张楚和崔健的演出，慕名第一次去了世纪公园。

刚进去的时候是曹方的演出。

这个大概是一个电子口琴吧，我是土人，不知道，声音是口琴的。

夕阳。

接下来就是张楚出场了。结果因为太过兴奋，忘了把自动对焦打开，所以刚出来咔咔咔拍了好多照片都是模糊的，也不能完全怪我，第一次见到张楚，那种感觉，大家可以想象吧。

张楚真的是张楚，和想象中的一模一样。今天一共唱了《光明大道》、《棉花》、《造飞机的工厂》、《孤独的人是可耻的》、《向日葵》、《海边》、《蚂蚁蚂蚁》、《姐姐》。除了海边是新歌一点都没听过以外，其他歌我都是从头到尾跟着一起唱下来的，后来我还想，不是花钱来听歌的，是花钱来唱歌的，还是大合唱。不过吼一吼感觉真好，今天吼了一下貌似是压抑很久了一样，算算大约自从去年夏天离开浦口宿舍就没有再这么吼过了。真过瘾。因为一直太激动，张楚的照片也没认真照，上面这张是挺有代表性的，其他的只能勉强挑挑了。

这张和94红勘唱厕所和床的样子对比一下，还是很像的。

张楚的蚂蚁蚂蚁和姐姐我都拿手机录了一下，不过回来一听姐姐的录音里基本上就是我干嚎了，不具有参考价值了。蚂蚁蚂蚁倒是很不错，没有把我嚎叫的声音录得太明显，而且这次蚂蚁蚂蚁是reggae节奏的，回头我找个地方上传一下。

张楚唱完就头也不回走了，接着是崔健。不过今天真正看了崔健的演出，发现好像没有什么共鸣。我本来也就只听一块红布和新长征路那两张，结果老崔还似乎热衷于唱他的新歌。老崔的新歌啊，实在是不好评价。观众反应倒是不错，不过说实在的，这帮掺杂着90后的观众啊，我还是挤到人群外面去了。

说实在的，老崔的演出看到一半都有点反胃了，大概是晚上没吃饭胃酸过多的原因，最后提前回去了。

这次得出一个结论，我太喜欢张楚了，下次张楚来上海演出一定还要去。

烧饭又

2009-10-17T00:00:00+08:00

自话 tags:
daf
food published: true comments: true

今天心血来潮，在手握土豆和鸡肉的情况下，作为一个土人，毅然决定尝试做一次咖哩。

原本准备是做土豆炒鸡丁的，所以鸡肉买的是鸡胸肉，没有油和骨头的，大厨曾经说还是有骨头的肉比较好。但是考虑到本人比较懒，所以吃起来相对省事要比口味的提升显得更有吸引力。

土豆和鸡肉切丁，好吧，其实是切块。因为反正是要混在一起的，形状大小都自定吧。炒锅里倒油，把鸡块和土豆块都下锅，炒到鸡块大致变白就可以了，不用太长时间。心情好的话，中间可以倒一些料酒，不倒也没什么区别好像。

如果你的炒锅足够深可以炖的话就直接加水好了，如果像我一样是平底锅的话，把土豆和鸡肉转移到一个汤锅里，加水。对200g鸡肉，说明上说加500ml水，总之是需要不少的。大火煮沸，用汤勺把白沫捞出去，然后用中火再煮大约7-10分钟。

接下来把块状的咖哩掰开，扔进锅里。用量的话，跟据daf同学的远程协助，100g/6块大小的，大约3块就足够了。但是由于远程协助的滞后性，作为一个土人，我把6块通通扔进去了（吃完才看到说明上是3-5人的量）。开小火炖。然后到了关键的步骤，这个时候千万不能去上网，不能去调程序，一定要做到锅在人在，那勺子不断搅和。这也是远程协助才知道的，同样滞后了，结果没有融化的咖哩块沉到锅底粘住糊掉了。

搅和的时间也不固定，主要看锅里还剩多少东西，总而言之，粘稠到一定程度就可以拿出来了。

虽然糊了，但是味道还不错，不过考虑到本人的口味广受质疑，所以大家还是自己摸索吧。

图为证

另一种验证码方式

2009-10-15T00:00:00+08:00

手艺 tags:
captcha
project
web published: true comments: true

今天又讨论了一种验证码服务的机制，这种机制相对前两天说的简化的验证码生成的部分，由两步生成变成了一步生成，当然由于生成图片的接口直接暴露给用户，存在被刷的可能。

用户浏览器向应用服务器请求包含验证码的页面；
应用服务器将包含验证码地址的网页发送给用户浏览器；
用户浏览器通过img的src中的固定链接向验证码服务器请求验证码图片；
验证码服务器输出验证码图片流到用户浏览器，将sessionid写入cookie；
用户判读验证码图片，提交表单；
应用服务器取出cookie中的sessionid和用户输入发往验证码服务器；
验证码服务器进行验证，返回通过或拒绝；
应用服务器根据验证码服务器结果进行响应。

优点：
固定链接，简化了接入，便于接入静态页面；

缺点：
写cookie受到域的限制，只能在相同的域中使用该服务；
验证码接口暴露给用户，可能被穷举

百度和腾讯使用的都是这种方式。

Jetty7/JSP, Eclipse/GTK2.18

2009-10-14T00:00:00+08:00

装备 tags:
eclipse
foss
gnome
jetty published: true comments: true

Jetty7.0上周发布了，这是jetty迁进eclipse社区之后的第一个正式版本。但是下载之后发现这个版本居然没有jsp支持。原来，jetty的jsp实现一直使用的是glassfish的实现，嵌入eclipse社区之后，这变成了一个问题。功能完全的版本（hightide）依然可以从codehaus的镜像里下载：
http://dist.codehaus.org/jetty/

比较一下大小就能看出，eclipse的版本只有2.1M，hightide的版本15M。为此，社区里有详细的讨论：
http://dev.eclipse.org/mhonarc/lists/jetty-dev/msg00198.html

Gnome2.28发布了，但是Eclipse在Gtk2.18上工作时，会发生按钮失灵的问题，主要集中在finish next和ok等关键的按钮。简单的解决方法是焦点在按钮上时通过按回车来执行。比较彻底的方法是在eclipse执行的环境中，设置环境变量GDK_NATIVE_WINDOWS=true

这个bug被报告在这里：
https://bugs.eclipse.org/bugs/show_bug.cgi?id=291257

先斩后奏

2009-10-13T00:00:00+08:00

留影 tags:
daf
photoshop published: true comments: true

daf同学最近迷上画画了。

这次发图是先斩后奏，嗯

验证码服务recaptcha和vidoop

2009-10-13T00:00:00+08:00

手艺 tags:
captcha
python
web published: true comments: true

某人已经发展到上班时间写blog了。

继续说验证码服务，找到两个比较典型的。recaptcha非常著名，是twitter和facebook使用的验证码服务（不知道现在的情况。。。），vidoop提供了一种很有特点的验证码机制。

两个服务都提供了python的接口封装便于接入，通过api接口可以管中窥豹，大致了解这两个验证服务的机制。

recaptcha

下面是一段结合了web.py的简单调用

public_key = "******"
private_key = "********"
class Recaptcha(object):
    def GET(self):
        r = recaptcha.displayhtml(public_key)
        return render.recapt(r)

def POST(self):
params = web.input()
recaptcha_challenge_field, recaptcha_response_field = params.recaptcha_challenge_field, params.recaptcha_response_field
remote_ip = web.ctx.ip
result = recaptcha.submit(recaptcha_challenge_field, recaptcha_response_field, private_key, remote_ip)
return result.is_valid 我在GET请求中获取验证码，在POST请求中提交验证码。

recaptcha返回的是一段recaptcha自己风格的html片段，效果大家参考twitter的验证码，实际上是一个iframe，iframe的url中包含了哈希串。其中的字段名也自然被写死成recaptcha_challenge_field和recaptcha_response_field，考虑到应用服务器无需验证这两个field的输入，所以也无可厚非。recaptcha_response_field用于输入字符，recaptcha_challenge_field在载入时被修改为一个唯一key。

提交验证时，recaptcha需要提供以上两个用户输入和应用的privatekey以及浏览器ip。recaptcha通过recaptcha_challenge_field 应用的private key以及用户出口ip可以唯一标示用户，并包含一些冗余实现安全相关策略。

Vidoop

Vidoop提供的服务机制与recaptcha大同小异

customer_id = "***"
site_id = "localtest"
api_username = "******"
api_password = "******"
vdp = VidoopSecure(api_username, api_password, customer_id, site_id)

class Vidoop(object):
def GET(self):
captcha_id, captcha_url, captcha_categories, captcha_text = vdp.create_captcha()
return render.vidoop(captcha_id, captcha_url, captcha_categories, captcha_text)

def POST(self):
params =web.input()
captcha_id, captcha_code = params.id, params.code
try:
vdp.submit_captcha(captcha_id, captcha_code)
return True
except:
return False

提交验证时只需要要captcha_id和用户输入，这里相对recaptcha做了简化，但已经足够验证需要了。

验证码服务的两种方式

2009-10-12T00:00:00+08:00

手艺 tags:
captcha
project
web published: true comments: true

方式1，应用服务器负责生成验证码字符，验证码服务器主要负责验证码图片生成。

用户浏览器向应用服务器请求包含验证码的页面；
应用服务器生成验证码字符，存储在session中；应用服务器发送相关图片参数（验证码字符、宽、高、复杂度、背景色等）到验证码服务器；
验证码服务器返回图片地址到应用服务器；
应用服务器将包含验证码地址的网页发送给用户浏览器；
用户浏览器通过img的src方式向验证码服务器请求验证码图片；
验证码服务器输出验证码图片流到用户浏览器；
用户判读验证码图片，提交表单；
应用服务器取出session中的验证码字符比对，返回结果。

这种方式的优点：

较少的HTTP请求调用
替换原应用中独立的验证码功能相对容易
验证码服务器相对简单

方式2，验证码服务器承担验证功能，应用服务器在验证中仅起到传递作用。

用户浏览器向应用服务器请求包含验证码的页面；
应用服务器发送相关图片参数（宽、高、复杂度、背景色等）到验证码服务器；
验证码服务器返回图片地址、惟一的会话id到应用服务器；
应用服务器将包含验证码地址的网页发送给用户浏览器；
用户浏览器通过img的src方式向验证码服务器请求验证码图片；
验证码服务器输出验证码图片流到用户浏览器；
用户判读验证码图片，提交表单；
应用服务器将第三步获得的会话id和用户输入的验证码字符传给验证码服务器；
验证码服务器进行验证，返回通过或拒绝；
应用服务器根据验证码服务器结果进行响应。

这种方式的优点：

验证码服务功能完善，涵盖整个验证流程；
验证码服务端有详细的验证日志记录，便于数据分析；

欢迎大家就两种方式发表意见～

接受参观，欢迎留言

2009-10-10T00:00:00+08:00

留影 tags:
clip
daf published: true comments: true

A: 对对对
A: 有个那个什么的请求
A: 我想被flatter
A: 你把那三张图post到你blog
A: 成不~
B: 没问题
B: 呵呵
A: 好~
B: 稍等～
A: 更新好~
A: 我来瞅瞅
B: 很快就好
B: 你去刷牙
A: 然后豆瓣也share
A: 然后继续接受flatter
A: XDDDDDD
B: 呵呵
B: 行啊
A: 哇哦
A: 被flatter够了以后继续画嗯

豆瓣架构发展PPT[转]

2009-10-09T00:00:00+08:00

他山 tags:
Architecture
Douban published: true comments: true

今天下午看到了这个豆瓣架构发展历程的PPT，是今年上半年QCon上的，看了以后感觉很有启发意义。随着用户量的增大，压力的增加，功能的扩展，豆瓣架构上做出相应的变化，从最初一台机器上跑lighttpd/mysql/Quixote/memcached到现在的DoubanFS存储，DoubanDB分布式Key-Value Store，加上多台mysql，多台appserver，专门的后台运算服务器等等。

PPT地址： http://www.riawork.org/iarch/douban/douban_qcon2009_beijing.pdf

可惜因为字体的问题好像在Evince里很多中文字看不到，还得开一下虚拟机。

阿巴

2009-10-08T00:00:00+08:00

自话 tags:
Life published: true comments: true

早晨八点半下楼开自行车锁，突然听见背后有微弱的声音。回头一看是个老太太坐在轮椅上，眼睛直直地盯着我，嘴里含糊不清地发出阿巴阿巴的声音。我自然是听不懂她说什么了，继续开锁。十月份虽然还是阳光普照，但是风里已经有点肃穆的意思了。这样的天气，年纪大了的人独自在外面这么坐着，想起来还是很残酷的。我推车要走，老太太还是盯着我阿巴阿巴地喊。假日的早晨小区里空空荡荡，遇到这样的场面还真有点超出“奇怪”能表达的意思。我又不好意思头也不回就走，推着自行车走上前去，想问老太太点什么，但是好像又无从问起，最后大约问了些“您怎么在这里”，“您的家里人在哪”这类的问题。最终都没有形成对话，老太太还是自顾自颤颤巍巍地喊阿巴阿巴。这个时候旁边单元出来个中年妇女远远说了什么一句，我听不懂，只是听到“神经病”三个字。一看有亲戚在旁边，我想眼前这一切大约都还在别人的可控范围里，可以走了。

也不知道这个阿巴到底是什么意思，或者说于老人自己是什么意思。路上我故意想得戏剧性一些，难道是老太太的什么亲人，早年走失的儿子？当然了，很有可能只是一个老人丧失语言能力之后惟一能发出的声音而已。

到头了

2009-10-06T00:00:00+08:00

当时 tags:
Life published: true comments: true

不管这是不是30号下午我伸直了脖子期待的国庆假期，总之伴随明天早晨8点45分打卡机一声鸣音它是要见鬼去了。8号？8号用来中和后一天的周一综合症吧，不指望了。今年国庆真是无聊到一定程度了，我印象中似乎从来都还没有这么无聊过。本来还想着靠自己一些勉强存在的兴趣爱好来抵抗无聊的，后来发现是不堪一击。概括地说这六天看了整整六天的喜羊羊。上帝啊。好像也不完全是，还听了很多革命歌曲看了一些老电影。总之正经事是没有什么明显的进度，哎呦不说了，我现在连什么是正经事都说不清楚。

在上海一点出门的欲望了都没有，六天以来取得最远的地方就是旁边的超市，其中还有包括今天在内的三天连楼都没下去。豆瓣上本来还有个老电影的活动来着，结果正好是明天加班，想去也去不成。形势危急，主办方发了三封豆邮说大家快去，不然这个活动办不下去了。我想着在北京的时候还有点兴趣爱好什么的，那么严酷的斗争环境，周末还去听个讲座参加个沙龙什么的，在上海就一点胃口都没有了。要不以后还是找机会去北京吧，但是去干什么呢，真无聊。

今天突然冒出个想法，要是能重活一次的话，我马上毫不犹豫爬到楼顶跳下来reset。

好在好在，明天就回公司了，要试着配一下ehcache的集群，有时间的话比较一下RMI方式和JGroup方式的性能，再做下一步打算。对了，还有一个系统的维护指南要写。

我还是想想明天上班Syu时的情景吧。

PS:此文是用Firefox的插件ScribeFire发的

Mapping Geometry in Grails and MySQL

2009-10-06T00:00:00+08:00

手艺 tags:
GIS
Grails
groovy
jts
mysql published: true comments: true

针对地理数据的ORM，有一个Hibernate的扩展HibernateSpatial项目可以将JTS对象映射到MySQL/PostGIS/Oracle中。这个扩展同样可以用在Grails里，这里有一篇简单的介绍，关于在Grails和MySQL中管理地理数据： http://www.grails.org/MySQL+GIS-Geometry+with+Grails

不过按照这个文章里介绍的方法用，很可能会遭遇这样的报错：

org.hibernate.MappingException: No Dialect mapping for JDBC type: 2003

这个问题最终在这里得到了解答： http://n2.nabble.com/No-Dialect-mapping-for-JDBC-type-2003-td1141106.html 按照邮件列表里的反映，上面的配置在Postgis里是可以work的，但是如果用Mysql还需要指定JPA的columnDefinition，对应的Hibernate属性是sql-type。虽然作者承诺会在今后的版本里修改这个问题，不过眼下的M2版本还没有修正这个问题。为此，Grails的用户特地提出在Grails中加入sql-type的支持： http://jira.codehaus.org/browse/GRAILS-3201 现在按照下面文档的说明，可以在mapping里指定sqlType了： http://grails.org/doc/latest/ref/Database%20Mapping/column.html

实例代码里的domain定义应该改成：

import com.vividsolutions.jts.geom.Polygon
import org.hibernatespatial.GeometryUserType

public class MyPoly {
String name
Polygon poly

static mapping = {
poly type: GeometryUserType， sqlType:"GEOMETRY"
}

} 于是，再也没有莫名其妙的No Dialect报错了。

Reading GPS Data From EXIF Using Groovy

2009-10-05T00:00:00+08:00

手艺 tags:
GIS
groovy
java published: true comments: true

废话不说了，直接上code吧：

import com.drew.imaging.jpeg.*;
import com.drew.metadata.*;
import com.drew.metadata.exif.*;

file = new File("sample.jpg");
meta = JpegMetadataReader.readMetadata(file);

gpsdir = meta.getDirectory(GpsDirectory.class);
lat = gpsdir.getRationalArray(GpsDirectory.TAG_GPS_LATITUDE);
lon = gpsdir.getRationalArray(GpsDirectory.TAG_GPS_LONGITUDE);
lats = lat[0].doubleValue() + lat[1].doubleValue()/60 + lat[2].doubleValue()/3600;
lons = lon[0].doubleValue() + lon[1].doubleValue()/60 + lon[2].doubleValue()/3600;
println(lats);
println(lons);

metadata-extractor似乎是现在惟一的读取exif信息的java库。在ivy中可以添加这样一个依赖：

<dependency org="com.drewnoakes" name="metadata-extractor" rev="2.4.0-beta-1" conf="runtime"/>

Gnome Shell

2009-10-04T00:00:00+08:00

装备 tags:
gnome
linux
ubuntu published: true comments: true

续昨，好吧，这个无聊的国庆假期就献给karmic了。gnome-shell已经可以在软件仓库里找到了，apt-get安装即可。要使用gnome-shell可以执行 gnome-shell --replace

要把gnome-shell作为默认的窗口管理器，打开gnome的配置编辑器，找到/desktop/gnome/session/required_components，把panel和windown-manager全部改成gnome-shell，重新登录即可。

上个图：

当然了，还没有正式release，大家试用尝鲜注意安全第一。

'libchamplain: Map Widget of Gnome Desktop'

2009-10-03T00:00:00+08:00

装备 tags:
foss
GIS
gnome
linux published: true comments: true

续昨，虽然昨天升级到了gnome2.28，也安装了libchamplain，但是却没有发现这个库应用。Ubuntu上的Empathy似乎是没有把location support编译进去。看不到效果怎么办，好在libchamplain的作者还提供了另一个应用。这是一个eog的插件，用于读取照片的exif信息中的gps latitude和longitude，进而将他显示在libchamplain的地图里。

安装这个插件可以follow官方网站上的做法，当然开发包、头文件之类的东西要齐备。

libchamplain使用了clutter，在载入地图的时候还有fadein的效果。clutter是将要应用在下一代桌面gnome shell中的图形特效库。

插件是用C写的，可以看成是libchamplain的一个例子，作者说已经有了其他语言的binding，如此未来在gnome桌面上开发tile地图程序会变得简单。

Upgrade to Karmic

2009-10-02T00:00:00+08:00

装备 tags:
foss
gnome
linux
ubuntu published: true comments: true

今天凌晨Ubuntu 9.10 Karmic的beta发布了，实在忍耐不到月底了，上午就update-manager -d升级了发行版。从下在到安装完成用了大约三个小时，当然升级不用花什么精力，只要让程序自动去处理就好了，现在跨版本升级越来越轻松了。

配好以后感觉还是很值得升级的，大概多半是因为Kernel 2.6.31，这次桌面性能的提升真的非常大，之前从来没有这么明显的感受。举个例子，很惭愧，我这机器在上一个9.04版本里alt-table的Application Switcher都还会卡，现在已经一如之前不开compositing时的性能了。

既然是ubuntu，还是要提一下面子上的事情。GDM有变化，按照release notes上说的是全部重写了。在从gdm登录到桌面载入之间有了一个loading效果，体验很不错。然后是Ubuntu主题变了，human不再是黄的了，变成了深褐色，有了新的图标主题humanity，尤其是在桌面的右上角区域很有特点。

再有就是Gnome2.28的变化还有Ubuntu对gnome相关的增强了，这次激进了一些，居然赶在arch更新之前在ubuntu上体验了gnome的新版本。主要有几个变化：

indicator变得更强大了，现在indicator和evolution empathy gwibber等等软件有了更好的集成，在indicator-applet里可以看到这些软件的新消息通知，另外indicator和原来Ubuntu的session manager也集成了，可以通过session manager设置empathy的状态。

empathy变化很大，据说已经支持xmpp的geolocation extension了，早先我就转载过一个在osm上显示xmpp好友位置的截图。不过这个功能似乎又没有在ubuntu的版本里找到，可能ubuntu这边还是有点谨慎吧。倒是geoclue这个框架已经被加进apt-get了，可以看出相关的工作确实是在进行中。

epiphany开始用webkit内核了，这样可以把midori彻底踢开了，epiphany也算是找到了自己在linux桌面上存在的意义。empathy可以抢走pidgin的位置，epiphany想强firefox的位置还是挺难的。

还有Ubuntu似乎修改了gnome桌面gnome-panel/panel-menu-item.c里面的参数，之前当places里的书签数大于5之后会产生一个Bookmarks子菜单，现在这个数值似乎变成了8，当然只是猜测，因为gnome的代码里这个值仍然是5。发现这个变化的过程实在比较无聊。。。

据说2.28的Evince看书的时候记annotation了，不过我好像没有发现这个功能，Gnome的release notes上也只是提了一下并没有发截图。

我还是很感激每半年就有很多新特性可以去discover的，这种感觉很不错。

A shorten url app

2009-09-30T00:00:00+08:00

把戏 tags:
css
django
python published: true comments: true

一不小心又是大概有一年多时间没有用过Django了。最近经常有之前部门的同事来讨论Django和Python Web开发，大概是他们用asp做的客服系统终于要换架构了。今天国庆提前放假，用了一个下午的时间重温一下。Django的Template还是相对弱一些，居然无法在template里调用model的方法。这样auth模块里判断用户登录的is_authticated()方法就不能在template里调，如此非得在view判断（Django是MTV模型，它的view即MVC里的controller），那如果是用generic_view，这个似乎就无解了？？

贴个图。体验一下Firefox3.5开始支持的@font-face，Webkit核心和Opera浏览器都支持这个功能。不过我Ubuntu上的Midori貌似遇到Mootools就直接崩溃，看来要等到gnome2.28里epiphany了。

忘了提了，域名是我yy的，之所以有这样的效果是修改了hosts

首页更新

2009-09-29T00:00:00+08:00

当时 tags:
jsonp
web published: true comments: true

半年没碰那个首页了，最近看到commandlinefu提供了jsonp接口，顺手把commandlinefu加了进来： Classicning7.clifu();

这个程序是去年此时还在用JavaScript工作的时候写的，隔了一年再看，很难不感慨啊。话说，大家要是发现一些好玩的，好用的JSONP服务可以分享一下。

'0:2'

2009-09-27T00:00:00+08:00

自话 tags:
football
job
Life published: true comments: true

以下是今天的闲言碎语。

其实中超真挺好看的，我不是说球，纯技术的欣赏还是交给伪球迷吧。群雄逐鹿，乱七八糟，踢球的踢球，骂人的骂人。广州的徐亮应该算是现在国内足坛最TM有个性的球员了，有点当年范志毅郝海东的意思了，可惜这样的球员还是少，多点的话就更热闹了。舜天队还是那个样子，今天的比赛看了半场，也不像是不想赢，但是派个傻大个在前面挥霍机会，难道是轻敌了？下半场据说是风云突变，反正最后黑色三分钟，就冲这个架势，看来夺冠还是纯YY。
办人事档案的手续，发现同样是纳爱斯，也有真纳爱斯和假纳爱斯，或者说是伪纳爱斯。同样是春风，有的是吹面不寒杨柳风，有的是二月春风似剪刀，后者用范伟的话说，咔咔的。说来说去还是家乡人淳朴，不像那个哪，看谁都跟骗子一样。
看建国大业了，豆瓣上有个说法叫视频幻灯片，很典型。印象深的，除了某幕后人员，配角里就属最后刘德华，因为看了两遍。国军衣服就是好看，当时那张脸就是典型的“如果说一切都是天意一切都是命运很早已注定”，苦啊，在肚子里。不说电影本身了，倒是想想这个事情，从井冈山被打得到处跑，到胡宗南占了延安又是到处跑，无数的挫折、看似没有希望，从一开始到最后成功漫长的20年，且不跟你们讨论这件事到底怎么样，但是把它当成一个人或者说一个团体的事业，实在是壮观壮丽。
回上海，在火车站看到广告说“学习北京奥运会，办好上海世博会”，说实在的，真学的话，要是地铁能两块钱随便坐，全国人民也请上海人民和上海黑户坐一年地铁那是最好了。估计是不可能了，怎么办，唯有调整心态：话说我每天都请北京的谁谁还有谁谁谁坐地铁坐公交，有这种心态，刷卡过闸机的时候动作会相对潇洒一些。
工作那边，要准备申请立个项目，项目的点子是部门的负责人想的，咱来do it。让个应届生当PM又不靠谱，架构师来挂个名，可是人家忙得要死，只能深情款款地对我说，开发暂时就你一个人。现在项目组变成运维、测试、项管群殴我一个，就着这两天的所见所闻，大约也能想象今年剩下几个月的日子。
又到了一年一度的recruitment，看着大家跃跃欲试，我在这里祝大家过得比我好。

洗完澡回来补一枪，上周买了一本这个，周五在火车上看了前面一两章，感觉还不错，尤其是压力测试方面解决了我最近的一些疑问。同时我也感觉到写这么一本书确实要有一大瓶水和可观的时间和精力，这个还是很难的。熟悉俺的人都知道出本误人子弟的书是俺长久以来的梦想，不过看了这位28本书的作者的状况，我这个梦想离照进现实还是有距离的。

Performance Visualization with Gnuplot, continued

2009-09-24T00:00:00+08:00

装备 tags:
foss
gnuplot
linux
shell
vmstat published: true comments: true

After I post my command to commandlinefu.com, there is an alternative command followed: (echo "set terminal png;plot '-' u 1:2 t 'cpu' w linespoints;"; sudo vmstat 2 10 | awk 'NR > 2 {print NR, $13}') | gnuplot > plot.png

This one is appreciated for using pipes and redirection. It works on Ubuntu Jaunty, on which, gnuplot doesn't provide a -e option. The author also showed an link to an open source project 'vmplot' on freshmeat. Vmplot is written in python, which combines parameters with scripts and end up with an os.system call. Grab the source from here. (Why use python instead on a simple bash command? because it's difficult to draw a multiplot without temp file or variables, you cannot read '-' twice.)

There are several people vote me down for my command! It must be primers whose use ubuntu and knows the world via Synaptic only, because they failed to run the command on their dated machine (*_*)

Performance Visualization with Gnuplot

2009-09-23T00:00:00+08:00

装备 tags:
awk
foss
gnuplot
linux published: true comments: true

Gnuplot is considered to be one of the most famous plotting tools on both linux and windows. With Gnuplot, generation of charts becomes agile and easy. Gnuplot supports sorts of terminals range from gui, image to printer. To enable png terminal support, we will build gnuplot with following steps. (However, on most linux distributions you don't have to do these manually, install gnuplot with package manager is doubtlessly the best choice for most cases.)

Well, for a naked machine, it won't be too long to type commands in gnuplot.

Installing libpng

linpng provides functionality to write png images.
Grab source form libpng's website: wget http://downloads.sourceforge.net/project/libpng/00-libpng-stable/1.2.39/libpng-1.2.39.tar.gz?use_mirror=ncu

Uncompress the package: tar xfz libpng-1.2.39.tar.gz

cd to result directory and build it: cd libpng-1.2.39
./configure
make
make install

Installing libgd

gd provides api for programmer to draw images like Graphics2d in java. Gnuplot uses gd to draw charts on images.
Grab source from gd's website: wget http://www.libgd.org/releases/gd-2.0.35.tar.gz

Uncompress it: tar xfz gd-2.0.35.tar.gz

build it: cd gd-2.0.35
./configure
make
make install

Compiling and building Gnuplot

Grab source from sourceforge: wget http://downloads.sourceforge.net/project/gnuplot/gnuplot/4.2.6/gnuplot-4.2.6.tar.gz?use_mirror=ncu

Uncompress and compile: tar xfz gnuplot-4.2.6.tar.gz
cd gnuplot
./configure
make
make install

if "'@LIBICONV@' not found" encountered during make, just edit src/Makefile to replace -l@LIBICONV@ to -liconv, and make again.
Try to start gnuplot simply with: gnuplot

Now you may be stopped by error message like libiconv.so.2 not found, then you have to copy it from somewhere(such as /usr/local/lib) to /usr/lib, the it will work.

Using Gnuplot

As the installation completed, we start to use it.

vmstat is a great utility shows you the status of your process queue, memory, swap, io rates, interrupts and cpu usage. With command-line arguments, we can dump these data in a fixed interval and fixed count: vmstat 5 10

awk is a well-known editor to analyze and extract text from input, we can filter specified fields with awk like this: vmstat 5 10 | awk 'NR > 2 {print NR-2, $13}' The header was ignored by the conditional expression NR>2 which NR stands for Number-of-Row

The output is just enough for gnuplot, now use pipe to connect them together: vmstat 5 10 | awk 'NR > 2 {print NR, $13}' | gnuplot -e "set terminal png; set output 'v.png'; plot '-' u 1:2 t 'cpu' w linespoints;"

To gather more information at one time, a more complex command is needed: vmstat 10 360 | awk 'NR > 2 {print NR, $4, $9, $10, $13}' > vmstat.dat ; gnuplot -e "set terminal png;set output 'vmstat.png';set grid; set multiplot;set size 0.5, 0.5;set origin 0, 0;plot 'vmstat.dat' u 1:2 t 'freemem' w linespoints;set size 0.5, 0.5;set origin 0.5, 0;plot 'vmstat.dat' u 1:3 t 'bi' w linespoints;set size 0.5, 0.5;set origin 0, 0.5;plot 'vmstat.dat' u 1:4 t 'bo' w linespoints;set size 0.5, 0.5;set origin 0.5, 0.5;plot 'vmstat.dat' u 1:5 t 'cpu' w linespoints;unset multiplot;"

Unfortunately, gnuplot in Ubuntu jaunty is at version of 4.2.4, which doesn't support -e option. So you cannot send gnuplot commands directly in command-line. The solution is split it to several steps: vmstat 10 360 | awk 'NR > 2 {print NR, $4, $9, $10, $13}' > vmstat.dat
gnuplot
>set terminal png;
>set output 'vmstat.png';
>set grid;
>set multiplot;
>set size 0.5, 0.5;
>set origin 0, 0;
>plot 'vmstat.dat' u 1:2 t 'freemem' w linespoints;
>set size 0.5, 0.5;
>set origin 0.5, 0;
>plot 'vmstat.dat' u 1:3 t 'bi' w linespoints;
>set size 0.5, 0.5;
>set origin 0, 0.5;plot 'vmstat.dat' u 1:4 t 'bo' w linespoints;
>set size 0.5, 0.5;
>set origin 0.5, 0.5;
>plot 'vmstat.dat' u 1:5 t 'cpu' w linespoints;
>unset multiplot;

This picture is a stat result of performance test this afternoon

For more detailed tutorials, check the article on ibm dw: http://www.ibm.com/developerworks/library/l-gnuplot/

Some python segments

2009-09-22T00:00:00+08:00

把戏 tags:
python published: true comments: true

import MySQLdb
import subprocess
from smtplib import *
from datetime import date, timedelta

class StatEntry(object):
def __init__(self, name, count):
self.name = name
self.count = count
def __str__(self):
return "%s\t%d" % (self.name, self.count)

def fetchdb(date):
conn = MySQLdb.connect(host="localhost", user="root", passwd="acd", db="cls")
cursor = conn.cursor()
cursor.execute("SELECT link, count(*) FROM sdocom WHERE DATE(logtime) = DATE('%s') GROUP BY link" % date)
rows = cursor.fetchall()
result = map(lambda x: StatEntry(*x), rows)
return result

def archive(datelist):
for date in datelist:
subprocess.call(["gzip", "cls-"+date+".log"])

def sendmail(results):
mailcontent = reduce(lambda x,y: x+str(y)+"\n", results, "")
smtp = SMTP("your.smtp.server")
smtp.login("user","passwd")
smtp.sendmail("cls-no-reply@smtp.server", ["your@mail.server"], mailcontent)
smtp.quit()

def dumpall(data):
content = reduce(lambda x,y: x+str(y)+"\n", data, "")
print content

def main():
yesterday = str(date.today()-timedelta(1))
results = fetchdb(yesterday)
#dumpall(results)
sendmail(results)
archive([yesterday])

if __name__ == '__main__':
main()

As log file was imported to database automatically by other process, the script retrieves statistical data from mysql db and sends the result to your mail box via smtp. Also, log file would be compressed by gzip to minimize storage overhead. Add it to crontab, you will get daily statistical report.

This example shows you basic usage of mysql-python lib, smtplib and how to calculate yesterday by datetime.

烧饭再

2009-09-20T00:00:00+08:00

自话 tags:
food
Life
shaofan published: true comments: true

看了烧饭1，就想看烧饭2.可是我思前想后，烧饭2这个标题总有那么一点不太对劲（大家自己体会），于是还是叫烧饭再吧。

今天介绍酱爆鸡丁，娘的，在北京的夏天吃这个吃得都快吐了，时隔一年本人亲自操刀上阵，不为别的，只为再吐一次。

用料：鸡胸肉一块，黄瓜一根，甜面酱，葱，料酒，酱油，盐，味精，淀粉，糖，自来水，菜刀，案板，锅，电磁炉，油烟机，自行车。。。

主要步骤如下：

鸡肉化冻，黄瓜大葱洗干净；
鸡肉切丁，大小以大块熟了小块还没有糊为宜，放碗里加淀粉、盐，抓之；
黄瓜切丁，大小自便，装盘；
葱切段，葱的用量大约根据以下公式计算：葱用量=家里储备葱的总长度/未来可预计的几天內做菜总次数；
小碗装酱油、料酒、味精、水淀粉、糖搅和成汁备用；
开火倒油加热冒烟，把1/3葱和鸡丁扔进锅里，炒到洁白的鸡丁如嚼过的口香糖一般出锅；
锅里留一些油，油少了可以再加一些，待油热，放两勺甜面酱（这里用的是李锦记的沪式甜酱，这个味道比较符合本人年幼时候对甜面酱的最初记忆），把剩下的葱一起扔锅里炒到寂寞为止；
加黄瓜丁，盐，炒，加鸡丁，炒，加第5步准备的汁，炒；
等到粘稠之后即可出锅，如果没有粘稠也见好就收吧；
#

有图不一定是真相：

GeoHash

2009-09-19T00:00:00+08:00

手艺 tags:
GIS
ruby published: true comments: true

今天偶然看到一个Ruby的GeoHash库，功能非常简单，就是将经纬度坐标哈希成字符串，并且，利用这个字符串可以粗略地比较两点的距离。这个库的代码host在GitHub上，要安装，需要将github加入gem： sudo gem sources -a http://gems.github.com
sudo gem install davotroy-geohash

用法，irb： irb(main):001:0> require 'rubygems'
=> true
irb(main):002:0> require 'geohash'
=> true
irb(main):003:0> GeoHash.encode(32.168, 118.54)
=> "wtsr12n0nj"
irb(main):004:0> GeoHash.decode('wtsr12n0nj')
=> [32.168, 118.54]

代码可以从github上获得 git clone git://github.com/davetroy/geohash.git

GeoHash的核心部分用C实现，仔细看一下可以发现是一个四叉树的结构：

[codesyntax lang="c"]
#define BASE32  "0123456789bcdefghjkmnpqrstuvwxyz"
static void encode_geohash(double latitude, double longitude, int precision, char *geohash) {
    int is_even=1, i=0;
    double lat[2], lon[2], mid;
    char bits[] = {16,8,4,2,1};
    int bit=0, ch=0;

lat[0] = -90.0; lat[1] = 90.0;
lon[0] = -180.0; lon[1] = 180.0;

while (i < precision) {
if (is_even) {
mid = (lon[0] + lon[1]) / 2;
if (longitude > mid) {
ch |= bits[bit];
lon[0] = mid;
} else
lon[1] = mid;
} else {
mid = (lat[0] + lat[1]) / 2;
if (latitude > mid) {
ch |= bits[bit];
lat[0] = mid;
} else
lat[1] = mid;
}

is_even = !is_even;
if (bit < 4)
bit++;
else {
geohash[i++] = BASE32[ch];
bit = 0;
ch = 0;
}
}
geohash[i] = 0;
}

[/codesyntax] 可惜在学校的时候没有看到这么精致的代码。

RDF, Sparql query with python

2009-09-13T00:00:00+08:00

手艺 tags:
python
rdf published: true comments: true

A simple query to test rdf and sparql.

[codesyntax lang="python"]
import sys
import rdflib
from rdflib.Graph import ConjunctiveGraph

g = ConjunctiveGraph()

g.parse(sys.argv[1], format="xml")

fbns = rdflib.Namespace("http://rdf.freebase.com/ns/")

player_refs = g.query("""SELECT ?player
WHERE {
?root fb:soccer.football_roster_position.player ?player .
}""", initNs={'fb':fbns})
players = []
for player in player_refs:
gp = ConjunctiveGraph()
gp.parse(player[0], format="xml")
results = gp.query("""SELECT ?player_name ?player_position
WHERE {
?player fb:type.object.name ?player_name .
?player fb:soccer.football_player.position_s ?player_position .
}""", initNs={'fb':fbns})
l = list(results)
for r in l:
if r[0].language == 'en':
players.append(r)

for player in players:
print player

[/codesyntax] The query will return all player-position tuple from freebase's db for specified resource.
To query for players of AC Milan, execute the script with resource location: python rdfquery.py http://rdf.freebase.com/rdf/en/ac_milan got: (rdflib.Literal('Yoann Gourcuff', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/en.midfielder'))
(rdflib.Literal('Andrea Pirlo', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/en.midfielder'))
(rdflib.Literal('Paolo Maldini', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/en.defender'))
(rdflib.Literal('Gianluca Zambrotta', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/en.defender'))
(rdflib.Literal('Davide Facchin', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/guid.9202a8c04000641f8000000000c75e75'))
(rdflib.Literal('Marcus Plinio Diniz Paixao', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/en.defender'))
...

All resources are stored as rdf:resource references. If you are also Milan fan like me, take a quick look at the players, well, the data is not up to date:)

I have also tried to fetch data for my favorite local team. python rdfquery.py http://rdf.freebase.com/rdf/en/jiangsu_shuntian
(rdflib.Literal('Yao Hanlin', language=u'en', datatype=None), rdflib.URIRef('http://rdf.freebase.com/ns/en.midfielder'))

烧饭

2009-09-13T00:00:00+08:00

留影
自话 tags:
food
Life published: true comments: true

首先再祝标题中的人生日快乐。

虽说daf同学做菜好看好吃（看出奉承意思的读者请可以买棒棒糖奖励自己），但是这不能成为本人自甘堕落自甘刷碗停滞不前的理由。况且，作为一个口味疑似诡异的人，如果不练好技术，掌握一技之长，将来很难在厨房立足，更不要提取得话语权。甚至没有在饭前进厨房的机会，下场会很惨。

以上是关于烧饭必要性的论述。入正题，今天迎着正午的朝阳，从超市买回了青椒芹菜牛肉鸡肉，为了能让才华体现得淋漓尽致，做了两个菜。简述过程的话大抵是以下update体流程：

洗菜；
牛肉切丝（个中坎坷不作赘述），加料酒、淀粉、盐；
鸡肉切片（个中曲折不必了解），加蛋清、盐、淀粉；
芹菜切段；
小碗调酱油、醋、糖、料酒，备用；
葱姜切末备用；
开火倒油，油热了加葱姜末和辣椒酱（家里没有正经辣椒酱了，就用辣椒豆豉代替，此决定终遗千古恨），牛肉丝下锅，变色，取出；
炒芹菜；
牛肉芹菜混合，再炒，把第5步的混合液体倒进锅里，搅搅，加味精装盘；
洗锅；
开火倒油，油热了加葱姜末，鸡肉下锅，待变色后变糊前取出；
青椒撕碎下锅，不时加水，炒到上一步油烟被吸得差不多为止；
混合，加味精，出锅。
#

留张照片有图有真相：

关于照片中出现的“暗物质”，绝对不是因为鸡肉片切得太不均匀导致有的糊了有的还没熟，最后葱姜通通糊掉油烟满厨房的结果。还有为什么只有一张照片呢？原因是另一盘菜拍照构图的时候发现需要的曝光时间比较长，没有带三脚架所以拍不出理想的效果，故而没有把照片发上来。画外音：就是酱油放多了太黑了，画外音毕。画外音：把刚才那个画外音的拖出去砍了，画外音毕。

最后引用一句名人名言，你永远不会知道自己的下一盘菜到底是什么味道。

3 Screenshots

2009-09-10T00:00:00+08:00

留影 tags:
game
java
jconsole
VirtualBox published: true comments: true

JConsole

下午给验证码做压力测试，用JMX监控Tomcat性能情况，200并发。Tomcat的配置，initial memory pool是512M，Max是768M。在15:30时我手动执行了一次GC。

Netpanzer

跨平台的联机坦克游戏，今天才知道可以和Bot玩，来看看这种寂寞的玩法。
开一个terminal（或者用screen也可以）： netpanzer -d

再开一个terminal，添加两个bot netpanzer -b localhost &
netpanzer -b localhost &

自己进游戏 netpanzer -c localhost

之前一直不知道，也怪自己，不知道打游戏也可以--help

VirtualBox

VirtualBox 3.0.6 今天发布了，fix了从3.0.2开始与archLinux 2.6.30内核的冲突，阔别已久的arch在VirtualBox上终于又可以运行了，但是：

Two Screenshots

梳理

2009-09-06T00:00:00+08:00

当时 tags:
career
gnome
Life published: true comments: true

梳理一下。

桂花陆续开了，昨天在衡山路一带飘的时候就问道久违的香味，今天在张江也闻到桂花味道。于是乎，八月了，不早了，今年又这样了。
最近工作还行，公司这部分业务刚刚正规刚刚起步，几个老大都是最近从竞争对手和相关领域挖来的人，这种情况是三月份时根本没有迹象的。公司Java这块还是很缺人的，仔细观察几乎就是类似一个大牛带着一群喽啰。虽然现状不能说非常好，但是情况应该是在上升的，我猜。
前两天鲜果机房出了问题，还好不是另一个饭否。我把OPML倒出来开始盘算着用一个桌面的Reader。Gnome上比较有名的Reader是Liferea，Blam和Straw。Liferea貌似吃不消大量的Feed，导入当即就死掉了；Blam是Webkit核心的，不幸中文乱码；Straw勉强能用，然后Straw不支持outline嵌套，即不支持分组，so，也不是非常完美。
前几天关注自己blog不够，不小心又被挂了马，而且这次闹得比较大，被google加了黑名单，Twitter立刻也发了malware in profile的通知。好在现在改起来已经驾轻就熟，用fgrep很快就能找到被加恶意代码的文件，只可惜还没有办法杜绝。

9月20号去看顽主。

'ActiveMQ: UnknownHostException on startup'

2009-08-27T00:00:00+08:00

手艺 tags:
ActiveMQ
java
JMS
linux published: true comments: true

在ArchLinux上使用ActiveMQ，执行bin/activemq，报错UnknownHostException，Transport Connection无法建立，可以取到/etc/ec.conf中设置的hostname（默认myhost）

解决方法，编辑/etc/hosts，添加127.0.0.1 myhost myhost。再次启动即可。Ubuntu上hosts自动把计算机名解析到127.0.0.1，ArchLinux上需要你手动做这件事了。

YAMB is now hosted on kenai.com

2009-08-24T00:00:00+08:00

把戏 tags:
java
kenai
web published: true comments: true

YAMB(Yet Another Microblogging Tool) which is mentioned several days ago is now hosted on Sun's project-kenai licensed with GPL2. http://kenai.com/projects/yamb

You can grab the source code from following link via mercurial(hg). https://kenai.com/hg/yamb~hg-repos

Actually, there is nothing new.

Inside Grails Flash Scope

2009-08-07T00:00:00+08:00

手艺 tags:
Grails
java
web published: true comments: true

Grails的在Servlet API的基础上增加了一个非常实用的FlashScope，FlashScope的生命周期为两次请求（也就是在一次重定向）。它的典型应用是POST方式提交后显示服务器端发给用户的提示信息，在平时的应用中会经常使用。

Grails的FlashScope接口定义在org.codehaus.groovy.grails.web.servlet包中，这个接口继承了Map接口，并定义了一个方法next()。

Grails的默认实现在org.codehaus.groovy.grails.web.servlet包中，GrailsFlashScope。这个实现内部定义了两个Map（生命周期为两个请求），current和next，这两个Map不断滚动，保持在一个请求中可以且仅可以访问到当前和前一次请求的上下文。
[codesyntax lang="java"]
public void next() {
current.clear();
current = (HashMap)next.clone();
next.clear();
reassociateObjectsWithErrors(current);
} [/codesyntax]

put的时候，Grails只把新制放到next表中，因为next将在下一次请求时继续保存
[codesyntax lang="java"]
public Object put(Object key, Object value) {
// create the session if it doesn't exist
registerWithSessionIfNecessary();
if(current.containsKey(key)) {
current.remove(key);
} storeErrorsIfPossible(next,value);

return next.put(key,value);
} [/codesyntax]

get的时候，Grails在两个Map中查找
[codesyntax lang="java"]
public Object get(Object key) {
if(next.containsKey(key))
return next.get(key);
return current.get(key);
} [/codesyntax]

此外，FlashScope本身还是被放在session中
[codesyntax lang="java"]
private void registerWithSessionIfNecessary() {
GrailsWebRequest webRequest = (GrailsWebRequest) RequestContextHolder.currentRequestAttributes();
HttpSession session = webRequest.getCurrentRequest().getSession(true);
if(session.getAttribute(GrailsApplicationAttributes.FLASH_SCOPE) == null)
session.setAttribute(GrailsApplicationAttributes.FLASH_SCOPE, this);
} [/codesyntax]

然后，滚动FlashScope的行为在GrailsWebRequestFilter中被调用，GrailsWebRequestFilter继承自spring-web的OncePerRequestFilter
[codesyntax lang="java"]
protected void doFilterInternal(
HttpServletRequest request, HttpServletResponse response, FilterChain filterChain)
throws ServletException, IOException {
...

// Set the flash scope instance to its next state. We do
// this here so that the flash is available from Grails
// filters in a valid state.
FlashScope fs = webRequest.getAttributes().getFlashScope(request);
fs.next();
...
} [/codesyntax]

史有先例的一跤

2009-08-06T00:00:00+08:00

自话 tags:
Life published: true comments: true

听说要来台风，今天特地想着把自行车推进楼道里。楼道到平地有一个坡道，就是大家都见过的那种坡道。于是我骑着自行车冲了上去，试图把动能转化成势能。不料时间停止在了坡道的三分之二处。现在不仅大脑的并行处理能力下降，小脑更是时常挂起。你说我当时怎么就没有想到使把劲蹬上去呢，我确实没有这么想，连条件反射都没有。事后觉着大概是沉醉于那一刻的静止了。两个轮子终归是不暇流连的，接下来势能没有舍得转化给摩擦，它一定程度上在我的授意之下换了个方向通通变成动能了。躺在地面上的时候我就在想上次如此贴近大地是什么时候了，大约应该在最近三十年之内。整个过程发生在下班回家热火最朝天的时候，我的视界里倒是没有发现其他眼睛，但是可以确定的是此时此刻一定有不少痴痴的目光对着我的后脑勺。希望这一切没有颠覆牛顿们这么多年来给他们建立的世界观，不过其实整个过程更象是风力作用的自然现象，只可惜台风还远，另外，我不知道风是在哪一个方向吹。

Another simple micro-blogging tool initialized

2009-08-03T00:00:00+08:00

把戏 tags:
ibatis
java
spring
strust2
web published: true comments: true

A simple micro blogging tool based on Java web framework stack (Struts2/Spring/iBatis). It costs me five days to develop such a prototype version which supports basic functions(view, post, follow and tag). And I will try to deploy it on GAE later(I hope it is possible). More improvements will also come up in next severals day.

The prototype is just simple and plain which, i think, might be a good instance for books that titled with "Teach Yourself Java Web in 7 Days",(hough it's not a popular topic any more):). I'm also thinking of the table of content:

Introduction to 3-Tier Java Web Develop
Setup Your Maven Environment
Setup Your Eclipse IDE
Creating Domain Objects and Tables
Writing Down Your First iBatis DAO
Spring for Bean Wiring
Unit Test with JUnit in Spring
Struts2 in Action
Integrating Everything with Spring
Create Ajax enabled Frontend
Easy Deployment

This is my first maven managed web project. When using maven with hsqldb, there is no extra configuration needed if you switch develop environment. Really effective!

Notes of Even Faster Web Sites

2009-08-02T00:00:00+08:00

手艺 tags:
javascript
web published: true comments: true

异步、模拟多线程式的JavaScript，防止界面锁死。例如Google Gears，Firefox3.5 WebWorker异步API。
拆分JavaScript文件，即需即载入即运行，避免首次载入的高代价。类似dojo的分包机制。
普通的script会阻塞页面的载入直至脚本下载执行完成，采用其它方法可以改变这种情况：XHR Evel, XHR Inject, Script DOM, Script Defer, Script in Iframe, Document.write Script Tag。
由于外部script和内联代码异步载入造成的冲突，解决方法1. 在外部编码种硬编码回调，2. 在Window.onload中调用 3. 用timer监控载入情况 4.scripttag.onreadystatechange
把异步载入外部脚本的方法编写为可复用的module
处理内联脚本，解决方法：1.将内联脚本移至页面尾部 2.异步执行JavaScript回调(setTimeout(0)) 3.使用script defer属性内联脚本执行会被
语言级别上提高JavaScript执行效率的一些手段，Zakas
Comet的前景和现阶段实现，以及WebSocket
优化HTML文件
优化图片的utilities和几种格式的特点
sharding文件到不同的服务器上增加并行下载
正确地使用flush提高部分页面的加载速度影响因素1.是否开启了Output_Buffer，2.是否使用了chunked encoding， 3.是否启用了gzip并在apache228上运行 4. 是否被代理和AV软件影响了 5.是否因为相同的域名的文件下载被block了 6.是否是webkit阈值以下不能渲染
慎用iframe，DOM操作代价过高，在html中设置src的iframe会阻塞onload，iframe与style script标签的位置
高性能的CSS选择器，避免全局rule，避免div#sele，避免div.sele，避免使用长选择器，避免使用decendant选择器，避免使用tag-child选择器，查看所有child选择器，使用继承

Alexander Sukhanov

2009-08-01T00:00:00+08:00

自话 tags:
Music
Russia published: true comments: true

Alexander Alekseevich Sukhanov，亚历山大.舒克汉诺夫1952年出生，莫斯科大学Mechanics and mathematics faculty, Department of computational mathematics, Laboratory of computing methods 任教，数学博士。他的另一个重要身份是歌手和诗人。从1969年开始创作，拥有近150首作品。

这里可以找到大量作品： http://bards.pp.ru/Suhanov/

个人主页： http://www.math.msu.su/~sukh/

Wiki Page： http://en.wikipedia.org/wiki/Alexander_Sukhanov

魅力啊～

个人主页：

贝塔

2009-07-27T00:00:00+08:00

留影 tags:
inkscape published: true comments: true

[caption id="" align="alignnone" width="340" caption="贝塔 inkscape"][/caption]

Using MySQL on ArchLinux

2009-07-27T00:00:00+08:00

手艺
装备 tags:
ArchLinux
linux
mysql published: true comments: true

su -
pacman -S mysql mysql-gui-tools
run mysql_install_db --user=mysql in /var/lib/mysql
vim /etc/my.cnf, disable skip_networking to allow tcp/ip connection
vim /etc/hosts.allow, add mysql:all:allow
/etc/rc.d/mysql start
mysqladmin -u root password #NEW_PASSWORD# to set root password

su -

OSM Static API with JavaFX

2009-07-18T00:00:00+08:00

手艺 tags:
foss
GIS
JavaFX
map
OpenStreetMap
RIA
web published: true comments: true

OSM(http://www.osm.org) has released their first prototype of static map api. It is aimed to make web mapping easier to refer just like google has done.

All interfaces are listed in following page: http://dev.openstreetmap.org/~pafciu17/

With OSM static api, you can:

Show a map centered at a specified point. (using center, height and width)
Show a map contains specified bound box. (using bbox, zoom/height/width)
Create point/path/polygon in static map.
Choose different map render engines.
Control logo position in output image.

I just tested it with a simple javafx applet. For there is no crossdomain.xml on the server of OSM, to get cross-domain images, you will be asked to confirm security. Feel free to change center latitude/longitude and zoom level.

Enjoy all these free data on free applications :)

Steps to create signed javafx applet

javafxc OSMStaticMap.fx
javafxpackger javafxpackager -src . -appClass OSMStaticMap -appWidth 500 -appHeight 500
cd dist
keytool -genkey -keystore classicning.keys -alias http://www.classicning.com/ -validity 365
jarsigner --keystore classicning.keys --storepass ******** OSMStaticMap.jar http://www.classicning.com/

送往迎来送往迎来

2009-07-16T00:00:00+08:00

当时 tags:
daf
friends
Life published: true comments: true

最近事情多了一点，首先我在张江安家（如果这也算家的话）了，然后也上班了。上班的一开始就坎坷了，不过我觉得应该也没什么不好的。这个不多说，留给大家尽情的揣测其中的细节吧。

15号上午和妈妈从张江的住处出发去耀华路拿行李，恰好遭遇了二号线的凄惨故障，我妈也算是见识了一个加强版、精华版的二号线早高峰，对我三月份的经历有了比我还深刻的体会。好在现在我身为纯张江男，不用再去天天强化二号线的印象了。当天中午到了浦东机场，一切顺利，看着妈妈进了登机入口。这样应该会有一个半年时间的分别，也好，对妈妈来说也是一个锻炼吧。之后从机场坐磁悬浮回来，票价50,本来觉着贵了，后来想想打车要100呢，这已经很温柔了。磁悬浮最快到了420km/h,基本上就是加速到最大速度，然后就开始减速。

当天晚上三胖从北京坐火车过来签证，我又跑到张江地铁站去接。还是很轻松就找到了，三胖总是这么显著。要说知我者非三胖莫属，一进屋掏出三大件茴香饺子、稻香村的起子馍还有北方的大桃子，我想到的没想到的都带来了。晚上赶紧把他那茴香饺子煮了，虽然效果不太好，但是感觉还是很不错的。

今天三胖签证顺利，我想着不能再吃速冻食品了啊。于是下班去买了面条啥啥的，还煮了点蔬菜肉圆啥啥的。要知道两个自顾尚且不暇的男人能吃到这种水平，在我看来已经是很有成就感了。三胖是来匆匆去匆匆，吃了面条洗个澡就收拾东西又上路了。话说出门饺子回家面，要不是那第二袋茴香饺子实在没法吃了。。。。走了以后才发现三胖同志把我的冰箱用橙子苹果啥的塞了个满，真是，哎

再有就是daf同学三周后就要回来了。daf同学最近比较振荡，每日行情经常是低开低走，有时候好不容易尾市上扬了，第二天不知道为啥开盘还是那么低。也许是大盘整体走低吧，世界形势不好。可怜的daf同学一振荡，全世界都跟着做提心吊胆的简谐运动。好在三周后中期年报就要出来了，希望下半年的行情能一路走高。当然了，套牢也不要紧。

Поет гитара

2009-07-13T00:00:00+08:00

当时
自话 tags:
Books
DM
Life
RU
ZhangJiang published: true comments: true

好久没有用ol了
本文标题是扯淡的
部署在张江的过程基本上算是smooth，目前为止没有遭遇颠覆世界观的新消息。对房子对周边环境可以认为是非常满意。尤其是今天把屋里的网线接到电脑上居然就直接变成了192.168.0.4然后打开了百度，一时间有种难以名状的激动──似乎是整整一年没有遇到比这个更加轻松实现的事情了。霎时间就有苦将尽甘欲来，瑞雪兆丰年等等系列的感觉。
今天上海天上的云彩异常绚丽，遗憾相机没有随身，不然应该能拍出点什么的。这种效果在南京好像只有台风等等极度扭曲的天气里才有。昨晚从超市满载而归就看见天上橙色的闪电蠢蠢欲动。天气不错的。
我有心专心生活了。现在床上放了两本书：刀锋和实现模式，争取找个机会都翻开。等到日出云开的时候，还打算做一个Twitter分组好友的小应用，也不知道有没有人做过，大致意思就是说查看Tweets的界面增加一个分组的功能，只显示部分好友的更新，这样看起来会比较轻松（现在的情况是当我试图看工作室朋友们的更新时总要绕过Kent Beck等人的絮叨），这个东西就放在GAE上吧，也许应该练习一下Java了，手都凉了。
本来想着到了上海买一本《代码之美》抚慰心灵的（英文版看得实在是太吃力了），结果一看价格居然真的99,当当折扣之后也要80+.这个抚慰心灵的作用估计是没有了，不小心还要让钱包被划一道口子。看来11月寒潮来袭的时候还是要闷头去看电子版了。
由于我兴趣过度广泛，在很长一段时间里都不知道自己的兴趣何在了。最近一年以来逐渐感到可能对DM还是有一些纯情的兴趣的，柜子里有一本影印的数据挖掘导论准备要在年内吃下去。电脑里还有Manning的Collective Intelligence in Action电子版可以看，那位Segaran同志又马不停蹄地出版了Beautiful Data和Programming the Semantic Web，他也不管我们进食的速度。
实在空虚的话再学点俄语玩玩。我还是没有改掉一听俄国国歌就激动的坏毛病，虽然最近在俄国又有不愉快的事情发生了。
不熟悉PHP是我作为Web开发人员巨大的短板。

DB dump with chroot

2009-07-10T00:00:00+08:00

装备 tags:
database
linux
mysql
postgresql
shell
sqlite published: true comments: true

I caught chroot first time when attempting to install gentoo linux. Of course, its a tool of great useful. Two months ago I had my laptop crashed, and all static files were recovery easily by copy while raw db data file seems to be difficult to handle.

The old file system is in a mobile disk, mounted at /media/disk-1/. Now I try to use chroot to rollback to that environment, so that all standard dump tools will be available.

Before you chroot to the system, don't forget to bind /dev to new location. Or you might get error prompt such as "/dev/null Permission Denied" (it's a common error). Just execute command below: $ sudo mount --bind /dev /media/disk-1/dev

Then change root to my old system: $ sudo chroot /media/disk-1

Now you become root user automatically.

MySQL Dump

In a standard ubuntu mysql installation, we should launch mysql db from init.d by: # /etc/init.d/mysql start

But it's no longer available in such environment. Fortunately, there is a direct way: # mysqld_safe &

OK, go on to dump database with mysqldump: # mysqldump --all-databases > mysql_dump_file

Postgresql Dump

We cannot use init.d to start pgsql either. Therefore, try to run it by: # su postgres -c "/usr/lib/postgresql/8.3/bin/pg_ctl start -D /etc/postgresql/8.3/main"

/etc/postgresql/8.3/main is the default data directory in standard installation(with apt-get). This directory is supposed to contain a file named with "postgesql.conf"

Now pgsql db is also running. As root user we have no privilege to run pgsql utilities. so take following steps: # touch pgsql_dump_file
# chmod a+w pgsql_dump_file
# su postgres -c "pg_dumpall -f pgsql_dump_file"

Conclusion

Personally, I found it's too complex and low efficiency to backup and restore data with mysql and postgresql. If there is no critical requirement(just like personal data management), file based db(Surely I mean sqlite) is no doubt better choice. Easy management(lots of gui tool now provided), smooth copy and move, standard db interface for programming, and enough functionality.

'[旧]Up and Running: PostgreSQL and PostGIS on Ubuntu 8.10, Step By Step'

2009-07-10T00:00:00+08:00

装备 tags:
linux
postgresql
ubuntu published: true comments: true

每次安装pgsql的过程都是这么震撼人心。以下在Ubuntu 8.10上安装配置运行pgsql及postgis的简单步骤。和Windows相比，用apt-get安装不会再有服务安装不上的问题，但是可能会有包装不全、缺少配置的问题。

首先用apt-get下载安装pgsql和postgis的需要的包

sudo apt-get install postgresql-8.3 postgresql-8.3-postgis postgresql-client-8.3 postgresql-contrib-8.3 pgadmin3

安装过程中会提示创建一个默认名为postgres的用户。

安装结束后，启动pgsql服务器

sudo /etc/init.d/postgresql-8.3 start

在默认情况下pgsql ident的设置为postgres用户用ident sameuser的方式登录，这种方式类似于sqlserver使用windows的用户管理。因此要用postgres用户登录系统。

修改postgres用户的密码

sudo passwd postgres

用新密码登录为postgres

su - postgres

运行psql，可以检查pgsql的运行情况

psql

可以在psql中给postgres用户设置数据库密码

ALTER USER postgres ENCRYPTED PASSWORD 'yournewpassword';

继续在psql中创建plsql语言。如果安装时遗漏了contrib包这一步是不能完成的。

CREATE LANGUAGE plsql;

退出psql，创建Postgis数据库。

createdb postgis

导入postgis的两个sql文件，其中定义了EPSG数据库和Geometry类型。

psql -d postgis -f /usr/share/postgresql-8.3-postgis/lwpostgis.sql
psql -d postgis -f /usr/share/postgresql-8.3-postgis/spatial_ref_sys.sql

进入psql对当前用户GRAND ALL

GRANT ALL ON TABLE geometry_columns TO postgres;
GRANT ALL ON TABLE spatial_ref_sys TO postgres;

这样做的结果是这两张表被导入到默认的postgres数据库中。这样今后创建postgis数据库就可以以postgres为template_db，不过这么做的后果是这两张表的owner都是postgres。在GeoServer里创建FeatureType时必须用postgres用户登录，否则权限不足。

这时PostGIS应该可以正常工作了，可以尝试导入shp

shp2pgsql /your/shp/file tablename | psql newgisdb

创建一个新的数据库用户

createuser -p username

修改/etc/postgresql/8.3/main/pg_hda.conf，设置数据库访问的认证方式

将local all all一行的验证方式(method)由ident sameuser改为password就可以用密码登录psql了，在python－psycopg中用新建的用户连接pgsql也不会报ident失败了。

将host all 127.0.0.1/32一行的验证方式也改为password就可以在本地用jdbc以用户名密码连接数据库了。

Opera-mini

2009-07-10T00:00:00+08:00

装备 tags:
internet
mobile
opera published: true comments: true

偌大的互联网，却找不到一个带提交按钮的文本框。

昨天为了能看一眼facebook上的留言（汗，其实我对翻墙的要求也够低的）可谓无所不用其极。首先是用tor+privoxy，结果tor的速度实在是太慢，除了tor的测试页面其它根本就打不开。然后看到了ssh -D的方法，这个速度也是很慢，但是不小心打开了twitter.com，然后又海枯石烂地登录成功，看到没有新的direct msg，也就算达到目的了。

再后来就看到opera-mini的在线DEMO，一个j2me simulator，借助这个applet可以顺顺利利地打开facebook twiiter之类的网站，但是因为Linux上JRE中文字体的问题，看起来多少还有点吃力。然后我就弱弱地睡下来，片刻之后才反应过来这一切多有意思。看看Opera-mini最大的卖点：
http://en.wikipedia.org/wiki/Opera_Mini#Functionality

在Server和终端之间有一个Proxy，这个Proxy整好运行在墙外面，也就不奇怪twitter facebook这样的网站可以轻松地访问了。不仅仅是在线demo，用手机终端也是一样的道理。我之前还一直以为是中移动的疏忽，看来真是错怪他们的工作了，呵呵。

http://en.wikipedia.org/wiki/Opera_Mini#Functionality

张江深处

2009-07-09T00:00:00+08:00

自话 tags:
fanfou
Life
Shanghai published: true comments: true

我都不好意思跟人说我去了上海，因为我很快就要窝在张江这么个村不村镇不镇的地方了。也说不清是好是坏，远离闹市中心倒是求得清静；但是真住在陌生城市最边缘的地方心里倒是一阵失落，还要花着血汗钱养活黑心的房东，我这是干什么来了。以上是例行的牢骚，我也无力阻止它的生成。好在有像WG和Samson这样的好友，讨论一下大家的处境，虽然也不会有什么具体的变化，但是心态总能相对缓和一些。嗨，生活就这个样子了，关键在你怎么看待它。

饭否这下恐怕真是没了，离了饭否，又是极大的空虚和不安以及痛心。不出意外的话，这事的起因又是针对时事的言论传播。我是保守人士，对于很多肆无忌惮地甚至就是具有挑逗性的言论其实非常反感。不怕被骂，我时常感受到这一代粪青内心和大脑的空虚，通过传播一些具有挑逗性（实则极度干瘪老套）的言论获得一些挑战“常规”的隐隐快感。这群人称为“不明真相的群众”实在是恰如其分。

看出来了吧，我确实边缘了，住到边缘的地方也是罪有应得。

我还是希望饭否能恢复，为了让我抢救出一些重要的对话留作纪念。

Pylons Tips

2009-07-02T00:00:00+08:00

手艺 tags:
pylons
python
web published: true comments: true

All scripts created by paster(paster create, paster controller and etc.) uses 4 spaces as indent while many editors(vim) uses tabs automatically. Different indent in one file will cause fatal error.

h.url_for is a popular helper function in many books and tutorials which to solve url mapping. This tool is no longer available by default since 0.97. If you got error message like "AttributeError: 'module' object has no attribute 'url_for'", just add

[codesyntax lang="python"]from routes import url_for[/codesyntax]
to yourapp/libs/helper.py .

莫愁前路无知己

2009-06-25T00:00:00+08:00

当时 tags:
'214'
friends
NJU published: true comments: true

六月见底，我是无暇总结和回顾自己难堪的大学生活了，只是对这越来越近的离愁别绪多少开始有些感慨。

今天三胖在上海签证遭遇了坎坷，后面的日程又发生了变化。这样原本计划的一次聚会怕是随风了。中午老大坐上了回家的火车，虽说是三十号就要回来了，但可能因为带回去的行李比较多，心中的化学反应也强烈了一些。短信收到说火车离站，想哭。老大多愁善感也不是一两天的事情了，不过这次都能体会都有感触。好在他三十号回来，还有一聚，到时在哭天抢地也尚有机会。倒是三胖的短信说“我那份你替我吃了吧”难免遗憾。虽然下次上海还有见面的机会，不过这一屋子四人想要重逢，就不知道是猴年马月了。我们宿舍四个人走全了四个方向，老四继续读研，老大献身国防，三胖外出读书，我就卷进那啥啥的洪流里了。可能有这种情况的还不多吧，料想数载重逢一定是丰富多彩不知所云。

人生啊。

'20090617'

2009-06-17T00:00:00+08:00

自话 tags: [] published: true comments: true

Nobody talks about techniques and related any more.

这也是一种

2009-06-10T00:00:00+08:00

当时 tags:
GIS
Life
Milan published: true comments: true

今天是高考最后一天，血淋淋的事实证明，高考是一个结束更是一个开始。望广大考生注意考后体形的保持。
绿坝来了，我在想是否今后就不允许出售预装Linux系统的个人电脑了。关于绿坝最niubility的评论，个人觉得还是要数这个OSI九层模型了：“物理层，链路层，网络层，传输层，会话层，GFW层，表现层，应用层，绿坝层”。呵呵，当然，仅供娱乐，不能作为考研参考资料。
GIS方面，詹姆斯.废同志提出来的GSS看起来确实要比SLD要理想一些。SLD太冗繁了，适合程序来生成，手工书写效率太低。况且况且现在能生成SLD的还是只有uDig吧，生成的还有限。用CSS的模式，加上属性选择器（强大的属性选择器，定然要支持数学和逻辑计算，比CSS的强大），还是非常不错的。当然，名字得改改，叫gCSS好。
我就快要毕业了，在同学和老师亲切的关怀下，之前答辩和论文还算较为顺利。鉴于这篇文章的正经程度有限，因此不在此特地感谢导师了。下次有机会要专门写一下。
卡卡去皇马了，这种感觉再锐化一下就是被人甩了的悲伤。
复习正有条不紊地进行中，信心决心一定程度上呈振幅不大的正弦曲线。现在还在如此忐忑的，除了中考的同学们就数咱这样的了。不过中考的同学还年轻，以后选择还多，美好的未来就在不远处（高考的同学同样适用）。
人生还是原函数靠谱，不过能向WG这样获得了一阶导数的跳跃间断点，多少也是看到了希望。有了niubility的一阶导数，原函数也就有了期待。归根结底来说，原函数才是根本，一阶导数勉强可以让人握紧双拳仰望蓝天感叹要好好战斗下去；至于二阶导数，天边浮云了。还是要呼唤间断点，跳远间断点，不是那种不着调的可去间断点。
本周末和妈妈去上海签证，说起来甚是无奈。儿子不争气，只能妈先签了。沾妈的光，去远远看一下领事馆，不管以后能否有机会，至少认个路吧（如果能认下的话）。
没办法，生活是如此人生啊。白天见不着星星，晚上看不到阳光，没点境界如何坚持下去呢。话说啥时候要是连贫都不贫了，料想当是荒诞剧收场，台下观众破涕为笑，台上演员目瞪口呆，抄起一把菜刀到后台说要和编剧玩命，这时字幕徐上：自编自导自演自缢。玩笑，呵呵。
我会继续关注伊朗总统内贾德和波利维亚总统莫拉莱斯关于购买天然铀的会晤的。

How you waste your storage?

2009-06-06T00:00:00+08:00

留影 tags:
foss
linux
VirtualBox published: true comments: true

250G硬盘是这样被使用的。一个K桌面的ArchLinux，一个俄语界面的LinuxMint，一个出于好奇心的OpenSolaris，一个用来测试的Ubuntu Server，以及，以及一个不能免俗的盗版Windows。

Check here to see a complete installation guide of Ubuntu Linux on VirtualBox.

The Day of Silence

2009-06-04T00:00:00+08:00

自话 tags:
zoo published: true comments: true

今天是一年一度的无言日，每到这一天，中国大陆地区的网民会通过自觉停止发言、停止更改头像的方式进行庆祝。网友们希望通过这种方式，减少由于不必要的操作造成的存储设备的损耗和CPU计算导致的耗电放热，提醒人们保护地球环境、减少能源消耗并减缓全球变暖。

据报道，今年的无言日是该活动举办以来规模最大的一次，除了中国大陆地区的新兴Web2.0网站豆瓣、饭否，以及一些人气较旺的论坛PCHOME、VeryCD等早早参加了这项活动，包括Twitter、Live Space、Flickr等著名网站今年也首次加入到这项活动中来，而Wordpress.com和Blogspot.com等长期关注环境保护的网站则是如往年一样早早关闭了自己的网站访问功能。值得一提的是，微软近期刚刚发布的搜索引擎Bing.com也在今天关闭了，据微软工作人员介绍，他们希望通过此举表明微软公司一直以来在环境保护和社会公益方面的立场和决心。与之相对应的是Google等互联网巨头仍然没有参加今年的无言日活动，此举遭到了多数网民的强烈抗议和反对。

研究统计表明，每年由于网友在网上滥发言论滥改头像造成的存储设备损失数以T记，而由此造成的电力损耗更是不计其数。随着Twitter类型网站的普及，滥发言论滥改头像已经成为危及世界环境的重要因素。近年来的数据表明，用户每发一条微博信息，南极冰层厚度都有相应减小。著名的Amazon公司甚至推出了专门的存储服务试图对存储设备集中管理以减少全球存储设备的消耗和浪费。但是就其根源来说，唯有全球网友减少发表言论的操作，才能真正实现节约存储设备，促进可持续发展。

一名网友在接受采访时说，今年他选择动物园度过无言日，希望能够一改从前在网上说话的不良习惯，与人类的朋友进行更多心灵的交流，以和谐生态和谐世界。

desktop-switcher以下

2009-05-29T00:00:00+08:00

把戏 tags:
bug
gnome
ubuntu published: true comments: true

今天中午在synaptic里闲搜，发现了一个叫做desktop-switcher的小工具，它的功能是在ubuntu的netbook小桌面模式和经典模式之间切换。好奇心起，就装上试试。一试不得了，两个不太明确的报错之后，面板没有了，桌面也只剩下背景图片，左右键通通废掉，登出也只能按电源开关。尤其是xorg1.6之后，ctrl+alt+backspace也不好使了，甚是无奈。
这下岂不是又要重装系统了？还好这次冷静（现在越来越冷静了，我是说经历了水泼电脑之后），先新建了一个用户重新进桌面上网搜一下。还真搜到了问题，果然是这个切换工具有bug。
首先看一下gnome配置中有关的配置
gconftool-2 --get /desktop/gnome/session/required_components
这个值居然被清空了，参考launchpad上的讨论，要加上这几项
gconftool-2 --set /desktop/gnome/session/required_components --type=list --list-type=string ["panel","filemanager","windowmanager"]
重登录之后panel总算是出来了，原有panel上所有的配置都被清空了，连主菜单都没有了。不过这个没有问题，手动重新添加问题不大。panel的样式需要重新设置，因为这个样式已经被desktop-switcher切换到netbook版本的样式（名字忘了）。
还有一些小问题，可以在Gnome设置工具里修改：
1. 桌面右键无效、图标消失了
查找这个键值：/apps/nautilus/preferences/show_desktop 将其设置为true，让nautilus管理桌面
2. User Switcher Applet无法添加
查找这个键值：/desktop/gnome/lockdown/disable_user_switching 将其设置为false，允许用户切换

ok，这样就只剩下虚惊了。

我走向急流的河畔

2009-05-22T00:00:00+08:00

自话 tags:
laptop
NJU
thinkpad published: true comments: true

标题是随便起的，是背景音乐。最近比较忙，这会偷闲update一下。话说用ol写blog已经非常普及了。

首当其冲，上上周六晚十点，本人亲手把右手边一杯茶水碰倒在桌子上导致电脑进水。最为发指的是当时第一反应还不是抢救电脑，是擦桌子。省略掉一些不愿再回忆的过程，上周日修电脑的人说找不出问题，要换主板。鉴于一切一切，最后还是报废了旧电脑。换了现在的Think三鹿400脑残残型号。这事来得太突然以至于我买电脑那天都没有刮胡子。
从外观和重量上来说，想买一台比我原先的还让人不满意的电脑是挺难的。那个时候太care配置，想要榨干性价比。其实用了这么长时间发现其实配置啊她是浮云，关键还是要外表长得好看，然后不能太沉，抱着不能太吃力。
这次的三鹿400脑残残型是集显了，再也不用为A卡的驱动苦恼了，而且我感觉现在的集显是不是比以前的独显还要强大。另外脑残残型也是667的内存，只有1G（居然也敢装Vista），正好把旧电脑上的内存拆下来发挥余热。这都是之前计划好的，没想到的是装内存的时候险些把塑料盖摧毁，看来以后还是得小心，得看说明书。
新电脑继续用ubuntu，当然重装完成后lenovo care和无线网卡的灯都不明原因的永远不亮了。能用就好，灯不亮还比较含蓄。
毕业论文第一稿写了八页就热情洋溢地给老师发过去了，结果几乎被骂被告知怎么也要二十页。再一打听，确实周围同学不是二十页就是三十页，你要用五号字都不好意思和别人打招呼。于是连续三天所谓无所不用其极，本着就不贴代码的原则，搞了一堆图片。今天闲谈起来居然听说有人致谢谢了两页，我原本以为谢全家也不过就是两三行的水平，看来，他们是真的像赵本山说的去谢祖先了。
复习的进度有条不紊（其实我也想加快），今天又多亏许鼎鼎帮忙弄到了组成原理的课本还有离散和编译原理，现在纸张是足够了，就等写完blog去看了。我热切地期待着回去给大家当师弟的那一天。
前段时间想戒除开心网瘾了，结果上次传说DNS被攻击之后偶的两台linux机器干脆直接不能访问了，倒是windows却依然正常，没有想到歧视的水平已然这么高了（我们不就是用免费的操作系统了吗，我们不就是用免费的操作系统还要了张免费CD吗，算了，第二句确实应该歧视）。用nslookup命令看呢，南京电信用的两台DNS 218.2.135.1和61.147.37.1，查www.kaixin001.com都是连接被拒绝。目前还没有发现其他域名有类似的情况，难道说这就是那啥冥冥之中吗？大概也是应该顺应天意的时候了||||
最后简洁一条，今年生日过得不错。

Lily Studio New Official Site

2009-05-08T00:00:00+08:00

自话 tags:
friends
LilyStudio published: true comments: true

江山带有人才出啊，自从看到Remember2015和Lightory这么伟岸的人才们之后，我都不敢想像后面的人再出来以后我上哪蹲着去了。

隆重推出工作室的全新官网： http://www.lilystudio.org/ 如果没有搞错的话，美工Remember2015，编辑Lightory，这个组合太强大了，嗯。

Any feedback? Try http://www.lilystudio.org/bbs/

最后引用何勇的一句名言：感谢大家的工作！

早起，写一个变色的小程序

2009-05-05T00:00:00+08:00

把戏 tags:
gnome
linux
shell published: true comments: true

以前用Windows的时候，我是说用XP的时候，因为不支持颜色主题，也无从知晓如何通过自动化的方式更换Windows的主题，所以，经常是人肉地每天换主题（其实只是为了换标题栏的颜色），追求新鲜感。
现在用Gnome桌面以后依然保持着这种爱好。遗憾是之前一直没有找到设置存放的位置。前两天在command-line-fu上恰好看到一个变换桌面背景的命令，原来这类配置都存放在gconf里，用gconftool就可以进行操作了。
然后很容易地就能在图形化配置管理器里找到颜色配置的键值位于/desktop/gnome/interface/gtk_color_scheme，值是一个用换行符隔开的名值对，内容就是我们在Appearance配置窗口里看到的那些。good，写个shell小程序每天换颜色！
以下是我孱弱的shell脚本：
[codesyntax lang="bash" lines="fancy"]

case `date +%w` in
    0) color='#C4C4A0A00000';;
    1) color='#CECE5C5C0000';;
    2) color='#8F8F59590202';;
    3) color='#4E4E9A9A0606';;
    4) color='#20204A4A8787';;
    5) color='#5C5C35356666';;
    6) color='#A4A400000000';;
esac

sedcommand="s/$selected_bg_color:$$.*$/\1$color/"

color_scheme=`gconftool-2 -g /desktop/gnome/interface/gtk_color_scheme | sed $sedcommand`

gconftool-2 -t string -s /desktop/gnome/interface/gtk_color_scheme "$color_scheme" [/codesyntax]
每天一换，颜色是tango调色板里的色彩，HOHOHAHA

把wx的窗体绘图输出到位图

2009-04-22T00:00:00+08:00

手艺 tags:
python
wx published: true comments: true

我想用这种低调的含糊不清的标题也没有什么坏处。

问题很简单，我们要把在wx窗体上绘制的图形保存到一个位图文件中去。

首先看一下wx的绘图机制，所有和绘图相关的操作，都从wx.DC这样一个父类继承。DC即Device Context，文档里对这个类的功能有这样的描述

A wx.DC is a device context onto which graphics and text can be drawn. It is intended to represent a number of output devices in a generic way, so a window can have a device context associated with it, and a printer also has a device context. In this way, the same piece of code may write to a number of different devices, if the device context is used as a parameter.

进而，这样的DC包括子类WindowDC，PrinterDC等等，用于在不同的设备上画图。WindowDC又有两个子类ClientDC和MemoryDC。在窗体上画图，就是在EVT_PAINT事件里，应该使用ClientDC的子类PaintDC。而MemoryDC就是在内存中的位图上绘图。要把窗体上的图形输出到位图文件中去，只要把PaintDC中的绘制的图形数据拷贝到MemoryDC上就可以了。

以下是一个典型的OnPaint方法
[codesyntax lang="python" lines="fancy"]
class CanvasAlpha(wx.Panel):
def __init__(self, parent):
wx.Panel.__init__(self, parent, -1)
self.SetBackgroundColour(wx.Color(255, 255, 255))
self.Bind(wx.EVT_PAINT, self.OnPaint)

def OnPaint(self, evt):
dc = wx.PaintDC(self)
gc = wx.GraphicsContext.Create(dc)

## draw ...
[/codesyntax]
在拷贝之前，首先创建一个新的位图并且指定他的宽高
bitmap = wx.EmptyBitmap(width, height, -1)
获得memoryDC
memDC = wx.MemoryDC()
指定memoryDC的内存对象
memDC.SelectObject(bitmap)
利用DC中一个非常重要的Blit方法，把PaintDC上的图形轻松地拷贝到MemoryDC上（关于参数的意义请参考wx的文档了）
memDC.Blit(0, 0, width, height, dc, 0, 0)
这还没有完，将memoryDC的内存对象设置为null，即传入一个null对象。这一步相当于flush。
memDC.SelectObject(wx.NullBitmap)
最后，用bitmap的Save方法就可以非常轻松地输出图片了
bitmap.SaveFile(filename, wx.BITMAP_TYPE_JPEG)

这样，在窗口中截图也就实现了。

这就是生活

2009-04-19T00:00:00+08:00

留影 tags:
D60
Photos published: true comments: true

Yes, it is

2009-04-18T00:00:00+08:00

自话 tags:
football
friends
Nanjing
ubuntu published: true comments: true

我发现samson的blog写法是effective的，于是我决定山寨他。

我又回南京了，虽然对某些组织我还宣称自己身在外地。这次可以多留一段时间，南京还是非常好的。我家出来这里就是两条河，波光粼粼，现在又是绿色最绿青草更青的季节，凉风徐徐树影婆娑，春光明媚心潮暗涌，让人没法不热爱生活。
回家之后我吹牛说我妈已经可以从厨房退休了。这两天午饭都是我把我妈关在外面，一人独自在厨房里意气风发挥斥方遒。除了切出了钢笔一样的肉丝而且最后根本咬不动以外，其他都还是一切安好的。可歌可泣的是，再也没有没有糊味从厨房传出来了。
昨天再超市突然发现地上有个秤，于是迈上我轻盈的步伐piapia地站上去，指针的速度那叫一风驰电掣，它在越过70之后依然没有慢下来的迹象。想知道最后它停在哪了吗，移动用户你就编辑短信去吧。
除了毕业要做的东西，这两天在看微机原理，看CPU指令系统看内存寻址啥啥的。我要是说自己看不懂是不是太丢人了，那我就说看不太懂吧。好像还不知道考什么，下周找pipitu这样的成功人士求经了。顺便把我北京的公交卡郑重地交给她，里面的钱正好够她从火车站到五道口。嗯，另外20块押金的事情面谈。
今天终于不能忍了，开始升级ubuntu9.04，现在两岸人民虽然还是血浓于水，但是tw.archive源确实没有以前快了。结果换了一个源，到目前为止快6个小时了，1400个软件包还是没有下载完（刚才变成1700了）。反正现在知道的，xorg1.6了，ati的fglrx驱动是不能用了，compositing没了，但一样可以欣赏朴素的美。
然后昨天舜天队赢球了，超乎想像异乎寻常，客场两球干净利落地拿下领头羊天津。下周主场对河南我是无论如何要亲临现场了，单身看球，看一场少一场了。
人生啊。

cp bookmakes to another pdf file

2009-03-25T00:00:00+08:00

把戏 tags:
java
pdf published: true comments: true

其实这事不好。

看电子书的时候，有的没有Bookmake书签，或者叫目录也成。这样读起来就非常疲劳，经常一恍惚就根本不知道读到哪里了，上下文都弄不清怎么办。这种问题尤其对于一本1500页的电子书来说更严重。想办法自己加书签吧，reader根本不提供这个功能。这能自立更生了。

对于apress的电子书（我在写这些的时候内心很痛苦，作为一个第三世界的民工，这个出版社的书我一直是看电子版），如果电子书没有书签，可以从apress的官方网站上下载目录，这个目录恰好就包含书签。这样的话只要把这个书签拷贝到我们之前的电子书里就可以了。

于是需要一个能够读写pdf文件的库，我找到一个pdfbox，它现在是apache incubator中的一个项目，貌似签到apache之后还没有一个正式的release。上一个release可以在sourceforge上项目原来的页面找到，版本号我不记得了。

最近比较怀旧直接用Java写。其实很简单，pdfbox都已经建模了，只要取出来、放进去、写下来（ZB一些应该是get出来，set进去，write下来）就可以了。以下是个sample

[codesyntax lang="java" lines="fancy"]
public class Main {

/**
* @param args
*/
public static void main(String[] args) throws Exception{

FileInputStream ctfile = new FileInputStream("E:\\cs_content.pdf");
PDFParser parser = new PDFParser(ctfile);
parser.parse();
PDDocument ctpdf = parser.getPDDocument();

PDDocument rlpdf = PDDocument.load("E:\\cs.pdf");

PDDocumentOutline outline = ctpdf.getDocumentCatalog().getDocumentOutline();
rlpdf.getDocumentCatalog().setDocumentOutline(outline);

FileOutputStream out = new FileOutputStream("E:\\cs_out.pdf");
COSWriter writer = new COSWriter(out);
writer.write(rlpdf);
writer.close();
}
} [/codesyntax]

非常简单，就不解释了。只是有一个小小的问题（其实相当严重），Apress的目录文件里bookmark是没有设置destination的（这也是ZB的说法，其实就是点了没反应）。我想了一下如果要让书签真正起到作用要去读pdf的目录页面，那里面有页码，虽然这个页码和pdf的页码有时候会有一个固定的偏移。不过读pdf似乎有那么一点麻烦，因为里面有不少控制字符。

暂时就是这样。不知道有没有其他什么更好的办法。

上海这几天

2009-03-14T00:00:00+08:00

当时 tags:
Life published: true comments: true

到上海一个星期了，借宿在亲戚家里没有办法上网。所以一直不能更新，这种状况从现在起还要延续将近一个月左右。

最近已经在新公司开始被培训了。情况简单地来说就是不太理想，即将面对的困难、问题比想象中的还要多还要复杂。画外音：出于安全的考虑希望大家不要在留言中透露公司的名字。这种时候呢就越发怀念之前在北京CRL实习时候的经历，相比相对照实在是点点点点点。当然在现在这里也是机会与挑战并存，只是可能要面对不少单纯技术之外的挑战。也有好处，催化成熟，促进衰老。

倒是在这种环境里更加坚定了我的决心，之前一直抱怨没有足够的时间能够认认真真做一些事情。现在恐怕还是没有时间，但是为了个人以后的发展，也不能有什么顾虑了，该学习的要学习，该花时间花精力的也不能无奈了。万事开头难，有意一起开头的请留言或Email，咱们一起找个头开。

上海在我眼里是个比较变态的地方，也是真正到了这里我才发现自己虽然不至于热爱山洞里的居住，但是也和这样所谓现代大都市格格不入。在北京的时候还有文化上的偏好和归属感，以及对人生对未来的希望在左右，到了上海没有了这二者虚无飘渺的光环，生活啊，它一下就变得很艰难很残酷了。呵呵。

也就是这种气氛，让人不由自主地去想未来改变这种生活状态的手法和途径，然而就像高旗唱的“对明天的恐惧来自对今天的厌倦”一样，迷茫，不知所措。呵呵。惟望后来者珍惜眼前的生活，把握提升自我的机会，依靠自己的努力去获得一个自己满意的过程和结果。

以上皆真情流露，如有扯淡，也有可能。

看图不说话

2009-03-04T00:00:00+08:00

自话 tags:
linux
opera published: true comments: true

EXE是Windows上的可执行文件，那么在Linux上系统默认是如何对待它的呢。请看下图。

Gwibber and WebKit

2009-03-03T00:00:00+08:00

手艺 tags:
css
foss
gnome
twitter
web
webkit published: true comments: true

Gwibber是一个用来接收流行的web2.0应用的消息的客户端。（靠，这句绝望了。）今天LinuxToy才刚刚介绍，不过我前几天就发现了，哦hohohoho。

Gwibber的架构很容易扩展，稍微看一看就清楚了，我就不描述了。正好饭否和twitter的接口是保持一致的，拷拷改改很容易就可以给Gwibber增加饭否的支持。如此一来就可以同时看饭否看twitter发饭否发twitter了。

你以为这是一张截图，其实它是分隔线。

注意上图，gwibber是一个简单的pyGtk程序加上Webkit，它的核心部分就是html网页。这个网页除了头像以外可是没有图片的，那几个效果是怎么实现的呢。一个一个说。

圆角 -webkit-border-radius: 7px;
文字阴影 text-shadow: 1px 1px black;
渐变 background: -webkit-gradient(linear, left top, left 220%, from(rgba(254, 240, 152, 0.9)), to(black));

比较神奇的就是这三个属性。所以也难怪现在用WebKit核心的程序（不完全是浏览器）越来越多。没有记错的话，这三个丰富特性除了text-shadow在Firefox3.1开始支持其他的Gecko都还不支持。

总而言之，用CSS就可以绘制出精致的图形，而且完全可以生长在桌面。

最后一课

2009-03-02T00:00:00+08:00

当时 tags:
NJU published: true comments: true

因为下周就要到新的公司实习了，算算时间今天是最后一次在学校上课，没准就是最后一次坐在课堂上绝望了。

应该说起来上了这么多年课，真正到了这最后一次，还是挺容易感慨的。为了防止感慨，这最后一节课就在看小说中度过了。仔细回忆一下，我上了这么多年课，虽然也有上课看小说的经历，不过肯定是比多数人要少的。我对自己高中和高中之前上课的态度以及对老师的尊重还是有足够的信心的。

真要离开学校了，实际上还是非常遗憾的，我对自己肚子里的油水还是有数的，不会的东西要学的东西太多了，实在是太多了。我是多希望能够在学校里哪怕只再多留一年，一年足以改变很多情况了。去年下半年的实习生涯让我知道一旦出来，精力就非常有限了，恐怕是很难有时间系统地去扎实基础了。在学校的时候往往不能明白这个道理，等到失去的时候才追悔莫及。为什么不考研呢，实在是没有心气和信心去面对考试了。一年级的数学分就不高，二年级的数理统计分更是突破心理底线了（我到现在也只是承认分不高，不接受没学好的事实，当然可能这两者本身区别不大，尤其是放下这么长时间以后，确实没什么区别了）。之后的考试也是一塌糊涂，更是不能忍受那种没有自觉意识的背书过程。总之，这么早早地告别校园也是自己的选择，后果自然是自负。

今天有个好消息是，我们班考本校研究生的同学悉数过关，皆大欢喜。这个是不错的事情，如果落榜今年确实是不方便找到好的出路。

我只能希望以后如果有同学聚会的话，不会感到非常尴尬。

Location Support on Empathy

2009-03-01T00:00:00+08:00

装备 tags:
foss
gnome
linux
location published: true comments: true

好久不写了 ||

昨天看到了这么一篇介绍Gnome桌面上对地理位置的支持的文章（汗这句子）。地址在这里。

我印象中最早的就是Gnome 2.24开始那个日期applet增加的一个地图，可以选择和设置当前的location，于是有了比较好的时区支持和天气服务。文章里还提到居然Tracker搜索也支持这么一个地理元信息，可以搜出在某个地方（是说地球上的某个地方）编辑的文件。这个很强。

然后就是Empathy对location的支持了。这个看起来很强大，截图和介绍可以看这里看这里看这里。Empathy可以用来发布你evolution的联系人地址。话说，很容易就想起来了，XMPP协议有一个地理位置的扩展。不过文中说几乎除了GoogleTalk其他都支持地理位置扩展。好家伙，这个又只能遥远地YY了。

文中提到的提供LBS的库叫做Geoclue，而在Gnome上显示地图是一个叫做libchamplain的widget。而地图，当然毫无疑问是OSM了。有兴趣的朋友可以去关注。

没了，静静等待这个Empathy变得越来越强大吧。

SQuirrel SQL Client 3发布了

2009-02-22T00:00:00+08:00

装备 tags:
foss
java
swing
tools published: true comments: true

SQuirrel SQL Client是一个用Java写的数据库客户端，用JDBC统一数据库访问接口以后，可以通过一个统一的用户界面来操作MySQL PostgreSQL MSSQL Oracle等等任何支持JDBC访问的数据库。使用起来非常方便。而且，SQuirrel SQL Client还是一个典型的Swing程序，也算是Swing的一个比较成功的应用了。

2.x版本的SQuirrel SQL Client一直是用JDesktopPane和JInternalFrame来组织界面。这次发布的3.0最大的变化就是改用现在更加流行的Dock方式组织窗口。

07年开始我一直用这个工具，后来在某处实习时，意外地发现组里以前也有人用这个工具（不过后来没有人再用了），一问，原来也是之前我们学校的同学。看来，一个学校的果然还是有一点相同，呵呵。

Python读取二进制文件

2009-02-20T00:00:00+08:00

手艺 tags:
c
python published: true comments: true

Python里虽然可以通过'b'的标记来区别普通文件和二进制文件，但是依然是把二进制文件当作普通文本处理。要读写二进制文件，需要用struct库来作pack和unpack。

比如我最近拿到一个如下数据结构的二进制文件

[codesyntax lang="c" lines="fancy"]
struct DEMTYPE {
int row;
int col;
float xmin;
float ymin;
float xmax;
float ymax;
float size;
float vmin;
float vmax;
float scale;
float *data;
};
[/codesyntax]

其中data是一个长度为row*col的数组。要读取这样一个二进制文件，可以用这样的代码
[codesyntax lang="python" lines="fancy"]
row, col, xmin, ymin, xmax, ymax, size, vmin, vmax, scale = \
struct.unpack('<2i8f', datastring[:(4*2+4*8)])
vdata = struct.unpack('<'+str(row*col)+'f', datastring[(4*2+4*8):])
[/codesyntax]
核心是unpack的第一个参数，用来标识二进制数据的格式，其中<表示little-endian，i表示整型数，f表示单精度浮点数，数字是量词。

更详细的说明可以看manual： http://docs.python.org/library/struct.html

好吧，我承认我写这个是来测试highlight插件的。

野火烧不尽，草木花鸟鱼

2009-02-18T00:00:00+08:00

自话 tags:
blog
friends
www published: true comments: true

Blog被封很长时间了，让大家担心了，不知道的朋友恐怕还以为我在单向街书店被捅了吧，好在那位不是我，我还没有恶心到把那个部位当作我的网名。

经过一系列折腾，我现在终于搬到好友WG的地盘上继续写东西了。原本大算使用habari来做blog系统，但是没有部署成功，对PHP/Apache的问题我只能望洋兴叹。最后还是随了大流，用了Wordpress。随大流对我来说是一件困难的事情，为此我经历了相当痛苦的抉择。

其实原有的文章我已经在网站被封之前抢救下来了，并且在habari中实现了恢复。不过既然habari部署搞不定，那也就算了，毕竟以前的东西在新的系统里总有些不伦不类。而且更重要的是，大家的评论我没有精力恢复了。既然没有了大家的评论，以前的blog也就不重要了，嗯。将近两年的log我就自己收藏了，不在与大家分享了，也算是我即将告别校园，有一些历史数据出于安全考虑需要封存。

blog刚刚架起来，还有很多东西要改。最后十分感谢WG在为难时刻出手相助。

Here comes the Sun

The Jetty 12 Adapter for Clojure Ring, and A Decade of A Custom Ring Adapter

The Jetty 12 Adapter for Clojure Ring

A Decade of A Custom Ring Adapter

一个好团队

能力

流程

信任

士气

Recapping 2021

902

133

开车

Emacs

其他

Announcing Espresso: the start of a modern Java web ecosystem

Call for collaboration

What to expect for Jiangsu Suning's summer break

Olaroiu's secret new formation

Ramires

Newcomers

Fitness

Custom JRE for Clojure app distribution

微服务设计套路

Ambassador

Anti-Corruption Layer pattern

Backends for Frontends

Bulkhead

Gateway Aggregation

Gateway Offloading

Gateway Routing

Sidecar

Strangler

Slacker 0.15 released

The request extension

Flexible server thread pool

Bugfix and performance improvement

Middleware

从 HTTP 0.9 到 QUIC

HTTP 0.9

HTTP 1.0

HTTP 1.1

SPDY & HTTP/2

QUIC

总结

衡量可扩展性的立方体模型

路边野餐

一

二

三

四

五

Writing library for both Clojure and ClojureScript

Host differences

Reader conditionals

Syntax differences

Tooling

Conclusion

将网站迁移到 Gitlab Pages

HTTPS

Page Builder

Using external drive as rootfs for raspberry pi

"Smoothing Your Rust Crates Release With Cargo-release"

"Summarizing Changes in Slacker 0.13"

Application managed thread pool

Interrupt

Plug-able Serializers

Server data for Slacker Cluster

Running Ring web application on HTTP2 with rj9a

"Handlebars 的 rust 实现"

"AVOS Cloud 实时通信服务架构：微服务和服务发现"

服务发现

"在 Docker 中安装和使用 Rust nightly 版本"

安装

Hello World

Web Hello World

Wrap up

"Clojure Microservice architecture with Slacker Cluster"

"Mapzei 和 观察者"

"扩展 Linux ephemeral 端口限制"

"Mapzei 和观察者"