wd and cc » Linux

thunderbird 和 davmail 配合连接 exchange

wd — Wed, 01 Feb 2012 03:27:00 +0000

exchange 是个恶心玩意，虽然提供了 imap 接口，但是速度巨慢，发送接收都慢。davmail 可以解决这个问题。

davmail 能干啥

davmail 可以理解为就是一个 proxy，他负责和 exchange 通讯，其他邮件客户端连接 davmail 来获取邮件什么的。网站上面有图，看
着更加直观一点。

安装配置 davmail

ubuntu 里面好像直接就有，apt-get 安装就可以了。gentoo 里面没有，我在 overlay 里面找到一个 ebuild，自己修了一下，放到我的
overlay 了，在 net-mail/davmail-bin 下面。启用 server 这个 use。

安装后会创建一个 davmail 用户，需要建立一个 /var/log/davmail 的目录，给 davmail 写权限。

然后手动运行 opt/davmail/davmail.sh，有界面，配置好 exchange owa 的地址，保存，会生成 ~.davmail.properties 文件。

这里有个问题，如果 owa 地址是 http 的，那直接继续下面的就可以了，如果是 https 的，那还需要配置对应的 ssl 相关参数。我是
直接在 thunderbird 里面配置好之后，收了一下邮件，然后会提示一个什么证书的东西，这之后再继续下面的事情就可以了，这个时候
他会给你配置好里面 ssl 相关的东西。

复制到 /etc/davmail.properties，把里面的 davmail.server=fales 改成 true，设置好 log 为 /var/log/davmail/davmail.log，级
别先使用 debug，测试好了之后改成 warn。

配置 thunderbird

参考 davmail 网站上面关于 thunderbird 的配置就好了。

可配置的有接收，发送，地址簿，日历。

排错就看看 /var/log/davmail/davmail.log 把，信息很详细。

介绍下 org2blog

wd — Mon, 24 Oct 2011 03:47:00 +0000

org2blog 是什么

org2blog 是用来把 org-mode 格式的文章发布到 wordpress 的工具。其实之前使用 webloger.el 也可以发布到 wordpress，不过是
webloger.el 已经基本没人维护了，这个 org2blog 作者支持还很积极，另外 org-mode 还提供了一些额外的方便编辑的方法，所以其实
是个不错的东东。

安装

其实按照上面地址的内容，安装很简单。

git clone http://github.com/punchagan/org2blog.git
(setq load-path (cons "~/.emacs.d/org2blog/" load-path))
(require 'org2blog-autoloads)

依赖 xml-rpc ，添加到 load-path
需要最新版本的 org-mode，我使用的是 emacs 24 里面的 7.7，之前使用 7.5(?) 的时候，遇到了发布的时候会在文章结尾附加
导致 blog 的展现挂掉的问题。

使用

配置

;;
;; org2blog
;;

(require 'org2blog-autoloads)
(setq org2blog/wp-blog-alist
      `(("abc"
         :url "http://abc.com/xmlrpc.php"
         :username "admin"
         :password PWD
         :keep-new-lines t
         :confirm t
         :wp-code nil
         :tags-as-categories nil)
        ))

(setq org2blog/wp-buffer-template
  "#+DATE: %s
#+OPTIONS: toc:nil num:nil todo:nil pri:nil tags:nil ^:nil TeX:nil
#+CATEGORY: Heart
#+TAGS:
#+PERMALINK:
#+TITLE:
\n")

我不使用 wordpress 的 code 格式，所以设置了 wp-code 为 nil。可以定义多个 blog。

登陆，发帖

M-x org2blog/wp-login 会提示你要登陆哪个 blog
M-x org2blog/wp-new-entry 会使用设置的 template 打开一个 buffer
M-x org2blog/wp-post-buffer 保存成 draft
M-x org2blog/wp-post-buffer-and-publish 真实发布

另外，还可以发布一个 tree 而不是整个 org 文件，以及一些其他的操作就不多说了。

发布源代码可以使用 BEGIN_SRC END_SRC 块，或者冒号开头的行会被当作源代码。

我使用的是 wp-syntax，所以发布源代码使用 BEGIN_HTML 在里面使用 pre 标签

#+BEGIN_HTML
(setq a 1)

#+END_HTML

其他

使用 org2blog 只能从 org 发布到 wordpress，不能从 wordpress 回到 org 文件再进行编辑，不过我看到有人已经提供了一个解决方
法，或许将来也会支持这个功能。

使用 org2blog 发布很讨厌的一点是，他会把你的 org 加上很多的 html 代码，再编辑的时候比较讨厌。

org2blog 在 github 的页面 https://github.com/punchagan/org2blog 上面有不少有用的东西，建议看看。

介绍下 openresty

wd — Sun, 23 Oct 2011 11:06:00 +0000

一直没有时间使用 ngx_lua，上周算是真正使用了下，总结下，也算是帮忙推广下 openresty。

什么是 openresty

openresty 的主力作者是 @agentzh 它的网页在这里，上面有介绍。按我的理解，他是介于客户端浏览器 js 和数据库之间的一层。

在 ajex 还没有盛行的时代，数据库的数据需要展现在浏览器的时候，一般都是使用 php/jsp 之类读取数据，然后拼表格/图表这些。在客户端机器越来越牛逼之后，把部分运算放在浏览器里面开始盛行，ajex 也越来越流行。这个时候通常还需要有个服务器端的程序来配合从数据库获取并提供数据，应该也有不少类似的程序来提供这个数据。

老版本的 openresty 是基于 perl 做的，可以上 cpan 上面搜到 (不知道为啥这页面我打不开了)。agentzh 还专门为他写了一个 admin site，纯 js + oprensty 来实现的，可以直接在上面配置接口，很方便。目前老版本应该没人用了。

新版本的 openresty 基本上等于是 nginx 和一些 nginx 模块的集合，大部分模块都是 agentzh 和 chaoslawful 完成的，目前 agentzh 离职在家全职开发 openresty 相关，chaoslawful 还在淘宝量子统计。

这大概就是我了解的 openresty 的起源和目前的情况。写的比较简单，里面的曲折就不多说了，可以找上面提到的大牛聊天。

怎么使用 openresty

我下面用一个简单的例子来描述下，我是怎么使用 openresty 的，从中应该能看出来 openresty 能干啥，怎么用。

需求

在 postgresql 数据库有张网站日访问流量表，包含两个字段 thedate 和 pv。需要把里面的数据展现出来，画出来流量曲线。

注意: 下面的代码大都从现有程序里面扒出来的，所以不一定直接就能用，只是个示意而已。

安装 openresty

首先需要安装 openresty。从 openresty.org 下载当前的 stable 版本 ngx_openresty-1.0.6.22.tar.gz。

$ tar zxvf ngx_openresty-1.0.6.22.tar.gz
$ cd ngx_openresty-1.0.6.22
$ ./configure --with-http_drizzle_module --with-http_postgres_module --with-pg_config=/opt/pg90/bin/pg_config --prefix=/usr/local/openresty --with-libdrizzle=/usr/local/libdrizzle/ --with-luajit --with-http_iconv_module # 这是我用到的参数，按照需要加减
$ make
# make install

configure 的时候 postgres_module 是必须的，其他的 drizzle_module 是用来支持从 mysql 获取数据的，iconv_module 是用来做编码转换的，luajit 据说可以提升不少性能。

不出问题的话，在 /usr/local/openresty 目录下面就安装好了。其实更合理的方式应该是提供一个 rpm 或者 deb 包的。

启动 nginx

openresty 给提供了简单可用的 nginx.conf，所以现在可以先尝试启动下 /usr/local/openresty/nginx/sbin/nginx 了，如果启动没问题，那就 ok 了。

配置文件在 /usr/local/openresty/nginx/conf/nginx.conf。

配置 nginx

主要就是配置 /usr/local/openresty/nginx/conf/nginx.conf，以后很多事情都会在这里面来完成，说是 nginx.conf 编程也不为过，呵呵。

增加下面的配置

# http 级别增加下面的，设置好里面的 ip 用户名密码什么的
 
    upstream pgsql {
        postgres_server server_ip:5432 dbname=test password=123 user=test;
        #postgres_keepalive  max=2 mode=single overflow=reject;
        postgres_keepalive off;
    }
 
# server 里面增加一个 location
 
       location /=/pv {
            postgres_query 'select thedate, pv from pv';
            postgres_pass pgsql;
 
            rds_json on;
            rds_json_format compact;
 
            xss_get on;
            xss_callback_arg '_c';
        }

其中关于 upstream postgres 用来定义需要连接的数据库信息，和发送 sql 到数据库，可以参考这里。
rds_json 用来将数据库的输出变成 json 格式，可以参考这里。
xss_get 用来支持跨域，jquery 默认使用的 callback 参数是 _c，可以参考这里。

这样配置好之后，重启下。结果应该很清晰了，请求 http://your\_ip/=/pv 应该就可以得到数据库里面的数据了，可以使用 curl 看看结果，应该类似下面的

[['2011-10-09', 245],['2011-10-10', 456]]

js 画图

挑一个画图程序，比如我用过的 highcharts, amcharts 这些都不错，amcharts 是使用 flash 画图，兼容各种浏览器，highcharts 号称也支持，不过我弄出来的图在 chrome/firefox 下面没问题，ie 不支持，他用的是 svg 标签。

就写几行代码来示意下吧

$(document).ready( function () {
    $.ajax({
        url : 'http://your_ip/=/pv',
        success: function (data) {
            renderPvCharts(data);
        }
    });
 
    function renderPvCharts(data) {
        $('body').append('

');
        var result = Utils.getSplineChartSeries( data ); # 将 nginx 返回的 json 格式数据转化为 highcharts 需要的格式
        var options = {
			chart: {
                zoomType: 'xy',
				renderTo: 'pv', # div 的 id
				defaultSeriesType: 'spline'
			},
			title: {
                text: '每日 pv'
            },
			xAxis: {
                type: 'datetime'
			},
			tooltip: {
				formatter: function() {
			        return '<strong>'+ this.series.name +'strong>
'+
						Highcharts.dateFormat('%e. %b', this.x) +': '+ this.y;
				}
			},
			legend: {
				layout: 'vertical',
				align: 'right',
				verticalAlign: 'top',
				x: -10,
				y: 100,
				borderWidth: 0
			},
            series : result.y
        };
 
        var chart = new Highcharts.Chart( options );
    };
 
} );

简单解释下

在页面 readay 的时候，使用 ajex 设置回调函数并请求接口。
回调函数里面使用 Utils.getSplineChartSeries 转换一下数据，方便直接给 options 里面数据赋值，具体需要的数据格式，看 highcharts 的 spline 的 demo 就可以。
回调函数里面显示图表。

这样就完事了，数据就展现出来了。

其他

从上面可以看到整个数据流是怎么回事。openresty 可以做的事情远比上面描述的复杂，上面只是个最简单的应用了。

比如使用 rds_csv 来直接得到 csv 格式的数据提供给用户，而不是 json。
可以使用 ngx_lua 在 nginx.conf 里面使用 lua 来在服务器端对数据做一些处理再丢给浏览器。
大家都知道 js 处理的数据太大的时候，会导致浏览器卡死，所以如果不方便通过 sql 控制输出的时候，可以使用 lua 来处理下。当然这只是其中一个应用，使用 ngx_lua 你可以干很多事情，比如上面那个使用 js 来生成 spline 数据的函数就可以用 lua 来实现，lua 还可以和 c 结合来做一些事情。对于 location 的参数，在 ngx_lua 里面也是可以访问的，比如 ngx.var.arg_c 这样。具体还是看 wiki 吧，写不完的。
1. openresty 还能直接访问 redis 和 memcached。
本篇只能算是一个入门而已，openresty 在淘宝量子统计的应用非常广泛。另外在去哪网也有不少应用，比如我知道的安全过滤模块，和一些数据报表，都是基于 openresty 的。

附一个 highcarts 画的图

postgresql 里面的 generate_series

wd — Fri, 14 Oct 2011 07:01:00 +0000

有个报表需要把几天的记录按照小时 join 起来，最开始的作法是通过 js 来 join 数据。后来遇到了问题，就是某天某个小时可能会没有记录，然后想破头了，在 js 里面循环的时候设置每天循环到的当前的小时。可崩溃的是还会出现有的是这两小时没有，有的是另外的，用 js 搞不定了，就尝试用 sql 搞定。

sql 开始的方法是简单的使用 full join。然后发现没法保证主表在所有的小时都有记录。后来就发现了这个 generate_series 函数，发现很有意思。地址在这里 http://www.postgresql.org/docs/9.0/static/functions-srf.html 。这里还有个 generate_scripts 的函数，可以用来遍历数组产生一个表格的。

了解了下 hbase

wd — Tue, 02 Aug 2011 07:59:00 +0000

很早就知道 hbase 了，但是一直没有仔细去了解 hbase 是怎么回事。今天了解了下他的表结构。

这篇文章 http://www.searchtb.com/2011/01/understanding-hbase.html 其实写的挺清楚，下面这个是个例子

hbase(main):007:0> scan 'test'                         
ROW                                 COLUMN+CELL                                                                                            
 row1                               column=cf:a, timestamp=1312258784360, value=value3                                                     
 row1                               column=cf:b, timestamp=1312258795425, value=value3                                                     
 row2                               column=cf:b, timestamp=1312257616099, value=value2                                                     
 row3                               column=cf:c, timestamp=1312257621344, value=value3

在 hbase 里面访问数据都是通过 row key + column，其实也就是哪行哪列，不过不是通过数字定位。

在 hbase 里面看不到传统数据库的表格形式的数据列表，可以看到上面这种。传统数据库里面，每行的列数是一样的，如果那列没值，那也得填一个 null 之类。

hbase 就不一定了，可以看到上面的 row1 行，有两列 cf:a, cf:b，而 row2，row3 就只有一列。

所以 hbase 作为 key-value 系统的时候，row key + column 就是所谓的 key。

svn merge

wd — Sun, 08 May 2011 00:56:00 +0000

svn merge 的 help 信息

usage: 1. merge sourceURL1[@N] sourceURL2[@M] [WCPATH]
       2. merge sourceWCPATH1@N sourceWCPATH2@M [WCPATH]
       3. merge [-c M[,N...] | -r N:M ...] SOURCE[@REV] [WCPATH]

svn 的 merge 的本质其实就是在两个版本之间生成 diff，然后把这个 diff 再应用到另外一个版本里面。

所以可以看到 merge 和最后的那个 WCPATH 之间，通常都需要指定两个版本。WCPATH 可以是其中的一个，这个没关系。

一般都是把新多出来的部分 merge 到另一个版本，所以通常是 svn merge old_ver new_ver working_ver 其中那个 working_ver 可以是 old_ver。

最好在 merge 之前加一个 –dry-run 看看他会修改哪些文件。

alarm 使用不当遇到的问题

wd — Sun, 08 May 2011 00:12:00 +0000

前段时间发现有个程序总是运行一段时间就挂掉，看各种日志里面都没有错误信息，感觉就是莫名其妙突然进程就没了。

大概流程是有个 perl 程序 a.pl

.....
my $pid = fork();
if ( !$pid ) {
   my $cmdRet = `b.pl 2>&1`;
   print FILE $cmdRet;
   if ( $status ) {
       warn "task failed";
   } else {
      warn "task success";
   }
   exit;
}
 
waitpid ........

b.pl 里面会执行 rsync 去获取一些文件，他会循环到几个机器上面去 rsync

for ( @hosts ) {
    my $result = `rsync xxxxx 2>&1`;
    if ( $? ) {
        log($result);
        log("failed");
    } else {
        log($result);
        log("success");
    }
}
 
sub log {
    my $msg = shift;
    print $msg;
    # 然后通过 IO::Socket::INET 发送给另外一个 server  a
}

现象是，时不时的， b.pl 会只 rsync 了某几台(不确定是几台)机器上面的文件，然后就不继续了，从 server a 上面能收到他发日志，最后一条是 success 的信息

从 a.pl 记录的日志那里看, FILE 里面记录的内容丢失了 server a 收到的最后一部分的数据，多少数据不一定，不过肯定是没有那个 success 信息。这个文件里面也没有任何的错误信息。

程序代码啥的都不动，rsync 的文件数不是总是一样的，也有文件多的时候没出错的时候,同时也设置了打开文件数为 65536.

后来发现问题就在 b.pl 里面的 log 里面。因为要发送到其他机器，怕挂住影响后续程序，所以设置了一个 alarm。

eval {
    alarm 5;
    xxxxxxx;
    alarm 0;
};
 
if ( $@ ) {
    print "error when send";
}

这个 alarm 没有设置 handle 的函数，这样就会导致 alarm 到期的时候，会直接让整个 perl 程序挂掉，并显示 “Alarm clock”，而且这个输出不在标准错误和标准输出里面。

修复也简单，alarm 前设置一个 handler 就好了。

另外，还有个问题，一个 alarm 会中断前一个 alarm，所以类似 sleep 的使用，可以这样

my $previousAlarm = 0;
eval {
    local $SIG{ALRM} = sub { die 'alarm'; };
    $previousAlarm = alarm 5;
     xxxx
     alarm 0;
};
alarm 0;
 
if ( $@ ) {
    xxxxx;
}
 
alarm $previousAlarm;

hive 里面不能 drop table

wd — Tue, 03 May 2011 08:42:00 +0000

之前部署 hive 0.6 的时候，发现用 postgress 存 metadb 的时候，不能 drop table，一执行就卡住了。当时试过 mysql，好像是有个什么问题，就没用了，后来只好用 hive 0.5 完事。

前几天有个别的事情工作不正常，以为可能是版本的问题，毕竟现在都 0.7 了。所以尝试了下直接升级到 0.7。在 0.6 版本的 hive 里面，自带了一个 postgress 用的升级 sql，但是 0.7 的没有。执行这个 sql 后，hive 0.7 能查询，但是同样的，也遇到了不能 drop table 的问题。

后来发现 drop table 的时候，hive 在尝试去查一个不存在的表，然后就卡在了这个 sql 上面，也不报错，也不超时，不知道是不是 jdbc 的问题。

然后把 mysql 用的升级 sql 迁移到了 postgress，这样 hive 0.7 在 postgress 里面也没问题了。

升级 sql 和邮件列表的主题在 http://www.mail-archive.com/user@hive.apache.org/msg01293.html 。升级的时候要注意，新建的表的 owner 需要是 hive 使用的用户。

rsync files-from 参数

wd — Sat, 16 Apr 2011 14:22:00 +0000

rsync

include/exclude

rsync 支持使用 include/exclude 来过滤要同步的文件，使用这两个参数的时候，需要注意下面的这个问题

Note that, when using the –recursive (-r) option (which is implied by -a), every subcomponent of every path  is  vis‐
        ited  from the top down, so include/exclude patterns get applied recursively to each subcomponent’s full name (e.g. to
        include "/foo/bar/baz" the subcomponents "/foo" and "/foo/bar" must not be excluded).  The exclude  patterns  actually
        short-circuit  the  directory  traversal stage when rsync finds the files to send.  If a pattern excludes a particular
        parent directory, it can render a deeper include pattern ineffectual  because  rsync  did  not  descend  through  that
        excluded section of the hierarchy.  This is particularly important when using a trailing ’*’ rule.  For instance, this
        won’t work: 

/some/path/this-file-will-not-be-found
/file-is-included
*

rsync 使用 -r 来遍历子目录的时候，如果还想用 exclude include 来过滤文件，那么要注意一个目录如果满足了 exclude，而且还没有对应的 include，那这个目录下面的子目录也会被 exclude，就算你对这个子目录写了 include 。

虽然能解决问题，可实在很费劲，直到无意中发现了 files-from 参数。

files-from

files-from 是通过指定一个本地/远程的文件来定义需要同步的文件。这个文件生成方法可就多了，你可以用 find/sed/awk/xxxxx 等搭配来得到你这个文件，一行命令不够还可以多行，是不是爽多了？

    rsync -av –-files-from=/path/to/files ./ wd@remote:/tmp

如果是远程文件，那就 –files-from=:/path/to/files。

写在后面

顺便测试一下 org2blog，这帖子是用 org2blog 写的，给作者提了个建议，加上 permlink 的支持，没几天居然给加上了，刚好测试一下，呵呵。

解析纯真 ip 库

wd — Thu, 10 Mar 2011 09:52:28 +0000

纯真的 ip 库应用比较广泛，就那个 qqwry.dat。以前尝试过解析，死活弄不明白那写地址和 pack/unpack 啥的，晕的不行。这两天需要解析下，就尝试用 perl 写一个。

开始用 sysread/sysseek 很多都读不出来，看了n遍程序，没觉得有啥问题。后来全部改成了 read/seek 就好了，也不知道怎么回事。画了一个图说明下，参考了 http://lumaqq.linuxsir.org/article/qqwry_format_detail.html 。

发件人 2011-3-10

读来的3字节地址需要加 “\0″ 才能 unpack，不知道怎么回事，对这些问题弄不明白。对了，网上还有个 perl 版的，也能用，需要的话可以搜一下。