ablog

不器用で落着きのない技術者のメモ

Web::Scraper をインストールしてみた

$ uname -a
CYGWIN_NT-5.1 yohei-azekatsu 1.5.25(0.156/4/2) 2008-06-12 19:34 i686 Cygwin
$ perl -MCPAN -e shell
> install Web::Scraper
Is it OK to try to connect to the Internet? [yes] 
==> Auto-install the 1 optional module(s) from CPAN? [y] y

...

  /usr/bin/make install  -- OK

インストールしたので、ワンライナーでも実行してみようかと思ってぐぐったら

これを1行と呼んでいいのかどうか、はともかくとして。

perl -MWeb::Scraper -MURI -le'do{map{print}@{($r=scraper{process"#home_left img","i[]","\@src";process"span.pages",p,TEXT}->scrape(URI->new("http://asianposes.com/category/pose/".($n?"page/$n/":""))))->{i}}}while$r->{p}=~/(\d+) of (\d+)/&&($n=$1+1)<=$2'|wget
アジア美人のか〜わいいポーズの画像をひたすら集めまくってみるワンライナー - すぎゃーんメモ

全裸イナーワンライナーと言えばこの人、id:sugyan のところにたどりついた。
さっそく使わせていただく。

$ perl -MWeb::Scraper -MURI -le'do{map{print}@{($r=scraper{process"#home_left img","i[]","\@src";process"span.pages",p,TEXT}->scrape(URI->new("http:
//asianposes.com/category/pose/".($n?"page/$n/":""))))->{i}}}while$r->{p}=~/(\d+) of (\d+)/&&($n=$1+1)<=$2'|wget          
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.

ありゃ。エラーになった。Cygwin だからかな?ま、いいや。

2$ perl -MWeb::Scraper -MURI -le'do{map{print}@{($r=scraper{process"#home_left img","i[]","\@src";process"span.pages",p,TEXT}->scrape(URI->new("http:
//asianposes.com/category/pose/".($n?"page/$n/":""))))->{i}}}while$r->{p}=~/(\d+) of (\d+)/&&($n=$1+1)<=$2'|xargs -n1 wget
--2010-02-19 20:01:46--  http://asianposes.com/img/posts/tears%20Han%20Ga%20Eun.jpg
Resolving asianposes.com... 174.120.18.219
Connecting to asianposes.com|174.120.18.219|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 49532 (48K) [image/jpeg]
Saving to: `tears Han Ga Eun.jpg.1'

100%[===================================================================================================================>] 49,532      21.5K/s   in 2.2s    

2010-02-19 20:01:49 (21.5 KB/s) - `tears Han Ga Eun.jpg.1' saved [49532/49532]

ちょっと変えてみたら、うまくいった。
これは画像収集仕事に使えるかも。