ゲンゾウ用ポストイット

Java、Groovy、Linux関連の備忘録

phpQueryを使って、commandlinefu.comからCommandLine Tipsを取得してみる

背景

コマンドラインからWebサイトのスクレイピングを行う必要がありました。

Goutte を使ってスクレイピングを行ったことがありました。 けれどもあまり直感的に実装できずハマった思いがあるため、もう少し使いやすいライブラリはないものかと探してみました。 代わりに良さそうなライブラリを見つけたのでこちら (electrolinux/phpquery · GitHub) を使ってみることにしました。

検証を兼ねて、 commandlinefu.com から CommandLine Tips を抜き出してみることにしました。

環境

$ uname -a
Darwin genzouw-MacBook-Pro.local 15.2.0 Darwin Kernel Version 15.2.0: Fri Nov 13 19:56:56 PST 2015; root:xnu-3248.20.55~2/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
    Copyright (C) 2013 Free Software Foundation, Inc.
    ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

    This is free software; you are free to change and redistribute it.
    There is NO WARRANTY, to the extent permitted by law.

$ php -v
PHP 5.5.28 (cli) (built: Aug 31 2015 12:17:07) 
Copyright (c) 1997-2015 The PHP Group
Zend Engine v2.5.0, Copyright (c) 1998-2015 Zend Technologies

インストール

事前準備

Composer がインストールされていることが前提となります。 インストールされていない場合はすぐにインストールしましょう!

準備ができたら

以下のコマンドを実行します。 少し時間がかかるので、気長に待ちましょう。

composer global require electrolinux/phpquery

正常にインストールできましたら早速スクリプトをコーディングしてみましょう。

スクリプトをコーディング

はじめの6行はほぼ固定です。 スクレイピング対象のWebページのURLだけが毎回変わることになるでしょう。

コードの詳細までは説明しませんが、 jQuery を使ってWebページをゴニョゴニョしたことがある方には馴染み深いものになっています。

#terminal-display-main 要素内の .one-liner というdivタグが、1つ1つのtipsになっています。

<?php
require getenv('HOME') . '/.composer/vendor/autoload.php';

$dom = phpQuery::newDocument(file_get_contents(
    "http://www.commandlinefu.com/commands/browse/25"
));

pq($dom)->find("#terminal-display-main")->find(".one-liner")->each(function($it) {
    echo "========================================", PHP_EOL;
    echo "$ ", trim(pq($it)->find("div.command")->text()), PHP_EOL;
    echo "", PHP_EOL;
    echo trim(pq($it)->find("div.summary")->text()), PHP_EOL;
    echo "", PHP_EOL;
    echo "", PHP_EOL;
});

結果

実行してみます。

php commandlinefu.php
========================================
$ rename 's/ //g' *

remove all spaces from all files in current folder


========================================
$ ls -1 | while read a; do mv "$a" `echo $a | sed -e 's/\ //g'`; done

remove all spaces from all files in current folder


========================================
$ grep -Pooh .*t..r,.* /etc/init.d/*

Get a quote from Pooh


========================================
$ debsecan --format detail

List known debian vulnerabilities on your system -- many of which may not yet be patched.


========================================
$ bar() { foo=$(ls -rt|tail -1) && read -ep "cat $foo? <y/n> " a && [[ $a != "n" ]] && eval "cat $foo" ;}

do anything with the last created (touched, accessed) file in the current dir

...

あまり表示されすぎるので、ある程度切ったほうがよいかもしれません。

ひとこと

Goutteよりは組みやすいです。