WiKicker

robots.txt for Query String

サイトを外部からも閲覧できるようにしていると、検索エンジンのロボット(クローラー)が根こそぎコンテンツを持っていこうとします。 あまり、持っていっても意味がないと思われるページ*1は、robots.txtに書いておいて持っていかないよう、お願いしておいた方が無難*2。 ちょうど、WiKickerの場合、Wikiの編集画面など、閲覧者には二次的な内容のコンテンツは、URIにクエリ文字列が付く形を とっています。従って、robots.txtに、

 User-agent: *
 Disallow: /wiki?

としておけば、メジャーなクローラー*3なら、それを汲み取って、クエリ文字列が続くURIにはアクセスしてきません。

あるいは、編集画面へのアクセスだけを拒否するには、

 User-agent: *
 Disallow: /wiki?edit=

としておけばOK。

.htaccess

　※セキュリティ上の都合で、内容の一部を改変している場合があります。

 <Files wiki>
     SetHandler speedycgi-script
     # SetHandler cgi-script
 </Files>
 
 ####
 
 RewriteEngine on
 
 RewriteCond %{QUERY_STRING} (?:diff|edit|name|rlog|search)=
 RewriteCond %{HTTP_COOKIE}  !WiKicker=
 RewriteRule ^wiki$ - [F,L]

 RewriteCond %{REQUEST_METHOD} POST
 RewriteCond %{HTTP_REFERER}   !^(?:http://www\.xdelta\.net/wiki(?:[/|\?].+))?$
 RewriteCond %{HTTP_COOKIE}    !WiKicker=
 RewriteRule ^wiki$ - [F,L]

 RewriteRule ^wiki/(.+)/$ /wiki/$1.html [R,L]
 
 RewriteRule ^wiki/(?:.+?/)?favicon\.ico$ /favicon.ico [L]
 RewriteRule ^wiki/.+\.(?i:gif|ico|jpe?g|png)$ - [F,L]

一番下は、変なリクエストをしてくる一部Webブラウザ用。ディレクトリごとにfavicon.icoを取得しようとしたり、ディレクトリの解釈にバグがあると思われる。

ついでに、管理人がスパムと認識しているクローラーを拒否する設定例のいくつか

 RewriteCond %{HTTP_USER_AGENT} ^User-Agent:
 RewriteRule ^.*$ - [F,L]
 
 # 全信協スパム
 RewriteCond %{HTTP_USER_AGENT} "^Mozilla/4.0 \(compatible; MSIE 6\.0; Windows 98\)$"
 RewriteCond %{SERVER_PROTOCOL} ^HTTP/1\.0$
 RewriteCond %{HTTP_REFERER}    ^$
 RewriteRule ^.*$ - [F,L]
 
 # 不正なリファラ
 RewriteCond %{HTTP_REFERER} ^http://www\.xdelta\.net/wiki/(?:.*/)?$
 RewriteRule ^wiki(?:[/?].*)?$ - [F,L]
 
 # some referer spam
 RewriteRule ^wiki/\+(?:.*?-\+-.*)-\+\.html$ - [F,L]

 RewriteCond %{HTTP_REFERER} "black-?jack|casino|gambling|poker|roulette|texas-hold-?em" [OR]
 RewriteCond %{HTTP_REFERER} "loans" [OR]
 RewriteCond %{HTTP_REFERER} "diet-pill||phentermine|via[gq]rr?a"
 RewriteRule ^.*$ - [F,L]

中段は、いわゆる全信協スパムクローラー*4と呼ばれるものを意図して弾く設定。アクセス元には触れてないので、このままの設定だと、もしかすると無関係な方も拒否されるかも知れないので、十分注意する必要あり。

最近は、たどって来たページに対して自動的にリンクを張るページを対象に、宣伝目的のHTTP-REFERERを送信してくるリファラスパムと呼ばれるものも増えている*5ので、これも、.htaccess等で弾いておいた方が無難。

スパム対策

可能なかぎり.htaccess等を駆使してなるべくCGIが起動される前に、スパム目的と思しきクライアントは弾きたいものであるが、すり抜けてスパム投稿してきた場合、厄介である*6。

しかし、WiKickerには、あらかじめ書き込み禁止ワードを設定する機能が付いており、これによってある程度、不本意な書き込みを制限することができる。

• NaneyOrgWiki: WiKicker/書き込み禁止パターン指定機能

書き込み禁止パターンファイルの行頭にqrで始まる行があれば、Perl正規表現qr//*7であると見なされ、例えば、

 qr/black[-\s]?jack|casino|gambling|poker|roulette|texas[-\s]hold[-\s]?em/i
 qr/loans/i
 qr/diet[-\s]pill|phentermine|via[gq]rr?a/i

のように、書き込み禁止パターンファイル内で、正規表現を使用することもできる。

Perl 5.6.2→5.8.7移行メモ

FreeBSDのportsでインストールされるPerlのデフォルトのバージョンも、v5.8.7になったので、 そろそろ、Webサーバーの方のPerlもv5.6からアップグレードしなくてはならないかなと思い、試みてみました。

ところがそのまま移行しただけでは、WiKickerの方が、

 Byte order is not compatible at blib/lib/Storable.pm

と言われて起動できない。

いろいろ調べたところ、FreeBSDのPerlは、v5.8から64bit Intengerでビルドされるよう*8*9なので、Storableモジュールのデータの互換性がとれないのが原因らしい。

• nDiki: Storable - [ WiKicker ] Storable 永続化データの互換性 (2005-06-06)

(wikicker.database.directory)/info/basic 以下のファイルを削除すれば、解決するようだけど、そうすると、各ページのサマリや、更新履歴が空白になってしまう…。

で、解決策として、古いPerl上で、Data::Dumperを使って該当データをPerlのソースコードにダンプし、それを新しい方のPerlで読み込んで、そのStorableで書き戻すというやり方*10を試みてみました。

まず、

 #!/usr/local/bin/perl5.6.2 -w
 
 use strict;
 use Storable qw(thaw);
 
 use Data::Dumper;
 $Data::Dumper::Indent = 0;   # 出力に改行をはさまない
 $Data::Dumper::Useqq  = 1; # エスケープして出力
 
 my $db_dir = '/SOURCE_DATABASE_DIR/info/basic';   ### 適宜修正
 
 opendir(DIR, $db_dir) || die "can't open dir $db_dir.\n";
 
 while (my $key = readdir(DIR)) {
   next if ($key =~ m/^(?:\.){1,2}$/);
   my $value;
 
   if (open(FILE, "$db_dir/$key")) {
     binmode(FILE);
     local $/;
     $value = <FILE>;
     close(FILE);
   } else {
     die "can't read file $key.\n";
   }
   my  $record = \%{thaw($value)};
   print Data::Dumper->Dump( [ $key, $record ],
                             [ qw(key record) ] ) . "\n";
 }
 
 close(DIR);

をdb-dump.plという名前で保存して、古いPerl上で、

 % perl5.6 db-dump.pl > dump.txt

と実行し、dump.txtを作成する。

そして、新しい方のPerlで、

 #!/usr/local/bin/perl5.8.7 -w
 
 use strict;
 use Storable qw(freeze);
 
 my $output_dir = '/NEW_DATABASE_DIR/info/basic';   ### 適宜修正
 
 while (defined(my $line = <STDIN>)) {
   my($key, $record);
   eval $line;
   die "dame\n" if $@;
 
   my $frozen = freeze($record);
   if (open(FILE, "> $output_dir/$key")) {
     binmode(FILE);
     local $/;
     print FILE $frozen;
     close(FILE);
   } else {
     die "can't write file.\n";
   }
 }

をdb-restore.plという名前で保存し、

 % cat dump.txt | perl5.8.7 db-restore.pl

と実行すればOK。指定したディレクトリに復元されます。これで、サマリ等も見れるようになりました。

あと、IPC::ShareLiteを使用して、RecentLogの機能を有効にしたい場合は、通常のままだとPerlがコアダンプしてしまう不具合があるので、lang/perl5.8を-DWITHOUT_PERL_MALLOC付きでビルドするか、もしくは、

• shared memory, perl, FreebSD 6

でのパッチをdevel/p5-IPC-ShareLiteに適用する必要があります*11。

データベースから直接、Google Sitemapを生成

WiKickerのデータベースファイルから、直接、Google Sitemapファイルを生成するスクリプトを書いてみました*12。現在は、当該CGIスクリプトにアクセスがあるとgzip圧縮されたXMLファイルを生成する仕様で、定時にcronでcurlを起動してSitemapファイルを生成することを想定しています。

• WiKicker用Google Sitemap作成スクリプト

PageRanking

上記サイトマップを元に各コンテンツのPageRankを調べたい時には、

 curl -s http://www.somedomain.com/wiki-sitemap.xml.gz | gzip -dc | \
 perl -nle 'm"<loc>(.+?)</loc>" && print $1' | gprank.pl | sort

とする。興味本位に、検索エンジンのインデックス状況を知りたい時には、結構便利。

• gprank.pl - 詳細はGoogle/PageRank参照。

参照しているページ自体へのAutomaticリンクを取り除く

　以下のJavaScriptをフッタファイルに書いておけば、新しめのWebブラウザなら、取り除けると思います。

 var ShortNameAttribute = "[[value:ShortNameAttribute]]";

 function removeSameLinksAsThePage(element) {
   if (! element.hasChildNodes)
     return;
 
   for (var i = 0; i < element.childNodes.length; i ++) {
     var e = element.childNodes[i];
     if (e.nodeType == 1 && e.tagName.match(/^A$/i) 
         && e.getAttribute('class') == 'auto') {
       if (e.hasChildNodes && e.firstChild.nodeType == 3 
         && e.firstChild.nodeValue == ShortNameAttribute) {
         element.replaceChild(document.createTextNode(ShortNameAttribute), e);
       }
     } else {
       removeSameLinksAsThePage(e);
     }
   }
 }
 
 if (document.getElementById && document.createElement) {
   var elements = document.getElementsByTagName('div');
   for (var i = 0; elements.length > i; i ++) {
     if (elements[i].getAttribute('class') == 'main') {
       removeSameLinksAsThePage(elements[i]);
     }
   }
 }