で、Deny に失敗している原因を調べてみたら、ホスト名 "YICHA-WNP301FDY" でヒットしていないっぽい。で、nslookup してみるとそんなホストねーとか言われる。あれ？
確かに生ログ見ると、記録されてるのは IP アドレスでホスト名なんてどこにもない。じゃ、ApacheLogViewer はどこからこのホスト名を持ってきたの？？
疑問は残る出れど、とりあえず IP アドレスでデニるように変更。
Deny from 220.194.55.45
これで大丈夫？
ちなみに、この IP でも nslookup したのだが、これまた知らないと怒られた。ping 打ったら返って来るので、一応存在しているようだけれど、素性の知れない IP 使ってるのって企業としてのモラルが問われるよな。
ところで YICHA で検索してみて、あまり話題になっていないと感じたんだけれど、行儀が悪くなったのは最近、というわけではないよね。おそらく、検索上位に表示され易い、例えば「アルファブロガー」などと呼ばれているような人たちは、あまり携帯ユーザーをターゲットにしたコンテンツを持っていなくて、単に被害にあっていないだけだろうと。で、逆に被害をうけている携帯コンテンツの運営者は、携帯独自のコミュニティとかが形成されていてそっちで情報交換とかしていたりして、あまり表に出てこないんじゃないか。などと推測してみる。
ちなみに書き忘れていたけれど、robot.txt は置いていないです。なのでもしかしたら、robot.txt を置けばこんな酷いクロールはしないのかもしれないけれど、しかし基本的に、クロールしてもらうのはOKなのです。っていうかして頂きたい。是非検索サイトからうちに飛んできて頂きたい。しかし物事には節度ってものがあるわけで、クローラーに蹂躙されて負荷が上がって業者にキャパ狭められて閲覧しにくくなってしまうのは本末転倒ですよね。日にウン千以上のクロールなんて、どう考えても異常でしょう（ま、コンテンツの数にもよりますが）。
コメントする