robots.txt による投稿ページの除外について

admin,moderatorの方、ゲスト投稿すみません。ちょっとおせっかいかもしれませんがお知らせしたいので。

というのはこの返信ページは
http://www.google.com/search?q=mysql+5.0+phpbb+%E6%97%A5%E6%9C%AC%E8%AA%9Eの12番目に出ているのです。そこからポストしました。これでは検索ページに返信ページ、ポストページが載ってしまいます。うまくrobots.txtをセットしてこれを避けるようにした方がいいと思います。

設定法はhttp://www.robotstxt.org/wc/exclusion-admin.htmlにあります。posting.phpなどをDisallowにいれると検索エンジンに掲載されません。

- by dynamis
この投稿は元もとこちらのトピックへの返信でしたが、話題が分かり易いよう別トピックに分けさせていただきました。

ゲスト

ご心配、ご配慮ありがとうございます。

Anonymous wrote:

admin,moderatorの方、ゲスト投稿すみません。ちょっとおせっかいかもしれませんがお知らせしたいので。

というのはこの返信ページは
http://www.google.com/search?q=mysql+5.0+phpbb+%E6%97%A5%E6%9C%AC%E8%AA%9Eの12番目に出ているのです。そこからポストしました。これでは検索ページに返信ページ、ポストページが載ってしまいます。うまくrobots.txtをセットしてこれを避けるようにした方がいいと思います。

設定法はhttp://www.robotstxt.org/wc/exclusion-admin.htmlにあります。posting.phpなどをDisallowにいれると検索エンジンに掲載されません。

そうすれば Google などの対象にならず、Google 経由で広まるウィルスや Google などで探してイタズラする暇人の対象になることを予防できることは認識しています。
# 当時は "phpbb" での日本語サイト検索結果で最上位もしくは 2,3 番目くらいにでており、
# 公開されたスクリプトを使用できるターゲットとしては 1,2 番目くらいでした。
# だらか暇つぶしのターゲットになったというのは当時のアクセスログからまず間違いないと思います。

しかし、Google の対象にならないということはこのフォーラムの情報が一般的なユーザ(わざわざここに来て検索しないユーザ)の役に立たなくなるということを意味します。セキュリティにこれで完璧というのはないので、予防策を重ねることはよいと思いますが、それは利便性を損なわない範囲で行いたいです。
Google 経由のウィルスなどが来るのは抑えられるにしても(今では Google 自体も phpbb ウィルスを弾いている模様ですが)、セキュリティホールが埋まるわけではないですし、一応既に単純な SQL Injection などの攻撃はできないように phpBB 本体を最新に保つ以外にもいくつか基本的な対策をしています。
# phpBB のあらゆるセキュリティホールをカバーできるわけじゃないですが、
# Google から除外する以上の実効性はある対策をしていると思います。

そんなのじゃ納得いかない。いいから robot.txt 追加しとけというユーザが多いようであれば再検討しますが、いまのところ検索エンジンから除外するという予定はありません。

ゲスト

dynamis@out wrote:

しかし、Google の対象にならないということはこのフォーラムの情報が一般的なユーザ(わざわざここに来て検索しないユーザ)の役に立たなくなるということを意味します。セキュリティにこれで完璧というのはないので、予防策を重ねることはよいと思いますが、それは利便性を損なわない範囲で行いたいです。

「トピックを表示」ページに関してはその通りですが、「返信の投稿」などのページに関しては、「トピックを表示」ページ以上の実質的な内容は何もないので、検索エンジンに表示されなくても利便性が損なわれることはまったくありません。むしろ「ノイズ」が除去されて利便性が向上するとさえ考えられます。
というか元投稿でも

Anonymous wrote:

これでは検索ページに返信ページ、ポストページが載ってしまいます。

とはっきり明記してるのに、どうして無関係な話をいきなり持ち出すのかさっぱり分かりません。

とはいえ、私もrobots.txtで弾くのは好きではありません。phpBBのことはよく知りませんが、「返信の投稿」ページをPOSTで生成するようなカスタマイズはできるのでしょうか?

# もしソースをいじらないとできないならやらない方がいいと思います。そもそも攻撃のきっかけの1つが、カスタマイズしていた(ためバージョンアップが遅れた)ことにあるわけですし。

Quote:

robot.txt

robots.txtです。相手がロボットだけにtypoすると全く効きません。

登録日: 2003年10月 05日 記事: 1744

えむけい wrote:

「トピックを表示」ページに関してはその通りですが、「返信の投稿」などのページに関しては、「トピックを表示」ページ以上の実質的な内容は何もないので、検索エンジンに表示されなくても利便性が損なわれることはまったくありません。むしろ「ノイズ」が除去されて利便性が向上するとさえ考えられます。
というか元投稿でも

Anonymous wrote:

これでは検索ページに返信ページ、ポストページが載ってしまいます。

とはっきり明記してるのに、どうして無関係な話をいきなり持ち出すのかさっぱり分かりません。

完全に寝ぼけて勝手に勘違いしていました。
ごめんなさい。
# 別件だと明らかなようにトピックも分けました。

確かに無駄を無くすために robots.txt 書いた方が良さそうですね。早速書いておきます。

えむけい wrote:

とはいえ、私もrobots.txtで弾くのは好きではありません。phpBBのことはよく知りませんが、「返信の投稿」ページをPOSTで生成するようなカスタマイズはできるのでしょうか?

# もしソースをいじらないとできないならやらない方がいいと思います。そもそも攻撃のきっかけの1つが、カスタマイズしていた(ためバージョンアップが遅れた)ことにあるわけですし。

何カ所かに手を入れれば POST にすることはもちろん可能ですが、少々手間且つ問題が起きたり副作用が起きる可能性があることと、robots.txt で目的は果たせるのでやめておきます。

ご指摘いただいたゲストさん、寝ぼけた誤認を指摘してくれたえむけいさん、ありがとうございます。m(_ _)m