WordPress

WordPress の robots.txt に関する処理はどうなっているのか?

投稿日:2016年7月5日 更新日:

WordPressでの robots.txt に関する処理を調べてみました。

少しネットで調べてみると「robots.txt を自分で作成してルートディレクトリに置いておけば、それが使われるし、なければ WordPress が動的に生成して返してくれる」という情報が得られるわけですが、実際どういう挙動になっているのか分からないと不安だという私のような人のために調査した結果を書いておきます。

1. 今回調べた環境

  • WordPress 4.5.3–ja
  • Apache

2. 処理の流れ

  1. ブラウザから robots.txt へのリクエストがやってくる。

  2. robots.txt があればそれにアクセスさせて終わり。なければ、index.php にアクセスさせる。

    • 処理が書いてあるファイル: .htaccess (mod_rewriteを利用している)
  3. robots.txt へのアクセスであれば、クエリ変数 “robots” をセットする(値は1)。
  4. robots.txt へのアクセスである場合、do_action( 'do_robots' ) を実行する。
    • robots.txt へのアクセスであるかどうかの判定に、クエリ変数 “robots” が使用される。
    • 処理が書いてあるファイル : wp-includes/template-loader.php
  5. do_robots()関数が実行される
    • バーチャルな robots.txt の内容をブラウザへ出力する。
    • 管理サイトの[設定] – [表示設定] で、「サイトをクローラに公開する」にチェックを入れていない場合は、おおそよ以下の内容を生成して出力する。(全てのクローラに対して、全てのページを公開しない)
    User-agent: *
    Disallow: /
    
    • チェックが入っている場合(パスは設定によって変わります)(/wp-admin/ は公開しないが、/wp-admin/admin-ajax.php は公開する)
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    

3. あとがき

他のCMSはよく知らないんですが、シンプルでよい仕組みだと思います。

📂-WordPress
-

執筆者:labo


comment

メールアドレスが公開されることはありません。

関連記事

WordPress

WordPress 5.4 以降で記事にリンクを貼る際のオプション

WordPress 5.4 以降で、記事にリンクを貼る際のオプションについて説明します。

WordPress

WordPress テーマ STINGER 8 で、style.css の変更をすぐに反映させる方法

WordPress の無料テーマである STINGER 8 のカスタマイズのお話です。 スポンサードリンク 目次1. 問題点2. 対策準備作業style.css に変更を加えた後に必要な作業3. まと …

WordPress

【WordPress】Gutenberg をカスタマイズするための情報

WordPress の Gutenberg をカスタマイズするための情報を紹介します。

WordPress

WordPressサイトの記事に表示した画像を観察する (Gutenberg)

WordPressサイトの記事に表示した画像を観察します。

WordPress

JP Markdown と Classic Editor をやめ、Gutenberg を利用することにしました

JP Markdown と Classic Editor をやめ、Gutenberg を利用することにしました。かなり便利そうです。