送信された URL が robots.txt によってブロックされましたエラーを解消すればOK!ページがGoogleにインデックスされない原因を徹底解説。

 

ある日いきなり、「送信された URL が robots.txt によってブロックされました」というエラーが出て、新規追加されたページがGoogleにインデックスされないという事象が発生しました。

「送信された URL が robots.txt によってブロックされました」このエラーメッセージだとなんのこっちゃという感じなので、この対処法を徹底解説したいと思います。

私もプラグイン更新などでいつの間にか、このエラー「送信された URL が robots.txt によってブロックされました」が出て、Googleにインデックスされない現象が発生しましたが、以下の対処法で解決することができました。

原因1. WordPressの設定で、Googleのインデックスをしないようにしている

 

ページがGoogleにインデックスされない理由の一つとしてあげられるのは、Wordpressの設定でインデックスされない設定になっていることです。
この設定を気づかず変更してしまっていないかまず確認しましょう。

設定 > 表示設定 > 検索エンジンでの表示設定

この設定にチェックが入っていないことを確認しましょう。この設定はGoogleのクローラーがウェブサイトにアクセスしないようにする設定です。

クローラーとは、ウェブページを巡回し、情報を収集してデータベースに登録(インデックス)するプログラムのことを指します。このロボットが定期的に、サイトの新しいページや更新された箇所を読み、検索結果ページに最新データを反映していきます。そのため、クロールされなければインデックスされることもなく、更新した情報も反映されません。

 

原因2. robots.txtの設定で該当するページへのクロールを許可していない場合

 

サイトのrobots.txtにクロールを拒否する設定が入っている場合も、Googleにインデックスされません。

そもそもGoogleにページがインデックスされているか確認したい場合

そもそもページがGoogleにインデックスされているかは、Google Search Consoleから調べることができます。調べ方は以下の通りです。

Google Search ConsoleのヘッダーのURL入力欄に調べたいページのURLを入力する

 

ちゃんとインデックスされている場合は、以下のようになりますが、

ちゃんとインデックスされていない場合は、以下のようにエラーになります。
robots.txtによってブロックされていますとエラーになっていますね。

robots.txtの設定の確認方法

WordPressでの現状のrobots.txtの設定は、以下から確認できます。変更する場合は、テキストボックス内部を変更して、「変更」を保存ボタンを押下すれば、robots.txtを変更できます。

設定 > 表示設定 > robots.txt

robots.txtは簡単にいうとサイト内の特定のページに対して、検索エンジンがクロールを行わない様に指定できる設定ファイルです。

項目は大きく分けて以下のようになっています。細かくは説明しませんが、今回確認すべきなのは、「Disallow」の項目です。

項目 説明
User-agent 命令を与えるクローラーを「ユーザーエージェント」を使って指定する
Disallow クロールをブロックするディレクトリやページを記入する
Allow クロールを許可するディレクトリやページを記入する(基本的に使用しない)
Sitemap sitemap.xmlのURLを記入する事で、sitemapの場所をクローラーに知らせる

robots.txtのDisallowが「Disallow: /」になっているとサイト全体へのアクセスを拒否している設定になっています。この設定項目を削除すれば、クローラーがアクセスできるようになり、Googleにインデックスされるようになります。

robots.txtの変更がGoogleに反映されるのは、基本的に数日かかります。
ですが、Search Consoleから即日反映させることもできます。

robots.txtの設定の即日反映方法

1. 上記ページにアクセス

2. 以下の「送信」ボタンを押下

 

3. Google に更新をリクエストの「送信」ボタンを押下

こちらで数日待つと私はページが無事インデックス登録されるようになりました。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA