Search Consoleでのクロールエラーの種類と対処方法

今回はSearch Console(旧名称ウェブマスターツール)で確認できるクロールエラーの種類や対処について紹介していきます。ここをチェックしておけばサイトのインデックスやクロールに問題があった時に原因が分かる場合があります。

サイトのエラーは放置しておくと重大な問題になっている場合もありますので、時々確認しておきましょう。

クロールエラーとは?

Search Consoleの「クロールエラー」の画面ではGoogleのクローラがクロールできなかったサイトURLや、エラーコードが返されたサイトURLについての詳細が表示されます。

また、このクロールエラーではサーバーにまったくアクセスができない「サイトエラー」と、各URLごとに個別の要因がある「URLエラー」の2種類が表示されています。

クロールエラー-9

このクロールエラーには色々な種類があるので、基本的な部分を理解しておくとエラーが発生しても慌てずに対処できるのかなと思うので、大まかの部分を紹介してみます。まずは先に「URLエラー」の項目から紹介していきます。

URLエラーの種類

Search Consoleの管理画面から対処のサイトを選択して左のサイドバーから「クロール」という項目をクリックして、「クロールエラー」を選択しておくと「URLエラー」という項目があります。

クロールエラー-8

URLエラーで表示されるエラーは主に4種類。

  • 見つかりませんでした
  • ソフト404エラー
  • サーバーエラー
  • クロールを完了できませんでした(アクセス拒否)

1つ1つの対処方法を簡単に解説してみます。

見つかりませんでしたのエラー

まず「見つかりませんでした」というエラーもしくは「404」というレスポンスコードは一番頻繁に目にする機会が多いエラーです。

「見つかりません」というステータスエラー(通常はHTTPステータスコード404)が返されるのは、Googlebot がアクセスしようとしたページが存在しない時。

つまり、ブログでも記事、タグ、カテゴリーなどを削除したり、URL(パーマリンク)を変更したりした時などに表示されます。現時点ではその記事やタグやカテゴリーは存在しない(見つかりません)というエラーですね。

また、WordPressとか普通の無料ブログでも、記事1つ作成すると、いろいろなアーカイブページが自動で作成されたりするので、記事1つ削除してだけでも複数のページが404になったりします。

この404エラーの場合は自分で削除した記事やタグやカテゴリーがほとんどなので、あまり気にする必要がないですし、404エラーによってランキングが下がるとかペナルティを受けるとかいったマイナスな影響はほぼ無いと思ってもいいです。

ただ、記事のパーマリンク(URL)を変更したという場合にはその元記事URLから新しい記事URLにきちんとリダイレクトされているか確認しておく必要はあります。これが上手くできていないと大量のエラーが発生します。

自分で削除した記事やタグ、カテゴリーが原因で404(見つかりませんでした)エラーがでているのであればSearch Consoleのクロールエラーのページから該当記事もしくは全部一括でチェックを入れて「修正済みとする」をクリックすればOK。

手順としてはSearch Consoleの管理画面から対処のサイトを選択して左のサイドバーから「クロール」という項目をクリックして、「クロールエラー」を選択しておきます。

クロールエラー-7

「URLエラー」の項目でPC、スマートフォン、フィーチャーフォンそれぞれ選択できるので、とりあえずPCのタブにしておきます。ちなみに「フィーチャーフォン」というのはいわゆる「ガラケー」の事ね。スマートフォン以外の携帯電話が大体「フィーチャーフォン」という認識です。

「見つかりませんでした」の部分をクリック。

クロールエラー-2

すると404エラーと表示されたURLが並んでいるので、レスポンスコード404となっているURLにチェックを入れます(一括でもチェックできます)。

チェックを入れたら「修正済みとする」をクリックで完了。

クロールエラー-3

ソフト404エラー

ソフト404は実際は存在しないハズのページ、通常404エラーがでるはずなのに、ステータスコード200(正常)を返しちゃうというちょっと意味の分かりにくいエラーです。

ただ、このソフト404エラーが出ても検索エンジンからの評価が下がる事はないと思われますが、ソフト404エラー多発する場合には対策が必要になる場合もあります。

存在しないはずのページやファイルが検索エンジンに登録されてしまうので、無駄なクロールをしてしまう事になりますよね。Googleのヘルプにもこんな風に書いてあります。

存在しないページに対して Googlebot の時間が消費されるため、所有している固有の URL の検出が遅れたり、アクセスの頻度が少なくなったりする可能性があります。また、サイトのクロール範囲にも影響する可能性があります

原因としてはPHPなどのプログラムなどに問題がある場合が多いようなのでプログラムを一度チェックしたり、オリジナルの404ページを作成している場合にはそれもチェック。

例えば404(見つかりません)のページが表示されたらトップページにリダイレクトされるような処理をしている場合とかでもソフト404が発生する場合があるみたいです。
参考:ウェブマスターツールのソフト404エラー対策!|ウェブソク

先ほども書いたようにこれが検索エンジンで重要な問題になるという事はあまりないので、このソフト404エラーが多発するような場合に対処方法を探してみるといいかも。

サーバーエラー

サーバーの応答に非常に時間がかかったか、クローラーがブロックされてサイトにアクセスできなかった状況。

サーバーエラーは「レスポンスコード」の欄で示されている数値が「500」であれば「Internal Server Error」つまりサーバーの不具合や処理ミス、もしくはサイトを表示させるのに時間がかかり過ぎ(タイムアウト)など。

レスポンスコードが「503」であれば「Service Unavailable」つまりアクセスが集中したり、データの転送量が制限など、サーバー負荷などによる一時的にアクセスができない状態になっている場合など。

特に最近はソーシャルメディア(SNS)経由から瞬間的なアクセスというのがあったりするので、アクセス集中したりすることも多くなってきました。

503エラーが多発する場合の対策としては「サーバーのプラン変更」や「サーバー自体の変更」とか、共用サーバーではなく「専用サーバー」を検討してみても良いかも知れません、また、一度利用しているサーバー会社に問い合わせしてみるのが確実。

またWordPressの場合ではキャシュ系のプラグインの利用で負荷を減らす事もできますが、プラグインが原因でサーバーエラーになる場合もあるので、サーバーエラーが出た場合にはプラグインも疑ってみる事。

クロールを完了できませんでしたのエラー

robots.txt(検索エンジンのクローラにアクセスされたくないサイトのコンテンツを指定できるファイル)などを使ってクローラーをブロックしてる場合に表示されます。

robots.txtファイルは意図的にクロールをブロックするファイルなので、意図的にブロックしているのであれば問題はないですが、設定、記述ミスなどで、本当はブロックしたくないURLまでブロックしてる場合があるので、ここで確認しておきましょう。

サイトエラー

サイトエラーとは「DNSのエラー」「サーバー接続エラー」「robots.txt の取得エラー」などの問題がチェックできます。

クロールエラー-6

そもそもここにエラーがある場合は一時的なエラーの場合も多いですが、念のため「サーバーの管理会社」や「DSNの管理会社」など問い合わせして確認するのが確実。

また、管理会社でファイアウォールを使用している場合は、ファイアウォールの設定で Google のクローラがブロックされていないことを確認しておきましょう。

それでは次回はインデックスステータスについて解説していきます。

Search Consoleでのクロールエラーの種類と対処方法”に3件のコメントがあります。

※入院生活から復活しました!!またできるだけ返信しますのでよろしくお願いします(^^)

内容に問題なければ、下記の「コメントを送信する」ボタンを押してください。

  1. ベヌス

    しげぞう様

    サイト情報ありがとうございます。
    対策してみました。結果がわかるのはだいぶ先のようなので、まずはモニターしてみて、それでもダメな場合は、別なサイトを参考にしてみようと思います。
    ものすごく気にする必要はなさそうですが、やっぱりエラーがあるのはあまり気持ちのいいものではないですね。

    今後も参考にさせていただきます。

  2. しげぞう 投稿作成者

    べヌス様

    コメントありがとうございます。構造化のエラーに関しては私もあまり詳しくないため、「hentry」の対処しかしておりませんが、ほとんどエラー自体は発生しておりません。調べてみるとこの「hentry」に関しては色々情報がでてきますし、「auther」「update」に関してはsingle.phpなどに情報を追加していくような対策があるようです。私は特に対策はしてませんが、この記事が参考になるかもしれません。
    http://www.polyglotconspiracy.net/?p=5705

  3. ベヌス

    しげぞう様

    Google Search Consoleについて教えていただければと思います。
    「検索での見え方」→「構造化データ」と進むと、データタイプ「hatom」・ソース「マークアップ・microformats.org」でエラーが発生していました。

    クリックすると、「authorがありません」及び「updateがありません」と表示されます。
    上記をクリックして「ライブデータをテスト」をクリックし、Structured Data Testing Toolに進んでテストをしたところ、「問題ありません」となりました。

    この場合は、どのように対処したらよいのでしょうか?
    数日かけて検索をしたのですが、どうしても解決できずにいます。
    よろしくお願いいたします。