「何日も掛けて書いた記事が全然インデックスされない!」
「今まで問題なかったのに全くインデックスされなくなった!」

と、2020年5月以降インデックス未登録の問題がSEO業界で騒がれ始めました。

Google Search Consoleのカバレッジを確認してみても大半のURLが「検出 – インデックス未登録」と表示され、インデックスされないサイトが続出しています。

しかしながら解決方法がないわけでもなく、無事にインデックスされたという報告が見受けられるのも事実です。

この記事では、そもそも「検出 – インデックス未登録」と表示されるときの意味や原因、具体的な解決方法を紹介していきます。

正しい知識を身に付けて、既存ページの「検出 – インデックス未登録」を解消したい方は、参考にしてみてください。

「検出 – インデックス未登録」と表示されるとき

インデックス未登録

「検出 – インデックス未登録」と表示されるときは、Googleのクローラーがそのページをクロールしていない状態、つまりクロール待ちの状態です。

クローラーがリンクやサイトマップを通してページのタイトルや更新日などは認識しているものの、クロールされていないため段階的にインデックスもされません。

もしクロールされれば「検出 – インデックス未登録」ではなく「クロール済み – インデックス未登録」もしくは「送信して登録されました」と表示されます。

重要なのは、クロールされていない状態ということです。

「検出 – インデックス未登録」と表示される原因

「検出 – インデックス未登録」と表示される原因には、いくつかあります。

過負荷が予想されたため

Googleの「Search Console ヘルプ」によると「検出 – インデックス未登録」と表示される場合、サイトへの過負荷が予想されたためにクロールを一時的に中止したと捉えることのできる内容が記載されています。

そのため、何千何万ものページを抱える大規模なサイトで表示されたのならば、過負荷が予想されてクロールが中断されたと見てよいでしょう。

しかしページ数の少ない中小規模のサイトであれば、過負荷が予想されることは基本的にないため、他の原因が考えられます。

重要ではないページと判断されたため

重要ではないページと判断されてクロールが後回しとなり「検出 – インデックス未登録」と表示されることがあります。

  • 孤立したページ
  • アクセスが全くないページ
  • ディレクトリが深いページ

ここでの「重要ではない」とは、上記に該当するページです。

クローラーは基本的にリンクを辿って回遊することから、リンクが設置されていない孤立したページは発見されにくく、なかなか認識してもらえません。

ドメインパワーのようなサイト全体の評価を除き、SNSやリスティング広告などを用いたにもかかわらず、アクセスが全くないページも同様です。

さらにGoogleのゲイリー・イリーズ氏によると、ディレクトリ(階層)の深い場所にあるページは重要ではないと認識され、クローラーがそのページを見つけるのに時間がかかると発言しています。

このディレクトリの深い場所にページがあることが原因で「検出 – インデックス未登録」と表示されている可能性も考慮する必要があるのです。

サイト全体の評価が低いため

サイト全体の評価の低さが、そもそもの原因の1つとして挙げられます。

新規ドメインと中古ドメインを比較してみても、明らかに中古ドメインのほうがインデックスされるスピードが早く、多くの記事が検索結果に表示されます。

新規ドメインはGoogleから十分に評価されていないがために、クロール数やクロール自体も後回しになっている可能性が高いのです。

低品質コンテンツと判断されたため

低品質コンテンツと判断されたことが原因で「検出 – インデックス未登録」と表示されることがあります。しかしながら、品質の良し悪しはクロールされて初めて判断される点がポイントです。

品質が悪いからインデックスされないのではないかと勘違いされやすいですが、クロールさえされていれば少なくとも「クロール済み – インデックス未登録」と表示されます。

たった数百文字のページが即インデックスされることも珍しくないため「検出 – インデックス未登録」の段階で品質の良し悪しはクローラーの回遊に直接関係しているとは言いにくいのです。

世界的にクロール数が減少しているため

「検出 – インデックス未登録」と表示されるのは、世界的にクロール数が減少していることも原因の1つです。

その証拠に多くのサイト運営者がインターネット上でクロール数の減少を報告しており、クローラーの開発者であるオリヴィエ氏(@Seolyzer_io)も2021年11月11日以降にクロール数の減少を示すグラフをツイートしています。

徐々にパフォーマンスは戻りつつあるみたいですが、私たちではどうすることもできないため、クロールの頻度が戻るのを待つしかないのが現状です。

「検出 – インデックス未登録」の解決方法

Googleのクローラーに何かしらの問題や変化があるのは明白ですが、以前の状態に戻るとも限らず、いつまでクロール数が減少した状態が続くかも分かりません。

サイト運営を行っていくうえで、インデックスされず検索結果に表示されないのは大問題ですよね。ここからは解決方法を紹介していきます。

前提として「検出 – インデックス未登録」はクロールされていない状態なので、インデックスよりも先にクローラーに回遊してもらうことが第一の目的です。

XMLサイトマップとフィードを送信する

XMLサイトマップとフィードを送信していない場合は、初めに設定しておきましょう。

Googleの検索エンジンにサイト内のページを全て認識してもらうためにXMLサイトマップは欠かせません。

フィードにはRSSとAtomの2種類があり、新規ページや更新したページの情報を伝える役割があります。

XMLサイトマップはWordPressなら専用のプラグインをインストールし、それからフィードも併せてSearch Consoleのサイトマップに下記の3つをドメインの後に追加するだけです。

  • https://example.com/sitemap.xml
  • https://example.com/feed
  • https://example.com/feed/atom

今のところXMLサイトマップやRSS/Atomフィードを送信したからと言って「検出 – インデックス未登録」を解決できる可能性は低いものの、設定しておくことは必須です。

内部リンクを見直す

「検出 – インデックス未登録」はクロールされていない状態を表すステータスです。

少しでも早くクローラーに認識してもらうためにも、既存のページから内部リンクでページの存在を知ってもらいましょう。

SEO対策やGoogleからの評価が十分ではないサイトに関しては効果を得られるまでに時間がかかりますが、内部リンクは重要です。

  • 孤立しているページになっていないか
  • 階層の深い場所に配置されていないか
  • 内部リンクの設置は最適なものになっているか

などを見直し、クローラーに発見されやすく分かりやすいサイト構造にしておくと、ある日を境にまとめてインデックスされることがあります。

インデックス登録をリクエストする

インデックスさせたいページがある場合は、Search Consoleの「インデックス登録をリクエスト」で解決できることがあります。

しかしながら、現在このインデックス登録のリクエストでクロールされる可能性は低いです。

以前はリクエストすると数分でクローラーが巡回してくれたものの、2020年11月あたりから全くと言ってよいほど機能しなくなりました。

もしリクエスト送信するのであれば、記事の質を高めたりページ速度の改善をしたりした後に行うことで、クロールされる見込みがあります。

クロールバジェットの対策を施す

クロールバジェット対策を施すことも「検出 – インデックス未登録」を解決するのに効果的です。

クロールバジェットとは、GoogleのクローラーであるGooglebotがサイト内を1日にクロールできる上限のことです。

中小規模のサイトであれば対策の必要はありませんが、大規模なサイトを運営している場合はクロールバジェット対策を施すことで解決できることもあります。

具体的な対策方法は、重複コンテンツやエラーページ、質の低い記事などの削除です。より詳しく知りたい場合は「Google 検索セントラル|Googlebotのクロールの割り当てについて 」を参考にしてみてください。

URLを変更する

「検出 – インデックス未登録」のままクロールされない状態が続いているなら、URLを変更することで解決できる場合があります。事実、ネット上でも多くの成功報告が挙がっています。

一度の変更で成功する確率は3〜8割ほどと幅がありますが、2〜3回と繰り返すことでインデックスされていない残りのページもクロールされやすくなります。

注意点としては、URLの変更は新しいページと認識されるため、301リダイレクトの設定が必要となること。そして短期間にわたり連続で変更しても効果は薄いことです。

一度変更したら少なくとも1~2週間は様子を見て、それから再度変更すれば成功させられる可能性が高くなります。

なお、WordPressを利用している場合はURLを変更しても自動的にリダイレクトしてくれるので、特別な操作は必要ありません。

Indexcing APIを使用する

Indexcing APIとは、インデックス登録や削除を促進できるインターフェースのことです。

専用のプラグインとAPIキーを取得してSearch Consoleに必要な情報を登録するだけで使用できるようになっており、最も効果があります。

本来は求人情報やライブ配信動画が埋め込まれたページをクロールするためにのみ使用可能ですが、通常のページでもURLを送信すれば数秒でクロールされ、インデックス登録が行えます。

1日に送信できるURLが200本までであったり通常のページに使用するためのAPIではないため、継続的に使用できる保証はありません。

とはいえ現状はペナルティの対象にもならず、むしろ素早くクロールさせたい場合GoogleはサイトマップよりIndexcing APIの使用を推奨していることから、利用してみるのも1つの方法です。

時間が解決するのを待つ

クローラーの開発者であるオリヴィエ氏の発言から、2021年11月11日以降、世界的にクロール数が減少していることが証明されています。

今はインデックスされていなくても、時間が経てば解決する可能性があるため、根気強く待つのも手です。

とは言っても、ただ待つだけでは意味がありません。サイト全体を見直して正しいSEO対策を行い、検索者は当然のことながらGoogleからも評価されるサイトを運営していく必要があります。

クロール数をチェックする方法

Google Search Consoleではサイト内のクロール数をチェックできるため、分析や異常がないかを確認するのにも便利なツールです。

運営するサイトのクロール数は、以下の手順でチェックすることが可能です。

  1. Google Search Consoleの「設定」をタップする
  2. クロールの統計情報「レポートを開く」をタップする

統計情報を確認するとさまざまな項目が出てきますが、問題がなければ初期の状態よりもクロール数が増加しているはずです。

また、目的別を見てみると「更新」と「検出」2つの項目が存在しています。

更新:インデックス済みのページを更新するためのクロール
検出:新規ページをインデックスするためのクロール

既存ページを更新するためのクロールなのか、インデックスをするためのクロールなのかに分けられており、割合は圧倒的に「更新」のほうが多いです。

運営方法にもよりますが、新規ページを公開しているにもかかわらず「検出」があまりにも少ない場合は、サイトを見直す必要があります。

他にも個別で見られる項目があるので、サイトがしっかりとクロールされているかを日頃からチェックしておくことをおすすめします。

クロール数を増やすには

ページをインデックスさせるためには、クロール数を増やす施策が必要不可欠です。

ここでは、クロール数を増やす効果的な方法を4つ紹介します。

分かりやすいサイト構造にする

クロール数を増やすには、分かりやすいサイト構造にすることです。

一番取り組みやすい代表的なものがツリー構造ですが、近年ではトピックごとにページをまとめたトピッククラスターモデルも効果的と言えます。

いずれの構造もA、B、Cというテーマでカテゴリを分け、それぞれに関連したまとめページと個別ページを用意して内部リンクを張り巡らせていく方法です。

このように、関連したページ同士を内部リンクで繋ぐサイト構造を徹底することによってGoogleからの評価は高くなり、クロール数を増やすことができます。

ページの更新を定期的に行う

一度公開したページはそのままにせず、定期的に更新することでクロール数を増やすことが可能です。

現在のGoogleではフレッシュネスアルゴリズムと呼ばれる指標を取り入れているため、最新の情報が掲載されているページを上位表示しようとします。

したがって最新情報を必要とするページを公開している場合は、可能な限りリライトすることが大切。

もちろんその他のページに関しても更新を疎かにしていると順位が下がっていくことは避けられないので、数ヶ月から半年の感覚でリライトするようにしましょう。

需要のあるキーワードで上位表示させる

Googleはアクセスが多いページのクロールを優先して行う傾向にあります。

需要のあるキーワードで上位表示させることができれば多くのアクセスが見込めるため、必然とクロール数を増やせるのです。

また、運営歴の浅い新規ドメインの場合、多くのアクセスを集められればその分Googleからの評価を早く高められ、他の関連したページの検索順位を上げることもできます。

最速で上位を取るためには競合のいないキーワードを探していく必要がありますが、発見できればすぐに多くのアクセスが見込めるうえに、クロール数を増やすことが可能です。

外部リンクを獲得する

外部リンクを獲得することでGoogleからの評価が上がり、クロール数を増やすことにもつながります。

そして質の高い外部リンクを獲得できればサイト全体の評価を一気に上げられるため、SEOの観点からも最重要の施策です。

外部リンクの獲得には、以下のような方法があります。

  • 営業活動をする
  • 一次情報を盛り込んだ記事を書く
  • 検索上位にはない質の高い記事を書く
  • 自身の保有する別サイトと相互リンクする
  • 無料サービスを利用して自演リンクする
  • ブログサービスを利用して自演リンクする

自演リンクは過度にしすぎるとペナルティの対象となる恐れがあるので、ほどほどにしておきましょう。

いずれにしても、クロール数を増やすためにはドメインパワーを上げる必要があり、そのためにも被リンク獲得は大切です。

記事を読んだ人が思わず共有したくなるようなコンテンツ作りを心掛けましょう。

まとめ

Googleのクローラーの開発者オリヴィエ氏のツイートにより、2021年11月11日以降、世界的にクロール数が激減しているのは明らかです。

サイト運営側としてできることは、やはり検索者やGoogleに評価してもらえるようなコンテンツ作りを日頃から行う方法以外にありません。

とはいえ、それだけでは公開したいページの全てがインデックスされるかと言えば、そうではないのが実情でもあります。

そのため色々と模索していく必要がありますが「検出 – インデックス未登録」を解決するのに効果が得られているのは、今のところURLの変更とIndexcing APIを使用することです。

Indexcing APIは通常ページのインデックスが目的で使用するインターフェースではないためリスクが伴うものの、ほぼ10割の確率でクロールされます。

一方のURLの変更もIndexcing APIよりは成功する確率が下がりますが、インデックスさせたい場合に効果的です。