サイト運営

Fetch as Google でインデックス登録されないケースがある?

投稿日:2017年7月31日 更新日:

Google-wood

Google Search Console の Fetch as Google を使ってインデックス登録依頼をかけていますが、いつまでたってもインデックス登録されないことがありませんか?私は200あると言われているGoogleのインデックス登録判定で何かダメなんだろうと思っていました。もちろんそういう理由もあるかもしれませんが、やり方がまずいこともあるかもしれません。

kaisya_komaru_man

Fetch as Google の正常な動きとしては「Fetch as Google からのリクエスト後、数分でクロールされて、インデックス登録される」と言えると思います。

<スポンサーリンク>

Googleにインデックス登録されないとはどういうことか?

まず私のはまった状況から説明します。

  1. 記事を20件投稿した(実際は20件ぐらいですけど)
  2. Fetch as Google で20件登録した
  3. 1週間待った
  4. 数件しか登録されていない

登録された数件も Fetch as Google で登録されたわけではなくて、おそらくは普通にクロールされてインデックス登録された投稿なのかもしれません。というのは、登録されていたのは20件のうち古いほうの数件だったからです。この古いほうの数件は3、4週間前に投稿しています。 Fetch as Googleを使う前に確認していればよかったのですが、インデックス登録されているされていないに関わらず、全件やってしまっていたので、実際のところはわからずです。

Googleにインデックスされているかを確認する方法

Google検索で以下のように入れます。

site:<サイト名>

うちのサイトだと以下のようになります。

site:hamatori.net

これで一覧できるわけですが、個別に調べたい場合はinfoを使います。持っているインデックスの量が多いとsite:だけで探すのは大変なのです。

info:<サイト名>/<パス>

たとえばこの投稿自体ではこうなります。

info:hamatori.net/2017/07/fetch-as-google-noindex/

見つかればインデックスされている、見つからなければインデックスされていないということになります。

インデックスされない可能性があること

noindexに設定してしまっている

可能性は低いと思いますが、自らクロールを拒否しているケースです。ただ、人はミスをするものです。

  • WordPressの設定で「検索エンジンがサイトをインデックスしないようにする」設定をしてしまっている*1
  • All in One SEO PackやYoast SEOなどのプラグインで拒否設定をしている

*1 設定>表示設定>検索エンジンでの表示

Googleからペナルティを受けている

Google Search Console の以下の「手動による対策」でペナルティが出ていないかを確認します。

検索トラフィック>手動による対策

投稿の内容、またはそのサイト自体に問題があるとGooglebotが判断したということになります。原因は多岐にわたりますが、投稿内容を見直す等の対応をして、再審査の依頼を行います。

また、中古ドメインの場合、過去の履歴としてGoogleからペナルティを受けたままになっている可能性があります。この場合は、再審査の依頼をして、新たなドメイン取得者であることを伝えるしかありません。

robot.txt、サイトマップが間違っている

Fetch as Googleは依頼するだけですのです。依頼を受けたクロールがサイトを訪問してきます。その際に、robot.txt、サイトマップを参照しにいきますが、内容が間違っていては、インデックス登録されない可能性がありますこの確認は必須です。

Google Search Consoleの”robot.txtテスター”や”サイトマップ”などを参照して問題が無いか確認しましょう。

私はYoast SEOを使ってサイトマップを作っています。従って、サイトマップは間違えにくい環境にあります。robot.txtは手書きですが、一度書いたらなかなか変更するものではありません。

Yoast SEOでサイトマップを作る方法は”Yoast SEOの初期設定”を参照してください。

site:で表示してくれないだけ

site:でたまに表示してくれない場合があります。原因は全くわからないのですが、実際にそういうことがありました。

一度、表示されなかったとしても、時間を置いて何回か表示してみると表示されるかもしれません。ちなみに連打するとGoogle検索に”ロボットによるアクセスじゃないか”と疑われて警告が出ます。

運が悪い?手順に問題がある?

私の場合、基本的には”運が悪いだけ”と思っていますが、手順に問題があった可能性もあるとも思っています。

私が登録した際に、20件のURLをメモ帳に貼り付けておいて、ほぼ連続で取得しようとしていました。

その後、1件1件投稿して、Fetch as Google しているものに関しては、きちんとインデックスされていたのです。そして「あっ!」と思って、インデックス登録されていなかった投稿も一つ一つやってみると見事にインデックス登録されていきました

この連続してFetch as Googleを使ったことが原因とは言い切れませんが可能性はあります。

ちなみに、現在、1件1件登録している際には「取得してレンダリング」しています。インデックスの登録ボタンはレンダリングの結果を確認して、レンダリングの確認ページから「インデックスに登録」ボタンを押しています。(もちろんレンダリングしなくてもインデックス登録されます)

また、レンダリングが「完全」にならず「一部」になる場合も多いですが、これはインデックス登録には関係ないようです。一部でもちゃんとインデックス登録されます。

まとめ

Google検索のインデックス登録には謎が多く、何が正解なのか全くわかりませんが、正常時の動きを見る限り(誤解のある表現ですが)「Fetch as Googleは(本来)すぐにインデックス登録してくれる」ものです。(もちろん、「すぐにクロールに依頼してくれる」の方が正確です)

ただ、Fetch as Googleは「気分屋」であることには留意した方が良いかもしれません。一度、登録されず、他の要因が無いと信じられるのであれば、「繰り返し」Fetch as Googleしてみることをおすすめします。

もちろん、「他の要因が無い」ということが前提にありますので、自サイトの設定の見直し、Google Search Consoleの「手動による対策」の確認は必ず行いましょう。

<スポンサーリンク>

さらに妄想してみる

妄想ですが、Googleのシステム上の問題かもしれません。インデックスというのを1種類と捉えていること自体が間違っている感じもします。

気分屋にみえること自体が、私が全く理解できていないということなのですよね。

例えば、2種類のインデックスがあったとすれば、こんな感じになるかも?

  1. Fetch as Googleで短期記憶インデックス登録される
  2. Googleが短期記憶インデックスを再評価する
  3. 良いコンテンツを長期記憶インデックスに移す

再評価中は消えるとか、短期記憶はxx日で消えるとか、何かルールがあって、インデックスが遅れるとか、インデックスが消えるとか、そういう状態があり得るのかもしれません。メンテナンスで地域ごとにインデックスが遅れるとかはありそうですよね。

システムトラブルが本当にあって、”運が悪い”ケースもあるかもしれませんが、ロジカルな理由があると考える方が自然ですよね。

-サイト運営
-,

執筆者:

<スポンサーリンク>

comment

メールアドレスが公開されることはありません。

*

関連記事

GoogleAdsense-eye

Google AdSenseの申請手順と驚きの結果

当サイトも恐る恐るGoogle AdSenseに申し込みをしてみました。申し込み手続きの手順を簡単にまとめましたので、ご紹介します。ネットでは2016年から厳しくなったとの噂が流れていましたので心配していましたが、無事に審査に合格することができました。 本稿は …

Glue-eye

【AMP対応】Glue for Yoast SEO & AMP の使い方

AMP対応にGlue for Yoast SEO & AMPを採用しました。Glue for Yoast SEO & AMPは”AMP”プラグインを補佐する位置づけにあります。本稿では”AMP”プラグインで不足する部分をGlue for Y …

bing-logo

サイト開設 Bing Web マスターツールに登録をする

Bing web マスターツールへの登録方法を書いていきます。サイトを開設した直後、流入元はほぼ検索に限られます。検索サイトで最も大きいのはGoogleですが、2番手はBingです。Googleからの流入だけでなく、Bingの検索者も取り込むことで、より多くの …

意外に簡単?WordPress環境のSSL化 (エックスサーバー)

エックスサーバーでは無償で独自SSLを使用できます。 近年、あらゆるサイトがSSL化しているので、本サイトもSSL化してみました。 ついでに手順を記録しておきます。 実施した際、本サイトは複雑な構造を持っていなかったからだとは思いますが、結構簡単でした。 目次 …

QuickStart-issue-eye

【QuickStart広告】謎の原因で広告が表示されなかった話

Google AdSenseでQuickStart広告を使っていますが、いつの間にか表示されなくなりました。「QuickStartが表示しても仕方ないと思ったのか?」、「いや、それでも少なすぎるだろ?」と謎解きが始まりました。大した話ではありませんが、記録に残 …

サイト内の検索はこちらから

サイト内の検索はこちらから

サイト内の検索はこちらから

カテゴリー

アーカイブ

最近の投稿
Scroll Up