Googleのクローラーはどれくらいの頻度で仕事をしているのか？
「Google Search Consoleから毎日インデックス登録のリクエストは送っているけど、Googleはちゃんとクロールに来てくれているの？」
「インデックス登録をリクエストなんてしたことないけど、それだとGoogleはクロールに来てくれないの？」
そんな疑問にお答えします。
今日のお話は、Googleのクローラーがどれくらいの頻度で自分のサイトへやってくるのかを確認する方法です。
ブログ記事がGoogleの検索結果に表示されるまで
ブログの記事がGoogleの検索結果に登場するまでには以下の3つのステップがあります。
- Googlebotがブログをクロールする
- 記事がインデックスされる
- 記事が順位付けされる
Google検索に自分の記事が表示され、読者にブログへ来てもらうためには、とにもかくにもGoogleのクロールを呼び込まなければ始まりません。
そんなときは、Google Search Consoleからインデックス登録をリクエストすると、Googleがクロールに来てくれます。
クロール統計情報を確認する
Google Search Consoleの中に、「クロールの統計情報」を確認できる機能があります。
Google Search Consoleへ未登録の人は、下記の記事を参考にサイトを登録しておきましょう。
Google Search Consoleでサイトを選ぶ
Google Search Consoleへ登録済みの人は、上記のリンクへアクセスすると、下記のように「確認済みのプロパティを選択」という画面になります。
Google Search Console、確認済みのプロパティを選択
「プロパティを選択してください」という部分をクリックし、プルダウンからサイトを選びます。
Google Search Console、「プロパティを選択してください」からサイトを選ぶ
すると、下記のように「クロールの統計情報」という画面が開きます。
「1日あたりのクロールされたページ数」（青いグラフ）を確認
Google Search Console、クロールの統計情報
この「クロールの統計情報」というページでは、
「Googleがあなたのサイトを1日に何回クロールしたか」
というデータを、過去90日に渡って確認できます。
グラフにカーソルを合わせると
「20/03/01
1日あたりのクロールされたページ数： 4,511」
のような吹き出しが登場します。
これは、この日1日だけで4,511ページもGoogleのクローラーがサイトを巡回したということです。
サイトの「記事数」よりも「1日あたりのクロールされたページ数」の方が多いのはなぜ？
このサイトでは、2020年3月現在で約400記事を公開しています。
それに対して、1日あたり平均4,709ページもクロールされています。
記事数よりもクロール数が多いのはなぜ？
同じ記事に10回ずつクロールしている？
その答えは、記事以外のページもクロールしているから。
画像ページ
上記の画像には、下記のようなURLが割り当てられています。
https://u-ff.com/wp-content/uploads/2019/09/profile.jpg
画像ごとにURLが割り当てられるので、1つの記事の中に10個の画像を使っていたら、10個の画像用URLが生成されることになります。
画像もクロール対象なので、記事の数以上にGoogleのクローラーが回ってくるのも、おかしなことではありません。
カテゴリーページ
ブログ、ページタイプ、カテゴリーページ
上記の画像でURLのところを見ると
https://u-ff.com/category/blog-tips/seo/
のようになっています。
これは、「SEO」というカテゴリーのページです。
「blog-tips」というカテゴリーがあり、さらにその下に「seo」というサブカテゴリーを設定しています。
カテゴリーの数だけURL（ページ）が存在します。
カレンダーページ
ブログ、ページタイプ、カレンダーページ
上記の画像でURLのところを見ると
https://u-ff.com/2020/03/
のようになっています。
これは2020年3月分のカレンダーページです。
1か月単位で記事の一覧が並ぶページです。
https://u-ff.com/2020/03/29/
というURLならば、2020年3月29日に投稿した記事の一覧が見られます。
毎日記事を投稿している人ならば、
1年で12個の「月カレンダーページ」、365個の「日カレンダーページ」が発生することになります。
一覧ページ
ブログ、ページタイプ、一覧ページ
上記の画像では、URLのところが
https://u-ff.com/page/2/
のようになっています。
トップページには記事が10個ほど一覧表示されていて、
下端の「次のページ」や「2」をクリックすると「11～20記事目」が表示される。
設定にもよりますが、どのブログでもおおむねこのような形式になっていると思います。
420記事あると、トップページのページ送りだけで42ページ分もURLが存在することになります。
カテゴリーやカレンダーページも同様です。
SEOカテゴリーにも、2ページ目、3ページ目…、が存在しますし、
3月のカレンダーページにも、2ページ目、3ページ目…、が存在します。
サイト内には様々なページが存在する
これまで見てきたように、サイトには記事の数以上に様々なページが存在し、そのページの数だけURLが存在します。
GoogleのクローラーはこれらのすべてのURLを巡回するので、「1 日あたりのクロールされたページ数 」がサイト上にある記事の数より多くなるのは普通です。
ただし、サイト上のすべてのURL（ページ）を1日1回ずつGoogleのクローラーが巡回してくれるわけではありません。
たまにしかクローラーがやってこないページもあれば、1日に数回クローラーが訪れるページもあります。
「1日あたりのクロールされたページ数」は多い方が良い
基本的には以下の法則が成り立ちます。
- クロールの回数が多い＝Googleから優良サイトと認識されている
- クロールの回数が少ない＝Googleから低品質サイトと認識されている
Googleでは、古い情報よりも、新しい情報の方が評価されやすいです。
毎日更新しているサイトは、更新を止めてしまったサイトよりも、クロールの回数が多くなります。
そして、Googleの検索結果でも上位に表示されやすくなります。
また、文字数の少ない記事や、コピーが多い記事（某掲示板のまとめサイトなど）は、Googleから低品質コンテンツとみなされることがあります。
そういったページは、Googleの検索結果に表示されなくなったり、検索順位が落ちます。
そして、そのページだけではなくサイト全体の評価が下がるので、Googleクローラーの優先順位も落ち、クロールの回数が減少します。
逆説的に考えると、「1日あたりのクロールされたページ数」が多いか少ないかで、あなたのサイトがGoogleから優良サイトと認識されているかどうかが判断できるわけです。
つまり、
「クロール回数が多い＝優良サイト＝検索順位が上がりやすい」
ということがいえます。
「1日あたりのクロールされたページ数」がいくつならOKなのか？
それは、
- 記事数
- よく画像を使うか？
- カテゴリーやタグを使っているか？
などの条件によって違ってきます。
数字よりも大事なのは、グラフの波形。
Google Search Consoleの「クロールの統計情報」で、
「1日あたりのクロールされたページ数」が右肩上がりで増えていればOKです。
グラフが下がっていたら、Googleから以下のように思われています。
- 更新頻度が低いから、あまりクロールしなくていいや
- コンテンツの質が低いから、あまりクロールしなくていいや
まとめ
上記のリンクから「クロールの統計情報」が確認できます。
特に重要なのが「1日あたりのクロールされたページ数」です。
原則として
「クロール回数が多い＝優良サイト＝検索順位が上がりやすい」
といえます。
「1日あたりのクロールされたページ数」（青いグラフ）が右肩上がりの傾向にあれば、サイトの運営は概ね良好といえるでしょう。
コメント