クローラビリティが悪ければ全て始まらない

SEOにとって最も大切なことはなんだろう。
今回はそれ以前の問題について書いてみたい。

である。
「人間にとって一番大切なものは何か？」
という質問があって、
「愛」「やりがい」「お金」・・・
まあ、色々な答えがあるだろうが、それらよりも大切なものとして、
「食料」あるいはもっと切迫した欲求として「酸素」といったものもある。

食料や酸素が重要なのと同じように、クローラビリティはSEOにおいて重要である。

クローラビリティとはクローリングしやすさのことだ。
クローリングとはWebサイトの中のコンテンツを検索エンジンが取得すること。
(※詳しくは検索エンジンの基本的な仕組みを理解するを参照のこと）

クローラビリティが悪ければ、コンテンツを検索エンジンが取得できず、取得できないコンテンツは存在しないのと同じ事なのだ。
クローラビリティが確保されなけれは始まらないわけだ。

本題である。

である。
まずは、クローラビリティを阻害する要因について書く。

これは意外によくある。
サイトリニューアルにあたって、テスト用のサーバー上で作成することがほとんどである。
テスト用のサーバーではrobots.txtや.htaccessの設定によって、検索エンジンに登録させないようにするのが普通である。
これをそのまま本番サーバーに移してしまうと、当然クローリングできないという事態になる。

この影響は甚大で今まで培ってきた検索エンジンからの評価を失ってしまうので、絶対避けなければならないミスだ。
まったくHTMLなどの知識がなく、Webの制作を外注しているようなケースだと気がつかない。

リニューアル後はFetch as Googleでトップページを確認し、ウェブマスターツールのクロールエラーを確認したほうがよい。
これは自社にHTMLがわかる担当者がいない場合などでは更に重要で、やりかたが分からなければ制作会社に確認してもらおう。
そのやり方が分からないと言われるのであれば、そのような制作会社とは付き合わないほうが賢明である。

1)Flashの使用
2)JavaScriptの使用

FlashやJavaScript内からのリンクをGoogleのクローラーはたどるように作られているが完全ではない。
どこまでクローリングされるかどうかは、実際にやってみないと分からないのだ。

特にFlashはスマートフォンやタブレットでは表示できないことが多くなっている。
これからFlashを用いたページを作るのは論外で、現在使っている場合も対策が必要である。

余りにもリンクが多い場合、クローラーがリンクをたどらないことがある。
以前はGoogleはガイドラインの中でリンクは100個以内に抑えることを推奨していた。

現在は100個という数字はガイドラインからはなくなっており、妥当な数にするようにとなっている。
このあたりの情報は、海外SEO情報ブログ「1ページのリンクは100未満に抑える」は過去の話だけど、やっぱり抑えたいに詳しい。

ページのリンクがコンテンツの構成上、非常に多くなってしまう場合は以下のような対応を取るべきである。

• 同種のページへのリンクをまとめて別ページにくくり出す

例えば海産物の通販のページの場合、

・タラバガニ足600g
・タラバガニ足800g
・生タラバガニむき身セット2kg
･･･
・伊勢海老3尾1kg
・伊勢海老2尾700g
・伊勢海老オーブン焼きセット
･･･
・天然あわび300g
・天然あわび150g
・あわび酒蒸し500g
･･･

こんな感じで大量にリンクが並んでいる場合は、
「タラバガニ」「伊勢海老」「あわび」･･･といった商品のカテゴリ毎にページを分けるのがよい。
そうすれば通販のページからは、リンクは商品のカテゴリの数だけに抑えることができる。

これはクローラビリティを改善するメリットがあるだけではない。

• ページ構成がすっきりし、ユーザーの見やすさが改善される。
• 商品のカテゴリのページは、同カテゴリの商品へのリンクがまとまるため、検索エンジンに対してよりテーマを強く認識させることができる。

この2つは違うメリットに見えるが、実は同じことであることに留意すべきである。

人間にとって使い勝手がよいページ、わかりやすいページは、検索エンジンにとってもわかりやすいページである。

ということである。

• 重要なページヘのリンクはページの上部に置く
• ページヘは複数経路を用意する

これらはクローリングされないリスクを軽減するための措置である。

基本的には３．と相反する場合が多いため、両立させるために、

ページの遷移を工夫する、sitemap.htmlを置く、経路を複数化する、パンくずリストを設置する、といった様々な方法を考える必要がある。

極端に安いレンタルサーバーなどは非常にレスポンスが悪いケースがある。
このような場合は、クローラビリティも悪くなる。
また、ユーザーからの使い勝手が著しく悪化する。
たった0.5秒の遅延であっても、ECサイトでは売上の減少がみられるという結果が出ている。
※参考Chromeはなぜ速いのか

クローラビリティの観点だけではなく、レスポンスの改善に努めるのは重要である。

sitemap.xmlファイルを読み込ませることはほぼ必須だ。
サイトマップのファイルには２つがあり、人間が見るためのsitemap.htmlと検索エンジンに読ませるためのsitemap.xmlがあり混同している人も多い。
両方共必要なのである。

検索結果に表示させてはいけないページについては、クローリングさせない工夫が必要である。
例えば、

・ブログの未来日のページ
・カテゴリで絞り込んだ結果0件しかないページ

などだ。
詳しくはCMS設計時に必須のSEO考慮点12項目の「９．ほぼ同一内容のページを多数インデックスさせない」をご覧頂きたい。

記事が長くなった場合に、ページ送りがつけられる場合がある。
例えば当ブログのケースであれば、

SEO小説 カニのオマージュは、記事が長いのでページ送りがある。
このようなページ送りが多くなると、ある程度のところで検索エンジンはクローリングを打ち切ってしまうケースがある。

ページ送りを減らす方法としては、1ページあたりの文字数を増やすといった方法が簡便だろう。

私が最近遭遇したケースでは、WordPressの脆弱性を突かれたことがあった。
普通にサイトにアクセスした場合は何ら問題なく見えるのだが、検索エンジンの検索結果から自サイトにアクセスしようとすると、全く違うサイトに飛ばされるケースである。
こんな場合は、自サイトにクローラーは正常にアクセスできなくなっている可能性が高い。

Analyticsを定期的に見るなどしていれば気がつくはずであるが、早く気が付かないと危険である。
定期的にAnalyticsは見るようにすべきだろう。

クローラビリティが悪ければ全て始まらないため、この配慮は最も基本なのだが実は難しくSEOの奥深い部分でもある。
上記のような観点から十分な検討を行うことが必要なのである。

※追伸
ありがたいことにこの記事に住太陽氏からGoogle+でコメントをいただいた。

このコメントは一見当たり前のことを語っているように見えるが、幾つかの意味において非常に深い知恵が隠されている言葉だと思った次第である。

• 存在しないコンテンツは検索対象にならないことは、当然過ぎるほと当然なのだがこれがわかっていない人がまず多い。
  Webサイトを作りさえすれば、インターネットから引き合いが取れるという勘違いが現在も存在する。野球で言えば練習をするしない以前に、バッターボックスにも入らずにホームランを打ちたいって願うようなものだ。

※ちなみにバッターボックス云々という比喩は黒須敏行氏の表現でした。

• SEOはコンテンツを作る以前に始まっている。
  社長の考えやユーザーサポートが蓄積した知見などは重要な情報であり、これらはコンテンツとして表現される必要がある。
  しかし、表現されていないことが多いのだ。