自社サイトのページが検索結果に出ない！インデックスされない原因と対処法解説

せっかくいい感じのWebページを作成したのに、検索結果に表示されず・・・と困ってはいませんか？

本ページでは、Webページが検索結果に表示されない(インデックス登録されない)原因と対策について紹介します。自社のWebページが検索結果に登録されないとお困りの方はぜひ参考にしてください。

検索結果への表示とインデックス登録

「検索結果への表示がされていない」という困りごとの原因には、大きく2つの原因が考えられます。1つ目が「検索結果順位が低すぎて認識できない」、2つ目が「インデックス登録されていない」です。

検索結果順位が低すぎて認識できない場合には、SEO対策を施して検索エンジンに評価される必要がありますが、2つ目のインデックス登録されていないという場合には、一般的なSEO対策を行うだけでは検索結果へ表示されません。

そのため、「インデックス登録されていない」原因を中心に原因と対策と紹介します。

検索結果に表示されない原因と対策

検索結果に表示されない(インデックスされない)原因は、いくつか原因が考えられますが、根本的には「クローラーに検知されない(されにくい)構造」になっているケースが多いです。

クローラーに検知されなければ、検索エンジン側がWebページを見つけることができず、検索結果に表示することができません。これを踏まえ、検索結果に表示されない原因についての詳細の原因と対策方法を紹介します。

原因1：Googleガイドライン違反によるペナルティ

検索エンジン最大手のGoogleは、ウェブマスター向けのガイドライン(品質に関するガイドライン)を公開しています。

このGoogleのガイドラインに違反したWebサイトを構築することで、ペナルティを受けることがあり、Googleからペナルティを受けることで大幅に自社サイトの評価が下落します。大幅に自社サイトの評価が下落すると、自社サイトがインデックス(検索結果に表示)されなくなります。

Googleガイドライン違反によるペナルティを受けないためには、ガイドラインに記載されている以下のような行為を行わないことが重要です。

・クローキング
・誘導ページ
・ハッキングされたコンテンツ
・隠しテキストと隠しリンク
・キーワードの乱用
・リンクスパム
・機械生成トラフィック
・マルウェアや悪意のある動作誤解を招く機能無断で複製されたコンテンツ
・不正なリダイレクト
・スパム行為のある自動生成コンテンツ
・内容の薄いアフィリエイト
・ページユーザー生成スパム
・ランキングの降格や削除につながる可能性のあるその他の行為

引用元：Google ウェブ検索のスパムに関するポリシー

もし仮にペナルティを受けてしまっている場合、そのペナルティとなる原因を改善し、Googleサーチコンソール上から再審査リクエストを送信し、ペナルティ解除を目指しましょう。

ペナルティが解除されれば、検索結果での順位が元に戻り、インデックスされない状況が改善されてGoogle検索結果に自社サイトが表示されるようになります。

原因2：robots.txtでクロールを拒否している

robots.txtのファイルの中に、検索エンジンのロボットを拒否する「disallow」という記述がなされていると、Googleのロボットがクロールすることができずに情報を取得できないため、結果的に検索結果に表示されない状態になります。

robots.txtのクロール拒否の記述例

Use-Agent:*Disallow:/example/example.html/

このようにクロールを拒否する「disallow」が設定されたURL(ページ)やディレクトリには検索エンジンのロボットが情報取得のために周回することができません。

そのため、対策としては、robots.txtにdisallow設定がされていないかを確認し、もし記述されていればその部分を削除したrobots.txtを再度アップロードし、検索エンジンのボットをサイトに呼び込むようにしましょう。

すぐに改善されるのは難しい可能性がありますが、上手くいけば検索結果にインデックスされ、自社サイトが検索結果に表示されるようになるはずです。

原因3：noindexを設定している

サイトを表示する元となるHTMLファイルのmeta robotsタグで、「noindex」属性を記述していれば、検索結果に表示されません。「noindex」は「検索結果にインデックスしないでほしい」という意思を示す設定といえるため、インデックスされないのは当たり前といえば当たり前です。

noindexの記述例

<meta name =”robots” content=”noindex”>

このような記述があればインデックスされないため、検索結果に表示させたい場合には、noindexの記述を削除しましょう。また、noindexを削除したページを公開したら、サーチコンソールを使ってインデックス登録を促すことでスピーディに該当ページが検索結果に表示されるようになるはずです。

ちなみにWordPressなどのCMS(コンテンツマネジメントシステム)を利用してサイト構築をしている場合には、管理画面の中でnoindexの設定を変更できる可能性があるため、WordPressなどを利用している場合には、まずは自社サイトの管理画面をみてみると良いでしょう。

原因4：リンク構造が貧弱でクローラーが巡回しずらい

検索エンジンのクローラー(ロボット)は、基本的にWebサイトに設置されているリンクをたどりながら各サイトのページを見つけ、そのページの内容を読み取って、検索結果に反映しています。

被リンク(外部リンク)や内部リンクといったリンクの構造をある程度充実させないと、クローラーに自社サイトおよびそこに公開しているページを見つけてもらうことができず、結果的に検索結果に表示されないという状況になることがあります。

対策としては、トップページなどトラフィックやリンクが集まっているページから、検索結果に表示させたいページへのリンクを設置したり、SNSを活用して被リンク獲得を促すなどが挙げられます。

ページ間でクローラーが流れ込みやすい道筋を作り、検索結果からの流入を見込みたいWebページをロボットが見つけやすい構造を作ってサイトを大きくしていくと、新しいページがインデックスされやすい状況を作ることができます。

原因5：htaccessファイル等でインデックス登録しない設定をしている

通常のWebページはHTMLファイルにnoindexをマークアップすることで、検索結果に表示させない設定をすることができますが、PDFファイルなどのHTMLタグの設定ができない場合には、.htaccess等にX-Robots-Tagでnoindexを記述してインデックスさせないようにしているケースがあります。

.htaccessファイルでX-Robots-Tagの記述例

<Files ~ "\.pdf$">Header set X-Robots-Tag "noindex"</Files>

このように.htaccessなどに記述されていれば、該当部分を削除することで検索結果に表示されるようになるはずです。

原因6：サーバーエラーが続いている

Webサイト運営をしていると、サーバー側のエラーが発生して、サイトの表示ができない状況になることがあります。ただし、こういったサーバーエラーやサーバーのメンテナンスによってサイトが表示できない状況になることはよくあるため、短時間であれば大きな問題になりません。

特に問題となるのは、長時間エラーが続きサイト閲覧がずっとできない状態です。長時間サイト閲覧ができない状態だと検索エンジンからのサイトの評価が下がり、結果的に検索結果に表示されなくなる(インデックスされなくなる)ことがあります。

そのため、長期間エラーが表示されてサイト閲覧に影響が出てしまう場合には、エラーの原因を特定して改善したり、場合によっては別のサーバーに乗り換えるなどの改善を施す必要があります。

原因7：Webサイト自体の評価が低い

検索エンジンから受けている評価が、低い場合には、サイト全体のコンテンツが検索結果に表示されにくい状況になる場合があります。特に、低品質なコンテンツが多く存在している場合には、検索エンジンがクロールする頻度を下げる場合があるため、検索結果に表示されにくくなるのです。

この場合、サーバーのエラーやサイト側の設定が悪いのではなく、公開されているコンテンツの質やリンク構造の影響によるものが大きいため、優良なコンテンツ制作を心がける、サイト全体のリンク構造を整理するなど、一般的なSEO対策を施すだけでも検索結果へ表示される可能性が高まります。

検索エンジンからのサイト評価は一気に改善させることは難しいため、少しずつ改善を図っていくこととなりますが、一歩一歩サイトのSEO対策を進めていくほかありません。

Googleにインデックスされやすくするための知識

現在の検索エンジンの多くはGoogleの検索結果を流用しているため、検索結果に自社サイトを表示させたい場合には、Googleにインデックスされやすくなるようなサイト構築を行っていくのが一般的です。

Googleにインデックスされやすいサイトとは、良質なコンテンツがあることや自社サイト内のリンク及び外部からのリンクが充実しているサイトです。それに加えて、補助的な対策として「XMLサイトマップの活用」、「URL検索ツールの活用」や「インデックス登録促進ツールの活用」という3つの対策があります。

Googleにインデックスされやすくするための豆知識について触れていきます。

XMLサイトマップを活用する

「サイトマップ」と呼ばれるものには、HTMLサイトマップとXMLサイトマップの2種類がありますが、自社サイトが検索エンジンにインデックスされやすくなるためには、インデックス促進のためのファイルとなるXMLサイトマップを設置することをおすすめします。

XMLサイトマップをサーチコンソールのサイトマップ機能から送信しておくことで、Googleにファイルが認識されるようになり、ファイルに記載されたWebページに対してクローラーが巡回しやすくなり、結果的にGoogleにインデックスされやすくなります。

WordPressでサイト構築をしている場合には、XMLサイトマップを簡単に生成できるプラグインがいくつか公開されています。プラグインでは自動でXMLサイトマップが更新されるため、運用の手間を省くことができます。

URL検査ツールを活用する

Googleサーチコンソールの機能の1つである「URL検査ツール(旧 Fetch as Google)」を使うことで、指定したURLに対してGoogleのクローラーを呼び込んでインデックスを促進することができます。

新規ページを公開した際やページを更新した際などに、URL検査ツールを使うことで、ただインデックスされるのを待つよりもスピーディなインデックスを促すことができます。

そのため、Webサイト運営をしていくうえで、日々URL検査ツールを使ってインデックスを促すことで、インデックスされやすい状況を作ることができます。

インデックス登録促進ツールを活用する

あまり知られておらず、またあまりおすすめできるツールではありませんが、Googleにインデックスを超スピーディに促すツールというものが販売されています。

その中でも有名なツールが「Index Me Now」というツールです。メールアドレスの入力とインデックスさせたいURLの記入だけで使えるツール(費用はかかります)となっており、当社でも実験として使用した経験がありますが、確かに1週間以内に検索結果に表示されました。

ただし、「なんでこのツールを使うとインデックスされるのか」の説明がほとんどされておらず、ペナルティを受けるようなことが行われている可能性もあるため、おすすめはしません。利用する際には自己責任での使用をお願いします。

検索結果に表示されにくいサイトの特徴

検索結果に表示されないといっても、そもそも検索結果に出にくいサイトというものが存在します。大きく分けて3つ存在しますので、詳細を含めて紹介します。

新しいドメインのサイト

新規ドメインでサイトを立ち上げた場合、自社サイトにつながる外部リンクがないため、検索エンジンのクローラーが自社サイトを見つけるまでに数週間から数ヶ月の時間の時間がかかります。

新しいドメインが検索エンジンに認識されにくいことは、Googleの社員も言及していることで知られています。そのため、新しいドメインでサイトを立ち上げた場合にはインデックスされるまで、時間がかかることは認識しておくと良いでしょう。

Googleからペナルティを受けている

当たり前の話ですが、Googleから何かしらのペナルティを受けているサイトは検索結果に表示(インデックス)されにくくなります。

自社サイトがペナルティを受けているかを確認するためには、Googleサーチコンソールの「セキュリティと手動による対策　＞　手動による対策」という項目をみてみましょう。「問題は検出されませんでした」という表示がされなければ、何かしらのペナルティを受けていることになります。

もしペナルティが発生している場合には、その原因を特定して改善することでインデックスされる期待を持つことができます。

サイトの評価が低い

自社サイトの検索エンジンからの評価が低い場合、同一キーワードで検索エンジンに登録されるサイトのページよりも評価が低くなり、検索結果に表示されなくなることが往々にしてあります。

コンテンツの質を高めたり、サイト内外のリンク構造を整理したり、強化したりすることで検索エンジンからの評価を高めることができます。

基本的なSEO対策を行うだけでも、評価を改善して検索結果への表示や検索順位の向上を見込めるため、可能な限りSEOの専門家に依頼するようにしましょう。

まとめ

このページでは、検索結果に表示されない原因と対策について紹介してきました。

頑張って作ったWebページが検索結果に表示されないのは、悲しいだけでなくビジネス上の焦りも出るでしょう。そこで必要なのは、このページで紹介したような原因をみつけ、改善を図るための知識です。

もし、自社で改善を行うのが難しそうな場合には、千葉県でWebマーケティング支援を行っているカーテンコール株式会社までお気軽にご相談ください。