検索エンジンのクロールをブロックする理由！noindexの使い方
検索エンジンのクロール巡回をブロックし、インデックスをさせないほうがよい状況が存在するのは事実です。この記事ではインデックスを防ぐべき主な理由やシチュエーション、noindexを使ったブロックの方法を分かりやすく解説します。
まず知っておきたい検索エンジンクローラーの仕組み
検索エンジンクローラーとは、Webサイト上を巡回して情報を集めるロボットプログラムです。収集した情報はデータベースに保管され、検索キーワードに応じて、関連するコンテンツを含むサイトがランキング検索結果に表示されるという流れです。
検索エンジンごとに表示順を決定するクローラーは異なりますが、日本ではYahoo!の検索エンジンもGoogleのクローラーを使用しています。そこで、シェア率の高いGoogleクローラー対策を取ることが、SEO対策を効果的に行うために重要なポイントです。
検索エンジンのインデックスをブロックするべきページとは
検索エンジンの表示結果にWebサイトのコンテンツを表示させる目的で集めた情報をデータベースに登録することをインデックスと呼びます。インデックスは、検索結果にWebサイトを表示させるには欠かせない工程です。
しかし、時には検索エンジンのインデックスをブロックした方が都合が良い場合があります。以下の特徴をもつページは、インデックスを防ぐメリットが大きいページです。
- 低品質で完成度の低いページ
- 検索エンジンに見られたくないページ
- プログラムで自動生成されるページ
各ページの特徴をご紹介します。
1.低品質で完成度の低いページ
クローラーが収集した情報はWebサイトの評価を決めるために利用されます。クロールされたWebサイトのページの中に完成度が低いページが存在する場合、サイト全体の評価を下げてしまうことにつながりかねません。
低品質のページが混ざっているケースでは、該当ページに後ほどご紹介する検索エンジンのインデックスを防ぐ対策を取るメリットが大きいでしょう。
2.検索エンジンに見られたくないページ
次に検索エンジンをブロックするメリットがあるページは、検索エンジンに見せる必要がないページです。これには会員限定ページやテスト中のページなどが挙げられます。
例えばメルマガのみにリンクを貼り導線を確保している会員限定ページが検索エンジンでも表示されてしまうと、『会員のみがアクセスできる』という特別感が失われてしまいます。また、システムに関わるページやテスト中のページもセキュリティ面で不安が残るため、インデックスを避けた方がよいでしょう。
3.プログラムで自動生成されるページ
特にCMS（コンテンツ・マネジメント・システム）を使って作ったwebサイトの場合は、設定によりプログラムが勝手にページを作ってしまうケースもあります。自動生成されたページはユーザーにとっては必要のない（内容がない）ページである場合も多く、インデックスされるメリットはないでしょう。
このように自動生成された内容がないページは、インデックスされることでサイトの評価が下がってしまう可能性もあるため注意が必要です。
＞「Semrush」競合調査・キーワード調査・効果検証までSEO改善がこれ一つで！
検索エンジンのインデックスをブロックする3つの方法
上記のようなインデックスを拒否するメリットが大きいページが存在する場合は、次にご紹介する3つの方法でインデックスをブロックします。
- クロールをブロックするメタタグ「noindex」を記述する
- 「robots.txt」ファイルを作成しディレクトリにアップロードする
- パスワード保護のために「.htaccess」ファイルを作成する
それぞれの方法を詳しく確認しましょう。
1.クロールをブロックするメタタグ「noindex」を記述する
1つ目にご紹介するのは、メタタグに「noindex」を記載してクロールをブロックする方法です。メタタグに記述をする方法であるため、インデックスを防ぎつつ、リンクを知っているユーザーは問題なく接続できます。
ページ数の多いサイトで、インデックスをしたくないページが存在する場合に効果的な方法だといえるでしょう。
「noindex」を使った対策手順
インデックスを防ぎたい場合には、メタタグに次のコードを記載します。
<meta name="robots" content="noindex">
クロールを防ぐために記載するnoindexに対して、クローラーがリンクをたどって移動するのを禁止するnofollowというタグもあります。働きは似ていますが、両者は違うタグであることを認識しておきましょう。
2.「robots.txt」ファイルを作成しディレクトリにアップロードする
次にご紹介するのは、クローラーの働きを制御するファイル「robots.txt」です。インデックスを防ぐために行う対策の中でもシンプルにできるのが特徴です。
インデックスされたくないディレクトリに、robots.txtのファイルを作成し保存します。クローラーに巡回すべきページとそうでないページを伝えられるので、不必要なページのインデックスを防ぐことができます。
「robots.txt」を使った対策手順
robots.txtは次のように記載します。インデックスを防ぎたいディレクトリの名前を「abc」の部分に指定しましょう。
User-Agent: *
Disallow: /abc/
User-Agentでは、制御したいクローラーを指定しますが、アスタリスクの場合は全てのクローラーを指定できます。記載が完了したファイルは、FTPソフトを利用してルートディレクトリにアップロードすることがポイントです。
3.パスワード保護のために「.htaccess」ファイルを作成する
インデックスをさせたくないファイルをパスワードで保護すれば、クローラーをブロックすることが可能です。パスワードで保護をされている状態であれば、外部からファイルの内容が見られてしまう心配がないためです。
なかでもBasic認証とも呼ばれるのが「.htaccess」ファイルを作成し、サーバーにアップロードする方法です。
「.htaccess」を使った対策手順
パスワード制限を設けるには、「.htaccess」と「.htpassword」の2つのファイルを作る必要があります。それぞれのファイルに記載する内容は次のとおりです。
【.htaccessファイルの記載内容】
AuthType Basic
AuthName "認証画面のメッセージ (IDとパスワードを入力してください)"
AuthUserFile /home/ドメイン名/フォルダ名/.htpasswd
require valid-user
【.htpasswordファイルの記載内容】
ユーザー名:パスワード
ユーザー名2:パスワード2
2つのファイルの準備ができたら、サーバーにアップロードしましょう。
＞「Semrush」サイト診断・順位計測・キーワード調査などSEO対策にフル活用！
すでにインデックスされてしまっているページの対処法
先にご紹介した対策は、あくまでもクロールをブロックする方法です。すでにクロールが巡回し、インデックスされてしまっているページの場合は、URL削除ツールを利用するようにしましょう。
URL削除ツールの使い方や、注意したいポイントをご紹介します。インデックスをされる前と後では対応が変わる点を確認しておきましょう。
URL削除ツールを利用する
ページやサイトのインデックスが完了している場合は、URL削除ツールを使って検索結果に表示させないよう設定を行います。Googleの場合は、GoogleサーチコンソールからURLの削除のためのリクエストを行います。
なお、Googleサーチコンソールから行うインデックスの削除は一時的なものです。完全に検索結果から削除できるわけではなく、90日程度が過ぎればまた検索エンジンに表示されてしまう点には注意しましょう。
また、URL削除ツールを通して手続きが行えるのは、基本的にWebサイトの所有権をもったユーザーに限られます。第三者が行える手続きではありません。
URL削除ツールの使い方
Googleサーチコンソールを使った具体的な手順は次のとおりです。
- Googleサーチコンソールにログインする
- プロパティ内で削除したいサイトのURLが表示されているかを確認する
- URL削除ツールをクリックする
- 手順2で設定したプロパティが正しく適用されているか確認する（不備がある場合は「プロパティの追加」から設定する）
- 「一時的に非表示にする」をクリックする
- WebページのURL、ディレクトリの相対パスを入力する
- URL削除方法を1つ選択する（キャッシュからのみURLを削除、キャッシュからURLを削除し検索結果からURLを一時的に削除、キャッシュを削除し、次で始まるすべてのURLを一時的に非表示）
- リクエスト送信をクリックする
リクエストは必ずしも承認されるとは限らず、リクエストが処理されるのにも1日程度の時間がかかります。もし、リクエストが非承認となってしまった場合は「詳細」からリクエストの状況や詳細を確認できます。
削除すべきでない場合もある
インデックスの削除は、指定したWebサイトやページを一時的に検索結果に表示させたくない場合に使えます。しかし、中にはURL削除ツールを使ってインデックスを削除すべきではないケースがあります。
例を挙げると、次のような場合ではURL削除ツールの利用が適切ではないとされています。
- 完全にサイトを削除したい
- 同じ内容のコンテンツを新規作成するため、古いコンテンツを消したい
- ペナルティ対策としてドメインの評価をリセットしたい
- URLの統一をしたい
完全にサイトを削除したいケース
URL削除ツールの効果は90日程度と限定的であるため、完全にサイトを削除するにはURL削除のリクエストをするだけでは不十分です。サイトを永久的に表示させないようにする場合には、次のような手続きが必要になります。
- HTTPステータスコードの処理
- Webページへのアクセスをブロックする
- noindexメタタグを設定する
同じ内容のコンテンツを新規作成するため、古いコンテンツを消したいケース
また、全く同じ内容のコンテンツを新しいページとして更新する場合にも、URL削除ツールは推奨されていません。新しいページを作った際には必要がなくなったページに301リダイレクトを設定し、新しいページにつなげておきましょう。
ペナルティ対策としてドメインの評価をリセットしたいケース
ドメインの評価は、URL削除ツールの利用だけでは初期化ができません。再審査リクエストをとおして、新たに審査を受けられるようにしましょう。
URLの統一をしたいケース
各ページのURLを統一するためにURL削除ツールを使うのは推奨されていません。URLは「http」と「https」、「www」のありなしなど記載が統一されていないケースが多くあります。
ページのURLを統一させるには、タグの記載を変更したり、301リダイレクトを設定したりして対応しましょう。
＞「Semrush」競合調査・キーワード調査・効果検証までSEO改善がこれ一つで！
まとめ
検索エンジンにランキング順に結果を表示させるために、クローラーはサイトを回って情報を集めています。SEO対策を行うためには、クローラビリティを上げてクローラーがクロールしやすい状況を作っておくことが重要です。
一方で質の低いページやコンテンツが未完成のページ、ユーザーにとって意味のないページは、クローラーに認識されてしまうことで、サイト全体の評価を下げる原因となってしまう場合があります。
そんな時は、検索エンジンのクローラーをブロックしてインデックスをさせない対策を取るのが有効です。今回ご紹介したクローラーをブロックする3つの方法を参考にしながら、適切な処置をしてみてください。
また、すでにインデックスが完了してしまっているページは、URL削除ツールを使うことでインデックスの削除をしましょう。Google検索エンジンの場合は、GoogleサーチコンソールのURL削除ツールを利用できます。
URL削除ツールは、永久的に検索結果から指定されたWebサイトを非表示にできるわけではありません。URL削除ツールの利用が適していない場合もあるため、状況に合わせた対策を取るようにしましょう。
検索エンジンのブロックは、適切に行うことでSEO対策にも有効に作用します。専門的なノウハウが必要になるSEO対策を個人で行うのに不安があるかもしれません。
また適切な対策を施して、Googleから高評価をもらえるサイトを作り上げるにはさまざまな知識や分析ツールが必要となります。
SEOツールは無料で利用できるものから、かなり高額なものまで幅広く存在します。
どのツールから始めたらいいか迷われたら時には、まず低価格で手厚いサポートが受けられる「Semrush」からお試しください。
「Semrush」は、競合サイト分析、ターゲットキーワードの発見、検索表示順位計測、テクニカルSEOエラーの検出、被リンク調査などSEO対策を行うために必要な機能が一つになったSEOオールインワンツールで、カスタマーサクセスも無償です。
無料トライアルも可能なので、ぜひ、一度お試しくださいませ。
Webの内部診断をしたい方におすすめ
記事内紹介のSEOツール「Semrush」をいますぐお試し！
