Google検索結果に表示されなくなった…こんなことが原因かも。

2021年1月12日
Staff Blog

こんにちは、近藤です。

とあるお客様のウェブサイトが、いつの頃からかGoogleやBingなどの検索結果から消えてしまうという現象が起きていました。

正直、Googleの検索から消えるって、何かやらかしたんじゃ無いかとかなり焦りました。

一旦落ち着き、これまでの経験上からいくつかの原因が考えられそうだったのでそれらを順番に確認していきました。

原因として考えられそうなこと

  1. robots.txtでクロールを除外していないか
  2. クロールが除外されるようなコンテンツなど無かったか

robots.txtでクロールbotを除外していないか

大抵の場合は、「1.robots.txtでクロールを除外していないか」を疑うと思います。

サイト内のファイルを検索してもrobots.txtは見当たらず、Wordpressのプラグインも調べてみたがそれらしいものは見当たらない。

クロールが除外されるようなコンテンツなど無かったか

次に「2.クロールが除外されるようなコンテンツなど無かったか」については、Googleサイドの判断になってしまうので調べることができず、別の確認としてGoogleアナリティクスのトラフィックにGoogleからの参照が含まれているかを確認しました。

こちらは結果として、Googleからのトラフィックは確認できました。

というのも、クロールがされていないようだが、古いページは検索結果に表示されていたりする状態だったのです。

ついでの確認でしたが、Google Search ConsoleやBingウェブマネージャーでサイト確認をするとエラーとなりました。

この段階でコンテンツ側の問題ではなく、上位レベルで遮断されているだろうと判断し、サーバー側でなんらかの設定がされているのではないかと思い、サーバーサポートへ問い合せすることにしました。

これが原因だった…

今回のウェブサーバー、NTTコミュニケーションズ「Bizメール&ウェブビジネス」というサービスのウェブサーバーだったのですが、

なんと!
海外IPアドレスのアクセスをデフォルトで制限しているのです!!

注意事項
2017年5月26日以降にBizメール&ウェブ ビジネスをご利用開始の場合、初期設定で、すべてのポートの海外IPフィルタリングが有効となっております。
ポート番号:25 に海外IPフィルタリングを適用した場合、海外IPアドレスが利用されるメールサービス(Gmailなど)からのメールが受信できなくなることがありますので、ご注意ください。

海外IPフィルタリング

つまり、何が起きていたかというと、GoogleやBingなどの海外IPアドレスをもつサーバーからのbotアクセスがサーバーレベルでフィルタリングされ、遮断されていたということです。

NTTコミュニケーションズのサポートにサーバー側で何か遮断していないかという問い合わせをした結果判明しました。

後日、コントロールパネルに海外IPフィルタの設定項目から設定を解除しました。

海外IPの遮断って。。インターネットの意味が無いのでは??
デフォルトで遮断するとはびっくりしましたが、色々調べていくと、大手レンタルサーバーでは、海外IPフィルタは普通に導入されているようです。

しかし、例えばさくらレンタルサーバーの場合は、同じようにデフォルト設定で海外IPフィルタがされているのですが、GoogleBotは通るようにチューニングされているようです。このあたりは、利用するサーバーによって違いがありそうです。

もし、Googleから検索結果が消えてしまったウェブサイトがあったらサーバーのフィルタリングも疑ってみてください。

同じ問題でお困りの方に、この記事がお役に立てれば幸いです。