ページが存在するのに【ソフト404】急増 + Googleインデックス大量削除 = どうなるの!?

現在、このサイトではそのまんまタイトル通りの現象に遭遇しており、Googleの検索結果にも殆ど表示されない状態になっています。

突然のことでしたので、ハズカシイんですが非常にショックが大きく悩んでしまい、アレコレ調べたり考えうる対策を試しているうちに多少は知識が肥えてきました。

今は割と吹っ切れました!悩んでいても仕方が無いですので、暫く「一歩引いた位置から」冷静に観察していきたいと思います。

以下、もしも同じような現象でお悩みの方がおられましたら、少しでも参考なりヒントなりにお使いいただけると嬉しいです。

コンテンツは存在しているんだけど「ソフト404」が急増!

「ソフト404」とは、ざっくり言ってしまうと「コンテンツが存在しない(=本来は404)のに、サーバからはコンテンツが存在する(200)という反応が返ってくる」という現象。

Googleウエブマスターツールでは、クローラーが自サイトを巡回した際のエラーを「クロールエラー」という項目で確認できます。

このサイトでは、2016年1月11日から「ソフト404」クロールエラーが急増!!

しかし、ソフト404は「コンテンツが存在しない」場合(=例えば「ページが存在しません」という表示のページなど)に発生するエラーであるはずなのだけれど、「ソフト404」としてリストアップされたURLは、どれもちゃんとコンテンツが存在します。 むしろ、このサイトで最もアクセスを集めている下記の記事も「ソフト404」としてリストアップされていました。

【当時このサイトで最もアクセスがあった記事】

さらに、Googleインデックス大量削除…orz

「ソフト404」と関係しているのではないかと思われますが、このサイトのページがGoogleインデックスから大量に削除されてしまいます。

2016年1月10日から若干のインデックス減少(削除)が始まり、2016年1月17日に急激に(大量に)インデックス削除となってしまいました。

「こりゃマズイ」ということで、「ソフト404」&「インデックス削除」となったページに関してせっせとFetch as Googleからクローラーに送信を行いますが、毎日のように「ソフト404」が増加し…さらにはFetch as Googleから送信を行って一旦はインデックスされたページが再び「ソフト404」&「インデックス削除」になってしまうという消耗戦に突入してしまいました!

結果、アクセス激減。

ネットで商売させていただいている者として、正直にこういうことを書くのはとても恥ずかしいことなのかも知れませんが、結果的に2016年1月17日からアクセスが激減してしまいました。

ご存じのとおりGoogleでインデックスされないということはGoogleと同じエンジンを使用するYahoo!でも検索にヒットしないということに成りますので、それはもう阿鼻叫喚のアクセス激減です(>_<)

…身に覚えが無いこと自体が問題なのかも知れないですが、何か…Googleからペナルティを受けてしまったんだろうか?と不安になり、まずは国内の知人友人やGoogleで検索できる範囲内で色々情報を集めました。

どうやらGoogleペナルティではない?らしい?

国内の知人友人の情報、そして国内SEO関連ブログなどの情報を頼りに「Googleによる手動ペナルティ」「マイナス要素となる被リンク」などなどを入念にチェックしましたが…その結果を見る分には、どうやらこの現象はGoogleペナルティではないらしい?という結論に。

そこで今一度、素人ではありますがこの現象のメカニズムの解明を図ります。

現象の流れとしては、

  1. 「ソフト404エラー」が発生する
  2. 当該記事がインデックス削除となる
  3. 結果、その記事(ページ)へのアクセスが遮断

これがサイト内の殆どのページで発生している状況…となれば、まずは【元となる「ソフト404エラー」を改善すればイイんじゃないか?】という考えに到達。

そもそも「コンテンツが存在しないのに【存在する】と主張するのがソフト404」というのですが、コンテンツが存在するにも関わらず「ソフト404」に認定されてしまっていることが謎であり、大きな壁に思えました。

どうして「ソフト404」の烙印を押されてしまうのか…アレコレ勝手に原因を推理した結果、「ひょっとしてページの読み込みが異常に遅いのが原因では?」という推論に到達。 なにしろ、当時の私のサイトは廉いレンタルサーバのお世話になっていることもあって「ページが表示されるのにデフォルトで10秒以上かかる」という状態でしたので、これをアノ手コノ手で改善。

結果、「スコア58」だったPageSpeed Insightsも「スコア82」まで改善!

推論が正しければ、これで「ソフト404」が減り、結果としてインデックスも回復するのでは?…ということで現在様子見中です。

「いや、それはペナルティの可能性が高い」(from USA)

しかし、まさについ数時間前、アトランタ在住の友人から衝撃の情報が!?

Googleでは2016年1月10日に「Phantom 4 」、17日に「Phantom 5」というアップデートが実施されている…と、こっちでは噂されているヨ!

なんということだ!?

そんな情報、(私の調べ方が悪いかもですが)日本国内のSEOブログでは全然聞いてないぞ!?…でも、それぞれの日付が…

2016年1月10日 = 「ソフト404」が増加し始める
2016年1月17日 = 「インデックス激減&アクセス激減」

見事なまでにビッタンコカンカンです(古い)。

…ということは!?

この友人から提供された改善策も併せてお試し中ですが…効果があると嬉しいな。

もしも改善でき、需要がありそうなら改めてご報告の記事でご紹介したいと思います!

(2016年2月2日・追記)
この問題は無事解決しましたので、別途記事としてご紹介しています。