Zabezpieczenie strony zablokowało audyt — czy Google widzi Twoją stronę?
Gdy próbowaliśmy pobrać Twoją stronę, zabezpieczenie (Cloudflare, firewall serwera albo wtyczka) odpowiedziało błędem zamiast treści. To samo w sobie nie jest problemem SEO: takie systemy często wpuszczają Googlebota, a zatrzymują nieznane narzędzia, w tym nasze. Problem pojawia się wtedy, gdy ta sama blokada zatrzymuje też Google — a to da się sprawdzić w kilka minut.
Co dokładnie pokazał audyt
Audyt oznacza ten punkt jako poważny i pokazuje kod odpowiedzi, który dostało nasze narzędzie — dla każdego kodu z innym wyjaśnieniem:
- 401 — strona wymaga logowania albo hasła (np. hasło na serwerze, tryb „wkrótce otwarcie”). Tak zwykle wygląda wersja testowa. To nie jest zabezpieczenie przed botami: jeśli to strona publiczna, Google też jej nie zobaczy.
- 403 — zabezpieczenie strony (np. Cloudflare, firewall, wtyczka bezpieczeństwa) zablokowało nasze narzędzie. Najczęściej reguła zapory, ochrona przed botami albo blokada kraju lub adresu IP.
- 429 — serwer ograniczył liczbę zapytań i odrzucił nasze narzędzie. To ochrona przed botami albo limit na serwerze, w hostingu lub we wtyczce bezpieczeństwa.
- 503 — serwer odpowiedział, że jest niedostępny: może być przeciążony, w trybie konserwacji albo blokować nasze narzędzie. Tak odpowiada też strona sprawdzająca Cloudflare (tryb „Under Attack”).
- Inny kod — audyt pisze ogólnie, że strona nie wpuściła naszego narzędzia, i podaje kod.
W takiej sytuacji robimy raport częściowy: sprawdzamy tylko to, co widać z zewnątrz — robots.txt, mapę witryny, przekierowania, DNS i dostęp botów AI w robots.txt. Ocena ogólna to „?”, bo bez treści strony nie da się jej uczciwie wystawić. Poza kodem 401 audyt nie twierdzi, że strona blokuje Google — z naszego serwera nie da się tego stwierdzić. Nasze narzędzie przedstawia się jak przeglądarka, a nie jak Googlebot, i łączy się z innych adresów IP niż Google.
Jak sprawdzić, czy Googlebot ma dostęp
1. Search Console: Sprawdzenie adresu URL
- Wejdź do Google Search Console i wybierz swoją usługę.
- Wpisz adres strony głównej w pasku Sprawdzenie adresu URL u góry.
- Kliknij Testuj URL na żywo. Google pobierze stronę w tej chwili, ze swoich serwerów.
- Jeśli test przechodzi i w „Wyświetl przetestowaną stronę” widać prawdziwy kod HTML Twojej strony (a nie stronę „Checking your browser” albo „Access denied”), Google ma dostęp. Powtórz to dla 2–3 ważnych podstron, np. kategorii i produktu.
- Jeśli test pokazuje błąd pobierania, 403, 401 albo 5xx — zabezpieczenie blokuje też Google i trzeba to naprawić.
Test na żywo wykonuje robot Google-InspectionTool, nie sam Googlebot, ale oba łączą się z adresów Google i zapory zwykle traktują je tak samo. To najlepszy szybki test, jaki masz.
2. Search Console: Statystyki indeksowania
Ustawienia (ikona koła zębatego) → Statystyki indeksowania → Otwórz raport. Ten raport pokazuje, co Googlebot naprawdę dostawał przez ostatnie 90 dni:
- Stan hosta — czy były problemy z pobraniem robots.txt, DNS i połączeniem z serwerem.
- Podział według odpowiedzi — jeśli widzisz dużo 403, 401, 429 albo błędów serwera (5xx), a zwłaszcza ich nagły skok po włączeniu nowej ochrony, to ślad blokady.
To ważne, bo test na żywo to jedno zapytanie. Blokada, która włącza się dopiero po kilkudziesięciu zapytaniach (limity), wyjdzie dopiero tutaj.
3. PageSpeed Insights jako dodatkowy sygnał
Wpisz adres w PageSpeed Insights. Test uruchamiają serwery Google, ale jako przeglądarka (Lighthouse), a nie Googlebot. Jeśli PageSpeed też dostaje błąd albo stronę sprawdzającą, ochrona jest ustawiona agresywnie i warto jej się przyjrzeć. Jeśli przechodzi — to dobry znak, ale nie dowód, że Googlebot ma dostęp. Rozstrzyga Search Console.
Co grozi, gdy Google też jest blokowany
Według dokumentacji Google adresy, które zwracają 401 lub 403, są usuwane z indeksu. Przy 429 i 503 Google najpierw zwalnia odwiedziny, a jeśli błędy trwają, strony z czasem też wypadają. Dlatego nie warto czekać, aż spadek pokaże się w ruchu.
Ustawienia, które blokują też dobre boty
Cloudflare
Wszystkie poniższe znajdziesz w panelu domeny w Security → Settings (filtr „Bot traffic”) oraz Security → Security rules. Każde zablokowane lub zatrzymane zapytanie widać w Security → Analytics → Events: pole „Service” mówi, która funkcja zadziałała. Jeśli przy blokadach widzisz user agent Googlebot, wiesz, co poprawić.
- Bot Fight Mode (plan darmowy) — pokazuje botom stronę sprawdzającą. Według Cloudflare zweryfikowane boty, takie jak Googlebot, są domyślnie wyłączone z tej ochrony. Ważne ograniczenie: Bot Fight Mode nie da się obejść regułą z akcją Skip ani Page Rules. Jeśli blokuje coś, czego potrzebujesz (np. narzędzie do monitoringu), możesz go tylko wyłączyć albo przejść na Super Bot Fight Mode.
- Super Bot Fight Mode (plany Pro i wyższe) — ma osobne ustawienie dla grupy Verified bots. Musi być na Allow. Jeśli ktoś ustawił tam Block, blokujesz Google, Binga i inne dobre boty na całej domenie.
- Własne reguły zapory (custom rules) — najczęstszy winowajca. Reguła typu „blokuj wszystko, co nie jest z Polski” albo „blokuj user agent zawierający bot” zatrzyma Googlebota, który przychodzi głównie z adresów w USA. Do każdej takiej reguły dopisz wyjątek dla zweryfikowanych botów (przykład niżej).
- Tryb „I'm Under Attack” — każdy odwiedzający dostaje najpierw stronę sprawdzającą. Służy do odpierania ataku i powinien być włączony tylko na czas ataku. Włączasz go i wyłączasz w przeglądzie domeny (Overview) w panelu szybkich akcji. Zostawiony na stałe utrudnia życie narzędziom, a często też użytkownikom.
- Blokady krajów i reguły IP Access — blokada lub wyzwanie dla USA (albo „wszystkiego poza Polską”) bez wyjątku dla botów odcina Google.
- Rate limiting — zbyt niski limit zapytań na minutę potrafi trafić robota, który pobiera kilka stron naraz.
Jak zezwolić zweryfikowanym botom w Cloudflare
Cloudflare prowadzi listę zweryfikowanych botów (Verified Bots). Rozpoznaje je nie po samej nazwie, którą łatwo podrobić, tylko po adresach IP i odwrotnym DNS. W regułach używasz pola cf.client.bot (w kreatorze: znane / zweryfikowane boty). Przykład reguły blokującej ruch spoza Polski, ale przepuszczającej dobre boty:
(ip.src.country ne "PL" and not cf.client.bot)
Akcja: Block albo Managed Challenge. Jeśli masz już reguły blokujące, zamiast przerabiać każdą, możesz na samej górze listy dodać regułę (cf.client.bot) z akcją Skip (pomiń pozostałe reguły, a na planie Pro i wyższym także Super Bot Fight Mode). Kolejność ma znaczenie: Cloudflare sprawdza reguły od góry.
Uwaga na boty AI
Część botów AI (np. wyszukiwarek w asystentach AI) też jest na liście zweryfikowanych, ale Cloudflare ma osobne ustawienia do ich blokowania i może zmieniać robots.txt za Ciebie. Zanim cokolwiek zmienisz, zdecyduj, które boty AI chcesz wpuszczać — opisaliśmy to w artykule o robots.txt. Szersze tło: widoczność w wyszukiwarkach AI.
WordPress: wtyczki bezpieczeństwa
Wordfence, Solid Security, All-In-One Security i podobne mają blokady krajów, limity zapytań i „blokowanie fałszywych botów”. Na co patrzeć:
- Wordfence: Firewall → All Firewall Options → Rate Limiting. Ustawienie „How should we treat Google's crawlers” powinno przepuszczać zweryfikowane roboty Google (opcja „Verified Google crawlers…”), a limity nie powinny mieć akcji „block” przy niskich progach — bezpieczniej „throttle”. Opcja „Immediately block fake Google crawlers” jest w porządku, bo działa na podstawie weryfikacji, ale jeśli w Live Traffic widzisz zablokowane adresy Google, sprawdź ją w pierwszej kolejności.
- Blokada krajów (np. Wordfence Premium): upewnij się, że nie obejmuje robotów wyszukiwarek.
- Tryb „strona w budowie” / „coming soon” — zwraca odwiedzającym (i Google) 503 albo stronę zastępczą. Wyłącz po starcie strony.
Jeśli nie wiesz, która wtyczka blokuje, wyłącz je kolejno na chwilę i powtarzaj test na żywo w Search Console.
Hosting i serwer (Apache, nginx)
Blokady potrafią siedzieć poza panelem strony: firewall hostingu (np. ModSecurity, Imunify360), limity połączeń w nginx (limit_req), reguły w .htaccess blokujące „podejrzane” user agenty albo całe zakresy IP. Jeśli Search Console pokazuje 403 lub 429, a w Cloudflare i wtyczkach nic nie ma, napisz do hostingu: „Proszę sprawdzić, czy firewall lub limity nie blokują Googlebota; Google pokazuje błąd 403 przy pobieraniu strony”. Nie dopuszczaj ruchu „po nazwie” — każdy może przedstawić się jako Googlebot. Prawdziwego Googlebota weryfikuje się odwrotnym DNS lub listą adresów IP publikowaną przez Google.
Shopify, Shoper i inne platformy w abonamencie
Tu ochroną zarządza dostawca i zwykle przepuszcza Google. Jeśli nasz audyt dostał błąd, a test na żywo w Search Console przechodzi — nic nie musisz robić. Jeśli test w Search Console też nie przechodzi, zgłoś to do pomocy technicznej platformy (i sprawdź, czy sklep nie jest zabezpieczony hasłem albo w trybie przerwy technicznej).
Jak sprawdzić, że naprawione
- Search Console → Sprawdzenie adresu URL → Testuj URL na żywo dla strony głównej i kilku podstron. Strona powinna się pobrać, a podgląd HTML pokazywać Twoją treść.
- Jeśli strony wypadły z indeksu, kliknij Poproś o zindeksowanie dla najważniejszych adresów.
- W Statystykach indeksowania obserwuj, czy udział błędów 403/429/5xx spada. Raport ma opóźnienie, więc zmiany zobaczysz po kilku dniach.
- Uruchom nasz audyt ponownie. Jeśli dalej widzisz raport częściowy, a Google ma dostęp — to w porządku, Twoja ochrona po prostu nie wpuszcza naszego narzędzia. Nie musisz jej dla nas luzować.
Ile to trwa: jeśli blokada była krótka, Google zwykle wraca do normalnego tempa sam, stopniowo. Jeśli trwała długo i strony wypadły z indeksu, powrót trwa od kilku dni do kilku tygodni — zależy od wielkości strony. Pozycje sprzed blokady nie wracają automatycznie i nikt nie może tego obiecać.
Kiedy warto poprosić o pomoc
Gdy Search Console pokazuje błędy dostępu, a nie wiesz, która warstwa blokuje (Cloudflare, wtyczka, hosting), albo gdy strona była atakowana i boisz się luzować ochronę — warto, żeby spojrzał na to ktoś, kto ustawia takie rzeczy na co dzień. W IF.PL zajmujemy się SEO i stronami WWW; możemy przejrzeć konfigurację tak, żeby ochrona zatrzymywała złe boty, a przepuszczała wyszukiwarki.
Źródła
- Google Search Central — Jak kody HTTP i błędy sieci wpływają na Google
- Pomoc Search Console — Raport Statystyki indeksowania
- Pomoc Search Console — Narzędzie do sprawdzania adresów URL
- Google Search Central — Weryfikowanie Googlebota i innych robotów Google
- Google — Popularne roboty Google (w tym Google-InspectionTool)
- Cloudflare — Bot Fight Mode
- Cloudflare — Super Bot Fight Mode
- Cloudflare — Verified Bots
- Cloudflare — Współdziałanie funkcji bezpieczeństwa (kolejność reguł, Skip)
- Cloudflare — Fałszywe alarmy Bot Fight Mode i Super Bot Fight Mode
- Cloudflare — Under Attack mode
- Wordfence — Rate Limiting