Boty AI a robots.txt: GPTBot, ClaudeBot, PerplexityBot. Co blokować, a co zostawić?

Jak skonfigurować robots.txt dla botów AI: różnica między botami trenującymi a wyszukującymi, przykładowe konfiguracje i ograniczenia robots.txt.

Systemy AI korzystają z różnych robotów, a każdy z nich robi coś innego. Jedne zbierają dane do uczenia modeli, inne pobierają strony, żeby zacytować je w odpowiedzi, jeszcze inne działają na żądanie konkretnego użytkownika. Jeśli wrzucisz je wszystkie do jednego worka, możesz niechcący odciąć się od widoczności w AI albo zostawić otwarte to, co chciałeś zablokować.

Trzy rodzaje botów AI

  • Boty trenujące: zbierają treści do uczenia modeli. Blokada to Twoja decyzja biznesowa i zwykle nie wpływa na to, czy strona będzie cytowana w odpowiedziach.
  • Boty wyszukiwarek AI: budują indeks, z którego system czerpie źródła do odpowiedzi. Ich blokada ogranicza widoczność w danym systemie.
  • Boty działające na żądanie użytkownika: pobierają stronę, gdy ktoś w czacie poprosi o jej przeczytanie lub podsumowanie.

Najważniejsze boty i ich przeznaczenie

DostawcaBotRodzaj
OpenAIGPTBottrenowanie modeli
OpenAIOAI-SearchBotwyszukiwarka ChatGPT
OpenAIChatGPT-Userna żądanie użytkownika
AnthropicClaudeBottrenowanie modeli
AnthropicClaude-SearchBotwyszukiwanie
AnthropicClaude-Userna żądanie użytkownika
PerplexityPerplexityBotwyszukiwarka Perplexity
PerplexityPerplexity-Userna żądanie użytkownika
GoogleGoogle-Extendedznacznik sterujący użyciem treści w Gemini; nie wpływa na obecność w Wyszukiwarce
AppleApplebot-Extendedznacznik sterujący trenowaniem modeli Apple
Common CrawlCCBotpubliczne dane wykorzystywane m.in. do trenowania

Nazwy i zasady działania botów zmieniają się, więc przed wprowadzeniem zmian sprawdź aktualną dokumentację dostawcy.

Czy AI widzi Twoją stronę? Darmowy test sprawdzi, czy boty ChatGPT, Claude, Perplexity i Gemini mają dostęp do strony i czy treść nadaje się do cytowania.

Scenariusz 1: chcę być cytowany, ale nie chcę trenowania

To najczęstszy wybór firm, które chcą widoczności w AI, a nie chcą oddawać treści do uczenia modeli. Przykładowa konfiguracja:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Scenariusz 2: wszystko otwarte

Jeśli nie masz zastrzeżeń do trenowania, najprościej nie dodawać żadnych reguł dla tych botów. Ogólne reguły (np. blokada panelu administracyjnego) nadal obowiązują, a boty AI mają taki sam dostęp jak inni roboty.

Scenariusz 3: blokada wszystkiego

Można zablokować każdego z botów z listy. Warto jednak mieć świadomość, że blokada botów wyszukiwarek AI oznacza rezygnację z cytowania w odpowiedziach tych systemów.

Ograniczenia robots.txt

  • To prośba, nie zabezpieczenie. Uczciwe boty ją respektują, ale nic nie wymusza tego technicznie.
  • Boty na żądanie użytkownika mogą według deklaracji dostawców nie stosować się do robots.txt, bo działają w imieniu osoby, która poprosiła o pobranie strony. Sprawdź zasady danego dostawcy.
  • Zapora serwera lub CDN może blokować boty niezależnie od robots.txt. Jeśli bot z listy „dozwolonych” nie może wejść, sprawdź ustawienia zabezpieczeń hostingu.
  • Zmiany nie cofają przeszłości. Blokada dotyczy przyszłych pobrań, nie usuwa tego, co zostało już zebrane.

Jak sprawdzić efekt?

Przejrzyj robots.txt w naszym podglądzie źródła strony, a status poszczególnych botów sprawdzisz w narzędziu gotowości strony na AI, które odczytuje reguły dla każdego z nich. Odwiedziny botów widać też w logach serwera, po nazwie robota (user-agent).

Najczęstsze pytania

Czy zablokowanie GPTBot sprawi, że ChatGPT nie będzie mnie cytował?

Nie bezpośrednio. GPTBot służy do trenowania modeli. Za wyszukiwanie w ChatGPT odpowiada OAI-SearchBot, więc jego blokada ma wpływ na widoczność w wyszukiwarce ChatGPT.

Czy Google-Extended wpływa na pozycje w Google?

Według Google nie. Jest to znacznik sterujący użyciem treści w Gemini, a za obecność w Wyszukiwarce i AI Overviews odpowiada Googlebot.

Czy muszę mieć osobne reguły dla każdego bota?

Nie. Jeśli chcesz zachować domyślny dostęp, nie dodajesz niczego. Osobne reguły potrzebne są tylko wtedy, gdy chcesz którychś botów zablokować.

Jak szybko działają zmiany w robots.txt?

Roboty odczytują plik cyklicznie, więc zmiany nie działają natychmiast. Czas zależy od dostawcy.

Zobacz też

Chcesz sprawdzić swoją stronę?

Zacznij od darmowego audytu SEO albo napisz do nas, a ustalimy, czego potrzebuje Twoja strona.

Podziel się swoją opinią
Admin
Admin

Web Developer, specjalista ds. marketingu internetowego, SEO oraz optumalizacji pod narzędzia AI z wieloletnim doświadczeniem na międzynarodowym rynku. Autor strategii widoczności organicznej oraz w LLMs dla stron działających globalnie, generujących milionowe wolumeny ruchu, jak i mniejszych stron, działających lokalnie. Developer tworzący od podstaw strony internetowe, dbający o ich widoczność w wielu kanałach powiązanych z digital marketingiem. Zwolennik automatyzacji i wykorzystania LLMs w skalownaiu projektów.

Artykuły: 29