Systemy AI korzystają z różnych robotów, a każdy z nich robi coś innego. Jedne zbierają dane do uczenia modeli, inne pobierają strony, żeby zacytować je w odpowiedzi, jeszcze inne działają na żądanie konkretnego użytkownika. Jeśli wrzucisz je wszystkie do jednego worka, możesz niechcący odciąć się od widoczności w AI albo zostawić otwarte to, co chciałeś zablokować.
Trzy rodzaje botów AI
- Boty trenujące: zbierają treści do uczenia modeli. Blokada to Twoja decyzja biznesowa i zwykle nie wpływa na to, czy strona będzie cytowana w odpowiedziach.
- Boty wyszukiwarek AI: budują indeks, z którego system czerpie źródła do odpowiedzi. Ich blokada ogranicza widoczność w danym systemie.
- Boty działające na żądanie użytkownika: pobierają stronę, gdy ktoś w czacie poprosi o jej przeczytanie lub podsumowanie.
Najważniejsze boty i ich przeznaczenie
| Dostawca | Bot | Rodzaj |
|---|---|---|
| OpenAI | GPTBot | trenowanie modeli |
| OpenAI | OAI-SearchBot | wyszukiwarka ChatGPT |
| OpenAI | ChatGPT-User | na żądanie użytkownika |
| Anthropic | ClaudeBot | trenowanie modeli |
| Anthropic | Claude-SearchBot | wyszukiwanie |
| Anthropic | Claude-User | na żądanie użytkownika |
| Perplexity | PerplexityBot | wyszukiwarka Perplexity |
| Perplexity | Perplexity-User | na żądanie użytkownika |
| Google-Extended | znacznik sterujący użyciem treści w Gemini; nie wpływa na obecność w Wyszukiwarce | |
| Apple | Applebot-Extended | znacznik sterujący trenowaniem modeli Apple |
| Common Crawl | CCBot | publiczne dane wykorzystywane m.in. do trenowania |
Nazwy i zasady działania botów zmieniają się, więc przed wprowadzeniem zmian sprawdź aktualną dokumentację dostawcy.
Czy AI widzi Twoją stronę? Darmowy test sprawdzi, czy boty ChatGPT, Claude, Perplexity i Gemini mają dostęp do strony i czy treść nadaje się do cytowania.
Scenariusz 1: chcę być cytowany, ale nie chcę trenowania
To najczęstszy wybór firm, które chcą widoczności w AI, a nie chcą oddawać treści do uczenia modeli. Przykładowa konfiguracja:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Scenariusz 2: wszystko otwarte
Jeśli nie masz zastrzeżeń do trenowania, najprościej nie dodawać żadnych reguł dla tych botów. Ogólne reguły (np. blokada panelu administracyjnego) nadal obowiązują, a boty AI mają taki sam dostęp jak inni roboty.
Scenariusz 3: blokada wszystkiego
Można zablokować każdego z botów z listy. Warto jednak mieć świadomość, że blokada botów wyszukiwarek AI oznacza rezygnację z cytowania w odpowiedziach tych systemów.
Ograniczenia robots.txt
- To prośba, nie zabezpieczenie. Uczciwe boty ją respektują, ale nic nie wymusza tego technicznie.
- Boty na żądanie użytkownika mogą według deklaracji dostawców nie stosować się do robots.txt, bo działają w imieniu osoby, która poprosiła o pobranie strony. Sprawdź zasady danego dostawcy.
- Zapora serwera lub CDN może blokować boty niezależnie od robots.txt. Jeśli bot z listy „dozwolonych” nie może wejść, sprawdź ustawienia zabezpieczeń hostingu.
- Zmiany nie cofają przeszłości. Blokada dotyczy przyszłych pobrań, nie usuwa tego, co zostało już zebrane.
Jak sprawdzić efekt?
Przejrzyj robots.txt w naszym podglądzie źródła strony, a status poszczególnych botów sprawdzisz w narzędziu gotowości strony na AI, które odczytuje reguły dla każdego z nich. Odwiedziny botów widać też w logach serwera, po nazwie robota (user-agent).
Najczęstsze pytania
Czy zablokowanie GPTBot sprawi, że ChatGPT nie będzie mnie cytował?
Nie bezpośrednio. GPTBot służy do trenowania modeli. Za wyszukiwanie w ChatGPT odpowiada OAI-SearchBot, więc jego blokada ma wpływ na widoczność w wyszukiwarce ChatGPT.
Czy Google-Extended wpływa na pozycje w Google?
Według Google nie. Jest to znacznik sterujący użyciem treści w Gemini, a za obecność w Wyszukiwarce i AI Overviews odpowiada Googlebot.
Czy muszę mieć osobne reguły dla każdego bota?
Nie. Jeśli chcesz zachować domyślny dostęp, nie dodajesz niczego. Osobne reguły potrzebne są tylko wtedy, gdy chcesz którychś botów zablokować.
Jak szybko działają zmiany w robots.txt?
Roboty odczytują plik cyklicznie, więc zmiany nie działają natychmiast. Czas zależy od dostawcy.
Zobacz też
- Sprawdź widoczność strony w AI
- Podgląd źródła strony
- Jak zwiększyć widoczność strony w AI
- Audyt widoczności w AI
- Pozycjonowanie w ChatGPT – jak sprawić, by AI polecała Twoją firmę
Chcesz sprawdzić swoją stronę?
Zacznij od darmowego audytu SEO albo napisz do nas, a ustalimy, czego potrzebuje Twoja strona.



