Crawler (robot indeksujący) to program automatycznie odwiedzający strony internetowe i pobierający ich treść. Obok klasycznych botów wyszukiwarek (Googlebot) działają dziś boty AI (GPTBot, ClaudeBot, PerplexityBot), które zbierają treści dla modeli językowych.
Boty AI występują w dwóch rolach: treningowej (treść zasila uczenie modeli) i wyszukiwawczej (model na żywo sprawdza źródła, by zacytować je w odpowiedzi, np. OAI-SearchBot, Perplexity-User). Dla widoczności firmy kluczowa jest ta druga: zablokowany bot wyszukiwawczy oznacza nieobecność w odpowiedziach AI.
Kontrolę sprawuje plik robots.txt: można wpuszczać i blokować boty wybiórczo, po nazwie agenta. Uwaga na niespodzianki: zapory anty-botowe (np. agresywne ustawienia CDN) potrafią blokować boty AI bez wiedzy właściciela strony.
Nasza praktyka: świadomie wpuszczamy boty wyszukiwawcze AI i monitorujemy ich wizyty w logach, bo obecność w odpowiedziach ChatGPT czy Perplexity to nowy kanał pozyskiwania klientów.