Crawl budget to limit, określający jak często i jak wiele stron witryny mogą odwiedzać boty wyszukiwarek w danym czasie. Składa się na niego dwa kluczowe elementy: crawl rate limit – czyli limit prędkości crawlowania, który zależy od wydajności serwera (im wolniejszy serwer, tym mniejszy limit), oraz crawl demand – czyli zapotrzebowanie na crawlowanie, związane z popularnością witryny oraz świeżością jej treści. Efektywne zarządzanie crawl budgetem pozwala na szybsze indeksowanie kluczowych podstron.
Optymalizacja crawl budget wymaga m.in. zapewnienia wydajnego serwera, eliminacji błędów 404, właściwego linkowania wewnętrznego, usunięcia zduplikowanej treści oraz dobrze ustawionych reguł w pliku robots.txt. Dobrze zarządzany crawl budget wspiera indeksowanie i widoczność witryny.
