Définition

Qu'est-ce que le budget d'exploration ?

Le budget d'exploration est l'ensemble des adresses que Google peut et veut explorer sur un site. Google le décrit comme la rencontre de deux limites : la capacité d'exploration (ce que ses robots peuvent lire sans surcharger votre serveur) et la demande d'exploration (ce qu'ils veulent lire selon la popularité, la fraîcheur et la qualité perçue des pages). Il ne devient une contrainte que sur les très grands sites.

Capacité et demande d'exploration

La capacité d'exploration dépend de votre serveur. Google règle le rythme de ses robots pour ne pas ralentir votre site : un serveur qui répond vite est exploré davantage, un serveur qui ralentit ou renvoie des erreurs l'est moins. Les autres robots, dont ceux des IA, sollicitent le même serveur. Leur charge se voit dans vos journaux de serveur, pas dans vos rapports de visites.

La demande d'exploration dépend de l'intérêt que Google porte à vos pages : leur popularité, la fréquence à laquelle leur contenu change et la qualité qu'il perçoit du site. Google écrit que les deux seules façons d'augmenter le budget d'exploration sont d'augmenter la capacité de votre serveur et surtout d'augmenter la valeur de votre contenu pour les personnes qui cherchent.

Quels sites sont concernés

Google réserve le sujet à trois situations : les sites de plus d'un million de pages dont le contenu change chaque semaine, les sites de plus de dix mille pages dont le contenu change chaque jour et les sites dont une grande part des adresses reste « Détectée, actuellement non indexée » dans la Search Console. Sa documentation précise que si vos pages sont explorées le jour même de leur publication, le sujet ne vous concerne pas.

Un site de cent pages n'en approche pas. Un catalogue de quelques milliers de produits peut pourtant y entrer sans le savoir, parce que ce qui compte est le nombre d'adresses que le site génère. Quatre filtres à dix valeurs produisent dix mille combinaisons pour un seul rayon. Les variantes de produits multiplient encore le total.

Ce qui le gaspille

Les filtres d'un catalogue. Chaque combinaison de la navigation à facettes crée une adresse que le robot ne peut juger qu'après l'avoir explorée. Google en nomme deux effets : la surexploration d'adresses sans valeur puis une découverte plus lente des pages neuves.
Les variantes de produits qui reçoivent chacune une adresse sans demande de recherche propre.
Les chaînes de redirections et les liens internes vers des pages en erreur, qui font perdre du temps d'exploration.
Les combinaisons sans résultat qui répondent normalement au lieu de renvoyer une erreur 404 : elles continuent d'être explorées.
Les pages minces ou en double, qui abaissent la qualité perçue du site, donc la demande d'exploration.

Les remèdes propres aux filtres (blocage dans le fichier robots.txt, fragments d'adresse, balise canonique) sont détaillés dans notre article sur la navigation à facettes. Ce qui ne fonctionne pas : soumettre de nouveau une adresse, répéter une demande d'indexation ou payer un service. Google n'accepte aucun paiement pour explorer un site plus souvent.

Exemple

Exemple fictif : une boutique vend 3 000 produits. Ses filtres de marque, de couleur, de taille et de prix génèrent plus de 200 000 adresses de liste. Le rapport sur les statistiques d'exploration de la Search Console montre que la plupart des requêtes de Googlebot portent sur des adresses à paramètres. Pendant ce temps, les nouveautés de la saison restent « Détectée, actuellement non indexée » pendant des semaines : un produit déjà payé met plus de temps à se vendre.

La boutique bloque les paramètres de filtre dans le fichier robots.txt. Elle garde ouvertes les fiches de produits et une liste complète sans filtre. L'exploration peut alors se reporter sur les pages qui vendent.

Notre lecture

Nous lisons le budget d'exploration comme un sujet de grands catalogues, pas comme un argument pour étaler une publication. Sur un site de quelques centaines de pages, l'obstacle est ailleurs : une page explorée n'est pas une page indexée. C'est la qualité que Google attribue à la page qui décide.

Sur un catalogue, nous mesurons d'abord deux chiffres : le nombre d'adresses que le site peut générer et le délai entre l'ajout d'un produit et sa première vente en ligne. La liste des filtres qui méritent une page reste votre décision, parce qu'elle dépend des ventes que chaque combinaison peut apporter. Ce qui se délègue : le dénombrement des adresses, la configuration du fichier robots.txt, la vérification des canoniques et le suivi de l'indexation.

À ne pas confondre avec

Indexation: Le budget d'exploration décide quelles adresses Google lit et à quel rythme. L'indexation décide lesquelles il garde dans son index après les avoir lues. Une page explorée n'est pas forcément indexée.
Navigation à facettes: La navigation à facettes est le système de filtres d'un catalogue. Fondée sur des paramètres d'adresse, elle est la cause la plus documentée du gaspillage du budget d'exploration.

Concepts liés

Pour aller plus loin

Services associés

Questions fréquentes

Mon site a quelques centaines de pages : dois-je m'occuper du budget d'exploration ?

Non. Google réserve le sujet aux sites de plus d'un million de pages qui changent chaque semaine, aux sites de plus de dix mille pages qui changent chaque jour et aux sites dont une grande part des adresses reste détectée sans être indexée. Si vos nouvelles pages sont explorées le jour de leur publication, le sujet ne vous concerne pas.

Comment savoir si Google perd son temps sur des pages inutiles ?

Trois sources le montrent. Le rapport sur les statistiques d'exploration de la Search Console indique quelles adresses Googlebot demande. Le rapport d'indexation montre combien de pages restent « Détectée, actuellement non indexée ». Les journaux de votre serveur montrent enfin chaque passage des robots, y compris ceux des IA.

Peut-on payer ou insister pour que Google explore plus souvent ?

Non. Google n'accepte aucun paiement pour explorer un site plus souvent. Répéter une demande pour la même adresse ne l'accélère pas non plus. Google nomme deux leviers : la capacité de votre serveur et surtout la valeur de votre contenu pour les personnes qui cherchent. Un lien depuis l'accueil ou une page de catégorie aide aussi Google à trouver une page neuve.

← Tout le lexique