Optimiser son budget crawl, c’est s’assurer que les moteurs de recherche utilisent au mieux le temps alloué à l’analyse de votre site. Objectifs : une meilleure indexation, et un meilleur classement dans la page de résultats de Google. Découvrez dans cet article les techniques à mettre en place pour maximiser l’utilisation de votre budget crawl SEO.
Qu’est-ce que le budget crawl sur Google ?
Le budget crawl sur Google est un concept lié à la façon dont Google analyse les pages web. Lorsque Google parcourt le web pour explorer les pages et les ajouter à son index, il utilise un certain nombre de ressources, comme la bande passante, la mémoire, etc. Le budget crawl est la limite maximale de ressources qu’un site peut mobiliser pour être analysé par le moteur de recherche. Il est utilisé pour gérer la priorité des pages à analyser. Les sites avec un budget crawl élevé seront analysés plus fréquemment.
Google utilise différents critères pour déterminer le budget crawl d’un site, notamment :
- la qualité et la pertinence du contenu ;
- la fréquence des mises à jour ;
- la qualité des liens pointant vers le site ;
- le comportement des utilisateurs sur le site.
Comment estimer son budget crawl ?
Il n’est pas possible de connaître exactement le budget crawl d’un site, ni comment Google le détermine. Cependant, il existe quelques moyens d’estimer son budget crawl :
- Google Search Console (anciennement Google Webmaster Tools) vous permet de voir combien de pages de votre site sont analysées par Google, et à quelle fréquence. Si vous constatez que Google ne parcourt pas autant de pages que vous le souhaitez ou que cela prend un certain temps, cela peut signifier que votre budget crawl est limité.
- Applications d’analyse de site web, tels que Ahrefs, Majestic ou SEMrush. Ces outils vous donnent également des informations sur la fréquence à laquelle Google parcourt votre site.
Ces moyens ne constituent pas des méthodes exactes pour connaître votre budget crawl, mais ils peuvent vous donner une idée de la fréquence à laquelle Google parcourt vos pages web.
Comment augmenter son budget crawl SEO ?
Il n’y a pas de méthode unique pour augmenter son budget crawl SEO, mais voici quelques étapes à suivre pour augmenter la fréquence et le temps de passage des robots crawler :
- Créez du contenu de qualité, pertinent et utile pour les utilisateurs. Plus votre contenu est de qualité, plus il est susceptible d’être partagé et lié, ce qui augmentera la pertinence de votre site aux yeux de Google.
- Mettez à jour régulièrement vos pages web pour montrer à Google que votre site est actif et pertinent.
- Utilisez les balises de titre et de méta description appropriées. Décrivez le contenu de vos pages, pour les rendre plus faciles à comprendre pour Google.
- Obtenez des liens de qualité (backlinks), pour montrer à Google que votre site est pertinent et fiable.
- Utilisez la Google Search Console pour soumettre des sitemaps et les URLs à Google. Surveillez également les erreurs de crawl éventuelles.
- Mettez en place des balises canoniques pour éviter les doublons de contenu.
- Utilisez des balises noindex pour les pages qui ne doivent pas être indexées.
Quelles sont les erreurs de crawl possibles ? (et les corrections à apporter)
Les anomalies de crawl les plus courantes sont détaillées dans le tableau ci-dessous.
|
Type d’erreur |
Description |
Solution |
|
Erreur 404 |
Page non trouvée |
Utiliser des redirections 301 permanentes pour rediriger les utilisateurs vers des pages existantes |
|
Erreur de redirection |
Redirection incorrecte |
Utiliser des redirections canoniques pour éviter les doublons de contenu |
|
Contenu dupliqué |
Plusieurs URL qui mènent au même contenu |
Utiliser des balises noindex pour les pages qui ne doivent pas être indexées |
|
Erreur de serveur |
Serveur ne peut pas répondre à une demande de crawl |
Optimiser la performance du serveur pour réduire les surcharges de trafic |
|
Erreur de robots.txt |
Règles de robots.txt empêchent l’accès aux pages |
Vérifier les règles de robots.txt et les corriger si nécessaire |
|
Erreur de format de lien |
Liens pointant vers des pages non accessibles aux moteurs de recherche |
Utiliser des liens standards pour les pages accessibles aux moteurs de recherche |
|
Erreur de bloqueur de contenu |
Bloqueurs de contenu empêchent l’accès au contenu |
Utiliser des techniques de déblocage de contenu pour rendre le contenu accessible aux moteurs de recherche |
|
Erreur de parcours de site |
Problèmes de navigation du site pour les moteurs de recherche |
Utiliser une structure de liens internes efficace, et mettre en place un sitemap. |