Indexation

 Les principaux moteurs de recherche, tels que Google, Bing, Brave Search et Yahoo!, utilisent des robots d'exploration pour trouver des pages pour leurs résultats de recherche algorithmiques. Les pages qui sont liées à d'autres pages indexées par les moteurs de recherche n'ont pas besoin d'être soumises car elles sont trouvées automatiquement. L' annuaire Yahoo! et DMOZ , deux annuaires majeurs qui ont fermé respectivement en 2014 et 2017, nécessitaient tous deux une soumission manuelle et une révision éditoriale humaine. ^Google propose Google Search Console , pour laquelle un flux XML Sitemap peut être créé et soumis gratuitement pour garantir que toutes les pages sont trouvées, en particulier les pages qui ne sont pas détectables en suivant automatiquement les liens en plus de leur console de soumission d'URL.Yahoo! exploitait auparavant un service de soumission payant qui garantissait l'exploration pour un coût par clic ; cependant, cette pratique a été abandonnée en 2009.

Les robots d'exploration des moteurs de recherche peuvent prendre en compte différents facteurs Whitepress lors de l'exploration d'un site. Toutes les pages ne sont pas indexées par les moteurs de recherche. La distance des pages par rapport au répertoire racine d'un site peut également influencer leur exploration. 

Les appareils mobiles sont utilisés pour la majorité des recherches Google.En novembre 2016, Google a annoncé un changement majeur dans sa méthode d'exploration des sites web et a commencé à prioriser les sites mobiles dans son index, ce qui signifie que la version mobile d'un site web donné devient le point de départ des éléments inclus dans son index.En mai 2019, Google a mis à jour le moteur de rendu de son robot d'exploration pour qu'il utilise la dernière version de Chromium (74 au moment de l'annonce). Google a indiqué qu'il mettrait régulièrement à jour le moteur de rendu Chromium vers la dernière version.En décembre 2019, Google a commencé à mettre à jour la chaîne User-Agent de son robot d'exploration afin de refléter la dernière version de Chrome utilisée par son service de rendu. Ce retard visait à laisser aux webmasters le temps de mettre à jour leur code répondant à certaines chaînes User-Agent de robots. Google a effectué des évaluations et était convaincu que l'impact serait mineur.