Voici pourquoi je te disais que c’était un travail de longue haleine :

Les moteurs de recherche utilisent des algorithmes mathématiques complexes pour interpréter les sites web qu’un utilisateur recherche. Des robots parfois appelés spiders examinent quels sites sont liés à quels autres sites. Les sites Web qui obtiennent plus de liens entrants, ou des liens plus forts, sont présumés être plus importants et correspondre à ce que l’utilisateur recherche. Lorsqu’un site Web est le destinataire de nombreux liens entrants, il est mieux classé dans une recherche Web. Mieux encore, si un site populaire mentionne votre site.

Les principaux moteurs de recherche, tels que Google, Bing et Yahoo !, utilisent des crawlers pour trouver des pages pour leurs résultats de recherche algorithmique. Les pages qui sont liées à d’autres pages indexées par les moteurs de recherche n’ont pas besoin d’être soumises car elles sont trouvées automatiquement. L’annuaire Yahoo ! et DMOZ, deux annuaires majeurs qui ont fermé en 2014 et 2017 respectivement, nécessitaient tous deux une soumission manuelle et une révision éditoriale humaine. Google propose la Google Search Console, pour laquelle un flux Sitemap XML peut être créé et soumis gratuitement afin de s’assurer que toutes les pages sont trouvées, en particulier les pages qui ne peuvent pas être découvertes en suivant automatiquement les liens, en plus de sa console de soumission d’URL. Yahoo! exploitait auparavant un service de soumission payant qui garantissait l’exploration moyennant un coût par clic, mais cette pratique a été abandonnée en 2009.

Les robots d’exploration des moteurs de recherche peuvent prendre en compte un certain nombre de facteurs différents lorsqu’ils explorent un site. Toutes les pages ne sont pas indexées par les moteurs de recherche. La distance entre les pages et le répertoire racine d’un site peut également être un facteur déterminant pour l’indexation ou non des pages.

Aujourd’hui, la plupart des personnes effectuent des recherches sur Google à l’aide d’un appareil mobile En novembre 2016, Google a annoncé un changement majeur dans la manière d’explorer les sites Web et a commencé à rendre son index mobile-first, ce qui signifie que la version mobile d’un site Web donné devient le point de départ de ce que Google inclut dans son index en mai 2019, Google a mis à jour le moteur de rendu de son crawler pour qu’il soit la dernière version de Chromium (au moment de l’annonce). Google a indiqué qu’il mettrait régulièrement à jour le moteur de rendu Chromium à la dernière version En décembre 2019, Google a commencé à mettre à jour la chaîne User-Agent de son robot d’exploration pour refléter la dernière version de Chrome utilisée par son service de rendu. Le retard était destiné à donner aux webmasters le temps de mettre à jour leur code qui répondait à des chaînes User-Agent de bot particulières. Google a effectué des évaluations et s’est dit convaincu que l’impact serait mineur.

source : wikipédia →