Deux etudiants

 En 1998, deux étudiants diplômés de l'Université de Stanford , Larry Page et Sergey Brin , ont développé « Backrub », un moteur de recherche qui s'appuyait sur un algorithme mathématique pour évaluer la notoriété des pages web. Le nombre calculé par l'algorithme, le PageRank , est une fonction de la quantité et de la force des liens entrants . Le PageRank estime la probabilité qu'une page donnée soit atteinte par un internaute qui navigue au hasard sur le Web et suit des liens d'une page à l'autre. En effet, cela signifie que certains liens sont plus forts que d'autres, car une page avec un PageRank plus élevé a plus de chances d'être atteinte par l'internaute aléatoire.

Page et Brin ont fondé Google en 1998. Google a attiré une clientèle fidèle parmi le nombre croissant d' internautes , qui appréciaient sa simplicité.Les facteurs hors page (tels que le PageRank et l'analyse des hyperliens) ont été pris en compte, ainsi que les facteurs sur la page (tels que la fréquence des mots clés, les balises méta , les titres, les liens et la structure du site) afin de permettre à Google d'éviter le type de manipulation observé dans les moteurs de recherche qui ne prenaient en compte que les facteurs sur la page pour leur classement. Bien que le PageRank soit plus difficile à manipuler , les webmasters avaient déjà développé des outils et des stratégies de création de liens pour influencer le moteur de recherche Inktomi , et ces méthodes se sont avérées tout aussi applicables pour manipuler le PageRank. De nombreux sites se concentrent sur l'échange, l'achat et la vente de liens, souvent à grande échelle. Certaines de ces stratégies impliquaient la création de milliers de sites dans le seul but de spammer les liens . 

En 2004, les moteurs de recherche avaient intégré un large éventail de facteurs non divulgués dans leurs algorithmes de classement afin de réduire l'impact de la manipulation des liens.Les principaux moteurs de recherche, Google, Bing et Yahoo , ne divulguent pas les algorithmes qu'ils utilisent pour classer les pages. Certains spécialistes du référencement ont étudié différentes approches de l'optimisation des moteurs de recherche et ont partagé leurs opinions personnelles.Les brevets liés aux moteurs de recherche peuvent fournir des informations permettant de mieux comprendre les moteurs de recherche. En 2005, Google a commencé à personnaliser les résultats de recherche pour chaque utilisateur. En fonction de l'historique de leurs recherches précédentes, Google a créé des résultats pour les utilisateurs connectés. 

En 2007, Google a annoncé une campagne contre les liens payants qui transfèrent le PageRank.Le 15 juin 2009, Google a révélé avoir pris des mesures pour atténuer les effets de la modification du PageRank grâce à l'utilisation de l' attribut nofollow sur les liens. Matt Cutts , ingénieur logiciel réputé chez Google, a annoncé que Google Bot ne traiterait plus les liens nofollow de la même manière, afin d'empêcher les prestataires de services SEO d'utiliser le nofollow pour la modification du PageRank similaire à Whitepress .Suite à ce changement, l'utilisation du nofollow a entraîné la disparition du PageRank. Afin d'éviter ce problème, les ingénieurs SEO ont développé des techniques alternatives qui remplacent les balises nofollow par du JavaScript obscurci , permettant ainsi la modification du PageRank. De plus, plusieurs solutions ont été suggérées, notamment l'utilisation d' iframes , de Flash et de JavaScript. 

En décembre 2009, Google a annoncé qu'il utiliserait l'historique de recherche Web de tous ses utilisateurs afin de renseigner les résultats de recherche. Le 8 juin 2010, un nouveau système d'indexation Web appelé Google Caffeine a été annoncé. Conçu pour permettre aux utilisateurs de trouver des résultats d'actualité, des messages de forum et d'autres contenus beaucoup plus tôt après leur publication qu'auparavant, Google Caffeine était un changement dans la façon dont Google mettait à jour son index afin que les choses apparaissent plus rapidement sur Google qu'auparavant. Selon Carrie Grimes, l'ingénieur logiciel qui a annoncé Caffeine pour Google, « Caffeine fournit des résultats de recherche Web 50 % plus récents que notre dernier index… »  Google Instant , la recherche en temps réel, a été introduite fin 2010 dans le but de rendre les résultats de recherche plus rapides et pertinents. Historiquement, les administrateurs de site ont passé des mois, voire des années, à optimiser un site Web pour améliorer le classement des recherches. Avec la popularité croissante des sites de médias sociaux et des blogs, les principaux moteurs de recherche ont modifié leurs algorithmes pour permettre au nouveau contenu d'être rapidement classé dans les résultats de recherche. 

En février 2011, Google a annoncé la mise à jour Panda , qui pénalise les sites web dont le contenu est dupliqué à partir d'autres sites web et sources. Historiquement, les sites web ont copié le contenu d'autres sites et ont bénéficié du classement des moteurs de recherche en se livrant à cette pratique. Cependant, Google a mis en place un nouveau système qui punit les sites dont le contenu n'est pas unique.La version 2012 de Google Penguin a tenté de pénaliser les sites web qui utilisaient des techniques de manipulation pour améliorer leur classement dans le moteur de recherche.Bien que Google Penguin ait été présenté comme un algorithme visant à lutter contre le spam sur le Web, il se concentre en réalité sur les liens spam en évaluant la qualité des sites d'où proviennent les liens. La mise à jour 2013 de Google Hummingbird comportait une modification d'algorithme conçue pour améliorer le traitement du langage naturel et la compréhension sémantique des pages web par Google. Le système de traitement du langage de Hummingbird relève du nouveau terme reconnu de « recherche conversationnelle », où le système accorde plus d'attention à chaque mot de la requête afin de mieux faire correspondre les pages au sens de la requête plutôt qu'à quelques mots. En ce qui concerne les changements apportés à l'optimisation des moteurs de recherche, pour les éditeurs de contenu et les rédacteurs, Hummingbird vise à résoudre les problèmes en éliminant le contenu non pertinent et le spam, permettant à Google de produire du contenu de haute qualité et de compter sur eux pour être des auteurs « de confiance ».

En octobre 2019, Google a annoncé qu'il commencerait à appliquer les modèles BERT pour les requêtes de recherche en anglais aux États-Unis. Bidirectional Encoder Representations from Transformers (BERT) était une autre tentative de Google pour améliorer son traitement du langage naturel, mais cette fois afin de mieux comprendre les requêtes de recherche de ses utilisateurs. En termes d'optimisation des moteurs de recherche, BERT visait à connecter plus facilement les utilisateurs à du contenu pertinent et à augmenter la qualité du trafic arrivant sur les sites Web classés dans la page de résultats des moteurs de recherche .