Un moteur de recherche (searchbot en anglais) est une application spécifique chargée d'indexer des pages web afin de permettre une recherche à l'aide de mots-clés dans un formulaire de recherche.

Des robots (logiciels), appelés spiders ("araignées" en français) doivent parcourir la toile en suivant les liens des millions de pages Web et indexer le contenu dans de gigantesques bases de données afin de permettre leur interrogation.

Aucun moteur de recherche ne peut parcourir la totalité des pages en une journée (ce processus prend généralement plusieurs semaines), chaque moteur adopte donc sa propre stratégie, certains allant même jusqu'à calculer la fréquence de mise à jour des sites.

Lorsque l'utilisateur d'un moteur de recherche remplit le formulaire, il spécifie les mots qu'il cherche (et éventuellement ceux qu'il ne souhaite pas voir apparaître) grâce aux opérateurs booléens. Les réponses apportées sont classées dans un ordre de pertinence, correspondant à des critères propres au moteur de recherche, tels que le pourcentage de mots correspondant à la recherche, leur indice de densité (le nombre d'occurence de chacun des mots clés dans la page), etc.

On appelle "métamoteur" un outil de recherche dont le fonctionnement est basé sur l'exploitation des résultats d'autres moteurs de recherche.
 

Quelques liens à connaître/consulter sur la question :