Cosa sono i crawler?
I crawler (chiamati anche bot o spider) sono dei programmi che hanno il compito di scandagliare la rete in lungo e in largo e di analizzare come sono composti siti web e le pagine web che essi incotrano sul loro cammino.
Tra i bot più famosi troviamo senza’altro quello di Google.
A cosa servono i crawler?
Il compito dei crawel è di analizzare un sito web per scoprire tutti i collegamenti in esso presenti, le parole che contengono le varie pagine, le foto etc. Queste informazioni vengoni poi utilizzate da Google o da altri motori di ricerca per comprendere il contenuto dei sitiweb.
