Glosar
Ce este un crawler web?
Un crawler web este un program folosit de motoarele de căutare pentru a descoperi și a citi pagini web, urmând linkurile de la o pagină la alta. Googlebot este crawlerul folosit de Google.
De ce este important
O pagină la care nu ajunge niciun crawler nu poate fi indexată și, prin urmare, nu poate apărea în rezultate. Crawlerele găsesc paginile prin linkuri și prin sitemapul XML.
Companiile de AI au și ele crawlere, care citesc paginile pentru ca asistenții AI să poată folosi conținutul în răspunsuri.
Cum aplicăm în proiecte
Scanăm noi înșine site-ul cu un crawler, Screaming Frog, pentru a vedea ce vede un motor de căutare. Logurile de server arată apoi ce pagini solicită crawlerele reale, iar diferența dintre cele două liste ne indică unde se irosește scanarea.
Serviciu asociat: Servicii de SEO tehnic
Ghid complet: Checklist de SEO tehnic
Termeni înrudiți
Citește mai departe
-
Crawl budget (buget de crawl)
Crawl budget arată cât de mult este dispus un motor de căutare să scaneze dintr-un site într-o anumită perioadă.
-
robots.txt
robots.txt este un fișier text aflat la rădăcina unui site, care le indică crawlerelor ce secțiuni ale site-ului au voie să acceseze.
-
Sitemap XML
Un sitemap XML este un fișier care enumeră paginile unui site ce trebuie indexate de motoarele de căutare.
-
Indexare
Indexarea este etapa în care un motor de căutare salvează o pagină în baza lui de date, numită index.
Află cum performează site-ul tău în Google
Dacă vrei să aflăm care dintre problemele descrise în glosar apar pe site-ul tău, trimite-ne adresa lui și îți spunem ce am analiza mai întâi.