Sari la conținut
SEO Catalyst

Glosar

Ce este un crawler web?

Un crawler web este un program folosit de motoarele de căutare pentru a descoperi și a citi pagini web, urmând linkurile de la o pagină la alta. Googlebot este crawlerul folosit de Google.

De ce este important

O pagină la care nu ajunge niciun crawler nu poate fi indexată și, prin urmare, nu poate apărea în rezultate. Crawlerele găsesc paginile prin linkuri și prin sitemapul XML.

Companiile de AI au și ele crawlere, care citesc paginile pentru ca asistenții AI să poată folosi conținutul în răspunsuri.

Cum aplicăm în proiecte

Scanăm noi înșine site-ul cu un crawler, Screaming Frog, pentru a vedea ce vede un motor de căutare. Logurile de server arată apoi ce pagini solicită crawlerele reale, iar diferența dintre cele două liste ne indică unde se irosește scanarea.

Serviciu asociat: Servicii de SEO tehnic
Ghid complet: Checklist de SEO tehnic

Termeni înrudiți

Citește mai departe

Toți termenii din glosar

Află cum performează site-ul tău în Google

Dacă vrei să aflăm care dintre problemele descrise în glosar apar pe site-ul tău, trimite-ne adresa lui și îți spunem ce am analiza mai întâi.

Audit SEO gratuit Programează un apel