Glosar
Ce este robots.txt?
robots.txt este un fișier text aflat la rădăcina unui site, care le indică crawlerelor ce secțiuni ale site-ului au voie să acceseze. Fișierul controlează scanarea, ceea ce înseamnă că nu scoate o pagină din rezultate.
De ce este important
O singură linie greșită poate bloca scanarea unui site întreg. Situația apare cel mai des atunci când o regulă de pe site-ul de test ajunge la lansare pe site-ul public.
Blocarea unei pagini în robots.txt nu o ascunde. Atunci când alte site-uri trimit către o pagină blocată, Google îi poate afișa în continuare adresa în rezultate. Pentru a ține o pagină în afara rezultatelor, adaugă-i un tag noindex și păstrează pagina accesibilă pentru crawlere.
Cum aplicăm în proiecte
Verificăm fișierul înainte și după fiecare lansare. Îl folosim pentru a ține crawlerele departe de filtre și de rezultatele căutării interne, iar tot în el includem adresa sitemapului XML.
Serviciu asociat: Servicii de SEO tehnic
Ghid complet: Checklist de SEO tehnic
Termeni înrudiți
Citește mai departe
-
Crawler web
Un crawler web este un program folosit de motoarele de căutare pentru a descoperi și a citi pagini web, urmând linkurile de la o pagină la alta.
-
Noindex
Noindex este o instrucțiune care le cere motoarelor de căutare să nu afișeze o pagină în rezultate.
-
Crawl budget (buget de crawl)
Crawl budget arată cât de mult este dispus un motor de căutare să scaneze dintr-un site într-o anumită perioadă.
-
Sitemap XML
Un sitemap XML este un fișier care enumeră paginile unui site ce trebuie indexate de motoarele de căutare.
Află cum performează site-ul tău în Google
Dacă vrei să aflăm care dintre problemele descrise în glosar apar pe site-ul tău, trimite-ne adresa lui și îți spunem ce am analiza mai întâi.