Sari la conținut
SEO Catalyst

Glosar

Ce este robots.txt?

robots.txt este un fișier text aflat la rădăcina unui site, care le indică crawlerelor ce secțiuni ale site-ului au voie să acceseze. Fișierul controlează scanarea, ceea ce înseamnă că nu scoate o pagină din rezultate.

De ce este important

O singură linie greșită poate bloca scanarea unui site întreg. Situația apare cel mai des atunci când o regulă de pe site-ul de test ajunge la lansare pe site-ul public.

Blocarea unei pagini în robots.txt nu o ascunde. Atunci când alte site-uri trimit către o pagină blocată, Google îi poate afișa în continuare adresa în rezultate. Pentru a ține o pagină în afara rezultatelor, adaugă-i un tag noindex și păstrează pagina accesibilă pentru crawlere.

Cum aplicăm în proiecte

Verificăm fișierul înainte și după fiecare lansare. Îl folosim pentru a ține crawlerele departe de filtre și de rezultatele căutării interne, iar tot în el includem adresa sitemapului XML.

Serviciu asociat: Servicii de SEO tehnic
Ghid complet: Checklist de SEO tehnic

Termeni înrudiți

Citește mai departe

Toți termenii din glosar

Află cum performează site-ul tău în Google

Dacă vrei să aflăm care dintre problemele descrise în glosar apar pe site-ul tău, trimite-ne adresa lui și îți spunem ce am analiza mai întâi.

Audit SEO gratuit Programează un apel