Cum adaugam Robots.txt in Blogger

Mai intai ce reprezinta Robots.txt. Robots.txt este un fisier text care contine câteva linii de cod.Este salvat in serverul blogului sau pe site si are rolul de a instrui crawlerele web cum sa indexeze  blog-ul dvs. în rezultatele căutarilor. Aceasta înseamnă că puteti restrictiona orice pagina web pe blog-ul dvs. de la crawlerele web, astfel încât acesta nu poate fii indexat in motoarele de cautare, cum ar fi pagina dvs. de etichete blog, pagina dvs. de demo sau orice alte pagini care nu sunt la fel de importante pentru a fi  indexate. Sa nu uitati  că aceste crawlere de căutare scaneaza intai fisierul robots.txt înainte de orice pagină web.

Fiecare blog de pe platforma Blogger are fisierul Robots.txt care arata asa:

         

         User-agent: Mediapartners-Google

         Disallow:

         User-agent: *

         Disallow: /search

         Allow: /

         Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Sa explicam ce reprezinta acest cod.

Codul este impartit pe trei sectiuni:

     

1. User-agent: Mediapartners-Google

Acest cod este pentru robotii Google Adsense, care ii ajuta sa puna anunturi mai bune pe blog-ul. Fie ca folositi Google Adsense pe blog-ul sau nu, mai bine lăsati-l asa cum este.

2. User-agent: *

Acesta este pentru toti robotii marcate cu asterisc (*). În setările implicite etichetele link-urilor blog-ului nostru sunt limitate sa fie indexate de crawlerele de căutare. Deci crawlerele web nu vor indexa link-urile etichetelor paginii  noastre datorita acestui cod.

3.  Disallow: /search           

Link-urile care au cuvinte cheie de căutare doar după numele de domeniu vor fi ignorate. Vezi mai jos un exemplu, care este un link cu eticheta de pagină cu numele de SEO.

     

         http://didacticus10.blogspot.ro/search/label/SEO

         Cum adaugam Robots.txt in platforma Blogger? 

      

Sa invatam sa adaugam fisierul Robots.txt in blog-ul nostru. Trebuie sa efectuam pasii urmatori:

1.Ne ducem in blog-ul nostru 

2.Navigam in Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt    ›› Edit ›› Yes

3.Acum copiem propriul nostru cod fisier robots.txt in casuta.

4. Salvam si asta e tot.

         Cum gasim  propiul nostru fisier robots.txt?

Este simpu, pur si simplu adaugam  /robots.txt la sfarsitul URL-ului blogului nostru ca in exemplul de mai jos:

         http://numele blogului nostru.blogspot.com/robots.txt

         

Astfel am invatat sa adaugam Robots.txt  in blog-ul nostru din platforma Blogger.

           

Daca ti-a placut, nu uita sa distribui articolul!

Tweet