Atunci cand sicutam despre optimizare seo trebuie sa luam in calcul toate datele si toate elementele si nu avem voie sa lasam nimic la voia intamplarii pentru ca altfel toata munca ste in zadar. Desi sunt multi care trec complet cu vederea nevoia de a avea un fisier robots.txt acest lucru nu este recomandat si va vom explica in cele ce urmeaza de ce este acest fisier atat de important.
De asemenea va recomandam sa aveti grija la modul in care va alegeti firma cu care veti colabora pentru seo astfel incat asteptarile sa va fie indeplinite.
Este un lucru foarte bun daca sunteti in atentia motoarelor de cautare si acestea va viziteaz frecvent site-ul si va indexeaza continutul insa sunt si multe situatii cand partile indexate din continutul online nu sunt chiar cele pe care le doriti.
Spre exemplu daca aveti 2 variante ale unei pagini web una pentru a fi vizualizata in browser si alta pentru printat probabil ca vreti ca varianta pentru printat sa nu fie si ea vizibila pentru botii care va acceseaza site-ul pentru ca ei sa nu citeasca respectivul continut si sa nu il perceapa ca fiind continut duplicat. In cazul in care se intampla asta e posibil sa fiti penalizati.
De asemenea in cazul in care aveti date sensibile in site pe care nu ati vrea ca toata lumea sa le vada atunci veti prefera cu siguranta ca motoarele de cautare sa nu indexeze si paginile cu respectivele informatii desi una din cele mai bune metode ar fi sa mentineti acele pagini in mod offline.
Daca vreti sa salvati din latimea de banda excluzand unele imagini, foi de stil si elemente de javascript din indexare este bine sa stiti cum sa determinati spiderele sa faca asta.
O metoda foarte buna prin care veti putea spune motoarelor de cautare care sunt fisierele si folderele si sa nu scaneze pentru indexare atunci va trebui sa folositi metatagul robors. Pentru ca nu poate motoarele citesc metataguri atunci el poate sa treaca neobservat.
O foarte buna metoda de a informa motoarele de cautare respective despre tot ceea ce vreti sa treaca neindexat ar fi editarea fisierului robots.
Dar ce este de fapt acest fisier? Ei bine este un fisier de tipul text, nu are html si poate fi conectat la site astfel incat robotii de cautare sa stie foarte bine ce pagini vreti sa fie excluse din verificare. Robotii nu sunt sub nicio forma fisiere obligatorii pentru a avea acces la motoarele de cautare in paginile web insa in general motoarele de cautare se vor supune dorintelor voastre daca vad ca exista si fisierul acesta legat de site.
Trebuie sa stiti si faptul ca acest fisier nu reprezinta un firewall pentru site si nu ofera protectie. Este ca si cand undeva ati pune o nota pe care cineva sa o ia in serios. Imaginati-va biletelul de pe usa de la dormitor pe care copiii scriu de obicei nu intra.
Cu alte cuvinte cu ajutorul sau nu veti preveni hotii sa ajunga pe site insa ii ajuta pe cei buni sa indexeze ce trebuie.
