lolstart1033″,”attributes”:{“alt”:””,”class”:”media-image”,”height”:”328590″}}]]
Το robots .txt είναι ένα αρχείο το οποίο βρίσκεται μέσα στο διαχειριστικό κάθε site.
Το robots.txt μας βοηθάει σημαντικά στο SEO και αυτό γιατί μέσα στο συγκεκριμένο αρχείο μπορούμε μόνοι μας να ορίσουμε τι θέλουμεκαι κατ’επέκταση τι μας συμφέρει να επιτρέπουμε να διαβάζουν οι μηχανές αναζήτησης.
Μπορείτε να βρείτε το συγκεκριμένο αρχείο στο www.mydomain.gr/robots.txt (όπου mydomain αντικαταστείτε με το όνομα του site σας ).
Μόλις το κάνετε θα πρέπει να μπορείτε να δείτε μια λίστα από directories τα οποία ο διαχειριστής του site έχει ζητήσει από την μηχανές αναζήτησης (πχ Google) να παραλειφθούν ή να μην επιτρέπεται η πρόσβαση.
Ενδεικτικό παράδειγμα:
User-Agent: *
Disallow: /wp-content/plugins/
Disallow: /old_blog/
Disallow: /tmp/
Disallow: /junk/
Με αυτή τη σύνταξη δεν επιτρέπετε στα robots να κάνουν Index στα συγκεκριμένα directories.
Πώς ρυθμίζω το robots.txt;
Σε κάθε website υπάρχουν κάποια directories τα οποία δε θέλουμε να γίνονται indexed από τις μηχανές αναζήτησης, και κάποια που θέλουμε να επιτραπεί τo indexing για λόγους SEO.
Μερικά χαρακτηριστικά παραδείγματα είναι τα παρακάτω:
- Σε κάθε website υπάρχουν δεδομένα τα οποία δε μας προσφέρουν αξία σε SEO αν γίνονται indexed όπως πχ /cgi-bin/, /wp-admin/, /cart/, /scripts/ ,/plugins/ κτλ.
- Είναι σημαντικό να αποτρέπουμε τις μηχανές αναζήτησης να κάνουν index directories με επανάληψη ίδιου περιεχομένου (duplicate content/διπλότυπο περιεχόμενο). Για παράδειγμα κάποια site έχουν print friendly version κάποιων σελίδων ή άρθρων για να διευκολύνουν τους χρήστες τους να τα εκτυπώσουν. Αυτές οι σελίδες δεν πρέπει να γίνονται index εις διπλούν.
- Ελέγξτε στο site σας αν υπάρχουν αρχεία που θα πρέπει να αποτρέψετε τις μηχανές αναζήτησης να τα κάνουν index όπως π.χ: scripts ή αρχεία που περιέχουν προσωπικά δεδομένα όπως e-mail, τηλέφωνα κλπ.
- Επιβεβαιώστε πως δεν υπάρχουν σημαντικοί λόγοι για να αποτρέψετε τις μηχανές αναζήτησης από το να κάνουν index τις βασικές σελίδες του site σας.
Παραδείγματα προς αποφυγή
- Μην γράψετε σχόλια μέσα στο αρχείο.
- Πρέπει να προσέξετε στο αρχείο robots.txt να μην βάζετε όλα τα τα directories σας, γιατί προφανώς υπάρχουν και αρχεία τα οποία δε θα θέλατε να έχει πρόσβαση ή ορατότητα κανένας χρήστης.
- Σε περίπτωση που φτιάξετε ένα καινούριο website στη θέση παλαιού, μην δημιουργήσετε disallow εντολές για όλα τα παλιά directories! Ιδανικά πρέπει να ορίσετε μια μόνιμη ανακατεύθυνση (redirect 301) ώστε να μην χάσετε την SEO αξία των παλιών σας σελίδων, αλλά απεναντίας να την μεταβιβάσετε στο καινούριο σας site.
- Επίσης πρέπει συχνά να ελέγχετε το robots.txt αρχείο σας και να ενημερώνεστε σχετικά με αυτό (μέσα από διάφορα blogs και forums) καθότι κατά καιρούς η Google θέτει νέους κανόνες οπότε μπορεί να χρειαστεί να κάνετε αλλαγές στο robots.txt όπως πχ να επιτρέψετε την πρόσβαση σε κάποια disallow ή να δημιουργήσετε νέα.
- Μπορείτε να ελέγχετε το τι βλέπει η Google μέσα από το Search Console στην κατηγορία “αποκλεισμένοι πόροι ” όπου αν εντοπίσει κάποιο λάθος και διατηρείτε λογαριασμό σε αυτή θα σας ενημερώσει άμεσα.
- Αν θελήσετε να επιτρέψετε την πρόσβαση πολύ απλά μπείτε στο robots.txt αρχείο σας και βάλτε μπροστά από το Disallow το σύμβολο της δίεσης «#»
Παράδειγμα:
Έστω πως θέλουμε να κάνουμε allow στα templates καθότι η Google μας λέει πως δεν τα βλέπει.
Πηγαίνουμε στο αρχείο robots.txt και το ανοίγουμε.
Βρίσκουμε το disallow που θέλουμε να αλλάξουμε και βάζουμε μπροστά την δίεση.
Πριν:
Disallow: /tmp/
Disallow: /junk/
Disallow: /templates/
Μετά:
Disallow: /tmp/
Disallow: /junk/
#Disallow: /templates/
Συντάκτης: Αλέξανδρος Καράμπελας