Το Robots.txt είναι απλά ένα μικρό αρχείο που το βάζεις στο root directory της σελίδας σου.
Αν ψάξεις θα βρεις πάρα πολλά ποιο λεπτομερή άρθρα και υπάρχουν και αυτόματα online εργαλεία που στο δημιουργούν εκείνη την στιγμή.
Φυσικά καλό θα ήταν να υπάρχει και να μην επιτρέπει στα bots να μπαίνουν σε σελίδες όπως πχ /admin , όπως επίσης εκεί μπορεί να ορίσεις το google site map σου.
Σου βάζω ένα παράδειγμα
Κώδικας: Επιλογή όλωνSitemap: http://www.site.com/index.php?=route/feed/google_sitemap
User-agent: *
Disallow: <strong>/admin/</strong>
Allow: /
Αρθούρος Φουλίδης - Web Developer @ People’s Code
OpenCart-Hellas.gr - Moderator
PeoplesCode.com - Επίσημος Αντιπρόσωπος OpenCart | Φιλοξενία OpenCart | Αναβάθμιση / Μεταφορά OpenCart | Τεχνική Υποστήριξη OpenCart
Πλήρης Ελληνική μετάφραση OpenCart