Γεννήτρια Robots.txt
Δημιουργήστε καθαρούς, συνεπείς συνδέσμους παρακολούθησης για το Google Analytics 4.
General Settings
Ορίστε καθολικούς κανόνες για όλα τα bot. Η επιλογή «Να επιτρέπονται όλα» είναι στάνταρ. Η επιλογή «Απόρριψη όλων» εμποδίζει ολόκληρο το διαδίκτυο να δει τον ιστότοπό σας (Χρησιμοποιήστε με προσοχή!).
Search Engines
Ελέγξτε συγκεκριμένες μηχανές αναζήτησης. Εάν επιτρέπεται η επιλογή Global, χρησιμοποιήστε την επιλογή "Απόρριψη" εδώ για να αποκλείσετε συγκεκριμένες μηχανές αναζήτησης όπως η Baidu ή η Yandex, εάν δεν πουλάτε εκεί.
AI & Marketing Bots
Αποκλείστε τα εργαλεία τεχνητής νοημοσύνης (AI scrapers) από το να χρησιμοποιούν το περιεχόμενό σας για εκπαίδευση ή αποκλείστε τα εργαλεία SEO των ανταγωνιστών (Ahrefs/Semrush) από το να αναλύουν τα δεδομένα σας.
Restricted Directories
Απόκρυψη συγκεκριμένων φακέλων. Το Shopify χειρίζεται αυτόματα φακέλους συστήματος, αλλά μπορείτε να προσθέσετε προσαρμοσμένους εδώ.
Ready to deploy
robots.txt
User-agent: *
Allow: /