Έλεγχος robots.txt
Δείτε το robots.txt οποιουδήποτε site και ελέγξτε αν μια συγκεκριμένη σελίδα επιτρέπεται ή μπλοκάρεται για τη Google και άλλα bots.
Τι ελέγχει το εργαλείο
Το robots.txt λέει στα bots ποιες σελίδες μπορούν να διαβάσουν. Ένα λάθος εκεί μπορεί να κρύψει ολόκληρο το site από τη Google. Το εργαλείο δείχνει τους κανόνες και ελέγχει μια διεύθυνση με τον ίδιο τρόπο που το κάνει η Google (ο πιο συγκεκριμένος κανόνας κερδίζει).
Μπορείτε να ελέγξετε και bots της τεχνητής νοημοσύνης, όπως GPTBot και Google-Extended, αν θέλετε να ξέρετε αν το περιεχόμενό σας διαβάζεται από AI.
Θέλετε να τα διορθώσουμε εμείς;
Κάνουμε πλήρες SEO audit και σας λέμε τι να αλλάξει πρώτα. Δωρεάν και χωρίς δέσμευση.
Ερωτήσεις για το εργαλείο
Το robots.txt κρύβει μια σελίδα από τη Google;
Σταματά την ανάγνωσή της, αλλά δεν εγγυάται ότι δεν θα εμφανιστεί. Για απόκρυψη χρησιμοποιήστε noindex.
Πρέπει να έχω sitemap στο robots.txt;
Καλό είναι. Μια γραμμή Sitemap: με τη διεύθυνση του sitemap βοηθά όλες τις μηχανές αναζήτησης να το βρουν.