Συνήθως κανείς δεν το έχει αποφασίσει. Είναι προεπιλογή.
01Τι συμβαίνει
Τι συμβαίνει στην πραγματικότητα
Από την 1η Ιουλίου 2025 το Cloudflare μπλοκάρει γνωστούς AI crawlers από προεπιλογή σε κάθε νέα zone, και από τις 15 Σεπτεμβρίου 2026 επέκτεινε την προεπιλογή σε training και agent crawlers για σελίδες που φέρουν διαφήμιση. Το Cloudflare βρίσκεται μπροστά από ένα σημαντικό ποσοστό του web. Σε αυτό προστίθενται τα τείχη προστασίας του server, το ModSecurity, τα πρόσθετα ασφαλείας του WordPress και παλιοί κανόνες WAF που κανείς δεν θυμάται ποιος έβαλε.
Το αποτέλεσμα: ο crawler παίρνει 403 και το site δεν υπάρχει για τη μηχανή που απαντά. Το robots.txt δεν διαβάζεται ποτέ, γιατί το αίτημα κόβεται πριν φτάσει εκεί.
02Η διάκριση
Η διάκριση που κάνει τη διαφορά
Δεν είναι όλοι οι AI crawlers το ίδιο πράγμα, και εδώ γίνεται το πιο ακριβό λάθος της αγοράς.
Πολλές επιχειρήσεις, θέλοντας να προστατεύσουν το περιεχόμενό τους από εκπαίδευση, μπλοκάρουν και τις δύο κατηγορίες μαζί. Προστατεύουν ένα περιουσιακό στοιχείο και χάνουν ένα κανάλι.
- Οι answer crawlers — OAI-SearchBot, Claude-SearchBot, PerplexityBot και οι user bots — είναι αυτοί που φέρνουν το site σας μέσα στην απάντηση, με παραπομπή. Αν τους μπλοκάρετε, γίνεστε μη παραθέσιμοι.
- Οι training crawlers — GPTBot, ClaudeBot, Google-Extended — συλλέγουν περιεχόμενο για εκπαίδευση μοντέλων. Το μπλοκάρισμά τους δεν σας βγάζει από το ChatGPT Search.
03Παραδοτέα
Τι παραδίδουμε
01
Ζωντανό έλεγχο απόκρισης ανά crawler
Στέλνουμε πραγματικά αιτήματα με κάθε user-agent και καταγράφουμε τον κωδικό που επιστρέφει ο server σας. Παίρνετε πίνακα με ημερομηνία.
02
Ανάλυση αρχείων καταγραφής
Ποιος πέρασε πραγματικά τις τελευταίες τριάντα ημέρες, πόσες φορές, σε ποιες σελίδες. Αυτό δείχνει τι συμβαίνει, όχι τι επιτρέπεται θεωρητικά.
03
Εντοπισμό της αιτίας: Cloudflare AI Crawl Control, κανόνες WAF, Bot Fight Mode, ModSecurity, CSF, πρόσθετα WordPress. Τα ελέγχουμε με σειρά μέχρι να βρεθεί ποιο κόβει
04
Διόρθωση και επαναέλεγχο, με καταγεγραμμένο πριν και μετά
05
Σύσταση πολιτικής ανά κατηγορία crawler, ώστε η απόφαση για την εκπαίδευση μοντέλων να είναι δική σας και συνειδητή
06
Προαιρετικά, εβδομαδιαίο αυτόματο έλεγχο με ειδοποίηση αν κάποιος answer crawler πάψει να περνάει. Οι προεπιλογές αλλάζουν χωρίς προειδοποίηση
04Γιατί εμείς
Γιατί εμείς
Διαχειριζόμαστε εμείς τους servers των πελατών μας, σε περιβάλλον cPanel και WHM. Αυτό σημαίνει ότι δεν συμπεραίνουμε από εξωτερικά εργαλεία — διαβάζουμε τα logs. Είναι η διαφορά ανάμεσα στο «το robots.txt σας επιτρέπει το OAI-SearchBot» και στο «το OAI-SearchBot ήρθε 47 φορές τον τελευταίο μήνα και πήρε 403 σε όλες».
05Όρια
Τι δεν περιλαμβάνεται
- Δεν αποφασίζουμε εμείς αν θα επιτρέψετε training crawlers. Σας δίνουμε τα δεδομένα και τις δύο πλευρές του επιχειρήματος.
- Δεν παρακάμπτουμε προστασίες ασφαλείας. Αν κάτι μπλοκάρει για λόγο, το λέμε.
06Κόστος & Απόδειξη
Κόστος και τρόπος παράδοσης
Ο έλεγχος και η αποκατάσταση πρόσβασης (Cloudflare Bot Fight / Preference Sync, WAF rules, ModSecurity, robots.txt και llms.txt) παραδίδεται εφάπαξ με πλήρη τεκμηρίωση HTTP status codes ανά crawler, ή συνδυαστικά με τη μηνιαία τεχνική υποστήριξη. Δείτε το δικό μας πραγματικό case εδώ (PerplexityBot 403 → 200).
07Ερωτήσεις
Συχνές ερωτήσεις
Πώς θα καταλάβω μόνος μου αν έχω πρόβλημα;
Ο γρηγορότερος τρόπος είναι ο δωρεάν έλεγχος AI Readiness, που ξεκινά ακριβώς από αυτό. Αν θέλετε να το δείτε μόνοι σας, στείλτε ένα αίτημα στο site σας με user-agent OAI-SearchBot και δείτε τον κωδικό απόκρισης. Οτιδήποτε άλλο από 200 είναι πρόβλημα.
Αν επιτρέψω τους crawlers, δεν θα μου κλέψουν το περιεχόμενο;
Είναι εύλογη ανησυχία και γι᾽ αυτό υπάρχει η διάκριση. Μπορείτε να μπλοκάρετε τους training crawlers και να επιτρέψετε τους answer crawlers. Παραμένετε παραθέσιμοι στις απαντήσεις χωρίς να τροφοδοτείτε την εκπαίδευση. Αυτό είναι πλέον η πιο συνηθισμένη επιλογή μεταξύ των εκδοτών.
Κάθε πότε πρέπει να ξαναελέγχεται;
Τουλάχιστον ανά τρίμηνο, και υποχρεωτικά μετά από κάθε αλλαγή σε CDN, τείχος προστασίας ή πρόσθετο ασφαλείας. Οι αλλαγές προεπιλογών των παρόχων είναι η πιο συχνή αιτία ξαφνικής εξαφάνισης.