Μετάβαση στο περιεχόμενο

Υπηρεσία

Αν ο crawler δεν φτάνει, τίποτα άλλο δεν μετράει

Ένα μεγάλο μέρος των sites είναι αόρατο στις AI μηχανές για έναν λόγο που δεν έχει καμία σχέση με το περιεχόμενο: κάποιο επίπεδο ασφάλειας τα μπλοκάρει πριν καν διαβαστεί το robots.txt.

OAI-SearchBot 200 ClaudeBot 200 PerplexityBot 403 Googlebot 200 ΑΠΟΚΡΙΣΗ ΑΝΑ USER-AGENT

Συνήθως κανείς δεν το έχει αποφασίσει. Είναι προεπιλογή.

01Τι συμβαίνει

Τι συμβαίνει στην πραγματικότητα

Από την 1η Ιουλίου 2025 το Cloudflare μπλοκάρει γνωστούς AI crawlers από προεπιλογή σε κάθε νέα zone, και από τις 15 Σεπτεμβρίου 2026 επέκτεινε την προεπιλογή σε training και agent crawlers για σελίδες που φέρουν διαφήμιση. Το Cloudflare βρίσκεται μπροστά από ένα σημαντικό ποσοστό του web. Σε αυτό προστίθενται τα τείχη προστασίας του server, το ModSecurity, τα πρόσθετα ασφαλείας του WordPress και παλιοί κανόνες WAF που κανείς δεν θυμάται ποιος έβαλε.

Το αποτέλεσμα: ο crawler παίρνει 403 και το site δεν υπάρχει για τη μηχανή που απαντά. Το robots.txt δεν διαβάζεται ποτέ, γιατί το αίτημα κόβεται πριν φτάσει εκεί.

02Η διάκριση

Η διάκριση που κάνει τη διαφορά

Δεν είναι όλοι οι AI crawlers το ίδιο πράγμα, και εδώ γίνεται το πιο ακριβό λάθος της αγοράς.

Πολλές επιχειρήσεις, θέλοντας να προστατεύσουν το περιεχόμενό τους από εκπαίδευση, μπλοκάρουν και τις δύο κατηγορίες μαζί. Προστατεύουν ένα περιουσιακό στοιχείο και χάνουν ένα κανάλι.

  • Οι answer crawlers — OAI-SearchBot, Claude-SearchBot, PerplexityBot και οι user bots — είναι αυτοί που φέρνουν το site σας μέσα στην απάντηση, με παραπομπή. Αν τους μπλοκάρετε, γίνεστε μη παραθέσιμοι.
  • Οι training crawlers — GPTBot, ClaudeBot, Google-Extended — συλλέγουν περιεχόμενο για εκπαίδευση μοντέλων. Το μπλοκάρισμά τους δεν σας βγάζει από το ChatGPT Search.

03Παραδοτέα

Τι παραδίδουμε

01

Ζωντανό έλεγχο απόκρισης ανά crawler

Στέλνουμε πραγματικά αιτήματα με κάθε user-agent και καταγράφουμε τον κωδικό που επιστρέφει ο server σας. Παίρνετε πίνακα με ημερομηνία.

02

Ανάλυση αρχείων καταγραφής

Ποιος πέρασε πραγματικά τις τελευταίες τριάντα ημέρες, πόσες φορές, σε ποιες σελίδες. Αυτό δείχνει τι συμβαίνει, όχι τι επιτρέπεται θεωρητικά.

03

Εντοπισμό της αιτίας: Cloudflare AI Crawl Control, κανόνες WAF, Bot Fight Mode, ModSecurity, CSF, πρόσθετα WordPress. Τα ελέγχουμε με σειρά μέχρι να βρεθεί ποιο κόβει

04

Διόρθωση και επαναέλεγχο, με καταγεγραμμένο πριν και μετά

05

Σύσταση πολιτικής ανά κατηγορία crawler, ώστε η απόφαση για την εκπαίδευση μοντέλων να είναι δική σας και συνειδητή

06

Προαιρετικά, εβδομαδιαίο αυτόματο έλεγχο με ειδοποίηση αν κάποιος answer crawler πάψει να περνάει. Οι προεπιλογές αλλάζουν χωρίς προειδοποίηση

04Γιατί εμείς

Γιατί εμείς

Διαχειριζόμαστε εμείς τους servers των πελατών μας, σε περιβάλλον cPanel και WHM. Αυτό σημαίνει ότι δεν συμπεραίνουμε από εξωτερικά εργαλεία — διαβάζουμε τα logs. Είναι η διαφορά ανάμεσα στο «το robots.txt σας επιτρέπει το OAI-SearchBot» και στο «το OAI-SearchBot ήρθε 47 φορές τον τελευταίο μήνα και πήρε 403 σε όλες».

05Όρια

Τι δεν περιλαμβάνεται

  • Δεν αποφασίζουμε εμείς αν θα επιτρέψετε training crawlers. Σας δίνουμε τα δεδομένα και τις δύο πλευρές του επιχειρήματος.
  • Δεν παρακάμπτουμε προστασίες ασφαλείας. Αν κάτι μπλοκάρει για λόγο, το λέμε.

06Κόστος & Απόδειξη

Κόστος και τρόπος παράδοσης

Ο έλεγχος και η αποκατάσταση πρόσβασης (Cloudflare Bot Fight / Preference Sync, WAF rules, ModSecurity, robots.txt και llms.txt) παραδίδεται εφάπαξ με πλήρη τεκμηρίωση HTTP status codes ανά crawler, ή συνδυαστικά με τη μηνιαία τεχνική υποστήριξη. Δείτε το δικό μας πραγματικό case εδώ (PerplexityBot 403 → 200).

07Ερωτήσεις

Συχνές ερωτήσεις

Πώς θα καταλάβω μόνος μου αν έχω πρόβλημα;

Ο γρηγορότερος τρόπος είναι ο δωρεάν έλεγχος AI Readiness, που ξεκινά ακριβώς από αυτό. Αν θέλετε να το δείτε μόνοι σας, στείλτε ένα αίτημα στο site σας με user-agent OAI-SearchBot και δείτε τον κωδικό απόκρισης. Οτιδήποτε άλλο από 200 είναι πρόβλημα.

Αν επιτρέψω τους crawlers, δεν θα μου κλέψουν το περιεχόμενο;

Είναι εύλογη ανησυχία και γι᾽ αυτό υπάρχει η διάκριση. Μπορείτε να μπλοκάρετε τους training crawlers και να επιτρέψετε τους answer crawlers. Παραμένετε παραθέσιμοι στις απαντήσεις χωρίς να τροφοδοτείτε την εκπαίδευση. Αυτό είναι πλέον η πιο συνηθισμένη επιλογή μεταξύ των εκδοτών.

Κάθε πότε πρέπει να ξαναελέγχεται;

Τουλάχιστον ανά τρίμηνο, και υποχρεωτικά μετά από κάθε αλλαγή σε CDN, τείχος προστασίας ή πρόσθετο ασφαλείας. Οι αλλαγές προεπιλογών των παρόχων είναι η πιο συχνή αιτία ξαφνικής εξαφάνισης.