Μετάβαση στο περιεχόμενο

Άρθρο

Τι πρέπει να ελέγξετε τεχνικά ώστε μια μηχανή AI να μπορεί να διαβάσει και να παραθέσει τον ιστότοπό σας;

Τρεις τεχνικοί έλεγχοι καθορίζουν αν μια μηχανή AI θα διαβάσει τον ιστότοπό σας: πρόσβαση crawler, καθαρό HTML και σωστά δομημένα δεδομένα.

Διάγραμμα με ρομπότ-crawler που περνά μια ανοιχτή πύλη και διαβάζει σελίδα με κώδικα HTML και ετικέτες δομημένων δεδομένων

Μια μηχανή απαντήσεων AI μπορεί να παραθέσει τον ιστότοπό σας μόνο αν ισχύουν τρία πράγματα. Ο crawler, δηλαδή το αυτόματο πρόγραμμα που επισκέπτεται και διαβάζει σελίδες, πρέπει να έχει πρόσβαση. Το περιεχόμενο πρέπει να υπάρχει ως κείμενο μέσα στο HTML. Τα δομημένα δεδομένα πρέπει να δηλώνουν καθαρά ποια είναι η επιχείρηση και τι περιγράφει η σελίδα.

Αν ένα από τα τρία αποτυγχάνει, ακόμη και το καλύτερο κείμενο μένει αόρατο. Ο έλεγχος γίνεται με αυτή τη σειρά: πρώτα πρόσβαση, μετά HTML, μετά δομημένα δεδομένα.

[Εικόνα: απλό διάγραμμα τριών βημάτων, με τη σειρά «πρόσβαση crawler», «κείμενο στο HTML» και «δομημένα δεδομένα», που καταλήγουν σε μια παράθεση μέσα σε απάντηση AI]

Ποιοι crawlers επισκέπτονται τον ιστότοπό μου και πώς τους επιτρέπω την πρόσβαση;

Η πρώτη ρύθμιση βρίσκεται στο αρχείο robots.txt. Είναι ένα απλό αρχείο κειμένου στη ρίζα του domain, για παράδειγμα στη διεύθυνση του ιστότοπού σας ακολουθούμενη από /robots.txt. Μέσα του δηλώνετε, ανά crawler, ποιες διαδρομές επιτρέπονται (Allow) και ποιες όχι (Disallow).

Κάθε εταιρεία χρησιμοποιεί περισσότερους από έναν crawlers, με διαφορετικό σκοπό. Οι παρακάτω περιγράφονται στη δημόσια τεκμηρίωση των εταιρειών:

  • GPTBot (OpenAI): συλλέγει περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση μοντέλων.
  • OAI-SearchBot (OpenAI): συνδέεται με την εμφάνιση ιστότοπων στα αποτελέσματα αναζήτησης του ChatGPT.
  • ChatGPT-User (OpenAI): επισκέπτεται σελίδες όταν το ζητά ένας χρήστης μέσα στη συνομιλία.
  • PerplexityBot (Perplexity): χτίζει το ευρετήριο της μηχανής.
  • Googlebot (Google): ο γνωστός crawler της Google Search, από τον οποίο εξαρτάται και η εμφάνιση στα AI Overviews.
  • Google-Extended: ειδικός κανόνας στο robots.txt που ελέγχει αν το περιεχόμενό σας χρησιμοποιείται από τα μοντέλα Gemini της Google. Δεν επηρεάζει την παρουσία σας στην κλασική αναζήτηση.

Η διάκριση έχει πρακτική σημασία. Μπορείτε να αποκλείσετε τον GPTBot, αν δεν θέλετε το περιεχόμενό σας στην εκπαίδευση μοντέλων, και να αφήσετε ανοιχτό τον OAI-SearchBot ώστε να εμφανίζεστε σε αναζητήσεις. Είναι επιχειρηματική απόφαση και όχι τεχνική, αλλά πρέπει να παρθεί συνειδητά.

Τι άλλο μπορεί να μπλοκάρει έναν crawler;

Το robots.txt δεν είναι ο μόνος φραγμός. Οι παρακάτω περιπτώσεις ελέγχονται συχνά τελευταίες, ενώ συχνά είναι η αιτία:

  • Firewall ή CDN: ορισμένες υπηρεσίες, όπως το Cloudflare, προσφέρουν ρυθμίσεις που μπλοκάρουν crawlers AI ή «ύποπτη» αυτοματοποιημένη κίνηση, ανεξάρτητα από το robots.txt.
  • Ετικέτα noindex: η meta ετικέτα robots ή η κεφαλίδα X-Robots-Tag μπορεί να αποκλείει τη σελίδα από την ευρετηρίαση.
  • Κωδικός απόκρισης: η σελίδα πρέπει να επιστρέφει κωδικό 200. Σφάλματα 403 ή 5xx και ατελείωτες ανακατευθύνσεις δεν αφήνουν τον crawler να τη διαβάσει.
  • Σύνδεση ή αναδυόμενα παράθυρα: περιεχόμενο πίσω από login ή από υποχρεωτικό παράθυρο συναίνεσης μπορεί να μην φτάσει ποτέ στον crawler.

Γιατί έχει σημασία το καθαρό HTML;

Ο crawler διαβάζει πρώτα την απάντηση του server, δηλαδή το αρχικό HTML. Αν το κείμενο φορτώνεται αργότερα με JavaScript, δεν μπορείτε να υποθέσετε ότι κάθε crawler AI θα εκτελέσει τον κώδικα και θα το δει. Η τεκμηρίωση ποικίλλει ανά εταιρεία, γι’ αυτό η ασφαλής επιλογή είναι το ουσιώδες περιεχόμενο να υπάρχει ήδη στο αρχικό HTML.

Το καθαρό HTML έχει συγκεκριμένα χαρακτηριστικά:

  • Ένα h1 ανά σελίδα και επικεφαλίδες h2 και h3 με λογική ιεραρχία, που δείχνουν πού αρχίζει κάθε θέμα.
  • Κείμενο ως κείμενο. Τιμές, ώρες λειτουργίας ή περιγραφές υπηρεσιών που υπάρχουν μόνο μέσα σε εικόνα δεν διαβάζονται.
  • Πραγματικοί πίνακες (table) για συγκρίσεις και πραγματικές λίστες (ul, ol) για βήματα, όχι διάταξη με κενά και χαρακτήρες.
  • Περιγραφικά κείμενα συνδέσμων. Το «δείτε τις υπηρεσίες λογιστικής» λέει κάτι, ενώ το «πατήστε εδώ» δεν λέει.
  • Σημασιολογικά στοιχεία όπως main, article και nav, που ξεχωρίζουν το κύριο περιεχόμενο από το μενού και το υποσέλιδο.

Ποια δομημένα δεδομένα χρειάζεται η επιχείρησή μου;

Τα δομημένα δεδομένα είναι ένας κώδικας που περιγράφει με σαφή, τυποποιημένο τρόπο το περιεχόμενο μιας σελίδας. Χρησιμοποιούν το λεξιλόγιο του schema.org και συνήθως γράφονται σε μορφή JSON-LD, ένα μπλοκ κώδικα στο head ή στο body της σελίδας που δεν φαίνεται στον επισκέπτη.

Για μια τυπική ελληνική επιχείρηση, οι πιο χρήσιμοι τύποι είναι:

  • Organization ή LocalBusiness: επωνυμία, διεύθυνση, τηλέφωνο, λογότυπο και σύνδεσμοι προς επίσημα προφίλ μέσω της ιδιότητας sameAs.
  • Article: για άρθρα, με τίτλο, συντάκτη και ημερομηνίες δημοσίευσης και ενημέρωσης.
  • Product ή Service: για τις προσφορές σας.
  • BreadcrumbList: για τη θέση της σελίδας στην ιεραρχία του ιστότοπου.

Η Google τεκμηριώνει τη χρήση δομημένων δεδομένων στην αναζήτηση. Δεν έχει δημοσιεύσει όμως αντίστοιχη εγγύηση ότι τα ChatGPT, Perplexity ή Gemini τα βαραίνουν ιδιαίτερα στις παραθέσεις τους. Είναι εκτίμηση ότι βοηθούν τη μηχανή να αναγνωρίσει σωστά την οντότητα, δηλαδή ποια επιχείρηση είναι, πού βρίσκεται και τι προσφέρει. Δεν πρέπει να τα αντιμετωπίζετε ως εγγυημένο παράγοντα.

Ο κανόνας ακριβείας είναι ένας: ό,τι δηλώνεται στο JSON-LD πρέπει να υπάρχει και στο ορατό κείμενο της σελίδας. Δεδομένα που αντιφάσκουν με το περιεχόμενο, όπως διαφορετικό τηλέφωνο ή παλιά διεύθυνση, δημιουργούν σύγχυση αντί να τη λύνουν.

Πώς ελέγχω βήμα προς βήμα ότι όλα λειτουργούν;

  1. Ανοίξτε το robots.txt του ιστότοπού σας και διαβάστε τι επιτρέπεται για κάθε crawler της λίστας παραπάνω.
  2. Ελέγξτε τις ρυθμίσεις firewall ή CDN για κανόνες που μπλοκάρουν αυτοματοποιημένη κίνηση ή συγκεκριμένους crawlers.
  3. Στον Chrome επιλέξτε «Προβολή πηγαίου κώδικα» σε μια σημαντική σελίδα και αναζητήστε μια πρόταση του κειμένου της. Αν δεν βρίσκεται εκεί, το περιεχόμενο φορτώνεται με JavaScript.
  4. Χρησιμοποιήστε το εργαλείο Επιθεώρηση URL (URL Inspection) του Google Search Console, για να δείτε αν η Google μπορεί να ανακτήσει και να ευρετηριάσει τη σελίδα.
  5. Ελέγξτε το JSON-LD με το Schema Markup Validator (validator.schema.org) για συντακτικά λάθη και με το Rich Results Test της Google για τους τύπους που υποστηρίζει.
  6. Συγκρίνετε τα δεδομένα του JSON-LD με το ορατό κείμενο της σελίδας: επωνυμία, διεύθυνση, τηλέφωνο, ημερομηνίες.

Ποιο είναι το πρώτο βήμα που μπορώ να κάνω σήμερα;

Ανοίξτε το robots.txt του ιστότοπού σας και ελέγξτε αν αποκλείει κάποιον από τους crawlers που αναφέρονται παραπάνω χωρίς να το έχετε αποφασίσει. Στη συνέχεια δοκιμάστε με τον πηγαίο κώδικα την πιο σημαντική σελίδα υπηρεσίας σας, για να δείτε αν το κείμενό της υπάρχει στο αρχικό HTML. Αν και τα δύο περνούν τον έλεγχο, προχωρήστε στην προσθήκη ή τον έλεγχο του JSON-LD για την επιχείρησή σας.