Μετάβαση στο περιεχόμενο

Άρθρο

Τι χρειάζεται τεχνικά μια ιστοσελίδα για να τη διαβάζουν και να την παραθέτουν οι μηχανές απαντήσεων AI;

Πρόσβαση για τους crawlers, περιεχόμενο μέσα στο αρχικό HTML και σαφή δομημένα δεδομένα: οι τρεις τεχνικές προϋποθέσεις για να μπορεί μια σελίδα να παρατεθεί.

Δύο ρομπότ μπροστά σε ιστοσελίδα: το ένα διαβάζει καθαρό κώδικα, το άλλο σταματά σε κλειδωμένη πύλη

Για να παραθέσει μια μηχανή απαντήσεων AI τη σελίδα σας, πρέπει να ισχύουν τρία πράγματα: οι crawlers (τα αυτοματοποιημένα προγράμματα που διαβάζουν ιστοσελίδες) να έχουν πρόσβαση, το βασικό περιεχόμενο να υπάρχει μέσα στο αρχικό HTML και τα δομημένα δεδομένα να δηλώνουν καθαρά ποια είναι η επιχείρηση και τι περιγράφει η σελίδα. Καμία από τις τρεις δεν εγγυάται παράθεση. Η απουσία τους όμως μπορεί να την αποκλείσει, ανεξάρτητα από την ποιότητα του κειμένου.

Ποιοι crawlers επισκέπτονται τη σελίδα σας;

Κάθε μηχανή χρησιμοποιεί δικούς της crawlers, και η ίδια εταιρεία συχνά έχει περισσότερους από έναν με διαφορετικό ρόλο. Τα ονόματα προέρχονται από την επίσημη τεκμηρίωση των εταιρειών και μπορεί να αλλάξουν, γι’ αυτό ελέγχετε τις τρέχουσες σελίδες τους.

  • Googlebot: ο crawler της Google Search. Τα AI Overviews αντλούν από το ευρετήριο της Αναζήτησης, άρα μια σελίδα που δεν ευρετηριάζεται δεν μπορεί να εμφανιστεί εκεί.
  • Google-Extended: όρος ελέγχου στο robots.txt για τη χρήση περιεχομένου από τα AI προϊόντα της Google, όπως το Gemini. Σύμφωνα με τη Google, δεν επηρεάζει την ευρετηρίαση στην Αναζήτηση.
  • OAI-SearchBot: ο crawler της OpenAI για την εμφάνιση ιστοσελίδων στα αποτελέσματα αναζήτησης του ChatGPT.
  • GPTBot: ο crawler της OpenAI για συλλογή υλικού εκπαίδευσης μοντέλων.
  • ChatGPT-User: επισκέψεις που ξεκινούν από ενέργεια ενός χρήστη μέσα στο ChatGPT.
  • PerplexityBot: ο crawler του Perplexity για την ευρετηρίαση σελίδων στα αποτελέσματά του.

Η διάκριση έχει πρακτική σημασία. Μπορεί να θέλετε να αποκλείσετε τη χρήση του περιεχομένου σας για εκπαίδευση μοντέλων και παράλληλα να μένετε ορατοί στις απαντήσεις. Αυτό ρυθμίζεται ξεχωριστά για κάθε crawler.

Πώς ελέγχετε αν το robots.txt σας αφήνει τους crawlers να περάσουν;

Το robots.txt είναι ένα αρχείο στη ρίζα του domain (για παράδειγμα, το όνομα-του-site.gr/robots.txt) που δίνει οδηγίες στους crawlers για το ποια τμήματα του site μπορούν να επισκεφθούν. Πολλά sites έχουν κληρονομήσει γενικούς αποκλεισμούς από πρόσθετα ασφαλείας, από παλιές ρυθμίσεις ή από μια ομάδα που ήθελε να «κλείσει τα bots».

  1. Ανοίξτε το αρχείο στον browser και αναζητήστε γραμμές Disallow που αφορούν όλους τους crawlers ή τα ονόματα της παραπάνω λίστας.
  2. Ελέγξτε ότι δεν αποκλείονται φάκελοι με περιεχόμενο που θέλετε να παρατίθεται, όπως το blog, οι σελίδες υπηρεσιών ή οι σελίδες προϊόντων.
  3. Αποφασίστε ρητά ποιους crawlers θέλετε, αντί να αφήσετε το αποτέλεσμα στην τύχη.

Μπορεί κάτι άλλο να μπλοκάρει τους crawlers εκτός από το robots.txt;

Ναι. Το robots.txt είναι μόνο μία από τις στρώσεις. Ένας crawler μπορεί να αποκλειστεί και όταν το αρχείο τον επιτρέπει.

  • Firewall και CDN: οι υπηρεσίες προστασίας από bots μπορούν να μπλοκάρουν αυτόματα άγνωστους crawlers. Ελέγξτε τις ρυθμίσεις τους και τα logs του server για απορριφθέντα αιτήματα.
  • Οδηγίες noindex: η ετικέτα meta robots ή η κεφαλίδα HTTP X-Robots-Tag με τιμή noindex αφαιρεί τη σελίδα από την ευρετηρίαση της Google.
  • Περιορισμοί αποσπάσματος: οι οδηγίες nosnippet, max-snippet και το χαρακτηριστικό data-nosnippet περιορίζουν το κείμενο που μπορεί να εμφανιστεί από τη σελίδα σας στα αποτελέσματα της Google.
  • Τείχη εισόδου: σελίδες πίσω από σύνδεση, υποχρεωτική αποδοχή cookies ή παράθυρο που καλύπτει το κείμενο.
  • Κωδικοί απόκρισης: μια σελίδα πρέπει να απαντά με κωδικό 200. Οι κωδικοί 4xx και 5xx, ή οι αλυσίδες ανακατευθύνσεων, εμποδίζουν την ανάγνωση.

Γιατί έχει σημασία το περιεχόμενο να υπάρχει στο αρχικό HTML;

Όταν ένας crawler ζητά μια σελίδα, παραλαμβάνει πρώτα το αρχικό HTML. Αν το κείμενο φορτώνεται αργότερα μέσω JavaScript (όπως σε πολλές εφαρμογές που χτίζονται εξολοκλήρου στον browser), ο crawler μπορεί να δει σχεδόν κενή σελίδα. Η Googlebot εκτελεί JavaScript, αλλά για τους υπόλοιπους crawlers η τεκμηρίωση δεν είναι πάντα σαφής. Η ασφαλής πρακτική είναι να μη βασίζεστε σε αυτό.

Ένας απλός έλεγχος: ανοίξτε τη σελίδα, επιλέξτε «Προβολή πηγαίου κώδικα» και αναζητήστε μια πρόταση από το κύριο κείμενο. Αν δεν βρίσκεται εκεί, η σελίδα εξαρτάται από JavaScript για το βασικό της περιεχόμενο. Η λύση είναι συνήθως απόδοση από τον server (server-side rendering) ή στατική παραγωγή των σελίδων.

Τι σημαίνει «καθαρό HTML» στην πράξη;

Καθαρό HTML είναι κώδικας που περιγράφει τη δομή του περιεχομένου και όχι μόνο την εμφάνισή του. Βοηθά τον crawler να καταλάβει τι είναι τίτλος, τι είναι απάντηση και τι είναι διακοσμητικό στοιχείο.

  • Ένα μόνο h1 ανά σελίδα και ιεραρχία επικεφαλίδων χωρίς άλματα (h2 μέσα στο h1, h3 μέσα στο h2).
  • Πίνακες με πραγματικό στοιχείο table για συγκρίσεις και τιμοκαταλόγους, όχι εικόνες πινάκων.
  • Κείμενο ως κείμενο. Πληροφορίες που υπάρχουν μόνο μέσα σε εικόνες ή PDF-σε-εικόνα δεν διαβάζονται αξιόπιστα.
  • Σημασιολογικά στοιχεία όπως article, nav και main, ώστε το κύριο περιεχόμενο να ξεχωρίζει από μενού και υποσέλιδο.
  • Περιγραφικά alt στις εικόνες και περιγραφικό κείμενο στους συνδέσμους, όχι «πατήστε εδώ».
  • Canonical διεύθυνση σε κάθε σελίδα και ενημερωμένο sitemap.xml, ώστε να είναι σαφές ποια είναι η κύρια εκδοχή.

Ποια δομημένα δεδομένα αξίζει να προσθέσετε;

Τα δομημένα δεδομένα είναι πρόσθετος κώδικας που δηλώνει σε μορφή κατανοητή από μηχανές τι αναπαριστά μια σελίδα. Το συνηθέστερο λεξιλόγιο είναι το schema.org και η μορφή που προτείνει η Google είναι το JSON-LD, ένα μπλοκ δεδομένων που προστίθεται στη σελίδα χωρίς να αλλάζει την εμφάνισή της.

Για μια ελληνική επιχείρηση, οι πιο χρήσιμοι τύποι είναι:

  • Organization ή LocalBusiness: επωνυμία, διεύθυνση, τηλέφωνο, ωράριο, σύνδεσμοι προς επίσημα προφίλ.
  • Article: τίτλος, συντάκτης, ημερομηνία δημοσίευσης και ενημέρωσης.
  • Product και Service: περιγραφή, χαρακτηριστικά και, όπου ισχύει, διαθεσιμότητα.
  • BreadcrumbList: η θέση της σελίδας στην ιεραρχία του site.

Ο βασικός κανόνας είναι ότι τα δεδομένα πρέπει να ταιριάζουν με όσα βλέπει ο επισκέπτης στη σελίδα. Σήμανση που περιγράφει κάτι που δεν υπάρχει στο κείμενο παραβιάζει τις οδηγίες της Google και δεν προσφέρει τίποτα σε καμία μηχανή.

Εγγυώνται τα δομημένα δεδομένα ότι θα παρατεθείτε;

Όχι. Η Google σημειώνει ότι για να εμφανιστεί μια σελίδα σε λειτουργίες AI της Αναζήτησης δεν απαιτείται ειδική σήμανση, αρκεί να είναι ευρετηριασμένη και επιλέξιμη για εμφάνιση αποσπάσματος. Για τις υπόλοιπες μηχανές δεν υπάρχει δημόσια τεκμηρίωση που να αποδεικνύει ότι τα δομημένα δεδομένα επηρεάζουν την επιλογή πηγών. Η εκτίμησή μας είναι ότι βοηθούν στην αναγνώριση της οντότητας και στη μείωση της ασάφειας, χωρίς να υπάρχει μετρήσιμη υπόσχεση αποτελέσματος.

Πώς ελέγχετε ότι όλα λειτουργούν;

  1. Στο Google Search Console, χρησιμοποιήστε τον έλεγχο URL για να δείτε αν η σελίδα είναι ευρετηριασμένη και πώς την αποδίδει η Googlebot.
  2. Επικυρώστε τα δομημένα δεδομένα με το Rich Results Test της Google και με το Schema Markup Validator στο validator.schema.org.
  3. Ελέγξτε τα logs του server για επισκέψεις από τους crawlers της λίστας και για απορριφθέντα αιτήματα.
  4. Δείτε τον πηγαίο κώδικα των βασικών σελίδων και βεβαιωθείτε ότι το κείμενο και το JSON-LD υπάρχουν εκεί.

Ως πρώτο βήμα, ανοίξτε σήμερα το robots.txt σας και τον πηγαίο κώδικα της σημαντικότερης σελίδας υπηρεσίας. Αν ο crawler που σας ενδιαφέρει δεν αποκλείεται και το κύριο κείμενο φαίνεται στον κώδικα, προχωρήστε στην προσθήκη και την επικύρωση των δομημένων δεδομένων. Αν όχι, διορθώστε πρώτα την πρόσβαση, γιατί από αυτήν εξαρτώνται όλα τα υπόλοιπα.