Είναι ακριβές το ZeroGPT;

Η ακρίβεια του ZeroGPT, σύμφωνα με τον τρέχοντα ισχυρισμό της ίδιας της εταιρείας, είναι ένα ποσοστό «που πλησιάζει το >98% σε εσωτερικές αξιολογήσεις», ένα στοιχείο που η εταιρεία αναγνωρίζει ότι προέρχεται από δοκιμές που πραγματοποίησε η ίδια πάνω στον εαυτό της και όχι από εξωτερικό εργαστήριο. Αυτή η μία μόνο επιφύλαξη, το εσωτερικές, είναι σε μεγάλο βαθμό ό,τι χρειάζεται ένας αναγνώστης πριν αντιμετωπίσει οποιοδήποτε ποσοστό ενός δωρεάν ανιχνευτή ως οριστικό γεγονός.

Το ZeroGPT είναι ένας από τους πιο χρησιμοποιούμενους δωρεάν ανιχνευτές AI, κυρίως επειδή δεν κοστίζει τίποτα και δίνει απάντηση μέσα σε δευτερόλεπτα. Το ίδιο κενό ανάμεσα στους ισχυρισμούς του προμηθευτή και στις ανεξάρτητες δοκιμές που εμφανίζεται γενικά σε όλους τους ανιχνευτές AI εμφανίζεται και εδώ. Αυτό που ακολουθεί είναι όσα δηλώνει επί του παρόντος η εταιρεία για τη δική της ακρίβεια και μέθοδο, τι φαίνεται στην πραγματικότητα να μετρά αυτή η μέθοδος, και γιατί ένα εργαλείο όπως αυτό τείνει να αστοχεί με συγκεκριμένους, προβλέψιμους τρόπους στο είδος γραφής που υποβάλλουν οι ακαδημαϊκοί αναγνώστες.

Τι Είναι η Ακρίβεια του ZeroGPT, Σύμφωνα με την Εταιρεία;

Το ίδιο το FAQ του ZeroGPT αναφέρει ότι η εταιρεία «παρέχει ακρίβεια κορυφαίου επιπέδου στον κλάδο και βελτιώνεται συνεχώς ώστε να διατηρεί απόδοση best-in-class, πλησιάζοντας το >98% σε εσωτερικές αξιολογήσεις». Πρόκειται για ισχυρισμό του προμηθευτή σχετικά με το ίδιο του το προϊόν, δοκιμασμένο από την ίδια την εταιρεία, διατυπωμένο με πραγματική επιφύλαξη ενσωματωμένη στη διατύπωση, το «πλησιάζοντας» έναν αριθμό δεν είναι το ίδιο με το να τον επιτυγχάνει και να τον διατηρεί, και το «εσωτερικές αξιολογήσεις» σημαίνει ότι κανένα εξωτερικό μέρος δεν έχει δημοσιεύσει αντίστοιχο ποσοστό. Τίποτα στη σελίδα δεν αναφέρει πόσο μεγάλο ήταν αυτό το εσωτερικό σύνολο δοκιμών, τι περιείχε ή ποιος εκτός της εταιρείας εξέτασε τη μεθοδολογία.

Η εταιρεία συνιστά τουλάχιστον 150 έως 200 λέξεις κειμένου για σταθερό αποτέλεσμα, ενώ 500 έως 1,000 λέξεις ή περισσότερες βελτιώνουν περαιτέρω την αξιοπιστία, και δηλώνει ρητά ότι τα πολύ σύντομα ή εκτενώς επεξεργασμένα αποσπάσματα "carry fewer signals." Αυτή η μοναδική γνωστοποίηση έχει μεγαλύτερη σημασία από το ποσοστό που προβάλλεται στον τίτλο. Πρόκειται για τη δική της παραδοχή του προμηθευτή ότι η βαθμολογία είναι τόσο αξιόπιστη όσο το μήκος και η αμετάβλητη κατάσταση της εισόδου, μια συνθήκη την οποία μια πραγματική υποβολή δεν πληροί πάντοτε.

Ποια μέθοδο χρησιμοποιεί στην πραγματικότητα το ZeroGPT;

Το ZeroGPT αποκαλεί το υποκείμενο σύστημά του DeepAnalyse, το οποίο περιγράφεται στον δικό του ιστότοπο ως μια "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" που διαβάζει ένα κείμενο "from the macro level to the micro one." Το FAQ του περιγράφει κάτι πιο συγκεκριμένο κάτω από το branding: μια ανάλυση των "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Η burstiness και η entropy δεν είναι μοναδικές στο ZeroGPT. Είναι οι ίδιες στατιστικές ιδιότητες, το πόσο ποικίλλει το μήκος και ο ρυθμός των προτάσεων, και το πόσο προβλέψιμη είναι κάθε επόμενη λέξη, τις οποίες το δικό του επεξηγηματικό κείμενο του TextPulse για το how AI detectors work καλύπτει ως τον γενικό μηχανισμό πίσω από ολόκληρη αυτή την κατηγορία εργαλείων. Ένας free perplexity checker δείχνει απευθείας τον ίδιο υποκείμενο αριθμό, χωρίς να ζητά από έναν συγγραφέα να εμπιστευθεί πρώτα το ποσοστό οποιουδήποτε μεμονωμένου προμηθευτή.

Γιατί η ακαδημαϊκή γραφή ενεργοποιεί λανθασμένα αυτούς τους ανιχνευτές;

Το FAQ του ZeroGPT το διατυπώνει ως εξής: "highly polished, formulaic, or low-entropy writing can resemble AI." Η ακαδημαϊκή πρόζα είναι σχεδιασμένη για ιδιαίτερα επιμελημένη, τυποποιημένη, χαμηλής entropy γραφή. Μια ενότητα μεθόδων, μια βιβλιογραφική ανασκόπηση και μια επίσημη συνοδευτική επιστολή ανταμείβουν όλες τη συμβατική διατύπωση αντί της ευρηματικής, επειδή η σύμβαση είναι αυτό που καθιστά το έγγραφο χρηστικό για τον αναγνώστη του εξαρχής, και αυτή ακριβώς η σύμβαση είναι το μοτίβο χαμηλής entropy που η δική του γνωστοποίηση του προμηθευτή κατονομάζει ως κίνδυνο.

Η ανεξάρτητη, αξιολογημένη από ομοτίμους δοκιμή δείχνει γιατί αυτή η μορφή αποτυχίας πλήττει πιο έντονα ορισμένους συγγραφείς από άλλους. Μια μελέτη του Stanford το 2023 έθεσε επτά ευρέως χρησιμοποιούμενους ανιχνευτές, μεταξύ των οποίων και το ZeroGPT, απέναντι σε 91 πραγματικές εκθέσεις TOEFL γραμμένες από μη φυσικούς ομιλητές της αγγλικής και 88 εκθέσεις γραμμένες από μαθητές της όγδοης τάξης στις ΗΠΑ. Το ZeroGPT χαρακτήρισε το 48 τοις εκατό των εκθέσεων TOEFL ως παραγόμενες από AI, έναντι 0 τοις εκατό των εκθέσεων της όγδοης τάξης, την ίδια κατεύθυνση σφάλματος που έδειξε κάθε ανιχνευτής σε εκείνη τη μελέτη, απλώς σε διαφορετικό μέγεθος.

Τίποτε σε αυτό το χάσμα δεν είναι μοναδικό για το ZeroGPT, και τίποτε σε αυτό δεν αποτελεί νέα πληροφορία. Είναι το ίδιο μοτίβο μεροληψίας εις βάρος μη φυσικών συγγραφέων που έχει τεκμηριωθεί σε ολόκληρο τον κλάδο των ανιχνευτών, και το οποίο καλύπτεται πιο αναλυτικά στη δική του σελίδα για το γιατί οι ανιχνευτές AI είναι μεροληπτικοί εις βάρος των μη φυσικών ομιλητών του TextPulse. Αυτό που δείχνει ειδικά το χάσμα για ένα δωρεάν εργαλείο για καταναλωτές είναι ότι ο ίδιος ο δηλωμένος περιορισμός του προμηθευτή, ότι η γραφή με χαμηλή εντροπία διαβάζεται ως μηχανική, δεν είναι υποθετικός. Μια αξιολογημένη από ομοτίμους δοκιμή το εντόπισε να συμβαίνει σε αυτό ακριβώς το προϊόν χρόνια πριν το τρέχον FAQ της εταιρείας ονομάσει τον μηχανισμό με τα δικά του λόγια.

Μπορεί μια βαθμολογία δωρεάν ανιχνευτή να αποδείξει οτιδήποτε για ένα έγγραφο;

Όχι από μόνη της. Ένα ποσοστό του ZeroGPT δεν αποτελεί απόδειξη για οτιδήποτε σχετικά με ένα συγκεκριμένο έγγραφο, προς καμία κατεύθυνση. Είναι η εκτίμηση ενός μοντέλου, βασισμένη σε εσωτερική δοκιμή που η εταιρεία δεν έχει δημοσιεύσει σε μορφή που να μπορεί να ελέγξει οποιοσδήποτε εκτός της εταιρείας, και εφαρμόζεται σε γραφή της οποίας το μήκος, το ιστορικό επεξεργασίας και το είδος μεταβάλλουν όλα την ανάγνωση με τρόπους που το ίδιο το FAQ του προμηθευτή ήδη αναγνωρίζει. Το να αντιμετωπίζεται μια μεμονωμένη δωρεάν βαθμολογία ως ετυμηγορία απαιτεί από αυτή τη βαθμολογία περισσότερα από όσα ισχυρίζεται η εταιρεία που την εκδίδει.

Για τι είναι πραγματικά χρήσιμη μια βαθμολογία είναι κάτι πιο περιορισμένο και πιο πεζό, μια γρήγορη, χωρίς κόστος ανάγνωση του σημείου στο οποίο βρίσκεται αυτή τη στιγμή ένα προσχέδιο, με βάση το ίδιο είδος στατιστικής μέτρησης που εκτελεί επίσης ένα επί πληρωμή θεσμικό εργαλείο, πριν το δει οποιοσδήποτε άλλος. Τα δωρεάν εργαλεία του TextPulse καλύπτουν άμεσα το ίδιο πεδίο, χωρίς να ζητούν από τον συγγραφέα να μαντέψει ποια από τις βαθμολογίες αρκετών δωρεάν ανιχνευτών πρέπει να εμπιστευτεί πρώτα.

Τα ποσοστά ακρίβειας αποκρύπτουν σε ποιους καταλήγουν τα σφάλματα και τι τα ενεργοποιεί. Η γνώση του πότε να χρησιμοποιείτε το a, το an και το the αφαιρεί ένα από τα μοτίβα που προκαλούν σήμανση, και το τι σημαίνει στην πράξη ένα ψευδώς θετικό εκτίθεται ξεχωριστά.

Τίποτε από αυτά δεν καθιστά τον αριθμό του ZeroGPT χωρίς νόημα, και τίποτε από αυτά δεν καθιστά τον αριθμό επαρκή από μόνος του. Μια βαθμολογία είναι μια αρχική εκτίμηση, παραγόμενη από μια μέθοδο την οποία η εταιρεία περιγράφει μόνο συνοπτικά και δεν έχει ανοίξει σε εξωτερική δοκιμή, πάνω σε γραφή της οποίας μόνο το είδος μπορεί να μετακινήσει το αποτέλεσμα πριν οποιοσδήποτε εμπλεκόμενος έχει κάνει κάτι λανθασμένο. Οι δύο λέξεις που μεταφέρουν τις περισσότερες πληροφορίες σε εκείνη τη σελίδα FAQ δεν είναι το ποσοστό. Είναι οι επιφυλάξεις που βρίσκονται ακριβώς δίπλα του, εσωτερικό, και να ωθεί προς. Μια δωρεάν βαθμολογία είναι αφετηρία για μια συζήτηση σχετικά με ένα προσχέδιο, όχι καταληκτικό επιχείρημα σε μια τέτοια συζήτηση.

Τι έδειξε η δική μας έρευνα

Στη μελέτη συμφωνίας ανιχνευτών της TextPulse Research, εννέα εμπορικοί ανιχνευτές AI βαθμολόγησαν τα ίδια 90 ακαδημαϊκά κείμενα. Ένα από αυτά ήταν ένα υβριδικό κείμενο 455 λέξεων: ανθρώπινη αρχή και κατακλείδα γύρω από ένα μεσαίο τμήμα 168 λέξεων γραμμένο από AI. Το ZeroGPT βαθμολόγησε αυτό το κείμενο με 7.6% AI, ενώ οι ετυμηγορίες των υπόλοιπων εργαλείων για τις ίδιες λέξεις κυμάνθηκαν από 0% έως 95.7% AI. Η πλήρης εργασία, το σώμα κειμένων και ο πίνακας βαθμολογιών κάθε εργαλείου είναι ανοικτά διαθέσιμα στο TextPulse Research.