Turnitin Similarity Score vs AI Score: Δύο Διαφορετικές Αναφορές

Μια αναφορά εμφανίζει δύο αριθμούς: έναν δείκτη ομοιότητας 3 percent και έναν δείκτη AI 88 percent. Η φυσική ανάγνωση είναι ότι πρέπει να μετρούν το ίδιο πράγμα, άρα ο χαμηλός αριθμός θα έπρεπε να σημαίνει ότι και ο υψηλός αριθμός είναι πιθανότατα λανθασμένος. Δεν λειτουργεί έτσι. Το Turnitin similarity vs AI score είναι μια σύγκριση μεταξύ δύο ξεχωριστών συστημάτων που ελέγχουν δύο ξεχωριστά πράγματα, και μια υποβολή μπορεί να έχει χαμηλή βαθμολογία στο ένα και υψηλή στο άλλο χωρίς κανένας από τους δύο αριθμούς να αποτελεί σφάλμα.

Είναι παλαιότερο από το AI one, και δημιουργήθηκε για να εντοπίζει κείμενο που ταιριάζει με κάτι που ήδη υπάρχει. Είναι νεότερο, προστέθηκε στην ίδια Similarity Report ως δική του ανεξάρτητη μέτρηση, και δημιουργήθηκε για να εκτιμά αν η πρόζα διαβάζεται ως παραγόμενη από μηχανή, ανεξάρτητα από το αν ταιριάζει με οτιδήποτε. Είναι απολύτως ανεξάρτητα και δεν επηρεάζουν το ένα το άλλο, σύμφωνα με την ίδια την τεκμηρίωση του Turnitin. Όλα τα υπόλοιπα σε αυτό το κείμενο.

Turnitin Similarity vs AI Score: Τι αναφέρει κάθε αριθμός

Το Turnitin αντιμετωπίζει τα δύο ως διαφορετικές μετρήσεις που συγκεντρώνονται σε ένα προϊόν, και όχι ως δύο όψεις ενός αποτελέσματος. Η Similarity Report συγκρίνει μια υποβολή με μια βάση δεδομένων από περιεχόμενο του ιστού, ακαδημαϊκές δημοσιεύσεις και εργασίες φοιτητών που έχουν υποβληθεί προηγουμένως, και επιστρέφει το ποσοστό του κειμένου της υποβολής που ταιριάζει με κάτι που υπάρχει ήδη σε εκείνη τη βάση δεδομένων. Η ανίχνευση AI writing χρησιμοποιεί ένα εντελώς διαφορετικό μοντέλο, το οποίο προστέθηκε στην ίδια αναφορά ως δική του ανεξάρτητη βαθμολογία, και έχει εκπαιδευτεί να κρίνει πόσο στενά η πρόζα ενός αποσπάσματος μοιάζει με γραφή παραγόμενη από μηχανή, χωρίς καμία αναφορά σε εξωτερική βάση δεδομένων. Οι πληρέστεροι μηχανισμοί του πώς ο ταξινομητής AI του Turnitin καταλήγει σε αυτόν τον αριθμό καλύπτονται ξεχωριστά, αυτό που έχει σημασία εδώ είναι ότι απαντά σε διαφορετικό ερώτημα από τη μηχανή ομοιότητας που βρίσκεται μέσα στην ίδια αναφορά.

Τι μετρά πραγματικά ο δείκτης ομοιότητας

Η ομοιότητα είναι μια άσκηση αντιστοίχισης, όχι μια κρίση. Η ίδια η καθοδήγηση του Turnitin είναι σαφής ότι το εργαλείο δεν ελέγχει για λογοκλοπή. Ελέγχει για επικάλυψη και αφήνει την ερμηνεία στον διδάσκοντα που διαβάζει την αναφορά. Ένα παράθεμα που έχει αποδοθεί σωστά, μια φράση από την ενότητα μεθόδων που μοιράζεται σε ολόκληρο ένα υποπεδίο, μια λίστα αναφορών διαμορφωμένη με τον τρόπο που κάθε εργασία στο περιοδικό διαμορφώνει τη λίστα αναφορών της, όλα αυτά μπορούν να καταγραφούν ως αντιστοιχία, επειδή το σύστημα μετρά επικαλυπτόμενες συμβολοσειρές κειμένου αντί να κρίνει αν η επικάλυψη είναι θεμιτή.

Αυτός είναι επίσης ο λόγος για τον οποίο μια βαθμολογία ομοιότητας μηδέν αποδεικνύει λιγότερα από όσα φαίνεται. Σημαίνει ότι η υποβολή δεν περιέχει κανένα μακρύ, αδιάσπαστο τμήμα κειμένου που να βρίσκεται αλλού στις ευρετηριασμένες πηγές του Turnitin. Δεν λέει τίποτα για το πώς παρήχθησαν οι προτάσεις που υπάρχουν εκεί, επειδή η παραγωγή μιας πρότασης που δεν αντιστοιχεί σε τίποτα σε μια βάση δεδομένων δεν είναι η ίδια δεξιότητα με την παραγωγή μιας πρότασης που ένα γλωσσικό μοντέλο δεν θα είχε προβλέψει.

Τι Μετρά Πραγματικά η Βαθμολογία AI

Η βαθμολογία AI δεν έχει βάση δεδομένων με την οποία να συγκριθεί. Ένας ταξινομητής διαβάζει το υποβληθέν κείμενο και εκτιμά, από μοτίβα που έμαθε μέσα από παραδείγματα ανθρώπινης και παραγόμενης από AI γραφής, πόσο πιθανό είναι το κείμενο αυτό να προέρχεται από μοντέλο και όχι από άνθρωπο. Τίποτα σε αυτή την εκτίμηση δεν εξαρτάται από το αν η ακριβής πρόταση έχει εμφανιστεί ποτέ οπουδήποτε στο παρελθόν. Μια πρόταση μπορεί να είναι απολύτως μοναδική, να μην την έχει πληκτρολογήσει κανείς μέχρι αυτή την υποβολή, και παρ' όλα αυτά να διαβάζεται ως στατιστικά τυπική έξοδος AI αν οι επιλογές λέξεων και ο ρυθμός της ακολουθούν το μοτίβο που ένα γλωσσικό μοντέλο τείνει να παράγει.

Αυτό είναι το ίδιο στατιστικό πεδίο που καλύπτεται πλήρως στη ευρύτερη περιγραφή του πώς λειτουργούν πραγματικά οι ανιχνευτές AI: προβλεψιμότητα σε επίπεδο λέξης και ρυθμός σε επίπεδο πρότασης, ενσωματωμένα σε μία συνολική βαθμολογία εγγράφου. Η εκδοχή αυτού του ταξινομητή από το Turnitin είναι ιδιόκτητη, αλλά η υποκείμενη παραδοχή, ότι το παραγόμενο κείμενο τείνει να είναι πιο στατιστικά τυπικό από την ανθρώπινη γραφή, είναι η ίδια που λειτουργεί κάτω από κάθε εργαλείο αυτής της κατηγορίας.

	Βαθμολογία Ομοιότητας	Βαθμολογία AI
Τι μετρά	Πόσο από το κείμενο της υποβολής ταιριάζει με άλλα ευρετηριασμένα έγγραφα	Πόσο στενά η πρόζα μοιάζει με στατιστικά τυπική γραφή παραγόμενη από AI
Τι ενεργοποιεί έναν υψηλό αριθμό	Μεγάλα αποσπάσματα σε εισαγωγικά, κοινή διατύπωση ειδική για το πεδίο, υλικό που έχει επαναχρησιμοποιηθεί, ή αντιστοίχιση με προηγούμενη υποβολή	Ομοιόμορφος ρυθμός προτάσεων και σταθερά προβλέψιμες επιλογές λέξεων σε όλο το έγγραφο
Τι δεν αποδεικνύει ένας υψηλός αριθμός	Ότι το αντιστοιχισμένο κείμενο χρησιμοποιήθηκε ακατάλληλα. Το υλικό που έχει παρατεθεί σωστά μπορεί ακόμη να καταγραφεί ως αντιστοίχιση.	Ότι οποιαδήποτε μεμονωμένη πρόταση παρήχθη από AI. Ο ταξινομητής διαβάζει το συνολικό μοτίβο του εγγράφου, όχι μία γραμμή μεμονωμένα.

Μπορεί μια εργασία να έχει 0 Percent Ομοιότητας και 90 Percent Βαθμολογία AI;

Ναι, και ο συνδυασμός δεν είναι σφάλμα. Οι δύο βαθμολογίες απαντούν σε διαφορετικά ερωτήματα, επομένως είναι δυνατοί και οι τέσσερις συνδυασμοί υψηλού και χαμηλού, και καθένας από αυτούς υποδηλώνει κάτι διαφορετικό για τον τρόπο με τον οποίο παρήχθη το κείμενο.

• Χαμηλή ομοιότητα, χαμηλή βαθμολογία AI, συνηθισμένη πρωτότυπη γραφή που διαβάζεται επίσης με την τυπική ανθρώπινη ποικιλία. Η συνηθέστερη περίπτωση για το μεγαλύτερο μέρος της γνήσιας φοιτητικής εργασίας.
• Χαμηλή ομοιότητα, υψηλή βαθμολογία AI, πρωτότυπες προτάσεις, όχι αντιγραμμένες από πουθενά, που διαβάζονται ως στατιστικά προβλέψιμες με τον τρόπο που τείνει να είναι το παραγόμενο κείμενο. Η υπογραφή της αμετάβλητης γραφής AI που κανείς δεν παρέφρασε από υπάρχουσα πηγή.
• Υψηλή ομοιότητα, χαμηλή βαθμολογία AI, κείμενο που ταιριάζει στενά με μια υπάρχουσα ανθρώπινη πηγή, χωρίς τη στατιστική επιπεδότητα που ένας ταξινομητής συσχετίζει με τη δημιουργία. Αντιγραμμένο κείμενο, που εντοπίστηκε από το παλαιότερο εργαλείο και όχι από το νεότερο.
• Υψηλή ομοιότητα, υψηλή βαθμολογία AI, κείμενο που ταιριάζει με μια υπάρχουσα πηγή η οποία ήταν η ίδια παραγόμενη από AI, για παράδειγμα μια εργασία γραμμένη από AI που είχε υποβληθεί προηγουμένως ή μια σελίδα κειμένου παραγόμενου από AI που είχε ήδη ευρετηριαστεί από τον ανοιχτό ιστό.

Κανένας από αυτούς τους συνδυασμούς δεν απαιτεί κάτι ασυνήθιστο από την πλευρά του λογισμικού. Προκύπτουν από το γεγονός ότι το ένα σύστημα ελέγχει για αντιστοίχιση και το άλλο ελέγχει για μοτίβο, και ένα κείμενο μπορεί να φέρει είτε την μία ιδιότητα, είτε και τις δύο, είτε καμία από τις δύο.

Τι Αποδεικνύει, και Τι Δεν Αποδεικνύει, ένα Υψηλό AI Score

Ένα υψηλό AI score είναι μια στατιστική εκτίμηση, όχι μια ομολογία που εξάγεται από το κείμενο. Δηλώνει ότι η πρόζα που βρίσκεται μπροστά στον ταξινομητή μοιάζει, ως προς τις λεξιλογικές επιλογές και τον ρυθμό της, με το είδος γραφής που το μοντέλο εκπαιδεύτηκε να συσχετίζει με παραγωγή από AI. Δεν ταυτοποιεί μια συγκεκριμένη πρόταση ως σίγουρα γραμμένη από μηχανή, και δεν γνωρίζει τίποτε για το πώς παρήχθη πράγματι το έγγραφο, μόνο για το πώς διαβάζεται αφού ολοκληρωθεί. Το TextPulse τηρεί την ίδια θέση για τους δικούς του αριθμούς, αυτό που αναφέρει είναι ένα εκτιμώμενο Human Score που υπολογίζεται από το κείμενο μπροστά του, όχι μια κρίση για το ποιο εργαλείο, αν υπήρξε κάποιο, άγγιξε το έγγραφο.

Η πρακτική αντίδραση σε οποιονδήποτε από τους δύο αριθμούς, είτε σε χαμηλό similarity score είτε σε υψηλό AI score, είναι η ίδια, να αντιμετωπιστεί ως λόγος για πιο προσεκτικό έλεγχο, όχι ως εύρημα που πρέπει να γίνει δεκτό ή να απορριφθεί με την πρώτη ματιά. Τα προσχέδια, οι σημειώσεις και το ιστορικό εκδόσεων δείχνουν πώς γράφτηκε πράγματι ένα έγγραφο με τρόπο που κανένα ποσοστό δεν μπορεί ποτέ να δείξει, σε καμία από τις δύο αναφορές. Όποιος θέλει να δει σε τι ακριβώς αντιδρά ένας ταξινομητής στο δικό του προσχέδιο μπορεί να δει το ίδιο μοτίβο σε επίπεδο λέξης για τον εαυτό του με ένα free perplexity checker, πολύ πριν παραχθεί οποιαδήποτε αναφορά.

Η free tools collection του TextPulse καλύπτει τα άλλα στατιστικά επίπεδα που αξίζει να ελεγχθούν πριν ένα προσχέδιο φτάσει οπουδήποτε κοντά σε διδάσκοντα, όχι μόνο τα δύο που συγκρίνονται εδώ.

Αφού διαχωριστούν οι δύο αριθμοί, το επόμενο ερώτημα είναι τι θεωρείται καλό Turnitin score. Για τον άλλο ανιχνευτή που συναντούν συχνότερα οι φοιτητές, το πώς λειτουργεί το GPTZero καλύπτεται στη δική του σελίδα.

Οι δύο αριθμοί θα συνεχίσουν να βρίσκονται ο ένας δίπλα στον άλλον στην ίδια αναφορά, και θα συνεχίσουν να διαβάζονται ως ένας αριθμός από ανθρώπους που βιάζονται. Το να γνωρίζει κανείς σε ποια ερώτηση απαντά στην πραγματικότητα ο καθένας είναι αυτό που μετατρέπει ένα συγκεχυμένο ζεύγος ποσοστών σε δύο ξεχωριστά, χρήσιμα στοιχεία πληροφορίας.