Turnitin Similarity Score vs AI Score: Δύο Διαφορετικές Αναφορές
Μια βαθμολογία ομοιότητας και μια AI score απαντούν σε διαφορετικά ερωτήματα, έτσι ένα κείμενο μπορεί να έχει χαμηλή βαθμολογία στο ένα και υψηλή στο άλλο χωρίς κανένας αριθμός να είναι λανθασμένος. Τι μετρά το καθένα, τι το ενεργοποιεί και τι αποδεικνύει και τι δεν αποδεικνύει ένας υψηλός αριθμός.
Μια αναφορά εμφανίζεται με δύο αριθμούς: έναν δείκτη ομοιότητας 3 τοις εκατό και έναν δείκτη AI 88 τοις εκατό. Η φυσική ανάγνωση είναι ότι πρέπει να μετρούν το ίδιο πράγμα, άρα ο χαμηλός αριθμός θα πρέπει να σημαίνει ότι και ο υψηλός αριθμός είναι μάλλον λανθασμένος. Δεν λειτουργεί έτσι. Η σύγκριση Turnitin similarity vs AI score είναι μια σύγκριση ανάμεσα σε δύο ξεχωριστά συστήματα που ελέγχουν δύο ξεχωριστά πράγματα, και μια υποβολή μπορεί να έχει χαμηλή βαθμολογία στο ένα και υψηλή στο άλλο χωρίς κανένας από τους δύο αριθμούς να αποτελεί σφάλμα.
Είναι παλαιότερο από το AI one, και κατασκευάστηκε για να εντοπίζει κείμενο που ταιριάζει με κάτι που ήδη υπάρχει. Είναι νεότερο, προστέθηκε στην ίδια Similarity Report ως δική του ανεξάρτητη μέτρηση, και κατασκευάστηκε για να εκτιμά αν η πρόζα διαβάζεται ως παραγόμενη από μηχανή, ανεξάρτητα από το αν ταιριάζει με οτιδήποτε. Είναι εντελώς ανεξάρτητα και δεν επηρεάζουν το ένα το άλλο, σύμφωνα με την τεκμηρίωση της ίδιας της Turnitin. Όλα τα υπόλοιπα σε αυτό το κείμενο.
Turnitin Similarity έναντι AI Score: Τι αναφέρει κάθε αριθμός
Το Turnitin αντιμετωπίζει τα δύο ως διαφορετικές μετρήσεις που συνδυάζονται σε ένα προϊόν, και όχι ως δύο όψεις ενός αποτελέσματος. Η Similarity Report συγκρίνει μια υποβολή με μια βάση δεδομένων από περιεχόμενο του ιστού, ακαδημαϊκές δημοσιεύσεις και εργασίες φοιτητών που έχουν υποβληθεί προηγουμένως, και επιστρέφει το ποσοστό του κειμένου της υποβολής που ταιριάζει με κάτι ήδη σε εκείνη τη βάση δεδομένων. Η ανίχνευση γραφής AI εκτελεί ένα εντελώς διαφορετικό μοντέλο, το οποίο έχει προστεθεί στην ίδια αναφορά ως δική του ανεξάρτητη βαθμολογία, ένα μοντέλο εκπαιδευμένο να κρίνει πόσο στενά η πρόζα ενός αποσπάσματος μοιάζει με γραφή παραγόμενη από μηχανή, χωρίς καμία αναφορά σε εξωτερική βάση δεδομένων. Οι πληρέστεροι μηχανισμοί του πώς ο ταξινομητής AI του Turnitin καταλήγει σε αυτόν τον αριθμό καλύπτονται ξεχωριστά, αυτό που έχει σημασία εδώ είναι ότι απαντά σε διαφορετικό ερώτημα από τη μηχανή ομοιότητας που βρίσκεται μέσα στην ίδια αναφορά.
Τι μετρά πραγματικά η βαθμολογία Similarity
Η Similarity είναι μια άσκηση αντιστοίχισης, όχι μια κρίση. Η ίδια η καθοδήγηση του Turnitin είναι σαφής ότι το εργαλείο δεν ελέγχει για λογοκλοπή. Ελέγχει για επικάλυψη και αφήνει την ερμηνεία στον διδάσκοντα που διαβάζει την αναφορά. Ένα παράθεμα που έχει επισημανθεί σωστά, μια φράση της ενότητας μεθόδων που μοιράζεται σε ολόκληρο ένα υποπεδίο, μια λίστα αναφορών μορφοποιημένη με τον τρόπο που κάθε εργασία στο περιοδικό μορφοποιεί τη λίστα αναφορών της, όλα αυτά μπορούν να καταγραφούν ως αντιστοίχιση, επειδή το σύστημα μετρά επικαλυπτόμενες συμβολοσειρές κειμένου αντί να κρίνει αν η επικάλυψη είναι θεμιτή.
Αυτός είναι επίσης ο λόγος για τον οποίο μια βαθμολογία ομοιότητας ίση με μηδέν αποδεικνύει λιγότερα από όσα φαίνεται να αποδεικνύει. Σημαίνει ότι η υποβολή δεν περιέχει κανένα μακρύ, αδιάσπαστο τμήμα κειμένου που να έχει βρεθεί αλλού στις ευρετηριασμένες πηγές του Turnitin. Δεν λέει τίποτα για το πώς παρήχθησαν οι προτάσεις που υπάρχουν εκεί, επειδή η παραγωγή μιας πρότασης που δεν ταιριάζει με τίποτα σε μια βάση δεδομένων δεν είναι η ίδια δεξιότητα με την παραγωγή μιας πρότασης που ένα γλωσσικό μοντέλο δεν θα είχε προβλέψει.
Ανθρωποποιήστε τη δική σας εργασία
Μετασχηματίστε το κείμενό σας με τη βοήθεια AI και κάντε το να ακούγεται ανθρώπινο, χωρίς να αγγίξετε σημαντικές λέξεις ή παραπομπές.
Τι Μετρά Πραγματικά η Βαθμολογία AI
Η βαθμολογία AI δεν έχει βάση δεδομένων για να συγκριθεί με αυτήν. Ένας ταξινομητής διαβάζει το υποβληθέν πεζό κείμενο και εκτιμά, από μοτίβα που έμαθε μέσα από παραδείγματα ανθρώπινης γραφής και γραφής που παρήχθη από AI, πόσο πιθανό είναι το πεζό αυτό κείμενο να προέρχεται από ένα μοντέλο και όχι από έναν άνθρωπο. Τίποτα σε αυτή την εκτίμηση δεν εξαρτάται από το αν η ακριβής πρόταση έχει εμφανιστεί ποτέ οπουδήποτε στο παρελθόν. Μια πρόταση μπορεί να είναι απολύτως μοναδική, να μην την έχει πληκτρολογήσει ποτέ κανείς μέχρι αυτή την υποβολή, και παρ' όλα αυτά να διαβάζεται ως στατιστικά τυπική έξοδος AI, αν οι επιλογές των λέξεων και ο ρυθμός της ακολουθούν το μοτίβο που ένα γλωσσικό μοντέλο τείνει να παράγει.
Αυτό είναι το ίδιο στατιστικό πεδίο που καλύπτεται πλήρως στη ευρύτερη περιγραφή του πώς λειτουργούν πραγματικά οι ανιχνευτές AI: προβλεψιμότητα σε επίπεδο λέξης και ρυθμός σε επίπεδο πρότασης, ενσωματωμένα σε μία συνολική βαθμολογία εγγράφου. Η εκδοχή αυτού του ταξινομητή από το Turnitin είναι ιδιόκτητη, αλλά η υποκείμενη παραδοχή, ότι το παραγόμενο κείμενο τείνει να είναι στατιστικά πιο τυπικό από την ανθρώπινη γραφή, είναι η ίδια που λειτουργεί κάτω από κάθε εργαλείο αυτής της κατηγορίας.
| Βαθμολογία Ομοιότητας | Βαθμολογία AI | |
|---|---|---|
| Τι μετρά | Πόσο μεγάλο μέρος του κειμένου της υποβολής ταιριάζει με άλλα ευρετηριασμένα έγγραφα | Πόσο στενά η πρόζα μοιάζει με στατιστικά τυπική γραφή παραγόμενη από AI |
| Τι ενεργοποιεί έναν υψηλό αριθμό | Μεγάλα αποσπάσματα σε εισαγωγικά, κοινή διατύπωση ειδική για το πεδίο, επαναχρησιμοποιημένο υλικό ή αντιστοίχιση με προηγούμενη υποβολή | Ομοιόμορφος ρυθμός προτάσεων και σταθερά προβλέψιμες επιλογές λέξεων σε όλο το έγγραφο |
| Τι δεν αποδεικνύει ένας υψηλός αριθμός | Ότι το αντιστοιχισμένο κείμενο χρησιμοποιήθηκε ακατάλληλα. Το υλικό που έχει παρατεθεί σωστά μπορεί ακόμη να καταγραφεί ως αντιστοίχιση. | Ότι οποιαδήποτε μεμονωμένη πρόταση δημιουργήθηκε από AI. Ο ταξινομητής διαβάζει το συνολικό μοτίβο του εγγράφου, όχι μία γραμμή απομονωμένα. |
Μπορεί μια εργασία να έχει 0 Percent Ομοιότητα και 90 Percent Βαθμολογία AI;
Ναι, και ο συνδυασμός δεν είναι σφάλμα. Οι δύο βαθμολογίες απαντούν σε διαφορετικά ερωτήματα, επομένως είναι δυνατοί και οι τέσσερις συνδυασμοί υψηλού και χαμηλού, και καθένας υποδηλώνει κάτι διαφορετικό για τον τρόπο με τον οποίο παρήχθη το κείμενο.
- Χαμηλή ομοιότητα, χαμηλή βαθμολογία AI: συνηθισμένη πρωτότυπη γραφή που επίσης διαβάζεται με την τυπική ανθρώπινη ποικιλία. Η συνηθέστερη περίπτωση για το μεγαλύτερο μέρος της γνήσιας φοιτητικής εργασίας.
- Χαμηλή ομοιότητα, υψηλή βαθμολογία AI: πρωτότυπες προτάσεις, που δεν έχουν αντιγραφεί από πουθενά, αλλά διαβάζονται ως στατιστικά προβλέψιμες με τον τρόπο που τείνει να διαβάζεται το παραγόμενο κείμενο. Το χαρακτηριστικό της αδιόρθωτης γραφής AI που κανείς δεν παρέφρασε από υπάρχουσα πηγή.
- Υψηλή ομοιότητα, χαμηλή βαθμολογία AI: κείμενο που ταιριάζει στενά με μια υπάρχουσα ανθρώπινη πηγή, χωρίς τη στατιστική επιπεδότητα που ένας ταξινομητής συσχετίζει με τη δημιουργία. Αντιγραμμένο κείμενο, που εντοπίζεται από το παλαιότερο εργαλείο και όχι από το νεότερο.
- Υψηλή ομοιότητα, υψηλή βαθμολογία AI: κείμενο που ταιριάζει με μια υπάρχουσα πηγή η οποία ήταν η ίδια παραγόμενη από AI, για παράδειγμα μια προηγουμένως υποβληθείσα εργασία γραμμένη από AI ή μια σελίδα κειμένου παραγόμενου από AI που έχει ήδη ευρετηριαστεί από τον ανοιχτό ιστό.
Κανένας από αυτούς τους συνδυασμούς δεν απαιτεί κάτι ασυνήθιστο από την πλευρά του λογισμικού. Προκύπτουν από το γεγονός ότι το ένα σύστημα ελέγχει για αντιστοίχιση και το άλλο ελέγχει για μοτίβο, και ένα κείμενο μπορεί να φέρει είτε την μία ιδιότητα, είτε και τις δύο, είτε καμία.
Τι αποδεικνύει, και τι δεν αποδεικνύει, μια Υψηλή AI Score
Μια υψηλή AI score είναι μια στατιστική εκτίμηση, όχι μια ομολογία που εξάγεται από το κείμενο. Δηλώνει ότι η πρόζα μπροστά στον ταξινομητή μοιάζει, στις επιλογές λέξεων και στον ρυθμό της, με το είδος γραφής που το μοντέλο εκπαιδεύτηκε να συσχετίζει με παραγωγή από AI. Δεν ταυτοποιεί μια συγκεκριμένη πρόταση ως σίγουρα γραμμένη από μηχανή, και δεν γνωρίζει τίποτε για το πώς παρήχθη πραγματικά το έγγραφο, μόνο για το πώς διαβάζεται όταν έχει ολοκληρωθεί. Το TextPulse τηρεί την ίδια θέση για τους δικούς του αριθμούς, αυτό που αναφέρει είναι μια εκτιμώμενη Human Score που υπολογίζεται από το κείμενο μπροστά του, όχι μια κρίση για το ποιο εργαλείο, αν υπήρξε κάποιο, άγγιξε το έγγραφο.
Η πρακτική αντίδραση σε οποιονδήποτε από τους δύο αριθμούς, είτε σε ένα χαμηλό similarity score είτε σε ένα υψηλό AI score, είναι η ίδια, να αντιμετωπιστεί ως λόγος για πιο προσεκτικό έλεγχο, όχι ως εύρημα που πρέπει να γίνει δεκτό ή να απορριφθεί με την πρώτη ματιά. Τα προσχέδια, οι σημειώσεις και το ιστορικό εκδόσεων μαρτυρούν τον τρόπο με τον οποίο γράφτηκε πραγματικά ένα έγγραφο με τρόπο που κανένα ποσοστό δεν μπορεί ποτέ να αποδώσει, σε καμία από τις δύο αναφορές. Όποιος θέλει να δει τι ακριβώς ενεργοποιεί έναν ταξινομητή στο δικό του προσχέδιο μπορεί να παρατηρήσει το ίδιο μοτίβο σε επίπεδο λέξης με ένα free perplexity checker, πολύ πριν παραχθεί οποιαδήποτε αναφορά.
Η free tools collection του TextPulse καλύπτει τα άλλα στατιστικά επίπεδα που αξίζει να ελεγχθούν πριν ένα προσχέδιο φτάσει κοντά σε διδάσκοντα, όχι μόνο τα δύο που συγκρίνονται εδώ.
Αφού διαχωριστούν οι δύο αριθμοί, το επόμενο ερώτημα είναι τι θεωρείται καλό Turnitin score. Για τον άλλο ανιχνευτή που συναντούν συχνότερα οι φοιτητές, το πώς λειτουργεί το GPTZero καλύπτεται στη δική του σελίδα.
Οι δύο αριθμοί θα συνεχίσουν να βρίσκονται ο ένας δίπλα στον άλλον στην ίδια αναφορά, και θα συνεχίσουν να διαβάζονται ως ένας αριθμός από ανθρώπους που βιάζονται. Το να γνωρίζει κανείς σε ποια ερώτηση απαντά στην πραγματικότητα ο καθένας είναι αυτό που μετατρέπει ένα συγκεχυμένο ζεύγος ποσοστών σε δύο ξεχωριστά, χρήσιμα στοιχεία πληροφόρησης.
Συχνές ερωτήσεις
Turnitin similarity vs AI score εξαρτάται από το τι ελέγχει το καθένα. Η βαθμολογία ομοιότητας αναφέρει πόσο από μια υποβολή ταιριάζει με κείμενο που υπάρχει ήδη στη βάση δεδομένων του Turnitin με ιστοσελίδες, δημοσιεύσεις και παλαιότερες φοιτητικές εργασίες. Η AI score είναι μια ξεχωριστή, ανεξάρτητη μέτρηση που εκτιμά πόσο το κείμενο διαβάζεται ως παραγόμενο από μηχανή, χωρίς καμία αναφορά σε βάση δεδομένων. Η τεκμηρίωση του Turnitin δηλώνει ότι οι δύο τιμές δεν επηρεάζουν η μία την άλλη.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
