Δωρεάν Ελεγκτής Perplexity Μετρήστε την προβλεψιμότητα σε επίπεδο λέξης

Πόσο έκπληκτο είναι ένα γλωσσικό μοντέλο από κάθε επόμενη λέξη σε μια πρόταση. Το μοντέλο αποδίδει μια πιθανότητα σε κάθε υποψήφια λέξη πριν συνεχίσει να διαβάζει, και η perplexity συνοψίζει πόσο μακριά συνήθως πέφτει η κορυφαία εικασία του από τη λέξη που εμφανίζεται πραγματικά. Οικείες διατυπώσεις κρατούν τις εικασίες ενός μοντέλου κοντά, άρα το σκορ είναι χαμηλό. Συγκεκριμένες, λιγότερο συχνές επιλογές λέξεων κρατούν το μοντέλο πιο απρόβλεπτο, άρα το σκορ ανεβαίνει. Πρόκειται για μέτρηση σε επίπεδο λέξης, δύο αποσπάσματα μπορούν να μοιράζονται την ίδια δομή πρότασης και παρ' όλα αυτά να καταλήγουν σε διαφορετικά σκορ, μόλις κοιτάξετε ποιες λέξεις τα γεμίζουν.

Όχι, και η σελίδα το λέει ξεκάθαρα. Η γνήσια perplexity απαιτεί την εκτέλεση ενός πραγματικού γλωσσικού μοντέλου πάνω στο κείμενό σας και τη βαθμολόγηση των προβλέψεων της επόμενης λέξης, κάτι που δεν μπορεί να κάνει με ακρίβεια μια σελίδα περιηγητή. Αυτό που μπορεί να μετρηθεί απευθείας είναι το συστατικό που ελέγχει πραγματικά ένας συγγραφέας, το εύρος λεξιλογίου. Αυτό αναφέρεται εδώ, ένα σκορ MATTR ανθεκτικό στο μήκος, ο λόγος τύπου-διακριτού (type-token ratio), και οι λέξεις που επαναλαμβάνει περισσότερο το προσχέδιό σας, και αναφέρεται ως εκτίμηση αντί ως ισχυρισμός.

Ο λόγος type-token ratio διαιρεί τον αριθμό των διακριτών λέξεων σε ένα απόσπασμα, τους τύπους, με τον συνολικό αριθμό λέξεων, τα tokens, μια παράγραφος εκατό λέξεων που βασίζεται σε εβδομήντα διακριτές λέξεις παίρνει 0.70. Ο αριθμός πέφτει αυτόματα όσο μεγαλώνει ένα απόσπασμα, επειδή τα άρθρα, οι αντωνυμίες και οι συνδέσεις πρέπει να επαναλαμβάνονται ανεξάρτητα από το πόσο ποικίλο είναι το υπόλοιπο λεξιλόγιο. Αυτό καθιστά το απλό TTR ακατάλληλο για σύγκριση μιας παραγράφου με ένα ολόκληρο κεφάλαιο, γι' αυτό το πρωτοσέλιδο σκορ σε αυτή τη σελίδα είναι MATTR αντί για ακατέργαστο TTR.

Όχι. Ο ελεγκτής αναφέρει μόνο στατιστικά λεξιλογίου, μια MATTR βαθμολογία, έναν type-token ratio και μια λίστα επαναλαμβανόμενων λέξεων. Δεν κρίνει τη συγγραφική ιδιότητα. Η επαναληπτική διατύπωση εμφανίζεται συχνά σε αμοντάριστα προσχέδια AI, γι' αυτό ο έλεγχος είναι χρήσιμος, αλλά πολλοί ανθρώπινοι συγγραφείς επαναλαμβάνονται επίσης, και ένα ποικίλο λεξιλόγιο είναι εφικτό τόσο από ένα μοντέλο όσο και από έναν άνθρωπο. Οι αριθμοί περιγράφουν το κείμενο, δεν φέρουν κανέναν ισχυρισμό για το ποιος ή τι το παρήγαγε.

Όχι. Το σκορ είναι συνάρτηση των λέξεων στη σελίδα, υπολογίζεται με τον ίδιο τρόπο κάθε φορά, ανεξάρτητα από το πόσες φορές το εκτελείτε. Αυτό που μετακινεί τον αριθμό είναι η ίδια η επεξεργασία του λεξιλογίου, αντικαταστήστε ένα επαναλαμβανόμενο ρήμα με ένα πιο συγκεκριμένο και το σκορ αλλάζει επειδή άλλαξε το κείμενο, και για κανέναν άλλο λόγο.

Αλλάξτε τη φράση γύρω από έναν όρο, ποτέ τον ίδιο τον όρο. Ακαδημαϊκός λόγος βασίζεται σε μια ορισμένη έννοια, διατηρώντας ένα ακριβές όνομα κάθε φορά που εμφανίζεται, η αντικατάστασή του με συνώνυμο στην τέταρτη αναφορά διαβάζεται από έναν αξιολογητή ως ανακρίβεια αντί για ύφος. Η παραγωγική ποικιλία βρίσκεται στα ρήματα, στους συνδέσμους και στις περιγραφές γύρω από αυτούς τους σταθερούς όρους. Μια παράγραφος που επαναλαμβάνει "τα αποτελέσματα δείχνουν" τρεις φορές έχει μια πραγματική λύση: τα αποτελέσματα μπορούν να επιβεβαιώσουν, να περιορίσουν, να αντικρούσουν ή να περιπλέξουν, και κάθε ένα από αυτά τα ρήματα λέει κάτι πιο ακριβές από ό,τι ποτέ το "δείχνουν".