Vérificateur de perplexité gratuit Mesurer la prévisibilité au niveau du mot

La modélisation du langage a donné à la perplexité sa fonction d'origine, évaluer dans quelle mesure un modèle prédit le jeton suivant d'une séquence qu'il n'a pas encore vue. Un modèle qui continue à bien deviner, parce que le texte qui suit s'appuie sur des formulations familières et éprouvées, produit un nombre faible. Un modèle dont la meilleure hypothèse manque sans cesse, parce que l'auteur choisit des mots précis et moins courants, produit un nombre plus élevé. Le terme a quitté l'ingénierie lorsque les lecteurs ont remarqué une correspondance approximative, un texte qui paraît prévisible à une machine paraît souvent prévisible à une personne qui tourne les pages, pour la même raison sous-jacente.

Une page web ne peut pas exécuter un véritable modèle de langage, donc ce vérificateur mesure le seul élément de la perplexité accessible sans modèle, à savoir la part de votre vocabulaire qui se répète. La mesure de base, le ratio type-token, compte les mots distincts par rapport au nombre total de mots, et elle présente un défaut connu, le ratio baisse automatiquement à mesure qu'un passage s'allonge, puisque les mots fonctionnels doivent revenir, quelle que soit la variation du reste par l'auteur. Le MATTR corrige cela en faisant glisser une fenêtre fixe de cinquante mots sur le texte et en moyennant le ratio à chaque position, ce qui met un résumé court et un chapitre entier sur un pied d'égalité comparable. Un résultat faible renvoie presque toujours à la même cause, un petit nombre de mots qui fait l'essentiel du travail.

Toute répétition n'est pas un défaut à corriger. Une étude qui nomme un concept une fois doit continuer à le nommer exactement ainsi pour le reste du manuscrit, et un relecteur qui voit ce nom varier entre des synonymes y lit un problème de définition plutôt qu'un choix de style. La répétition qu'il vaut la peine de supprimer se situe autour de ces termes fixes plutôt qu'à l'intérieur d'eux, les verbes, les connecteurs, les expressions descriptives qui assurent le travail environnant. Remplacer un verbe usé par un verbe précis améliore le score comme effet secondaire du fait que la phrase dit réellement davantage, et c'est dans cet ordre que ces deux choses devraient se produire.

Le choix des mots n'est qu'un axe d'une prose qui se lit naturellement. Le rythme au niveau de la phrase est mesuré séparément par le vérificateur de burstiness, le vocabulaire précis que la rédaction par IA emploie de façon excessive reçoit son propre traitement avec le nettoyeur de mots IA. Quand un wording prévisible doit être réécrit plutôt que mesuré, c'est le rôle du humanizer TextPulse.