Turnitin類似度スコアとAIスコア, 2つの異なるレポート

レポートには2つの数値が示されます。類似度スコアは3 percent、AIスコアは88 percentです。自然な理解としては、これらは同じものを測定しているはずであり、したがって低い数値は高い数値もおそらく誤りであることを意味するはずだと考えられます。しかし、そうはなりません。Turnitin similarity vs AI score は、2つの別個のシステムによる比較であり、それぞれが別個の事柄を確認します。そのため、提出物が一方で低く、もう一方で高いスコアを示しても、どちらの数値も誤りではありえます。

これはAIのものより古く、すでに存在する何かと一致するテキストを検出するために作られました。これはより新しく、同じ Similarity Report に独立した測定値として追加され、何かと一致するかどうかにかかわらず、散文が機械生成されたものとして読めるかどうかを推定するために作られました。Turnitin自身の文書によれば、これらは完全に独立しており、互いに影響しません。この記事の他のすべて。

Turnitin Similarity vs AI Score: 各数値が報告するもの

Turnitin は、この2つを1つの結果の2つの見方ではなく、1つの製品にまとめられた異なる測定値として扱います。Similarity Report は、提出物をウェブコンテンツ、学術出版物、過去に提出された学生論文のデータベースと比較し、提出物のテキストのうち、そのデータベース内の既存の何かと一致する割合を返します。AI writing detection はまったく別のモデルを実行し、同じレポート内に独立したスコアとして追加されます。このモデルは、ある一節の散文が機械生成の文章にどれほど似ているかを判断するよう訓練されており、外部データベースを一切参照しません。Turnitin の AI classifier がその数値に到達する仕組みの詳細な仕組みは別に扱われます。ここで重要なのは、同じレポート内にある similarity engine とは別の問いに答えているという点です。

類似度スコアは実際には何を測定するのか

類似性は、照合の作業であって、判断ではない。Turnitin 自身のガイダンスは、このツールが盗用を確認しないことを明確に述べている。これは重複を確認し、その解釈はレポートを読む教員に委ねる。正しく区切られた引用、ある専門分野全体で共有される方法論の一節、ジャーナルのすべての論文が同じ形式で並べる参考文献一覧, これらはいずれも一致として記録され得る。なぜなら、このシステムは重なり合う文字列を、重複が正当かどうかを判断するのではなく、数えるからである。

それが、類似性スコアがゼロであっても見た目ほど多くを証明しない理由でもある。それは、提出物に Turnitin の索引化されたソースのどこにも見られない、長く途切れないテキストの連続が含まれていないことを意味するにすぎない。そこにある文がどのように生成されたかについては何も示さない。なぜなら、データベースのどれにも一致しない文を生成することは、言語モデルが予測しなかったであろう文を生成することと同じ技能ではないからである。

AI スコアが実際に測定するもの

AI スコアには、照合すべきデータベースがない。分類器は提出された文章を読み、人間と AI 生成の文章の例を通じて学習したパターンから、その文章が人ではなくモデルから来た可能性がどれほど高いかを推定する。その推定は、正確な文が以前にどこかに現れたことがあるかどうかには一切依存しない。ある文は完全に独自であり、この提出まで誰も入力したことがなくても、その語の選択とリズムが言語モデルが生成しがちなパターンに従っていれば、統計的には AI 出力に典型的だと読まれ得る。

これは、AI 検出器が実際にどのように機能するかについてのより広い説明で完全に扱われているのと同じ統計的領域である。語レベルの予測可能性と文レベルのリズムが、一つの文書スコアにまとめられている。Turnitin のこの分類器は独自仕様だが、生成されたテキストは人間の文章よりも統計的に典型的である傾向があるという根本的な前提は、この種のすべてのツールの下で働いている同じものである。

	類似度スコア	AIスコア
何を測定するか	提出物のテキストのうち、他の索引化された文書と一致する割合	その散文が、統計的に典型的なAI生成文にどの程度似ているか
高い数値を引き起こすもの	長い引用、当該分野で一般的な言い回し、再利用された素材、または以前の提出物との一致	文書全体にわたる均一な文のリズムと、一貫して予測可能な語の選択
高い数値が証明しないこと	一致したテキストが不適切に使用されたこと。適切に引用された素材でも、一致として記録されることがある。	いずれか一つの文がAIによって生成されたこと。分類器は文書全体のパターンを読み取るのであり、一行だけを独立して見るわけではない。

論文は0 Percentの類似度と90 PercentのAIスコアを同時に持ちうるか？

はい、その組み合わせは不具合ではない。二つのスコアは異なる問いに答えるため、高低の四つの組み合わせはいずれも可能であり、それぞれがテキストがどのように作成されたかについて異なる意味を持つ。

• 低い類似度、低いAIスコア, 通常のオリジナルな文章であり、かつ典型的な人間の変化を伴って読めるもの。多くの真正な学生の課題における一般的なケースである。
• 低い類似度、高いAIスコア, どこからもコピーされていないオリジナルの文であるが、生成されたテキストに見られる傾向のように、統計的に予測可能に読めるもの。既存の情報源から誰も言い換えなかった、未編集のAI文章の特徴である。
• 高い類似度、低いAIスコア, 生成に関連づけられる統計的な平板さを伴わずに、既存の人間が書いた情報源と高い一致を示すテキスト。コピーされたテキストであり、より新しいツールではなく古いツールによって検出されたもの。
• 高い類似度、高いAIスコア, それ自体がAI生成であった既存の情報源と一致するテキスト。たとえば、以前に提出されたAI執筆の論文、またはオープンウェブからすでに索引化されたAI生成テキストのページである。

これらの組み合わせのいずれも、ソフトウェア側で特別なものを必要としない。これは、一方のシステムが一致を確認し、他方がパターンを確認するという事実から生じるものであり、テキストの一部はどちらか一方の性質、両方の性質、あるいはどちらでもない性質を持ちうる。

高いAIスコアが証明するものと、証明しないもの

高いAIスコアは統計的推定値であり、テキストから引き出された自白ではない。それは、分類器の前にある散文が、その語彙選択とリズムにおいて、モデルがAI生成と結び付けるよう学習した種類の文章に似ていることを示す。特定の文が確実に機械によって書かれたと特定するものではなく、文書が実際にどのように作成されたかについては何も知らない。完成した後にどのように読めるかだけを知っている。TextPulseも自社の数値について同じ立場を取っている。そこで報告されるのは、目の前のテキストから算出された推定Human Scoreであり、どのツールが文書に関与したか、あるいは関与しなかったかについての判定ではない。

低い類似度スコアであれ高いAIスコアであれ、どちらの数値に対する実際的な対応も同じである。すなわち、即座に受け入れたり退けたりする根拠ではなく、より詳しく見る理由として扱うことである。下書き、メモ、版の履歴は、文書が実際にどのように書かれたかを示すものであり、どちらの報告書においても、百分率では決して示せない。自分の下書きの中で分類器が実際に何に反応しているのか知りたい人は、報告書が生成されるずっと前に、free perplexity checkerで同じ語レベルのパターンを自分で確認できる。

TextPulseのfree tools collectionは、下書きが教員の目に触れる前に確認する価値のある、他の統計的層を扱っており、ここで比較した2つだけではない。

2つの数値を分けて考えた後、次の問いはwhat counts as a good Turnitin scoreである。学生が最もよく出会うもう一方の検出器については、how GPTZero worksが別ページで扱われている。

この2つの数値は、同じレポート上で引き続き並んで表示され、急いでいる人には1つの数値として読み取られ続けるでしょう。各数値が実際にはどの問いに答えているのかを知ることが、紛らわしい2つの割合を、別々の有用な情報に変えるのです。