AI Detection

کدام دانشگاه‌ها استفاده از Turnitin's AI Detector را متوقف کردند

Vanderbilt، Michigan State و UT Austin هر یک دلایل خود را برای خاموش کردن نشانگر نگارش هوش مصنوعی Turnitin منتشر کرده‌اند. هیچ‌یک خود Turnitin را کنار نگذاشتند. در اینجا این تمایز، محاسبات پشت آن، و این‌که کدام نام‌های دیگر بدون صفحه‌ای از خودِ مؤسسه برای تأییدشان تکرار می‌شوند، آمده است.

5 min
Universities that stopped using Turnitin's AI detector: Vanderbilt, Michigan State and UT Austin opt-out timeline

فهرست دانشگاه‌هایی که استفاده از ویژگی تشخیص هوش مصنوعی Turnitin را متوقف کرده‌اند، کوتاه‌تر از آن است که نتایج جستجو نشان می‌دهند، و نیز بهتر مستند شده است. سه مؤسسه آمریکایی، Vanderbilt University، Michigan State University و University of Texas at Austin، هر یک صفحه‌ای مستقل منتشر کرده‌اند که تأیید می‌کند این ویژگی را غیرفعال کرده‌اند و دلایل خود را با بیان خودشان توضیح داده‌اند. هیچ‌یک از این سه، خود Turnitin را کنار نگذاشته‌اند.

همین جمله آخر بخشی است که بیشتر مرورهای فهرست‌وار از آن می‌گذرند. Turnitin دو محصول را در یک رابط ارائه می‌کند: یک بررسی‌کننده شباهت که مقاله‌های دانشجویان را با یک پایگاه داده متنی مقایسه می‌کند، خدمتی که از مدت‌ها پیش از اختراع هوش مصنوعی مولد در دسترس بوده است، و یک نشانگر نگارش هوش مصنوعی، یعنی یک طبقه‌بند که نثر یک مقاله را بر اساس میزان شباهتش به خروجی ماشین امتیاز می‌دهد. این ویژگی جدید در April 2023 فعال شد. تنها محصول دوم بود که در همه مؤسسات زیر غیرفعال شد.

آنچه در ادامه می‌آید، استدلالی است که سه دانشگاه با بیان خودشان ارائه کرده‌اند، دو نام دیگر که پوشش رسانه‌ای بارها تکرار می‌کند اما صفحه‌ای متعلق به خودِ مؤسسه برای تأیید آن‌ها وجود ندارد، و این که یک مدیر هنگام اتخاذ این تصمیم در عمل چه چیزی را تغییر می‌دهد.

آیا هیچ دانشگاهی استفاده از Turnitin را به طور کامل متوقف کرد؟

هیچ مورد تأییدشده‌ای از این امر وجود ندارد. هر نمونه مستند، مربوط به غیرفعال کردن یک تنظیم مشخص درون محصولی است که دانشگاه همچنان از آن استفاده می‌کند. راهنمای خود Turnitin توضیح می‌دهد که چرا چنین تمایزی اصلاً ممکن است: مدیران «این گزینه را دارند که ویژگی نگارش هوش مصنوعی را از صفحه تنظیمات مدیریتی خود فعال یا غیرفعال کنند»، و انجام این کار «نشانگر و گزارش هوش مصنوعی را از گزارش Similarity حذف می‌کند»، در حالی که خود گزارش Similarity همچنان فعال می‌ماند.

Similarity Score و AI Score، به گفته خود Turnitin، دو گزارش جداگانه و مستقل هستند که بر پایه مدل‌های متفاوت ساخته شده‌اند و در زبانه‌های متفاوتی از همان رابط نمایش داده می‌شوند. TextPulse در جای دیگری به تفصیل درباره این که Similarity Score و AI Score دقیقاً چه تفاوتی دارند توضیح داده است. یک دانشگاه می‌تواند دومی را بدون دست زدن به اولی غیرفعال کند، و هر مورد زیر دقیقاً همین کار را کرده است.

Vanderbilt University: دقیق‌ترین توضیح عمومی

Vanderbilt در 16 August 2023 آشکارساز هوش مصنوعی Turnitin را غیرفعال کرد و همان روز استدلال خود را منتشر کرد، نه این که بگذارد روزنامه‌نگاران آن را کنار هم بگذارند. محاسبه خود دانشگاه روشن‌ترین صورت این استدلال است که هر نهادی تا امروز علنی کرده است: Turnitin ادعا کرده بود نرخ مثبت کاذب 1 درصد دارد، و در برابر حدود 75,000 مقاله‌ای که Vanderbilt در 2022 به Turnitin فرستاد، دانشگاه محاسبه کرد که این نرخ یعنی «حدود 750 مقاله دانشجویی ممکن بود به‌اشتباه به‌عنوان آثاری که بخشی از آن‌ها توسط AI نوشته شده است برچسب بخورند».

Vanderbilt در کنار آن محاسبه دو دلیل دیگر هم آورد: سوگیری مستند علیه نویسندگان غیربومی انگلیسی، و شفافیت ناکافی درباره این که مدل زیربنایی در عمل چگونه به امتیاز خود می‌رسد. این سه محور، شمار مثبت کاذب که برای نادیده گرفتن بیش از حد بزرگ است، مسئله سوگیری، و یک مدل مبهم، از آن زمان به بعد در شکلی دیگر تقریباً در هر نهادی که درباره انصراف علنی توضیح داده است، دوباره ظاهر شده‌اند.

InstitutionActionDateStated reason, in the institution's own words
Vanderbilt UniversityDisabled the AI writing indicator account-wideAugust 16, 2023A claimed 1% false positive rate applied to its own submission volume; bias against non-native English writers; lack of model transparency
Michigan State UniversityAI writing detection not made available to instructorsGuidance dated August 2023AI detection tools should not be used as the sole basis for adverse action against a student
University of Texas at AustinBans use of AI detection software on student workNo date stated on UT Austin's own page; listed among opted-out institutions by February 2024Classifies AI detection software as High Risk; cites copyright, intellectual property and FERPA concerns

مقاله خود را انسانی‌سازی کنید

متنِ کمک‌گرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژه‌های مهم یا ارجاع‌ها.

رایگان شروع کنید

Michigan State و UT Austin: دو مورد دیگر از انصراف‌های تأییدشده

اسناد راهنمایی خود Michigan State به‌صراحت بیان می‌کند: "Turnitin AI Detection در حال حاضر در MSU در دسترس نیست." راهنمای آن همچنین هشداری اضافه می‌کند که فارغ از این‌که یک درس از کدام آشکارساز استفاده کند، اعمال می‌شود: ابزارهای تشخیص هوش مصنوعی "نباید به‌عنوان تنها مبنای اقدامات نامطلوب علیه یک دانشجو به کار روند." این صفحه در چارچوب راهنمای گسترده‌تر MSU درباره هوش مصنوعی مولد قرار دارد، با تاریخ August 2023، همان ماهی که Vanderbilt تصمیم خود را علنی کرد.

UT Austin موضعی گسترده‌تر از این سه دانشگاه اتخاذ کرد. دفتر Provost دانشگاه صریحاً بیان می‌کند که "استفاده از AI Detection Software را تأیید نمی‌کند و هیچ قرارداد مرکزی یا سفارش خریدی با ویژگی‌های فعال AI Detection Software ندارد." این صفحه فراتر از یک صرفاً عدم استفاده می‌رود: AI detection software را "High Risk" طبقه‌بندی می‌کند، به این معنا که یک بخش نمی‌تواند حتی با کارت خرید آن را تهیه کند، و هشدار می‌دهد که وارد کردن کار یک دانشجو در چنین نرم‌افزاری "ممکن است نقض حق مؤلف و حقوق مالکیت فکری آن دانشجو باشد"، همراه با نگرانی‌های جداگانه FERPA. صفحه خود UT Austin تاریخ تصمیم مشخصی را ذکر نمی‌کند، اما پوشش مطبوعاتی حوزه آموزش تا February 2024 این دانشگاه را در فهرست مؤسساتِ خارج‌شده از این ابزار قرار داده بود.

دانشگاه‌های دیگری که بنا بر گزارش مطبوعات استفاده از Turnitin را متوقف کردند

دو دانشگاه دیگر نیز هستند که هنگام جمع‌بندی پوشش این موضوع، اغلب مطرح می‌شوند: Northwestern University و Montclair State University. هر دو وجود دارند، اما هیچ‌یک با همان سطح از منابع معتبرِ سه دانشگاه دیگر ذکر نشده‌اند. در February 2024، Inside Higher Ed گزارش داد که Montclair "در November [2023] اعلام کرد... که دانشگاهیان نباید از ویژگی آشکارساز هوش مصنوعی در ابزاری از Turnitin استفاده کنند"، پس از "اقدام‌های مشابه از سوی نهادهایی از جمله Vanderbilt University، University of Texas at Austin و Northwestern University.".

این یک منبع‌یابی محکم از مطبوعات تخصصی است، اما با صفحه خودِ یک مؤسسه که تصمیمی را با واژگان خودش بیان می‌کند، استانداردی متفاوت دارد، و هنگام پژوهش برای این مطلب، چنین صفحه‌ای برای هیچ‌یک از دو دانشگاه پیدا نشد. این شکاف ارزش نام بردن دارد، نه این که سرسری از کنار آن گذشت. فهرستی که بر پایه هر اشاره در مطبوعات ساخته شود، از سه نام طولانی‌تر خواهد بود، اما فهرستی که بر پایه آنچه یک مؤسسه واقعاً برای خود منتشر کرده ساخته شود، در حال حاضر در سه مورد متوقف می‌شود، و این همان استاندارد سخت‌گیرانه‌تری است که این مطلب در سراسر خود به آن پایبند می‌ماند.

چرا دانشگاه‌ها AI Detector را خاموش می‌کنند؟

همان چند دلیل در همه بیانیه‌های عمومی بالا تکرار می‌شود: نرخ مثبت کاذبی که وقتی در جمعیت واقعی دانشجویان ضرب شود، دیگر کوچک به نظر نمی‌رسد، سوگیری مستند علیه نویسندگان غیربومی انگلیسی، و یک طبقه‌بند که سازوکارهای درونی آن را فروشنده به طور کامل افشا نکرده است. این استدلال با شواهد گسترده‌تر درباره این که آیا AI detectors اصلاً دقیق هستند یا نه هم‌راستا است، نه فقط در Turnitin. هیچ‌یک از سه مؤسسه بالا ادعا نمی‌کند که similarity checker در Turnitin هنوز کار اصلی خود را انجام نمی‌دهد، اعتراض مشخصاً به یک قابلیت افزوده مربوط است.

هیچ‌یک از این‌ها به این معنا نیست که دانشگاهی که این قابلیت را روشن نگه می‌دارد، با بی‌دقتی عمل می‌کند، و هیچ‌یک از این‌ها هم به این معنا نیست که دانشگاهی که آن را خاموش کرده، مشکل زیربنایی را حل کرده است. معنایش این است که دو گروه از مدیران به همان اعداد منتشرشده نگاه کردند و به دو داوری متفاوت رسیدند، و تجربه یک دانشجو از این فناوری اکنون تا حدی به این بستگی دارد که در کدام دانشگاه تحصیل می‌کند، نه به چیزی درباره مقاله‌ای که تحویل داده است.

نویسنده‌ای که می‌خواهد بداند آیا پیش‌نویس خودش همان نمایه آماری را دارد که اعتراض Vanderbilt درباره سوگیری توصیف می‌کند یا نه، می‌تواند آن را مستقیماً با یک free perplexity checker بررسی کند، به جای آن که منتظر بماند تا ببیند دانشگاه خودش چه سیاستی را برگزیده است.

شواهد پشت این تصمیم‌ها جداگانه توضیح داده شده است: این که یک false positive در عمل چیست، و نرخ false positive که خود Turnitin منتشر می‌کند.

ابزارهای رایگان TextPulse همان حوزه را پیش از آن‌که اصلاً چیزی به یک آشکارساز برسد، پوشش می‌دهند. Turnitin آستانه‌های خود را هم‌زمان با بازآموزی مدل همچنان تنظیم خواهد کرد؛ این‌که آیا یک دانشگاه معین در حال حاضر این قابلیت را اجرا می‌کند یا نه، یک تنظیم است، نه یک واقعیت درباره خود مقاله، و ارزش دارد که یک پیش‌نویس را بر اساس معیارهای خودش بررسی کنید، صرف‌نظر از این‌که این تنظیم در این ترم به کدام سمت قرار گرفته باشد.

XLinkedInFacebook

سؤالات متداول

خیر. هر مورد مستند، غیرفعال کردن یک ویژگی توسط دانشگاه است، یعنی نشانگر نگارش هوش مصنوعی Turnitin، در حالی که همچنان از بررسی‌کننده شباهت Turnitin برای مقایسه ارسال‌ها از نظر سرقت ادبی استفاده می‌شود. تنظیمات مدیریتی خود Turnitin به یک مؤسسه اجازه می‌دهد ویژگی هوش مصنوعی را بدون دست زدن به بقیه محصول خاموش کند، و این دقیقاً همان تنظیمی است که Vanderbilt، Michigan State و UT Austin استفاده کردند.

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

از تازه‌های انسان‌سازی AI باخبر بمانید

نکات مربوط به نگارش دانشگاهی، تشخیص AI و انسان‌سازی را در صندوق ورودی‌تان دریافت کنید.

بدون اسپم. هر زمان خواستید لغو اشتراک کنید.