AI Tarafından Yazılan Açıklamalar, Var Olmayan Makaleleri Neden Betimler

Bir danışman, aynı cümle yapısını art arda on kez okur, açıklamalı kaynakçayı açar, onu yüksek sesle, sayfa sayfa okur: Bu çalışma, X ile Y arasındaki ilişkiyi incelemekte, Z’yi araştırmak için katılımcılardan oluşan bir örneklem kullanmakta ve daha fazla araştırmaya ihtiyaç olduğunu bulmaktadır. Tüm girdiler akıcı görünür. Başlıkla aranan on iki kaynaktan ikisi mevcut değildir.

AI tarafından kaynakçalarda uydurulan atıflar, kendilerini nadiren kaynak satırında belli eder. Uydurulmuş bir yazar adı ve uydurulmuş bir dergi, biri onları arayana kadar, gerçek olanlarla tamamen aynı görünebilir. Uydurmayı ilk, neredeyse her zaman, ele veren şey, onun altındaki açıklamadır: hiç yazılmamış bir makale için, bir makalenin yöntemini ve bulgularını ayrıntılı biçimde betimleyecek kadar kendinden emin bir paragraf.

Kaynakçalarda AI Tarafından Uydurulan Atıflar Nasıl Fark Edilir

Önce açıklamayı, sonra kaynak satırını okuyun. Bir atıf tek başına, bir yazar, bir yıl, bir dergi, bir DOI, bunların hepsi bir language modelin binlerce kez görmüş olduğu küçük, yapılandırılmış örüntülerdir ve gerçekte arkalarında hiçbir şey olmasa bile, tesadüfen ya da ezber yoluyla doğru görünebilirler. Buna karşılık açıklama, o belirli makalenin gerçekten ne yaptığını söylemek zorundadır, öyle bir ayrıntı düzeyiyle ki bunun doğru mu yanlış mı olduğunu anlayabilesiniz. Bir model kaynağı geri getirmez ya da okumazsa bunu güvenilir biçimde yapamaz ve sonuç, DOI’yi kontrol etmeye sıra gelmeden çok önce, genellik olarak ortaya çıkar.

Açıklamanın, Atıftan Daha Fazlasını Ele Vermesinin Nedeni

Uydurulmuş bir atıf, kaynak kılığına sokulmuş bir tahmindir: makul bir yazar, makul bir dergi, doğru basamak sayısına sahip DOI biçiminde bir dizge. Uydurulmuş bir açıklama ise, kavrayış kılığına sokulmuş bir tahmindir ve kavrayışı, tam bir paragraf boyunca ikna edici biçimde taklit etmek çok daha zordur. Modelin bir örneklem, bir yöntem ve bir bulgu yönü konusunda kesin konuşması gerekir ve bu ayrıntıların her biri, gerçek bir makalenin onu çürütebileceği bir noktadır.

Bu aynı zamanda, bir anotasyonun, çıplak bir atıftan neden bir okuyucu için kontrol etmesi daha kolay olduğunu da açıklar. Bir kaynak, gerçek olsun ya da olmasın, aynı biçimde düzenlenir, bu yüzden yalnızca biçimi hiçbir bilgi sızdırmaz. Bir anotasyon, belirli içerik hakkında belirli bir iddiada bulunur, bu nedenle ya gerçek makale tarafından desteklenir ya da desteklenmez, ve gerçek özetle birkaç dakika geçirmek hangisinin doğru olduğunu ortaya koyar.

Bir Model, Makaleyi Asla Gerçekte Okumadığında Ne Yazar

Bir dil modelinden, yalnızca başlığını ve kabaca konusunu bildiği bir kaynağı anotasyonlamasını isteyin, o reddetmez ya da temkinli konuşmaz. Eğitim sırasında görülen binlerce benzer özetten yararlanarak, o başlığa sahip bir makalenin muhtemelen içereceği paragrafı tahmin eder ve bunu, satır satır alıntı yapabileceği bir makale için kullanacağı kadar kendinden emin bir üslupla geri verir.

Bu, o konu çevresinde şimdiye kadar yazılmış her şeyin ortalaması gibi okunur. Uyku ve bellek üzerine bir çalışmanın dürüst bir özeti, gerçek çalışma katılımcılarının adını, kullanılan gerçek testi ve bildirilen gerçek etki büyüklüğünü verir. Uydurma bir özet ise, çalışmanın insanların ne kadar iyi uyuduğunu ve belleklerini incelediğini ve aralarında güçlü bir bağlantı bulduğunu söyler. Bu, başka, ilgisiz bir başlığın altına da rahatça yerleşebilecek kadar geneldir.

Ne kontrol edilmeli	Gerçek bir anotasyon genellikle bunu içerir	Uydurma bir anotasyon genellikle bunun yerine bunu içerir
Sayılar	Gerçek özete uyan belirli bir örneklem büyüklüğü, etki büyüklüğü veya yüzde	Sayı yoktur ya da gerçek kaynakta hiçbir yerde görünmeyen, yuvarlak ve doğrulanamaz bir değer vardır
Yöntem	Adı geçen gerçek yöntem, belirli bir test, tasarım veya veri kümesi	Yöntemi adıyla belirtmeyen, "bir çalışma" ya da "bir analiz"e dair belirsiz bir gönderme
Sınırlılıklar	Yazarların kendilerinin ortaya koyduğu, kendi tasarımlarına özgü bir sınırlılık	Alandaki neredeyse her makale için geçerli olan genel bir sınırlılık
Kaynak eşleşmesi	Atıf, başlığı anotasyonla eşleşen gerçek bir kayda çözümlenir	Kaynak çözümlenmez ya da farklı, ilgisiz bir makaleye çözümlenir

Bu kontrollerin hiçbiri makalenin tamamını okumayı gerektirmez. Bunlar, anotasyondaki belirli iddiaların gerçekten özetten geçip geçmediğini görmek için makaleyi bir kez, yeterince uzun süre açmayı gerektirir.

Bir Uydurma Oranı Neden Bir Model Sürümüne ve Bir Tarihe İhtiyaç Duyar

Sorunun ölçeği ölçülmüştür, ancak ölçümler birbirleriyle uyuşmaz, çünkü hiçbir zaman aynı şeyi ölçmüyorlardı. 2023 yılında aynı gün, aynı 42 akademik konu üzerinde ChatGPT-3.5 ve ChatGPT-4 test edildiğinde, araştırmacılar GPT-3.5'in atıflarının yüzde 55'inin tamamen uydurma olduğunu, GPT-4 için ise bu oranın yüzde 18 olduğunu buldu. Aynı istemler, aynı araştırmacılar, aynı gün, yalnızca model değişti ve oran üçte iki azaldı.

Ayrı bir çalışma, bibliyografik atıflar yerine uydurulmuş vaka ayrıntılarını test ederek, 2024 yılında yayımlanan araştırmada, gerçek federal mahkeme davalarına ilişkin doğrulanabilir sorularda ChatGPT-4'ün zamanın yüzde 58'inde, Llama 2'nin ise zamanın yüzde 88'inde yanlış olduğunu buldu. Bu oran, farklı modeller üzerinde farklı bir görevi tanımlar ve yukarıdaki atıf uydurma sayılarıyla tek bir genel oran halinde ortalanmamalıdır. Her iki çalışmanın da üzerinde uzlaştığı nokta, sorunun biçimidir, model sürümü ve tarih belirtilmeyen bir yüzde hiçbir şeyi özel olarak tanımlamaz. 2023 ile 2026 arasını kapsayan bu tür altı çalışma boyunca görülen daha geniş örüntü ise başlı başına bir konudur, does ChatGPT make up references bunu bütünüyle ele alır. Özellikle bir bibliyografya açısından önemli olan ise daha dardır, açıklamanın uydurmayı, kimse DOI'yi kontrol etmeden önce ele verip vermediğidir.

Yapay Zeka Tarafından Hazırlanan Açıklamalı Bir Bibliyografyada Her Kaydı Nasıl Kontrol Edersiniz

Kaynak satırıyla başlayın, tam başlığı Google Scholar'da veya derginin kendi sitesinde arayın ve DOI'yi, gerçekten o başlığa çözümlenene kadar doğrulanmamış kabul edin, çünkü uydurulmuş bir atıf, başka birinin gerçek ve ilgisiz makalesine götüren bir DOI taşıyabilir. Her kaydı gerçek bir akademik veritabanına karşı çözümlendiren bir AI citation checker, bunu her bir kaynak için manuel bir aramaya bırakmak yerine otomatikleştirir.

Sonra açıklamayı kaynağın kendisiyle karşılaştırın, kulağa ne kadar ikna edici geldiğiyle değil. Gerçek özeti açın ve açıklamanın iddia ettiği örneklemi, yöntemi ve bulguyu gerçekten içerdiğini doğrulayın. Her özeti makalenin kendi özetine dayandıran ücretsiz bir annotated bibliography generator, belleğe dayanarak bir özet kurmak yerine, gerçekten kaynağa dayalı bir açıklamanın, dayalı olmayan bir açıklamanın yanında nasıl göründüğünü gösterir.

Denetimden geçen kayıtlar için, ChatGPT'yi APA'da atıf verme ve ChatGPT'yi MLA'da atıf verme adım adım açıklanmıştır.

Bunların hiçbiri, bir girdinin gerçek olduğunu doğruladıktan sonra onu nasıl biçimlendirdiğinizi değiştirmez. ChatGPT'nin kendisine nasıl atıf yapılacağı ayrı bir sorudur, APA, MLA, Chicago ve IEEE için tam olarak ele alınmıştır ve bir atıf oluşturucu, sıradan referansı stile bakılmaksızın aynı şekilde biçimlendirir. İkisinin de yakalayamadığı şey, kimsenin yazmadığı bir makaleyi betimleyen, kimsenin kontrol etmeyi aklına getirmeyecek kadar akıcı bir açıklamadır.