Yapay zekâ tarafından üretilen metinlerin her yerde karşımıza çıktığı günümüzde, insanlar bu içerikleri tespit etmenin yollarını arıyor. Uzun tireler veya "delve" gibi eski ipuçları artık pek kullanılmasa da araştırmacılar, modellerin yazı yazarken hala belirli alışkanlıklara sığındığını belirtiyor.
Pazarlama girişimi Graphite tarafından yapılan yeni bir çalışma, gelişmiş modellerin yazı alışkanlıklarını ve en çok tercih ettikleri kelime ile kalıpları inceledi. Eski yöntemler terk edilmiş olsa da modeller hala zıtlıklara dayalı cümle yapılarını kullanmaya devam ediyor ve her model versiyonu kendine has tuhaflıklar sergiliyor. Araştırmanın en şaşırtıcı sonucu ise bu izlerin kapsamının genişliği oldu. Graphite, yapay zekâ içeriklerinde insan yazımına göre en az iki kat daha yaygın olan 13 bin farklı kalıp tespit etti.
Graphite'ın yapay zekâ sorumlusu Greg Druck, TechCrunch'a yaptığı açıklamada Claude modellerinin zamanla insan kelime dağılımına yaklaştığını, GPT modellerinin ise aksine daha da uzaklaştığını söyledi.
Yapay zekâ yazılarını geniş ölçekte incelemek için titiz bir yöntem izlendi. Graphite, kontrol grubu olarak ChatGPT'den önce yayınlanmış 10 bin makaleden oluşan bir veri seti kullandı. Ardından araştırmacılar, kaynak yanlılığını en aza indirmek amacıyla farklı yapay zekâ modellerine bu makaleleri özetlerden yola çıkarak yeniden yazdırdı. Böylece hem insanlardan hem de her bir modelden alınan eşleşen örneklerle, belirli kelimelerin kullanım sıklığı ve genel cümle yapıları karşılaştırıldı.
Sonuçlara göre, Claude Opus 5.5'in en belirgin izi "dependable" (güvenilir) kelimesi oldu; bu kelime insan örneklerine göre 23 kat daha fazla kullanılıyor. Opus 5.5 artık "X değil, Y'dir" şeklindeki kalıplardan kaçınsa da hala bir şeyin "X'ten daha fazlası, aynı zamanda bir Y olduğu" yönündeki ifadeleri kullanma eğiliminde.
Özellikle Opus, olayların neden önemli olduğunu anlatmaya bayılıyor. Model, "this matters" (bu önemli) ifadesini insan yazımına göre 116 kat, "why X matters" (X'in neden önemli olduğu) kalıbını ise 92 kat daha fazla kullanıyor.
OpenAI'ın Astra modeli ise farklı ipuçları veriyor. Bu model, bahsettiği konunun "başka bir boyutunu" (another dimension) tanımlamayı seviyor ve bir eylemin belirli bir fayda "sağlayabileceğini" (may provide / can provide) söyleyerek iddialarını yumuşatıyor. Astra'nın en büyük izi ise Graphite'ın "düzeltici çerçeveleme" adını verdiği yapı. Konunun "sadece X olmadığı" şeklinde tanımlandığı veya "X'e güvenmek yerine" şeklinde alternatif sunulduğu bu kalıplar, Astra'nın metinlerinde insanlara göre 100 kattan daha fazla görülüyor.
Dikkat çeken bir diğer nokta, tüm büyük laboratuvarların modellerin uzun tireleri aşırı kullandığına dair geri bildirimleri dikkate almış olması. Örneklerde Opus 5.5'in bu noktalama işaretini Opus 8'e göre yüzde 99 daha az kullandığı görüldü. Astra'nın kullanımı insan örneklerinden yüzde 88 daha azken, Gemini 3.1 Pro uzun tireleri yazı dilinden neredeyse tamamen çıkarmış durumda.
Bireysel ipuçları değişse de Graphite, toplam sayının genel olarak sabit kaldığını savunuyor. Druck, TechCrunch'a verdiği demeçte ipuçlarının azalmadığını, sadece en bilinenlerin temizlendiğini ancak yerlerine yenilerinin çıktığını ve her model versiyonunun kendine has izleri olduğunu belirtti.
Laboratuvarların insan benzeri yazı stillerine odaklandığı düşünülürse, bu izlerin bu kadar kalıcı olması şaşırtıcı. Anthropic, Opus 5.5'i piyasaya sürerken modelin önceki versiyonlardan daha doğal iletişim kurduğunu, erken kullanıcıların yazımını daha net ve takip edilmesi kolay bulduğunu iddia etmişti.
OpenAI da Sol ve Luna'nın GPT-6 versiyonlarını tanıtırken benzer iddialarda bulunmuş; kullanıcıların daha fazla netlik, daha az jargon ve daha az tuhaf ifade görmeyi bekleyebileceğini söylemişti.
Ancak Druck, laboratuvarların bu karakteristik yapıları veya kalıpları tamamen ortadan kaldırma konusundaki yeteneklerine şüpheyle yaklaşıyor.
Druck, laboratuvarların bu durumları kontrol etme kapasitesinin beklenenden daha düşük olduğuna dair bir hipotezi olduğunu söyledi. Milyarlarca parametreye sahip devasa modeller olduklarını belirten Druck, sınırlı sayıda test yapabildikleri için bazı detayların gözden kaçtığını ifade etti.
