ChatGPT'nin Hukuki Tavsiyelerine Güven, Gerçek Avukatları Aşıyor

Eike Schneiders (Assistant Professor, School of Electronics and Computer Science, University of Southampton)
Joshua Krook (Research Fellow in Responsible Artificial Intelligence, University of Southampton)
Tina Seabrooke (Lecturer in Psychology, University of Southampton)

Hukuk uzmanı olmayan kişiler, hukuki tavsiye alırken gerçek bir avukata kıyasla ChatGPT gibi yapay zekâ araçlarının sunduğu tavsiyelere daha fazla güvenme eğiliminde. Ancak bu durum, hangi kaynaktan geldiğini bilmedikleri zaman geçerli oluyor. Yeni araştırmamızın temel bulgusu bu yönde ve kamunun yapay zekâ tarafından üretilen içeriklere artan güveni konusunda önemli kaygılar ortaya koyuyor. Ayrıca, halkın en azından bir dereceye kadar tavsiyenin ChatGPT’den mi yoksa bir insan avukattan mı geldiğini ayırt edebildiğini de tespit ettik.

ChatGPT gibi büyük dil modelleri (LLM'ler), günlük yaşantımızda giderek daha fazla yer edinmeye başladı. Bu araçlar hızlı cevaplar vermek, fikir üretmek, tıbbi belirtileri teşhis etmek ve hatta somut hukuki tavsiyeler sunmak gibi çeşitli işlevler vaat ediyor.

Ancak LLM'lerin “halüsinasyonlar” üretmesi, yani yanlış veya saçma içerikler sunması bilinen bir gerçek. Bu da, özellikle hukuk gibi yüksek riskli alanlarda, aşırı güvenilmesi durumunda ciddi riskler doğuruyor. LLM'ler, sundukları tavsiyeleri büyük bir özgüvenle ilettiği için, iyi tavsiyeleri kötü olanlardan ayırt etmek güçleşebiliyor.

Araştırmamızda, toplam 288 kişiyle üç deney gerçekleştirdik. İlk iki deneyde katılımcılara hukuki tavsiyeler verildi ve hangisine göre hareket etmeye daha istekli oldukları soruldu. Tavsiyelerin kaynağının avukat mı yoksa yapay zekâ mı olduğu belirtilmediğinde, katılımcıların AI tarafından üretilen tavsiyelere daha fazla güvenme eğiliminde olduklarını gördük. Bu, bir LLM’nin kimliğini gizleyerek hukuki tavsiye verdiği durumlarda, kişilerin bu tavsiyeleri sorgulamadan gerçek avukat tavsiyesine tercih edebileceği anlamına geliyor.

Kaynağın kim olduğu söylendiğinde dahi, katılımcılar ChatGPT'nin sunduğu tavsiyelere, avukatlarınkine benzer düzeyde güvenmeye devam etti.

LLM'lerin tercih edilmesinin nedenlerinden biri de kullandıkları daha karmaşık dil olabilir. Gerçek avukatlar ise daha sade bir dil kullanıyor, ancak cevaplarında daha fazla kelimeye yer veriyordu.

Üçüncü deneyde, katılımcıların kaynağı belirtilmemiş hukuki tavsiyeleri kimin verdiğini (LLM mi yoksa insan avukat mı) ayırt edip edemeyecekleri test edildi. İyi haber şu ki, katılımcılar bir ölçüde bunu başarabiliyor; kötü haber ise bu yetenek oldukça zayıf. Tesadüfi tahmin yapıldığında 0,5 puan beklenirken, mükemmel ayırt etme 1,0 puanla sonuçlanacaktı. Katılımcılar ortalama 0,59 puan aldı; bu, rastgele tahminden biraz daha iyi ama oldukça düşük bir başarı düzeyine işaret ediyor.

Düzenleme ve Yapay Zekâ Okuryazarlığı

Araştırmamız, yapay zekâ destekli sistemlerin günlük yaşama hızla entegre olduğu bu dönemde kritik bir öneme sahip. Alexa ya da Google Home gibi asistanlar, ev içinde yardımcı olurken; yapay zekâ destekli sistemler çevrimiçi alışveriş, hukuki metinlerin özetlenmesi ya da tıbbi kayıtların oluşturulması gibi daha karmaşık görevlerde de kullanılabiliyor.

Ancak bu durum, halüsinasyon yoluyla üretilen yanlış bilgilerin yaşamı değiştiren kararlar üzerinde etkili olması gibi önemli riskleri de beraberinde getiriyor. Hukuki alanda, yapay zekâ kaynaklı hatalı tavsiyeler gereksiz komplikasyonlara ve hatta adaletin yanlış işlemesine yol açabilir.

Bu yüzden yapay zekânın doğru şekilde düzenlenmesi her zamankinden daha önemli hale geldi. Bu yönde atılan adımlardan biri, AB Yapay Zekâ Yasası (EU AI Act) kapsamındaki 50.9 maddesi. Bu madde, metin üreten yapay zekâ sistemlerinin çıktılarının “makine tarafından okunabilir formatta işaretlenmesi ve yapay olarak üretildiğinin veya manipüle edildiğinin algılanabilir olması” gerektiğini öngörüyor.

Oto Elektrik Parçaları ve Görevleri Hakkında Bilgiler

Fakat bu tek başına yeterli değil. Toplumun yapay zekâ okuryazarlığını da geliştirmek gerekiyor. Halk, yapay zekâ içeriklerini daha eleştirel bir gözle değerlendirebildiğinde, daha bilinçli kararlar alabilecek. Bu, tavsiyenin kaynağını sorgulamayı, yapay zekâların yeteneklerini ve sınırlarını anlamayı ve eleştirel düşünmeyi temel bir beceri haline getirmeyi içeriyor.

Pratikte, önemli bilgileri güvenilir kaynaklarla çapraz kontrol etmek ve insan uzmanların desteğine başvurmak, yapay zekâya aşırı güvenmenin önüne geçebilir.

Hukuki tavsiye konusunda ise, yapay zekâdan başlangıç niteliğinde sorular için yararlanmak kabul edilebilir:

• "Burada seçeneklerim neler?"

• "Hangi konulara göz atmalıyım?"

• "Benzer dava örnekleri var mı?"

• "Bu hangi hukuk alanına giriyor?"

Ancak mahkemeye gitmeden ya da ciddi adımlar atmadan önce, yapay zekâdan alınan her türlü tavsiyenin mutlaka bir insan avukat tarafından doğrulanması gerekir.

Yapay zekâ değerli bir araç olabilir; ancak onu sorumlu bir şekilde kullanmak şart. Düzenlemeye ve yapay zekâ okuryazarlığına odaklanan iki yönlü bir yaklaşım ile, yapay zekânın faydalarını maksimize ederken risklerini de en aza indirebiliriz.