Bir yapay zekâ asistanına “Şirketimizin yıllık aboneliklerinde iptal koşulları nelerdir?” diye sorduğunuzu düşünün. Asistan genel abonelik uygulamalarını biliyor olabilir. Ancak şirketinizin güncel sözleşmesini görmeden size özel koşulları güvenilir biçimde açıklayamaz.
RAG, bu sorunu çözmek için kullanılan yaklaşımlardan biridir. Sistem, yanıt üretmeden önce ilgili belgeleri arar ve bulduğu bilgileri dil modeline sunar. Böylece yanıtın yalnızca modelin eğitim sırasında öğrendiklerine dayanması yerine, erişilen kaynaklardan yararlanması sağlanır.
RAG Nedir?
RAG, İngilizce Retrieval-Augmented Generation ifadesinin kısaltmasıdır. Türkçede “bilgi getirmeyle desteklenen üretim” olarak açıklanabilir.
Temelinde iki işlem bulunur: ilgili bilgiyi bulmak ve bu bilgiden yararlanarak yanıt üretmek. Arama sistemi uygun kaynakları getirir; dil modeli ise bu kaynakları kullanarak soruya anlaşılır bir cevap oluşturur.
RAG tek bir modelin veya ürünün adı değildir. Farklı arama araçları, veri kaynakları ve dil modelleriyle uygulanabilen bir sistem tasarımıdır.
Yapay Zekâ Neden Dış Kaynaklara İhtiyaç Duyar?
Bir dil modelinin eğitiminde kullanılan bilgiler, şirketinizin özel belgelerini veya sonradan değişen ürün koşullarını içermeyebilir. Model ayrıca bir bilgiyi hatalı hatırlayabilir ya da yeterli bilgi bulunmadığında gerçekmiş gibi görünen bir açıklama üretebilir.
Örneğin şu soruların yanıtı genel bilgiden çok, belirli kaynaklara bağlıdır:
- Bu ürünün güncel kullanım koşulları nelerdir?
- Kurumumuzda izin başvurusu nasıl yapılır?
- Yazılımımızın belirli bir sürümünde hangi özellikler vardır?
- Destek dokümanına göre bu hata nasıl çözülür?
RAG, modelin bu tür soruları yanıtlayabilmesi için gerekli bilgiyi yanıt sırasında sağlamayı amaçlar. Bunun için modelin her belge değişikliğinde yeniden eğitilmesi gerekmez.
RAG Nasıl Çalışır?
Bir RAG uygulamasında genellikle iki ayrı süreç vardır: kaynakların aramaya hazırlanması ve kullanıcı sorusunun yanıtlanması.
1. Kaynaklar Hazırlanır
PDF dosyaları, yardım sayfaları veya kurum içi belgeler okunabilir metne dönüştürülür. Gereksiz tekrarlar temizlenir; başlık, belge tarihi, sürüm ve erişim yetkisi gibi bilgiler korunur.
Uzun belgeler çoğunlukla daha küçük parçalara ayrılır. Bu işleme chunking denir. Amaç, soruyla ilgili bölümü bütün belgeyi göndermeden bulabilmektir.
Ancak parçaların çok küçük olması anlamın kaybolmasına yol açabilir. Örneğin bir iptal koşulu, hemen altındaki istisnadan ayrılırsa eksik bir bilgi getirilebilir. Bu nedenle belge yapısı ve bölüm sınırları dikkate alınmalıdır.
2. Belgeler Aranabilir Hale Getirilir
Hazırlanan içerik bir arama indeksine eklenir. Sistem anahtar kelime araması, vektör araması veya ikisini birlikte kullanabilir.
Embedding, metnin anlamıyla ilişkili özelliklerini sayısal bir vektörle temsil etme yöntemidir. Vektör araması bu temsilleri karşılaştırarak anlam bakımından benzer içerikleri bulmaya yardımcı olur.
Örneğin “Üyeliğimi nasıl sonlandırırım?” sorusu, belgede “Abonelik iptali” başlığı altında açıklanmış olabilir. Anlam temelli arama, kelimeler birebir aynı olmasa da ilgili bölümü bulabilir.
Ürün kodları veya hata numaraları gibi tam eşleşmenin önemli olduğu bilgilerde anahtar kelime araması da değerlidir. İki yaklaşımın birlikte kullanılmasına hibrit arama denir. Her RAG sisteminin vektör veritabanı kullanması zorunlu değildir.
3. Soruyla İlgili Bölümler Getirilir
Kullanıcı soru sorduğunda sistem, erişmesine izin verilen kaynaklar arasında arama yapar. Bulunan bölümler uygunluklarına göre sıralanır. Gerekirse ikinci bir değerlendirmeyle en yararlı sonuçlar seçilir.
Bu aşama kritiktir. Doğru bilgi belgelerde bulunsa bile arama onu getirmezse modelin yanıtında kullanılamayabilir.
4. Dil Modeli Yanıtı Oluşturur
Seçilen bölümler, kullanıcı sorusuyla birlikte dil modelinin bağlamına eklenir. Modelden kaynaklara dayanarak yanıt vermesi, belirsizlikleri belirtmesi ve gerektiğinde kaynak göstermesi istenir.
Belgeleri bağlama eklemek, içeriklerinin model tarafından kalıcı olarak öğrenildiği anlamına gelmez. Bilgiler o yanıtı üretmek için kullanılabilir hale getirilir.
Bir Destek Asistanında RAG Örneği
Bir yazılım şirketinin yardım belgesinde şu örnek kuralın bulunduğunu varsayalım:
Abonelik iptal edildiğinde otomatik yenileme durdurulur. Kullanıcı, ödediği dönemin sonuna kadar hesabını kullanmaya devam edebilir.
Kullanıcı “Bugün aboneliğimi iptal edersem hesabım hemen kapanır mı?” diye sorduğunda RAG sistemi ilgili bölümü bulur. Asistan bu bilgiyi kullanarak şöyle yanıt verebilir:
Hayır. Yardım belgesine göre iptal işlemi otomatik yenilemeyi durdurur. Hesabınızı ödediğiniz dönemin sonuna kadar kullanabilirsiniz.
Yanıta ilgili belge bağlantısı da eklenirse kullanıcı açıklamanın dayanağını kontrol edebilir. Ancak getirilen kaynakta iade koşulları açıklanmıyorsa asistan bu konuda ayrıca bir kural uydurmamalıdır.
RAG Yanıtları Nasıl Daha Güvenilir Hale Getirir?
RAG, soruyla ilgili kanıtı modelin önüne getirerek yanıtın kaynaklara dayanmasını kolaylaştırır. Güncel belgeler arama sistemine doğru biçimde işlendiğinde değişen bilgilerden yararlanılabilir.
Kaynak bağlantıları, kullanıcıya cevabı denetleme olanağı sunar. Sistem ayrıca yeterli bilgi bulunmadığında bunu belirtmek üzere tasarlanabilir.
Bununla birlikte RAG doğruluk garantisi vermez. Yanlış kaynak getirilebilir, belge eski olabilir veya model doğru metni yanlış yorumlayabilir. Kaynak gösterilmesi de tek başına cevabın kaynak tarafından desteklendiğini kanıtlamaz.
RAG ile Fine-Tuning Arasındaki Fark Nedir?
Fine-tuning, bir modelin parametrelerini ek eğitim örnekleriyle güncellemektir. Belirli görevlerdeki davranışı, yanıt biçimini veya performansı geliştirmek için kullanılabilir.
RAG ise yanıt sırasında dış kaynaklardan bilgi getirir. Tipik bir RAG uygulamasında, yeni bir belgeyi kullanmak için yanıt üreten dil modelinin parametrelerini değiştirmek gerekmez.
Sık değişen bir yardım merkezi için RAG, güncel içerikleri yanıta taşımada kullanılabilir. Belirli bir yanıt biçimini öğretmek için fine-tuning tercih edilebilir. İki yöntem aynı sistemde birlikte de kullanılabilir.
RAG Sistemlerinde Nelere Dikkat Edilmelidir?
- Kaynak kalitesi: Hatalı veya çelişkili belgeler yanlış yanıtları besleyebilir.
- Güncellik: Değişen ve silinen içerikler arama indeksine de yansıtılmalıdır.
- Erişim yetkileri: Kullanıcıya kapalı belgeler modele gönderilen bağlama girmemelidir.
- Belge içindeki talimatlar: Kaynak metinlerde bulunan kötü niyetli komutlar, uygulamanın kuralları olarak değerlendirilmemelidir.
- Yetersiz kanıt: Sistem, desteklenmeyen bir yanıt üretmek yerine bilgi eksikliğini açıklayabilmelidir.
Kalite değerlendirmesinde yalnızca cevabın akıcı olması yeterli değildir. Doğru bölümlerin bulunup bulunmadığı, yanıtın kaynaklara sadık kalıp kalmadığı ve soruyu gerçekten cevaplayıp cevaplamadığı ayrı ayrı incelenmelidir.
RAG Nerelerde Kullanılır?
RAG; ürün destek asistanlarında, kurum içi bilgi aramada, teknik dokümantasyon sistemlerinde ve belge tabanlı eğitim araçlarında kullanılabilir.
Özellikle yanıtların belirli, erişilebilir ve güncellenebilir kaynaklara dayanması gerektiğinde yararlıdır. Buna karşılık yalnızca basit bir hesaplama veya doğrudan veritabanı sorgusu gereken işlemde RAG yerine daha doğrudan bir araç uygun olabilir.
Sonuç
RAG, yapay zekânın cevap vermeden önce ilgili kaynaklara başvurmasını sağlayan bir yaklaşımdır. Arama sistemi bilgiyi bulur, dil modeli bu bilgiyi kullanarak yanıt oluşturur.
Daha güvenilir sonuçlar için güçlü bir model kadar doğru kaynaklar, iyi arama, güncel indeksler ve erişim kontrolleri de önemlidir. Başarılı bir RAG sistemi, kaynaklarda cevap bulunmadığını da açıkça söyleyebilmelidir.