RAG nedir? İşletme belgeleriyle konuşan yapay zekâ
ChatGPT ya da Claude'a şirketinizin iade politikasını sorarsanız ya bilmediğini söyler ya da daha kötüsü, makul görünen bir şey uydurur. Çünkü model sizin belgelerinizi hiç görmedi. RAG (Retrieval-Augmented Generation, "bilgi getirerek güçlendirilmiş üretim") bu sorunu çözen yöntem: model cevap vermeden önce sizin belgelerinizden ilgili parçaları bulur ve cevabını yalnızca onlara dayandırır.
RAG nasıl çalışır?
- Belgeler parçalara bölünür. Sözleşmeler, katalog, prosedürler, SSS; anlamlı bölümlere (genellikle birkaç paragraf) ayrılır.
- Her parça bir vektöre çevrilir. Embedding denen bu işlem, metnin anlamını sayılara döker; anlamca yakın metinler birbirine yakın vektörler olur.
- Soru gelince en ilgili parçalar bulunur. Kullanıcının sorusu da vektöre çevrilir ve ona en yakın parçalar getirilir. Anlama dayalı arama çoğu zaman anahtar kelime aramasıyla birleştirilir (hibrit arama).
- Model yalnızca bu parçalarla cevap verir. Cevabın yanında hangi belgenin hangi bölümüne dayandığı gösterilir.
Neden bu kadar önemli?
- Uydurma azalır: model genel bilgisinden değil, sizin belgenizden cevap verir; belgede yoksa "bilmiyorum" demesi sağlanır.
- Kaynak gösterilir: çalışan cevabın nereden geldiğini görüp doğrulayabilir.
- Güncel kalır: belge değişince yalnızca o belge yeniden işlenir, modelin yeniden eğitilmesi gerekmez.
İşletmede nerede kullanılır?
- Müşteri hizmetleri: ürün, fiyat politikası, iade ve kargo sorularına belgeye dayalı cevap.
- İç asistan: personelin prosedür, teknik doküman ve eski teklifler içinde aradığı bilgiyi saniyede bulması.
- Uzun belge analizi: dava dosyası, bilirkişi raporu, sözleşme gibi yüzlerce sayfalık belgeden şablonlu özet. BelgeOkur bu şekilde çalışıyor.
İyi bir RAG sisteminin tuzakları
- Kötü parçalama: tabloyu ortadan bölmek ya da başlığı içeriğinden ayırmak, doğru bilgiyi bulunamaz hâle getirir.
- Taranmış PDF'ler: görsel olarak saklanan belgeler önce OCR'dan geçmeli; aksi hâlde sistem onları hiç görmez.
- Ölçmeden yayına almak: gerçek sorulardan oluşan bir test seti hazırlayıp doğruluğu ölçmeden sistem canlıya alınmamalı.
- Yetki: herkes her belgeyi görmemeli; arama, kullanıcının erişebildiği belgelerle sınırlanmalı.
Maliyet ve gizlilik
Belgelerin vektöre çevrilmesi tek seferlik ve genellikle düşük maliyetli; asıl maliyet her sorudaki model kullanımı. Hassas veride sağlayıcıların veriyi eğitimde kullanmayan API modları tercih edilir, kişisel veriler maskelenir ya da gerekirse tamamen kendi sunucunuzda çalışan modellerle kurulum yapılır.
Kendi belgelerinizle konuşan bir asistan kurmayı düşünüyorsanız yapay zekâ entegrasyonu ve OCR ve belge otomasyonu sayfalarına bakabilirsiniz.