Yapay Zekâ Projelerinde Asıl Zorluk Model Değil, Veri
Kurumsal yapay zekâ projelerinin çoğu model seçiminde değil, veri hazırlığında takılıyor. RAG mimarisinde neyin nerede yanlış gittiğini ve nasıl önleneceğini anlatıyoruz.
Bir kurumsal yapay zekâ projesi başarısız olduğunda sebep neredeyse hiçbir zaman "yanlış model seçildi" olmuyor. Sorun, modele verilen bağlamda çıkıyor.
RAG nedir, neden gerekli?
RAG (retrieval-augmented generation), modele soruyla birlikte ilgili belgeleri de vermek anlamına gelir. Model kendi eğitim verisinden değil, sizin verinizden cevap üretir.
Bu yaklaşım iki sorunu birden çözer: model şirketinizin iç bilgisini bilmez (eğitim verisinde yoktur) ve uydurma eğilimi vardır. İlgili belgeyi elinize verdiğinizde her ikisi de büyük ölçüde ortadan kalkar.
Nerede yanlış gidiyor?
Parçalama (chunking) stratejisi
Belgeleri sabit karakter sayısına göre bölmek en yaygın hata. Bir prosedürün ortasından bölünmüş bir parça, tek başına anlamsızdır ve arama sonucunda üste çıksa bile modele yardımcı olmaz.
Doğru yaklaşım yapıya göre bölmek: başlık hiyerarşisini takip etmek, tabloları bütün tutmak ve her parçaya hangi belgeden geldiği bilgisini eklemek.
Yalnızca vektör aramaya güvenmek
Anlamsal arama, "iade koşulları" ile "geri gönderim şartları" arasındaki bağı kurar — bu değerli. Ancak bir ürün kodu veya madde numarası aranıyorsa anahtar kelime araması çok daha isabetlidir.
Pratikte en iyi sonucu hibrit arama veriyor: vektör ve anahtar kelime sonuçlarının birleştirilip yeniden sıralanması.
Sürüm karmaşası
Aynı prosedürün üç sürümü indekslenmişse, model hangisinin güncel olduğunu bilemez. Belge yönetiminde tek bir güncel sürüm tutmak, indeksleme aşamasında çözülemeyecek bir sorunu baştan ortadan kaldırır.
Model uydurduğunda ne yapmalı?
En önemli tasarım kararı, modelin "bilmiyorum" diyebilmesidir. Sistem talimatında bunu açıkça belirtmek ve arama sonucu yeterince alakalı değilse modeli hiç çağırmamak gerekir.
Ayrıca her cevabın kaynağını göstermek, kullanıcıya doğrulama imkânı verir. Kaynak gösterimi olmayan bir kurumsal asistan, güvenilemez bir asistandır.
Maliyeti baştan planlayın
Token maliyeti pilot aşamada önemsiz görünür, kullanım yayıldığında hızla büyür. Üç önlem işe yarar:
- Sık sorulan sorular için cevap önbelleği
- Bağlam uzunluğunun üst sınırını belirlemek
- Kullanıcı ve kurum bazında aylık kullanım tavanı
Gizlilik sınırlarını yazılı hâle getirin
Hangi belge kategorilerinin işleneceği, hangilerinin kapsam dışı kalacağı ve verinin nereye gideceği projeye başlamadan yazılı olarak netleşmeli. Bu, hem yasal uyum hem de kurum içi güven açısından gerekli.