Bu yılın önemli bir bölümünü, bir müşterinin iç dokümanları üzerinden soru yanıtlayan bir retrieval-augmented sistem kurarak geçirdik. Sistem canlıda, her gün kullanılıyor ve onu çalışır kılan şeylerin neredeyse hiçbiri insanların ilk sorduğu kısım değil.
Baştaki ders şu: retrieval kalitesi model seçimini açık ara geçiyor. Proje boyunca üretim modelini üç kez değiştirdik, yanıtlar neredeyse hiç kıpırdamadı. Dokümanları bölme ve indeksleme biçimimizi bir kez değiştirdik, hata oranı yarıdan fazla düştü. Doğru pasaj bağlama girmiyorsa hiçbir model onu kurtarmıyor. Giriyorsa, orta boy bir model çoğu zaman yetiyor — üstelik uzanmak üzere olduğunuz modelin maliyetinin çok altına.
Özelliklerden önce değerlendirme seti
Sistemi kullanacak kişilerden toplanmış, her birinin doğru yanıtı bir alan uzmanınca onaylanmış seksen kadar gerçek soruyla başladık. Yavaş geçen bir hafta gibi hissettirdi. Projenin en çok işe yarayan haftasıydı.
Değerlendirme seti olmadan her değişiklik bir izlenim tartışmasına dönüyor. Biri beş sorgu deniyor, gördüğünü beğeniyor ve yayına alıyor. Ertesi gün bir başkası beş farklı sorgu deniyor ve geri alınmasını istiyor. Set varken "bu chunking değişikliği recall'ü %71'den %84'e çıkardı" diyorsunuz ve tartışma tek cümlede kapanıyor.
Ne zaman duracağınızı da o söylüyor. Ekipler, kalan hatalar retrieval sorunu olmaktan çıktıktan çok sonra bile ayar yapmayı sürdürüyor — pasaj oradaydı, model onu gördü ve yanıt yine de yanlıştı; çünkü soru muğlaktı ya da kaynak doküman kendi kendisiyle çelişiyordu. Bunları hiçbir indeks ayarı düzeltmiyor; ayrımı görünür kılan şey de değerlendirme seti oluyor.
Sıkıcı chunking kazanıyor
Semantik chunking'i, geniş örtüşmeli kayan pencereleri ve özet hiyerarşisini denedik. Sonunda yayına giren şey, doküman yapısına saygı duyan sabit boyutlu parçalar oldu; her parçanın başına ait olduğu bölüm başlığı eklendi. Hiç gösterişli değil ve kendi setimizde denediğimiz bütün zekice alternatifleri geçti.
Bizim okumamız şu: gelişmiş yöntemler, çoğu doküman kümesinde bulunmayan bir problemi çözüyor. Kaynaklar düzgün yapılandırılmışsa — başlıklar, bölümler, bir içindekiler tablosu — anlamı zaten yapı taşıyor; onu korumak, çıkarsamaya çalışmaktan hem ucuz hem çok daha öngörülebilir. Zekice yaklaşıma, basit olanın nerede tökezlediğini ölçtükten sonra uzanın.
Son etap tesisat işi
Projenin sonu modellemeyle ilgili bile değildi. Yetkilerdi: kimse açma izni olmayan bir dokümandan pasaj çekmesin diye. Bayat içerikti: geçen yılın prosedürünü kendinden emin biçimde aktaran bir sistem, hiçbir şey söylemeyenden kötüdür. Düzgün parse edilmeyen üç dosya formatıydı ve kaynak sistemi bir öğleden sonra boyunca çöktüğünde yarım kalmış bir indeksi sessizce servis etmeden ayakta kalması gereken bir senkronizasyon işiydi.
Bunların hiçbiri iyi demo olmuyor. Hepsi birden, bir prototip ile bir şirketin kendi çalışanının önüne koyacağı şey arasındaki farkı oluşturuyor; takvim de düzenli olarak burada eriyor.