Bu ay DevFest Istanbul'da, LLM prototiplerini üretime taşımak üzerine bir konuşma yaptık. Daha doğrusu konu, bir salonu etkileyen demo ile salı öğleden sonra gerçek kullanıcılar ve gerçek veriyle ayakta kalması gereken sistem arasındaki boşluktu. O boşluk çoğu ekibin bütçelediğinden uzun ve çok küçük bir kısmı model işi.
Konuşmada neler vardı
Son on sekiz ayda yayına aldığımız projelerden çıkan dört başlık — kötü giden kısımlar dahil:
- Değerlendirme setinin, herhangi bir özellikten önce kurulmaya değer ilk çıktı olması.
- Doküman ağırlıklı uygulamaların çoğunda retrieval kalitesinin model seçimini gölgede bırakması.
- Çıktının bir durum kodu değil düz metin olduğu yerde izlemenin neye benzediği.
- Kimsenin bütçelemediği ama herkesin er geç yaptığı maliyet ve gecikme çalışması.
Hepsini tek bir soru birbirine bağlıyordu: bu sistem üretimde bozulduğunda nereye bakacaksınız? Bir prototipin bu soruya cevap vermesi gerekmiyor. Bir sistemin veriyor olması gerekiyor ve cevabın olay anında doğaçlanması değil, olaydan önce hazır olması şart.
En çok soru, beklemediğimiz biçimde izleme bölümüne geldi. Hata biçimi bir istisna değil de kendinden emin yanlış bir cevapsa, alışıldık pano size her şeyin yolunda olduğunu bildirir. Bunun yerine gerçek trafikten örnek alıyor, sistemi kurarken kullandığımız değerlendirme setiyle puanlıyor ve o sayıyı bir hata oranı gibi izliyoruz; yanında da her retrieval'ı kaydediyoruz ki kötü bir cevap, doğru pasajın bağlama girip girmediğine kadar geriye takip edilebilsin.
Sonrasında gelen sorular
Salondakilerin çoğu bir iki prototip geçirmiş mühendislerdi; bu da tartışmayı slaytlardan iyi hâle getirdi. Soruların birkaçı teknik değil kurumsaldı: demo'nun asıl kolay kısım olduğunu bir yöneticiye nasıl anlatırsınız, değerlendirme seti projeyi onaylayan kişiyle çeliştiğinde ne yaparsınız, en zor aşaması dışarıdan görünmeyen bir işi nasıl fiyatlarsınız. Bunların temiz cevapları bizde de yok ve olmadığını söyledik.
Tekrar eden diğer başlık, modelin ne zaman hiç kullanılmaması gerektiğiydi. O akşam bize anlatılan problemlerin şaşırtıcı bir kısmı, üstüne model eklenmiş retrieval ve iş akışı problemleriydi; sıradan yazılım olarak daha ucuz, daha hızlı ve daha öngörülebilir olurlardı. Bir yapay zekâ konuşmasında söylenmesi pek sevilmeyen bir şey ve sonrasında birkaç kişinin konuşmayı sürdürmek istediği konu tam da buydu.
Düzenleyenlere ve tartışmak için kalan herkese teşekkürler. Slaytları yayımlamıyoruz, ama oradaysanız ya da konu kurmakta olduğunuz bir şeye yakınsa bize e-posta atın, gönderelim. Aynı içeriği bir ekiple daha uzun uzun konuşmaya da açığız.