LLMOps (LLM Operasyonları) Nedir?
İngilizce: LLMOps
LLMOps, büyük dil modeli tabanlı uygulamaları test etme, izleme, sürümleme ve güvenle yayına alma disiplinidir.
LLMOps (LLM Operasyonları) Nedir?
LLMOps, LLM kullanan uygulamaların geliştirme sonrası nasıl işletileceğini tanımlar. Klasik yazılım izlemeye ek olarak prompt sürümleri, model değişiklikleri, kaynak kalitesi, maliyet, gecikme ve yanıt güvenilirliği takip edilir.
Bir LLM uygulamasında aynı kod, farklı model sürümü veya farklı sistem prompt’u ile bambaşka sonuç verebilir. Bu yüzden LLMOps süreci kod, prompt, değerlendirme veri seti ve model konfigürasyonunu birlikte sürümler.
Neleri Kapsar?
- Değerlendirme: Altın cevaplar, hata senaryoları ve güvenlik testleriyle kalite ölçümü
- Gözlemleme: Token kullanımı, gecikme, maliyet, hata oranı ve kullanıcı geri bildirimi
- Sürümleme: Prompt, model, fine-tuning ve RAG kaynaklarının izlenmesi
- Güvenlik: Veri sızıntısı, prompt injection ve uygunsuz çıktı risklerinin kontrolü
İş Kullanımı
LLMOps, müşteri destek botu, iç bilgi asistanı, belge özetleme, teklif üretimi veya ajan tabanlı otomasyon gibi sistemlerde gereklidir. Prototip aşamasında başarılı görünen bir model, gerçek kullanıcı trafiğinde maliyet, kalite veya güvenlik açısından sorun çıkarabilir.
MLOps makine öğrenimi modellerinin yaşam döngüsüne odaklanırken LLMOps, doğal dil çıktısının değişkenliği ve harici araç kullanımını da kapsar.
İlgili Terimler
Fine-tuning, önceden eğitilmiş bir modeli seçili örneklerle yeniden eğiterek belirli görev, ton veya alan bilgisinde daha tutarlı hale getirir.
LLMLLM, büyük metin veri kümeleri üzerinde eğitilen ve doğal dil anlayıp üretebildiği için ChatGPT gibi yapay zeka araçlarının temelini oluşturan model.
MLOpsMLOps, makine öğrenimi modellerinin veri, eğitim, dağıtım, izleme ve yeniden eğitim süreçlerini üretim disipliniyle yönetir.