Bağlam Penceresi (Context Window) Nedir?
İngilizce: Context Window
Bağlam penceresi, bir dil modelinin tek istekte okuyup yanıt üretirken dikkate alabildiği toplam token kapasitesidir.
Bağlam Penceresi (Context Window) Nedir?
Bağlam penceresi, modele aynı anda verilebilen tüm metin alanını ifade eder. Kullanıcı mesajı, sistem talimatı, konuşma geçmişi, getirilen dokümanlar ve modelin üreteceği yanıt bu kapasiteyi birlikte tüketir.
Bu kapasite token ile ölçülür. Uzun bir bağlam penceresi daha fazla doküman veya konuşma geçmişi taşımaya izin verir; ancak bu her zaman daha iyi yanıt anlamına gelmez. Fazla ve ilgisiz içerik, modelin önemli bilgiyi kaçırmasına neden olabilir.
Nasıl Kullanılır?
RAG sistemlerinde bağlam penceresine genellikle en alakalı doküman parçaları yerleştirilir. Bu nedenle semantic search, chunking ve reranking kalitesi doğrudan önemlidir. Yanlış veya gereksiz kaynaklar pencereyi doldurursa, model doğru cevabı üretmekte zorlanır.
Sohbet uygulamalarında ise eski mesajların tamamını taşımak yerine özetleme, önemli olayları seçme veya kısa süreli bellek kullanma tercih edilebilir.
İş Kullanımı
Bağlam penceresi maliyet, gecikme ve kaliteyi birlikte etkiler. Hukuki doküman analizi, teknik destek asistanı veya teklif hazırlama gibi senaryolarda doğru kaynakları sığdırmak kritik hale gelir.
Büyük pencere, plansız veri doldurma anlamına gelmemelidir. Üretim sistemlerinde hangi bilgi bağlama alınacak, hangi bilgi dışarıda kalacak ve kaynaklar nasıl önceliklendirilecek açıkça tasarlanmalıdır.
İlgili Terimler
LLM, büyük metin veri kümeleri üzerinde eğitilen ve doğal dil anlayıp üretebildiği için ChatGPT gibi yapay zeka araçlarının temelini oluşturan model.
RAGRAG, büyük dil modelinin yanıt üretmeden önce kurumsal belge veya veri tabanından ilgili parçaları bulup bağlama eklediği yapay zeka mimarisidir.
Token (Belirteç)Token, dil modellerinin metni işlemek için kullandığı kelime, hece, karakter veya sembol parçacığıdır; maliyet ve bağlam hesabını belirler.