llama.cpp artık karar modellerini /v1/systemone ile sunuyor

Modelleri yerelde çalıştırmak için yaygın kullanılan bir motor olan llama.cpp artık karar modellerini çalıştırabiliyor. Proje 2 Ekim’de 29818 numaralı pull request’i birleştirdi ve bakımcıları özelliği bir Hugging Face makalesinde anlattı. Bir karar modeli, metin üretmek yerine verdiğiniz seçenekleri tek bir forward pass’te puanlıyor. Bu yazı neyin eklendiğini, hangi modellerin çalıştığını, hızlı başlangıcı ve Türkçeyle ilgili bir sonucu anlatıyor. Duyuruyu, pull request’i, sunucu belgelerini ve model kartlarını okuduk; hiçbirini çalıştırmadık.

Ne eklendi

llama.cpp sunucusu bir /v1/systemone uç noktası kazandı. Bir state (metin, JSON ya da bazı modellerde görsel) ve tipli sorular gönderiyorsunuz, model her seçenek için bir olasılık döndürüyor. API, TypeSafe’in Jev ile getirdiği System One biçimini izliyor; duyurunun ifadesiyle mevcut istemcilerin yalnızca yeni bir base URL’ye ihtiyacı var. Belgeler sınırları listeliyor: streaming desteklenmiyor, geçersiz bir istek 400, karar modeli olmayan bir model 501 döndürüyor.

Üç soru türü var:

Tür	Gönderdiğiniz	Aldığınız
choice	seçenekler, isteğe bağlı açıklamalarla	en üst seçenek ve seçenek başına olasılık
score	2 ile 10 arası seviye, en düşükten başlayarak	beklenen seviye, iki seviye arasında olabilir
noul	evet/hayır sorusu	evet olasılığı

Pull request, karar modellerini geleneksel embedding modellerinin sarmalayıcıları olarak tanımlıyor; bu yüzden çekirdek kütüphanedeki değişiklikler küçük: grafikte bir karar head’i, dönüştürme desteği ve girdi/çıktı işlemeyi model meta verisine göre değiştiren bir sunucu bağlamı. Ayrıca causal modeller için paylaşılan prompt öneki, görsel girdi ve testler ekliyor. Pull request’teki yazar beyanı, kodun çoğunun yapay zekâ tarafından yazıldığını ve tasarımın kendisine ait olduğunu söylüyor.

Hangi modeller çalışıyor

Model	Boyut, taban	Diller	Lisans	Hız*
Julia-1	144M, mmBERT-small	50+	Apache-2.0	3 ms
Laya	421M, ModernBERT-large	İngilizce	Apache-2.0	5 ms
Kev-4B	4B, Qwen3.5-4B-Base	İngilizce	Apache-2.0	12 ms
lev	4B, Qwen3.5-4B	İngilizce	Apache-2.0	36 ms
OpenJev	27B, Qwen3.8-27B	en, de, fr, hi, zh, ja; görsel de okuyor	CC BY-NC 4.0	43 ms

*Tek bir NVIDIA RTX PRO 6000’de bir soruyu yanıtlamanın ortanca süresi, ggml-org’un bildirdiği gibi. Biz ölçmedik.

OpenJev’in ticari olmayan lisansı, bir üründe kullanmadan önce bakılması gereken tek lisans; diğer dört GGUF kartı Apache-2.0 listeliyor. ggml-org daha fazla modelin geldiğini söylüyor ve pull request, Cloudflare’in Clef’ini planlanmış bir devam çalışması olarak listeliyor. Decision Index adlı bir topluluk sıralaması modelleri karşılaştırıyor.

Hızlı başlangıç

Duyuru, en son llama.cpp’yi llama.app’ten almanızı (ya da llama update çalıştırmanızı) ve bir model başlatmanızı söylüyor:

llama serve -hf ggml-org/Kev-4B-GGUF

Bir istek tek bir state ve istediğiniz sayıda soru taşıyor:

curl http://localhost:8080/v1/systemone \
  -H "Content-Type: application/json" \
  -d '{
    "state": "Customer message: I was charged twice for my order last week and nobody has replied.",
    "questions": {
      "route": {
        "type": "choice",
        "instructions": "Which team should handle this?",
        "criteria": {
          "billing": "payments, charges, refunds, invoices",
          "shipping": "delivery, tracking, lost or late parcels",
          "technical": "bugs, errors, login problems"
        }
      },
      "angry": { "type": "noul", "instructions": "Is the customer angry?" }
    }
  }'

Duyurudaki örnek çalıştırmada, Kev-4B ile yönlendirme sorusu billing’i 0,905, öfke sorusu 0,82 olarak döndürdü. Router modunda llama serve modelleri isteğe göre yüklüyor ve istek başına model alanıyla birini seçiyorsunuz; görsel girdi, görsel projektörü otomatik inen OpenJev ile çalışıyor.

Orijinallerle ne kadar örtüşüyor

Pull request, tek bir müşteri destek girdisi ve beş sorudan oluşan, her modelin referans çıktısını llama.cpp’ninkiyle karşılaştıran bir test içeriyor. Herhangi bir olasılıktaki en büyük fark:

Model	En büyük fark
OpenJev	0,00018
Laya	0,00084
Kev-4B	0,0013
lev	0,0052
Julia-1	0,022

Julia-1’in farkı en büyüğü ve 0,01’in üstündeki tek fark; yazar Julia-1’i beş sorudan birinde çalıştırmamış. Test tek bir girdi, yani o durumda denklik gösteriyor, görevler genelinde değil.

Bir Türkçe sonuç

Beş modelden dördü İngilizce ya da birkaç başka dil için listeleniyor ve bu listelerin hiçbirinde Türkçe yok. Supersonic Labs’in Julia-1’i çok dilli mmBERT-small encoder’ından başlıyor ve yayımlanmış sonuç dosyası Türkçeyi içeriyor.

Julia-1 sonucu (Supersonic Labs’in kendi değerlendirmesi)	Skor
MASSIVE senaryo sınıflandırması, Türkçe (tr-TR)	%80,3 (2.974’te 2.388)
Aynısı, İngilizce (en-US)	%86,75
Aynısı, Portekizce (pt-PT)	%86,25
Aynısı, 52 yerel ayarın tamamı (makro)	%71,5
Tipli kararlar, 2.000 örnek	%73,15; bir Jev referans rakamı için %72,70
Banking77 pilotu, 72 etiket, 100 örnek	%64; Jev referansı için %87

Kartın kendi uyarılarıyla okuyun. MASSIVE niyet sınıflandırmasını ya da slot doldurmayı değil, 18 senaryo etiketini ölçüyor. Sınıflandırma pilotları veri seti başına 100 örnek kullanıyor, Jev sayıları sağlanmış referans rakamları, yeni bir Jev çalıştırması değil; kart ayrıca Julia’nın verdiğiniz cevapları karşılaştırdığını ve eksik bilgi sağlamak ya da çok adımlı akıl yürütme için kanıtlanmadığını söylüyor. Yerel bir çağrı 2 ile 20 seçenek kabul ediyor. Rakamlar model yapımcıları tarafından 24 Eylül’de ölçüldü.

Duyurudaki ipuçları

• Seçeneklerinizi açıklayın. Julia-1, “I was charged twice” mesajını çıplak etiketlerle shipping’e, her seçeneğe açıklama eklenince billing’e (0,99) yönlendirdi.
• Güven eşiğini model başına seçin. Belirsiz bir talep Julia-1’de 0,25, Kev-4B’de 0,80 aldı; kendi örneklerinizde test edin.
• Sorularınızı toplu gönderin. Bağımsız yanıtlanıyorlar ve Kev-4B, lev ve OpenJev state’i yalnızca bir kez işliyor.
• Başka nicemlemeleri deneyin, örneğin ggml-org/Kev-4B-GGUF:Q8_0.

Sunucu belgeleri, olasılıkların model dosyasında saklanan sıcaklıklarla ölçeklendiğini ve kendi verinizde kalibre olduğunun garanti edilmediğini ekliyor.

Akılda tutulacaklar

Bunlar bizim gözlemlerimiz:

• Yerelde çalışıyor. Bir karar modelini kendi llama.cpp sunucunuzda çalıştırmak metni makinenizde tutuyor; bu destek talepleri ve moderasyon için önemli. Hız ve doğruluk rakamları yapımcılarınki, bizim değil.
• Önce dile ve lisansa göre seçin. Beşten dördü önce İngilizce, biri ticari değil, Türkçe sonucu olan ise en küçüğü.
• Kendi verinizi kontrol edin. Belgeler olasılıkların kendi verinizde kalibre olduğunun garanti edilmediğini uyarıyor, duyuru da güven eşiklerini kendi örneklerinizde test etmenizi söylüyor.

Editoryal inceleme: 3 Ekim 2026 (AI). ggml-org’un Hugging Face makalesi, 29818 numaralı pull request (açıklama, 2 Ekim’de birleştirildi), sunucu belgeleri, GGUF model kartları ve Supersonic Labs’in Julia-1 kartı ile sonuç dosyası (Türkçe rakam yayımlanmış sonuç dosyasından okundu) aynı gün okunarak hazırlandı. Hız ve doğruluk rakamları yapımcılarınındır; llama.cpp’yi ya da herhangi bir modeli çalıştırmadık. Kapak ggml-org’un duyuru kartı, Julia 1 görseli model kartından alındı; ikisi de atıf ve kaynak bağlantısıyla kullanıldı. “Akılda tutulacaklar” bize aittir.