PostHog'un Jeeves'i Jev tarzı karar modellerine akıl yürütme ekliyor, bedelini gecikmeyle ödüyor

Jeeves, 29 Eylül’de Hacker News’te görünen ve daha önce Jev ve Laya-MLX, CLM-8B ve OpenDecider yazılarımızda ele aldığımız türden tipli karar modellerine açık bir akıl yürütme adımı ekleyen 9 milyar parametreli bir model. Tarih, Hacker News gönderisinin tarihi; deponun ne zaman oluşturulduğuna dair bir iddia değil. Kod PostHog’un GitHub organizasyonu altında duruyor ve projenin atıf bilgisi yazar olarak Nicholas P. Waltz’ı gösteriyor.

Bedel tahmin edileceği gibi. Jeeves daha zor kararlarda daha iyi doğruluk bildiriyor ve bunun karşılığını zamanla ödüyor. Aşağıdaki tüm rakamlar projenin README’sinden geliyor ve hiçbirini biz yeniden üretmedik.

Hangi sorunu hedefliyor?

Jev tarzı modeller sınırlı bir seçim için kalibre edilmiş olasılıklar döndürür, ama README’ye göre bu daha düşük doğrulukla gelir; bu yüzden birçok boru hattı zor durumlarda büyük bir akıl yürütme modeline geri düşer. Jeeves bu farkı, karar modelinin önce akıl yürütmesine izin vererek kapatmaya çalışıyor.

Jev ile aynı istek biçimini, Jev uyumlu bir API üzerinden konuşuyor; depoda da Jev’in kendi SDK’sının yerine geçmesi amaçlanan bir Python SDK’sı var. Tek istekte üç soru türü destekleniyor:

Soru türü	Ne döndürür	Örnek kullanım
Seçim (choice)	Her aday için bir olasılık	Bir mesajı iade, kargo veya faturalamaya yönlendirmek
Evet/hayır (noul)	Evet olasılığı	Bir vakanın acil insan ilgisi gerektirip gerektirmediğine karar vermek
Puan (score)	Sıralı bir ölçekte beklenen düzey	Bir müşterinin ne kadar öfkeli olduğunu derecelendirmek

Nasıl çalışıyor?

Jeeves, Qwen3.5-9B’den başlıyor ve bir LoRA adaptörü (rank 16) ile küçük bir pointer head ekliyor. Model bir akıl yürütme zinciri yazıyor, ardından bir işaretleyici karar vermesini söylüyor. Pointer head, modelin o işaretleyicideki durumunu her seçeneğin sonundaki durumuyla karşılaştırarak her seçeneği puanlıyor; puanlar, bir geliştirme kümesinde ayarlanmış bir sıcaklıkla softmax’tan olasılığa dönüşüyor. Kısaca, model bir cevap üretmek yerine kendisine verilen seçenekler arasından seçiyor.

README ayrıca ablasyonlardan iki tasarım bulgusunu kaydediyor. İstem, yapısını Qwen’in nadir ve çoğunlukla kullanılmayan token’larıyla işaretliyor; bunların yerine “State” gibi düz kelimeler kullanmak sonuçları kötüleştirmiş. Akıl yürütme bloğundan sonra soruları tekrarlamamak da öyle.

Sonuçlar ne söylüyor?

README, Jeeves’i Jev ve daha önceki bir açık Jev tarzı model olan Kev ile karşılaştırıyor. Bir seçki:

Ölçü (aksi belirtilmedikçe yüksek daha iyi)	Kev-9B	Jev	Jeeves
Test genel (alan dışı ve ayrılmış)	0,822	0,857	0,889
JevBench, 231 herkese açık madde	0,715*	0,866	0,935
JevBench zor, 111 herkese açık madde	0,451*	0,730	0,865
JevBench kalibrasyon hatası (düşük daha iyi)	yok	0,049	0,037
MMLU	0,738	0,900	0,793
MMLU-Pro (10 şıklı)	0,515	0,840	0,739
Transfer genel (MMLU-Pro ve gömülü durum)	0,579	0,800	0,746

* Kev-8B sonuçları. Kev-9B için yayımlanmış bir JevBench sonucu yok.

Jeeves ayrılmış test bölümünde ve JevBench’te önde, kalibrasyon hatası da daha düşük. Bilgi ağırlıklı MMLU ve MMLU-Pro’da ise Jev açık ara önde. README bunu kendisi de söylüyor.

Bu rakamların ne kadar ileri okunabileceğini üç ayrıntı sınırlıyor. Kev-9B ve Jev sütunları Kev’in yayımladığı rakamlar, Jeeves yazarının yeniden çalıştırdığı sonuçlar değil. JevBench dışında README, karşılaştırmaların aynı kaynaklardan çekilmiş farklı maddeler kullandığını söylüyor. JevBench rakamları da yalnızca herkese açık kolay, standart ve zor kademeleri kapsıyor; mühürlü jüri kademesi dahil değil. Düşünmenin kendisi de önemli: düşünme olmadan aynı checkpoint, 2.962 maddelik test bölümünde 0,804 alıyor; düşünmeyle 0,840.

Düşünmenin bedeli

Akıl yürütme bir isteği yavaşlatıyor ve README kuyruk konusunda açık sözlü. 325 geliştirme sorusunda, tek H100 üzerinde:

Ayar	Doğruluk	Ortalama akıl yürütme token’ı	Medyan / p90 gecikme
Tam düşünme	0,825	1.138	3,3 sn / 17,1 sn
max_think 768 ve nothink_threshold 0,9	0,806	344	2,0 sn / 5,6 sn
Düşünmesiz	0,775	0	yaklaşık 0,3 sn

İşi iki seçenek görüyor. max_think, her akıl yürütme zincirini kısaltıyor; nothink_threshold ise hızlı cevap zaten yeterince güvenliyse akıl yürütmeyi atlıyor. README’nin kendi örneğinde, tek istekte üç soru, paralel düşünerek ve her biri 512 token ile sınırlı olarak, yaklaşık 8,1 saniye sürmüş.

Akıl yürütmenin kendisini hızlandırmak için proje, Orthrus’tan uyarlanan bir fikirle bir difüzyon taslakçısı ekliyor. Tek soru için blok boyutu 4’te zincir üretimini saniyede 109’dan 176 token’a (1,6 kat) çıkarıyor. Jeeves’i çalıştırmak için Python 3.12 ve bir CUDA GPU gerekiyor; FP8 çekirdeği için Hopper sınıfı bir kart lazım.

Eğitim ve yeniden üretilebilirlik

Eğitim üç aşamalı. Denetimli ince ayar, 12 herkese açık veri kümesinden 19.126 soru ve sentetik politika verisi üzerinde iki epoch sürüyor; soruların yaklaşık yarısı, temel modelden örneklenmiş bir akıl yürütme zinciri taşıyor. Ardından CISPO ile pekiştirmeli öğrenme, her biri sekiz rollout’lu 9.992 soruyla ve 2.560 düşünme token’ı sınırıyla çalışıyor. README, 624 adımlık programın 402. adımda durdurulduğunu, çünkü sonraki adımların başlığı aşırı keskinleştirdiğini söylüyor. Kalibrasyon için tek bir sıcaklık ayarlanıyor.

Kod, eğitim hattı ve veri hazırlama betikleri MIT lisansıyla yayımlandı; ağırlıklar Hugging Face’te. Her herkese açık veri kümesi kendi lisansını koruyor. Bağımsız bir yeniden üretim görmedik.

Sınırlar

• Bilgi soruları Jev’in gerisinde, tabloda görüldüğü gibi.
• Kuyruk yavaş. Sınırlanmazsa tam akıl yürütme p90’da 17 saniyeye ulaşıyor.
• Akıl yürütmeyi incelemek zor. Eğitimde dil tutarlılığı ödülü yoktu, bu yüzden zincirler iyi yorumlanamıyor.
• Karşılaştırmalar yazarın kendisine ait. Buradaki hiçbir şey bizim ya da dışarıdan bir grubun kontrolünden geçmedi.
• Donanım varsayımı bir veri merkezi GPU’su. Verilen gecikmeler bir H100 için. Bu, Laya-MLX yazımızdaki yerel Apple Silicon hikâyesinden ya da OpenDecider için L40S üzerinde listelenen küçük ayak izlerinden farklı bir ortam. Bu rakamlar farklı donanımdan geliyor ve doğrudan karşılaştırılamaz.

Bizim değerlendirmemiz

Jeeves, bugün zor vakaları büyük bir akıl yürütme modeline gönderen boru hatları için en ilginç olanı. Orada, yalnızca emin olmadığında akıl yürüten daha küçük bir model maliyeti ve gecikmeyi azaltabilir; ilk denenecek ayar nothink_threshold. README’nin kendi rakamlarının Jev’i öne çıkardığı bilgi ağırlıklı sınıflandırmaya ve 17 saniyelik bir kuyruğun kabul edilemeyeceği yollara ise daha az uygun görünüyor.

Değerlendirecekseniz kendi etiketli maddelerinizi kullanın, her adaya aynı maddeleri verin ve doğrulukla birlikte kalibrasyonu da ölçün; çünkü güvene göre yönlendirme işin tüm amacı. Jev tarzı modellerin geniş resmi için CLM-8B ve Jev Code Reviewer notlarımız alternatifleri ve uygulamalı bir örneği kapsıyor.

Kapak bize ait kavramsal bir grafiktir ve veri içermez.