Jev ve Laya-MLX: Yapay zekâ iş akışında paragraf yerine karar gerektiğinde

Bir ajanın her adımda metin yazması gerekmiyor. Bazen sıradaki iş yalnızca bir kuyruk seçmek, önem derecesi atamak veya eldeki kanıtın yeterli olup olmadığına karar vermek. Tipli karar modelleri, bu dar problemi incelemeyi değerli kılıyor: Modelin çıktısı üretilmiş bir paragraf yerine seçenek ya da olasılık olduğunda ne değişiyor?

TypeSafe, Jev’i 15 Eylül’de tanıttı. Laya ve bağımsız Laya-MLX çalışma ortamı ise aynı alana açık ağırlıklı, ayrı bir giriş sunuyor. Bu yazı, yaklaşımı ve yakın dönem uygulamalarını ele alan bir analiz; üç projenin de bugün çıktığı iddiasını taşımıyor.

Üç isim, farklı roller

Ana Laya projesi, seçenek seçimi, derecelendirme ve evet/hayır türü olasılıkları destekliyor. Yayımlanan modellerin bağlam bütçeleri kısa: İngilizce modelde 512, çok dilli ve typed-decisions sürümlerinde 1.024 token. Talimatlar ve seçenekler de bu bütçeyi tüketiyor. Uzun bir destek konuşmasının tamamını göndermek, son mesajını sınıflandırmaktan farklı bir problem.

Jev’in grafikleri neyi gösteriyor?

TypeSafe’in duyurusu, ekibinin kurduğu dört iş akışında yüksek hız ve maliyet kazanımları bildiriyor. Özgün karşılaştırma aşağıda. Bu sonuçlar ilgili görevler hakkında veri sunuyor; genel bir model zekâsı sıralaması oluşturmuyor.

Bizim çıkarımımız şu: Her cevabın neye izin verdiğini uygulamanın belirlemesi gerekiyor. Veri tipi doğru olan bir etiket, yanlış etiket olabilir. Olasılığı para iadesi yapma, hesap kapatma veya yazı yayımlama yetkisine çevirmek için ayrı bir kural ve uygun kontrol adımı gerekli.

Laya-MLX deneyi Mac’e taşıyor

Laya-MLX deposu, Apple Silicon, Python 3.11+ ve macOS 14+ hedefliyor. Model ilk kullanımda indiriliyor; sonrasında çıkarım yerelde çalışabiliyor. Aşağıdaki Snake videosu projenin özgün kaydı; hatalı hareket önerilerini düzeltebilen görünür bir güvenlik katmanı içeriyor.

Ayrı benchmark raporunda, kısa bir sorunun medyan gecikmesi İngilizce modelde 13,42 ms, çok dilli modelde 7,39 ms. Ölçüm, 40 GPU çekirdekli ve 128 GiB bellekli M3 Max üzerinde FP16 ile yapılmış. Hazırlık ve sonuç biçimlendirme dahil, modelin yüklenmesi hariç. Bunları buluttaki bir API’nin ağ gecikmesini içeren yanıt süresiyle doğrudan kıyaslayamayız.

Bağımsız araştırma seçici yönlendirmeye işaret ediyor

22 Eylül tarihli JEV-as-a-Judge ön baskısı, Jev’i değerlendirici olarak inceliyor. Olağan tercih ve olgusal doğruluk görevlerinde umut verici sonuçlar; işlem adımlarını kontrol etmede ve ikna edici biçimde yazılmış yanlış cevaplarda daha büyük açıklar bildiriyor. Güvene dayalı kademeli yapı, bazı kararları kabul edip belirsiz olanları daha güçlü bir karşılaştırma modeline yönlendiriyor. Bu, belirli koşullardaki araştırma sonucu; güven skorunun her hatayı yakaladığına dair garanti değil.

İlk nasıl denerdik?

Geri alınabilir bir görevle başlardık: Kısa TR/EN okuyucu mesajlarını editoryal, abonelik ve teknik destek kuyruklarına ayırmak. İnsan tarafından etiketlenmiş test setine belirsiz talepleri, karışık dilli mesajları ve konuyla ilgisiz metinleri de eklerdik.

Tüm akışı ölçmek gerekir: Kendinden emin yanlış kararlar, incelemeye yönlendirme oranı, gerçekçi girdi uzunluklarında gecikme ve hataları düzeltmenin maliyeti. Karşılaştırmaya genel dil modelinin yanında basit kuralları da koyardık. Zor mesajların küçük bir bölümünü yanlış yönlendiren hızlı model, manşetteki gecikme değerinin düşündürdüğünden daha az zaman kazandırabilir.

Bu sistemleri bağımsız olarak benchmark etmedik. Umut veren kullanım, büyük bir iş akışının içindeki küçük ve ölçülebilir karar; sonraki adım ise bu kararın hangi koşullarda güvenilir olduğunu belirlemek.