Perceptron Mk1.5: fiziksel ajanlar için ses, video takibi ve araç kullanımı

Perceptron, çevresini yorumlayıp araçlar aracılığıyla eylem seçen ajanlar için geliştirdiği Mk1.5 modelini 25 Eylül 2026’da duyurdu. Model kartına göre metin, görüntü, video ve ses alıyor; metin, mekânsal ve zamansal işaretlemeler ile işlev çağrıları üretebiliyor. Buradaki temel fikir, algıyı uygulamanın kontrol döngüsüne bağlamak: Kamera akışını, araçları, yürütme kurallarını ve kontrolleri geliştirici sağlıyor; model gözlem ve çağrı öneriyor.

Şirketin drone, dört ayaklı robot, akıllı gözlük ve telefon gösterimlerini böyle okumak gerekiyor. Perceptron, bu platformlarda aynı modeli platforma özel yeniden eğitim yapmadan kullandığını söylüyor. Ancak gösterimler tek başına, bilinmeyen ortamlarda güvenli çalışma, genel otonom kontrol veya her robota doğrudan aktarılabilen bir kontrol sistemi kanıtı değil.

Sürüm neler ekliyor?

Yetenek	Modelin döndürdüğü çıktı	Uygulamanın üstlendiği iş
Doğrudan ses girdisi	Metin yanıtı, deşifre veya zaman damgalı ses olayı	Kaydı sağlamak; videonun sesini ayrıca etkinleştirmek
Videoda nesne takibi	Aynı nesne altında gruplanmış zaman damgalı nokta veya kutular	Konumları doğrulamak, örtülmeleri ele almak, katman çizmek
İşlev çağırma	OpenAI biçimindeki sohbet yanıtında işlev adı ve argümanlar	Çağrıyı doğrulayıp yürütmek, sonucu modele geri vermek
Alt ajan iş akışı	Lansmanda gösterilen paralel görev dağıtımı	Model çağrıları etrafındaki koordinasyonu kurup yönetmek

Takip çıktısındaki <track> etiketi, hedefe ait farklı zamanlardaki gözlemleri grupluyor. Böylece uygulama her kareden bağımsız bir tespit listesi yerine zaman eksenli bir iz alabiliyor. Takip belgeleri, bu gözlemlerin seyrek olabileceğini vurguluyor. Aradaki boşluğu tahmin ederek doldurmak istemci uygulamasının kararı; nesne örtülüyken tahmin edilen konum model gözlemi gibi sunulmamalı. Zaman damgaları, koordinatlar ve yanıtın tamamlanma durumu da kullanılmadan önce kontrol edilmeli.

Ses bir girdi; model konuşma sesi üretmiyor. Ses belgelerine göre Mk1.5, deşifre, soru yanıtlama ve ses olayını zamanda bulma için WAV, MP3 ve FLAC kabul ediyor. Video dosyasının ses kanalı, istek içinde açıkça etkinleştirilmezse işlenmiyor. Metin yanıtını akışla almak da uç noktayı canlı mikrofon akışına dönüştürmüyor. Kamera görüntüsüyle duyulan sesi eşleştirecek bir uygulama için bu ayrıntılar belirleyici.

Araç kullanımının sınırı da açık. Genel işlev çağırma API’si, Mk1.5’in geliştiricinin tanımladığı işlevleri istemesini sağlıyor. Çağıran uygulama argümanları doğruluyor, işlevi yürütüyor ve sonucu geri gönderiyor. Bir işleve search adını vermek, kendiliğinden barındırılan bir web arama hizmeti açmıyor. Lansmandaki arama, sayfa okuma, yakınlaştırma, ters görsel arama ve paralel alt ajan örnekleri modelin çevresine eklenen araç ve koordinasyona dayanıyor. Fiziksel bir sistemde izinler, eylem sınırları ve acil durdurma mekanizması da bu katmanda kurulmalı.

Ölçümler ne söylüyor?

Perceptron’un lansman değerlendirmesi, dört takip karşılaştırmasının üçünde liderlik bildiriyor; MeViS valid_u’da MolmoPoint-8B önde. Bazı rakip değerleri yayımlanmış makalelerden geliyor. Aşağıdaki grafik, özgün Molmo2-Track karşılaştırmasını koruyor.

Uygulama geliştiren biri için asıl soru, bu avantajın kendi kamerası, ışığı ve nesnelerin örtüldüğü koşullarda sürüp sürmediği. Bir sıralama, inceleme sisteminin bütün vardiya boyunca kaç nesneyi kaybedeceğini veya sonrasında doğru nesne kimliğini yeniden bulup bulamayacağını söylemiyor. Bir takip sonucunu eyleme bağlamadan önce bunları ayrıca ölçmek gerekir.

Resmî gecikme karşılaştırması, tek H100 üzerindeki üç çalıştırmanın medyanıyla Mk1’e göre 4,7 kata kadar hızlı tamamlanma bildiriyor. Bu, robotun bütün eylem döngüsünün hızını ortaya koymuyor: Görüntü alma, ağ, araç çalıştırma ve motor yanıtı ek adımlar. Karşılaştırmaları bağımsız olarak çalıştırmadık veya Mk1.5’li bir robotu test etmedik.

Erişim, sınırlar ve fiyat

Perceptron, Mk1.5’in platformu ve güncellenmiş SDK’sı üzerinden erişilebilir olduğunu söylüyor. API model kimliği perceptron-mk1.5. Hızlı başlangıç belgesi, sohbet tamamlama uç noktasını ve Python paketinin 0.4.0 veya sonraki sürümünü kullanıyor.

Yayımlanan özellik	Değer ve kapsam
Standart girdi / çıktı	Milyon token başına $0,15 / $1,50
Önbellekli girdi	Güncel model kartında milyon token başına $0,0375
Bağlam	Lansman yazısında 32K; güncel model kartında 36.864 token
Azami çıktı	Güncel model kartında 8.192 token
Tek bir ses öğesi	16.384 ses tokenı; belgelerdeki tahmine göre yaklaşık 21,8 dakika

Perceptron’un iki kaynağındaki bağlam sayıları uyuşmuyor. Entegrasyon planlarken güncel model kartını temel alıp geçerli sınırı API üzerinden doğrulamak gerekir; lansmandaki yuvarlak sayı zorunlu sınır kabul edilmemeli. Ses, video kareleri, metin, araç tanımları, akıl yürütme ve çıktı aynı bağlam bütçesini paylaşıyor. Token rehberine göre video maliyeti dosya boyutundan veya kare hızı ile süreyi çarparak güvenilir biçimde hesaplanamıyor. Gerçek iş yüküne benzer kliplerin bildirilen token kullanımını ölçmek gerekiyor. Ses süresi de planlama tahmini; kabul kararını sunucunun token sayısı veriyor.

Nerede anlamlı olabilir?

Mk1.5, ne oldu ve nerede oldu sorusunu sınırları belirli bir eyleme bağlayan uygulamalarda ilgi çekici: İnceleme videosunda bir parçayı izlemek, görüntüde duyulan alarmın zamanını bulmak veya gözlenen bir parçanın bakım kaydını araçla sorgulamak gibi. Pratik bir değerlendirme, hedef kameranın ışık ve hareket koşullarındaki görüntüleri kullanmalı; iz sürekliliğini ve kaçan olayları karşılaştırmalı; bütün araç döngüsünün maliyet ve gecikmesini kaydetmeli. Hareket veya önemli bir işlem söz konusuysa modelin önerdiği çağrı, yürütmeden önce bağımsız olarak doğrulanmalı.

Bu sürüm, algıya dayalı ajanların kullanabileceği arayüzü genişletiyor. Arayüzün belirli bir cihazda veya sahada ne kadar güvenilir olduğu ise orada ölçülmeli.

Kaynaklar 26 Eylül 2026’da kontrol edildi. Karşılaştırma ve donanım uygulaması iddiaları Perceptron’a aittir; bu yazı için bağımsız model veya robot değerlendirmesi yapılmadı.