AI'ın en dikkat çeken dikeylerinden: Model yönlendirme / LLM Routing
Transkript
Yapay zekada önemli bir dikeyden bahsedeceğim şimdi. Halihazırda zaten büyük ama daha da büyüyecek, önemli bir katmandan.
İki fintech aynı dönemde AI'ın aynı katmanına girdi: Biri Stripe, OpenRouter'ı 7 milyar dolardan fazla bir bedelle satın aldı. Ramp ise Router ürününü herkese açtı.
Evet, katmanın adı LLM routing, yani model yönlendirme; kısaca her isteği o an yeterince iyi, ucuz, hızlı ve erişilebilir olan modele yönlendiren katman. Hem verimlilik hem hız hem de maliyete direkt etki ediyor. Diğer yandan bu yönlendirme katmanının kendisi de aslında dinamik olarak muhakeme yeteneğine sahip olması gereken bir AI ürünü.
Ürünü detaylı analiz ederek; işin latency ve önem olarak kategorilendirmesini yapmak ve o an için en doğru modeli bulma probleminin ne kadar kompleks olduğundan bahsediyorum. Ayrıca bu yönlendirme katmanı, evaluation katmanı ile de konuşmalı, yani modelleri test edebilen bir kurguya sahip olmalı.
Bu arada Router'ı önce kendisi kullanan Ramp, maliyet olarak %40 avantaj yakaladığını da iddia ediyor.
Peki neden gerekli; en iyi model en çok kullanılmaz mı? Ramp'in on binlerce şirketin AI harcamasını izleyen verisine göre hayır: en güçlü model Fable 5, Anthropic harcamalarının yalnızca yüzde 11'i; yarı fiyatına Opus 5 çıkar çıkmaz onu geçmiş. Yani token bir satın alma kalemi oldu; bu katmanı ödeme şirketlerinin alması da bu açıdan hiç tesadüf değil.
Tabii bu platformlar aynı zamanda hangi işin hangi modele gittiğini de görüyor, çok önemli bir veriye sahip oluyor. Bu arada NVIDIA'nın da bu alanda açık kaynak kodlu ve Switchyard isimli bir çözümü var.