Uç Yapay Zeka (Edge AI)

Edge AI, model çıkarımını bulut API'sine gidiş dönüş yapmak yerine veriyi üreten cihazın üzerinde ya da yakınında çalıştırır — telefonlar, tarayıcılar, IoT sensörleri, fabrika ağ geçitleri. Kazanımlar: gecikme (ağ sıçraması yok, 50 ms altı yanıtlar mümkün), gizlilik (ham veri cihazdan asla çıkmaz), çevrimdışı dayanıklılık ve istek başına sıfır çıkarım faturası. Kısıt ise yetenektir: uç donanıma nicelenmiş küçük dil modelleri, damıtılmış görü modelleri ve konuşma modelleri sığar, uç (frontier) LLM'ler sığmaz; doğruluk bulutun gerisinde kalır. Apple Intelligence'ın cihaz-üstü katmanı, Android'de Gemini Nano ve WebGPU ile ONNX Runtime üzerinden tarayıcı çıkarımı ana akım örneklerdir. Baskın üretim kalıbı hibrittir: yaygın, gecikmeye duyarlı ya da hassas istekleri yerelde karşılayıp zorları bulut modeline yükseltmek. SaaS geliştiricileri için edge AI aynı zamanda bir fiyatlandırma hikâyesidir — çıkarım maliyetini kendi marjınızdan müşterinin zaten sahip olduğu donanıma kaydırır.