مقالات حسین نریمانی

معماری Inference Pipeline برای LLM‌های بزرگ در Production: از Token Streaming تا Request Batching

بیشتر تیم‌هایی که LLM را به production می‌برند، اول از همه روی کیفیت مدل تمرکز می‌کنند — و این اشتباه نیست. اما وقتی مدل دپلوی می‌شود، مشکل اصلی جای دیگری است: معماری inference pipeline تعیین می‌کند که سیستم چقدر گران تمام می‌شود، چه latency‌ای می‌دهد، و...