Conditional Value-at-Risk

Policy

Gli agenti LLM possono aspettare: il scheduling mira a ridurre i ritardi peggiori

Uno studio su arXiv propone di ritardare selettivamente i turni pronti degli agenti LLM. L’obiettivo è contenere le code e migliorare il P95 sotto carico.

Radar · 12 settembre 2026 · 06:54