Referenzarchitekturen
LLM-Gateway mit Modell-Fallback
Ein Gateway vor allen Modellen: Cache, Routing, Fallback und Kosten-Tracing.
Ein LLM-Gateway ist der eine Eingang für jeden Modellaufruf im Unternehmen. Anwendungen, Batch-Jobs und Agenten schicken ihre Anfragen an das Gateway statt an einen Anbieter. Das Gateway beantwortet wiederholte Fragen aus einem semantischen Cache, leitet einfache Aufgaben an ein kleines Modell und weicht auf ein zweites Modell aus, wenn das primäre ausfällt oder gedrosselt wird. Weil jeder Aufruf dort durchläuft, werden Kosten und Latenz an einer Stelle erfasst.
