Von PoC zu Production: LLM- & RAG-Systeme betreiben

About this course

Dieser Kurs setzt nicht bei der Theorie an, sondern bei der Realität produktiver Systeme. Er richtet sich an CTOs, Heads of Engineering und erfahrene Entwickler, die LLM- oder RAG-Projekte aus dem Proof of Concept in einen stabilen, verantwortbaren Betrieb überführen wollen.LLM-Systeme funktionieren als Demo – und scheitern im Alltag.Halluzinationen, instabile Outputs, unklare Qualitätsmetriken, steigende Tokenkosten, fehlendes Monitoring und wachsende Compliance-Risiken sind typische Symptome. An dieser Stelle brechen die meisten AI-Initiativen ab.Seit Jahren begleite ich Mittelstand, Konzerne und Scale-ups dabei, festgefahrene oder gescheiterte AI-Projekte zu analysieren, zu stabilisieren und in belastbare Systeme mit messbarem ROI zu überführen. Das Muster ist nahezu immer identisch: funktionierende Prototypen, aber kein strukturierter Betrieb. Keine klaren Verantwortlichkeiten, keine Metriken, keine systematische Kontrolle.Dieser Kurs ist kein Einsteigerkurs zu LLMs und kein Prompting-Workshop.Er zeigt, wie produktive, zuverlässige und kontrollierbare LLM-Systeme tatsächlich entworfen, bewertet und betrieben werden.Behandelt werden unter anderem:Architekturentscheidungen für skalierbare LLM- und RAG-SystemeMonitoring und Observability für Qualität, Drift und KostenEvaluationsstrategien jenseits von Accuracy und StichprobenGuardrails und RisikomanagementDeployment-, Release- und Rollback-StrategienIntegration in bestehende IT- und GeschäftsprozesseIm Zentrum stehen konkrete Fragestellungen aus realen Projekten:Wie überwacht man LLMs technisch und fachlich sinnvoll?Wie misst man Qualität belastbar und reproduzierbar?Wie erkennt man Drift, Bias und Halluzinationen frühzeitig?Wie automatisiert man Tests, R