KI ohne Cloud: Modelle lokal betreiben, eigene Daten anbinden, Prozesse automatisieren

Übersicht

Vor dem Hintergrund wachsender Anforderungen an Datenschutz, digitale Souveränität und Ressourcennutzung beim Einsatz generativer KI gewinnen lokale KI-Modelle zunehmend an Bedeutung. Der Workshop bietet einen tiefgehenden Einblick in Auswahl, Betrieb und Integration leistungsfähiger Open-Source-Modellen, sodass sich Workflows effizient automatisieren lassen. Gleichzeitig verbleiben interne Daten auf eigener Hardware und entstehende Kosten lassen sich einfach und sicher steuern.

Nach der Teilnahme am dreitägigen Workshop können Sie:

• geeignete Modelle für verschiedene Anwendungsfälle gezielt auswählen
• lokale Modelle effizient und kostengünstig betreiben
• Inferenzserver und Deployment-Architekturen aufbauen
• eigene Daten mit RAG-Systemen in Sprachmodelle integrieren
• Routineaufgaben mit KI-Agenten automatisieren
• Chancen und Grenzen lokaler KI-Systeme bewerten

Inhalte

Dieser praxisorientierte Workshop vermittelt Ihnen das erforderliche Know-how, lokale Sprachmodelle effizient zu betreiben. Dazu lernen Sie die Gemeinsamkeiten und Unterschiede bei Qualität, Leistung, Kosten und Datenschutz verschiedener Open-Source-Modelle kennen, um ihre Einsatzmöglichkeiten im Unternehmen fundiert bewerten zu können.

Anschließend bekommen Sie einen umfassenden Einblick in geeignete Hardware-Architekturen und lernen moderne Inferenzserver wie vLLM, SGLang, Ollama oder LM Studio kennen. Zudem erfahren Sie, wie Sie die Sprachmodelle bereitstellen, eigene Schnittstellen entwickeln und eine lokale KI in bestehende Anwendungen integrieren. Darüber hinaus lernen Sie, wie Sie Modelle skalieren, die Ressourcennutzung optimieren und den Betrieb überwachen, um einen sicheren und kostenschonenden Einsatz zu gewährleisten.

Ebenfalls lernen Sie, wie Sie eigene Daten mit Retrieval-Augmented Generation an lokale Sprachmodelle anbinden und gesamte Prozesse mit KI-Agenten automatisieren. Neben theoretischen Einheiten erhalten Sie in diesem praxisorientierten Workshop zahlreiche Einblicke in reale Anwendungsfälle und wenden die Inhalte sofort in vertiefenden Übungen an. Somit erlangen Sie wertvolle Praxiserfahrung, die Sie in Ihrem Unternehmen anwenden können.

Zielgruppe

• Softwareentwickler, die KI-Funktionen mittels lokaler Sprachmodelle in eigene Anwendungen integrieren wollen
• AI/ML-Engineers und Data Scientists, die eigene Daten mit RAG in lokale Modelle einbinden wollen
• IT-Architekten, die lokale KI-Anwendungen in ihrem Unternehmen betreiben und bereitstellen wollen

Voraussetzungen

Vorkenntnisse

• Grundkenntnisse in Python
• Erfahrung mit Softwareentwicklung
• grundlegende Kenntnisse über APIs

Technische Voraussetzungen

• Notebook mit Administratorrechten und installiertem Docker
• mindestens 20 GB freier Speicherplatz
• Internetzugang
• optional: Python 3.11 oder neuer, Visual Studio Code

Durchführung

• Sie nehmen über Zoom am Workshop teil, wobei die Verbindung über einen lokal gehosteten, DSGVO-konformen On-Premises-Connector erfolgt.
• Um einen intensiven Austausch zwischen dem Trainer und den Teilnehmenden zu gewährleisten, erfolgt der Workshop in Gruppen von höchstens 15 Personen.
• Sollte die Durchführung der Veranstaltung aufgrund höherer Gewalt, der Verhinderung eines Referenten, von Störungen am Veranstaltungsort oder wegen zu geringer Teilnehmerzahl nicht möglich sein, werden die Teilnehmenden so früh wie möglich informiert.