In diesem 1-tägigen Seminar „DeepEval – Das Unit-Testing Framework für Large Language Models (LLMs)“ erfahren Sie, wie Sie das Open-Source-Framework DeepEval effektiv zur Bewertung und Prüfung von LLMs einsetzen. DeepEval ist ein benutzerfreundliches Tool, das auf Pytest basiert und speziell entwickelt wurde, um die Ausgaben von Sprachmodellen automatisiert und semantisch fundiert zu analysieren.
Das Seminar bietet Ihnen eine kompakte Einführung in die Grundlagen und Einsatzmöglichkeiten von DeepEval. Anhand praxisnaher Beispiele lernen Sie, wie Sie erwartete und tatsächliche Modellantworten vergleichen – nicht nur auf Textebene, sondern auch semantisch, unterstützt durch verschiedene Metriken.
Nach dem Seminar sind Sie in der Lage, DeepEval in Ihre bestehenden Testprozesse zu integrieren, aussagekräftige Test-Cases für LLMs zu erstellen und die Leistung von Sprachmodellen in realen Anwendungsszenarien wie Kundenanfragen oder Produktinformationen fundiert zu bewerten.
Alle technisch arbeitenden Mitarbeiter, die Sprachmodelle / LLMs für den Einsatz für unternehmensspezifische Aufgaben testen wollen
DeepEval ist ein einfach zu nutzendes Open-Source-Framework zur Evaluation und zum Testen von Large Language Models (LLMs). Es wurde ähnlich wie Pytest aufgebaut, ist aber speziell dafür konzipiert, Ausgaben von Sprachmodellen automatisiert zu prüfen und zu bewerten.
DeepEval erlaubt es die erwartetete und die tatsächliche Antwort eines LLMs auf Testfragen *semantisch* miteinander zu vergleichen. Es wird durch eine Vielzahl auswählbarer Metriken die Bedeutung der erwarteten und der tatsächlichen Antwort miteinander verglichen. Damit liefert DeepEval eine kostbare Unterstütztung für die automatische Bewertung verschiedener LLMs für den praktischen Einsatz im Unternehmen.
Agenda:
In diesem 3-tägigen Seminar „Einführung in LLMOps – Strategien und Best Practices für den Betrieb von Large Language Models“ erhalten Sie ein grundlegendes Verständnis von Large Language Models (LLMs) und deren Einsatzmöglichkeiten in der Industrie. Sie erwerben ...
In diesem 3-tägigen Seminar „Generative AI & LLMs für Unternehmen“ erhalten Sie umfassendes Wissen über die Möglichkeiten und Anwendungen von Large Language Modellen (LLMs). Sie lernen, wie Sie passende Modelle auswählen, deren Leistung und Speicherbedarf bewerten ...
In diesem 2-tägigen Seminar „KI lokal nutzen mit OLLAMA & Co. – Eigene LLMs ohne Cloud betreiben“ erhalten Sie umfassende Kenntnisse über Large Language Models (LLMs), deren Funktionsweise sowie die Unterschiede zwischen Cloud-basierten und lokalen LLMs hinsichtlich ...
In diesem 2-tägigen Seminar „Multi-Agent LLM Workflows mit LangChain & LangGraph“ erhalten Sie einen fundierten Einstieg in die Konzepte und Funktionsweise von LangChain und LangGraph. Sie lernen, wie Sie mit Python eigene Agenten entwickeln – von einfachen bis hin ...