Wir sind Bertrandt.
Ein eigenständiger und internationaler Engineering Dienstleister mit langjähriger Expertise. Mit branchenübergreifendem Know-how und einem ganzheitlichen System- und Produktverständnis schaffen wir technologische Lösungen entlang der gesamten Wertschöpfungskette. Wir beschäftigen uns mit den Trendthemen Digitalisierung, E-Mobilität und Autonome Systeme hauptsächlich für die Branchen Automotive, Luftfahrt, Defence und Maschinenbau und ermöglichen hier konsequent die Entstehung passgenauer Lösungen. Unser Ziel: den technologischen Fortschritt beschleunigen und einen relevanten Beitrag zu einer nachhaltigen Zukunft leisten. Daran arbeiten wir jeden Tag – mit rund 12.000 Mitarbeiterinnen und Mitarbeitern an über 50 Standorten weltweit.
Was Sie erwartet
* Durchführung, Planung und Dokumentation von Tests für Large Language Models (LLMs)
* Analyse, Bewertung und Optimierung der Modellperformance (Qualität, Robustheit, Halluzinationen, Bias, Antwortkonsistenz)
* Integration, Konfiguration und Validierung von KI‑Tools innerhalb einer MCP‑Server‑Architektur
* Unterstützung bei der Anbindung externer Services und Tools (z. B. Search, Retrieval, APIs) an LLM‑basierte Systeme
* Mitarbeit bei der Weiterentwicklung von KI‑Infrastrukturen, Toolchains und Testframeworks
* Enge Zusammenarbeit mit Entwicklung, Architektur, Produktmanagement und Qualitätssicherung
* Dokumentation von Testergebnissen, Schnittstellen und technischen Konzepten
* Identifikation von Optimierungs‑ und Automatisierungspotenzialen im KI‑Umfeld
Was Sie mitbringen
* Mehrjährige praktische Erfahrung im Umgang mit Large Language Models (z. B. GPT‑basierte Modelle, Open‑Source‑LLMs)
* Fundierte Erfahrung in LLM‑Tests, insbesondere in den Bereichen Functional Testing, Prompt‑Evaluation, Regression‑ und Performance‑Tests
* Nachweisliche Erfahrung in der Integration von Tools in MCP‑Server‑Umgebungen oder vergleichbaren KI‑/Agenten‑Architekturen
* Sehr gutes Verständnis von API‑Schnittstellen, Service‑Integration und Client‑Server‑Architekturen
* Erfahrung im Umgang mit KI‑Pipeline‑ oder Orchestrierungs‑Ansätzen
* Kenntnisse in Testmethoden, Qualitätssicherung und technischer Dokumentation im KI‑Kontext
* Sehr gute Programmierkenntnisse (z. B. Python)
* Erfahrung mit Tool‑Anbindung, Plugin‑ oder Agent‑Mechanismen für LLMs
* Idealerweise Kenntnisse in Prompt Engineering, Retrieval‑Augmented Generation (RAG) und Evaluationstechniken
* Sicherer Umgang mit Entwicklungs‑ und Kollaborationstools
* Verständnis moderner KI‑Infrastrukturen (Cloud‑, Container‑ oder Server‑basierte Umgebungen von Vorteil)
* Analytische und strukturierte Arbeitsweise
* Hohe Lösungs‑ und Ergebnisorientierung
* Selbstständiges Arbeiten sowie ausgeprägte Teamfähigkeit
* Technische Neugier und hohe Lernbereitschaft im dynamischen KI‑Umfeld
* Sehr gute Kommunikationsfähigkeit gegenüber technischen und nicht‑technischen Stakeholdern
* Sehr gute Deutschkenntnisse
Bertrandt legt großen Wert auf Gleichbehandlung und Chancengleichheit. Unsere Recruiting-Entscheidungen basieren auf den Erfahrungen und Fähigkeiten der Bewerber*innen. Schwerbehinderte Menschen bzw. gleichgestellte Menschen im Sinne des SGB IX sind herzlich willkommen und werden bei gleicher Eignung bevorzugt eingestellt.
Sie sind interessiert?
Wir freuen uns über Ihre Bewerbung!