Deine Mission
Du baust mit uns eine standardisierte Testing-Umgebung für unsere AI-Lösung auf – damit unser System zuverlässig, nachvollziehbar und messbar das tut, was es soll. Du arbeitest eng mit dem Engineering- und Product-Team zusammen und wirst dabei vom AI Engineering Lead begleitet.
Aufgaben
Deine Aufgaben
* Testing-Infrastruktur mitgestalten – Aufbau und Pflege unserer Testumgebung für AI-Agenten (u. a. mit PyTest und OpenTelemetry)
* Modell-Unternehmen entwickeln – realistische Beispiel-Unternehmen in unserer Datenbank (PostgreSQL) anlegen, die echte Kundensituationen widerspiegeln und belastbare Testszenarien ermöglichen
* Qualitätssicherung – gewünschtes und ungewünschtes Systemverhalten unserer AI-Agenten (LangGraph / LangChain) und RAG-Pipeline (Weaviate) systematisch aufdecken und nachvollziehbar machen
* Evaluation Suite aufbauen – erwartetes Systemverhalten gemeinsam mit dem Product-Team definieren und in automatisierte Tests umsetzen – inkl. Vergleich verschiedener LLM-Anbieter und Modelle
Qualifikation
Das bringst du mit
Must-haves:
* Laufendes Studium (z. B. AI/ML, Informatik, Kognitionswissenschaften o. Ä.)
* Grundlegende Programmierkenntnisse – du kannst Code lesen und verstehen
* Grundverständnis von generativer KI (LLMs, Prompting, typische Stärken und Schwächen)
* Strukturiertes, analytisches Denken
* Sehr gute Englischkenntnisse (Arbeitssprache); gute Deutschkenntnisse (verhandlungssicher, fließend, Muttersprache)
Nice-to-have:
* Erste Erfahrung mit Python und/oder Testing-Frameworks
* Interesse an oder Erfahrung mit RAG-Systemen, Prompt Engineering oder LLM-Evaluation
Benefits
Was dich bei uns erwartet
* Echte Ownership – deine Tests haben direkten Einfluss auf die Produktqualität
* Lernen im Team – du arbeitest direkt mit Product und Engineering zusammen und wirst vom AI Engineering Lead begleitet
* Internationales Umfeld – ein Team mit Eigenverantwortung und AI-First-Mindset
* Flexibilität – 20 h/Woche, frei einteilbar, remote-friendly
* Perspektive – Möglichkeit, deine Abschlussarbeit thematisch an deine Arbeit bei uns anzuknüpfen, und Chance, mit uns zu wachsen
Schick uns deinen Lebenslauf und ein paar Sätze dazu, warum dich AI-Testing interessiert. Optional: Projekte oder Code-Beispiele.
We’re a group of humans (and maybe one robot 🤖) working on something that’ll make your jaw drop… unless you’re an AI, in which case you’ll just process this data very efficiently. Curious to know more? Let’s just say we’re about to make your 9-to-5 feel like a 10-to-lunch – making work smarter, faster, and a lot more fun. Imagine the best thing ever. But 10x better. Follow us and be part of the future of work 🚀. Want the full story? You’ve got three options: 1. work for us 2. become a pilot customer or 3. invest in our pre-seed funding round 😏.