Rolle: QA Automation Engineer (m/w/d) Für ein KI-Plattform Projekt suchen wir erfahrene QA_Unterstützung durch Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist, die Plattform und den Chatbot vor dem Launch automatisiert, reproduzierbar und belastbar abzusichern. Die Plattform bündelt KI-gestützte Chatbot- und Agenten-Use-Cases auf Basis von RAG, ausgewählten Wissensquellen, Guardrails, APIs und Frontend-Integrationen. Der Fokus liegt auf strukturierter Q, Testautomatisierung und der automatisierten Bewertung von RAG-Antwortqualität (Evals). Für die Evaluationen soll eine pragmatische Grundlage aufgebaut werden, idealerweise mit Azure AI Foundry. Das manuelle Testen im Tagesgeschäft übernimmt das interne QA Team. Diese Freelance-Rolle konzentriert sich auf die Schwerpunkte Testautomatisierung und automatisierte RAG-/LLM-Evaluation. Deine Verantwortungen: Testautomatisierung Automatisierte Tests für regressionkritische Frontend-, API- und Integrationsflows aufbauen und pfelgen Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als Quality Gate vor Deployments nutzbar machen Automatisierte Testfälle für Chatbot, API und Frontend definieren RAG-/LLM-Evaluation Automatisierte LLM-/RAG-Evaluationen aufsetzen, inklusive Eval-Datensätzen, Qualitätsmetriken, Schwellenwerten und reproduzierbaren Eval-Runs RAG-Antworten anhand definierter Qualitätskriterien prüfen, z. B. fachliche Korrektheit, Verständlichkeit, Prägnanz, Zielgruppenorientierung und Quellenbezug Übergreifend QA-Automa_sierungs- und Eval-Prozess für Plattform und Chatbot strukturieren Testdaten, Eval-Sets, Testprotokolle und QA-Statusübersichten pflegen Go-/No-Go-Einschätzung für den Launch vorbereiten Wir suchen Dich: Mehrjährige Erfahrung als QA (Automation) Engineer für Web-, Plattform- oder digitale Produktumfelder Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests, z. B. mit Playwright, WebdriverIO oder vergleichbaren Frameworks Sicher im Umgang mit Testkonzepten, Testfällen, Bug-Reports und Regressionstests Erfahrung mit CI/CD-Pipelines, idealerweise GitLab, und der Integration automatisierter Tests in Deployment-Prozesse Technisches Verständnis für APIs, Web-Frontends, CMS-basierte Systeme und integrierte Plattformarchitekturen Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement Strukturierte, analytische und eigenständige Arbeitsweise Sehr gute Deutschkenntnisse, mindestens C1 Nice to Have: Erfahrung mit KI-, Chatbot-, RAG- oder Multi-Agenten-Systemen Erfahrung mit LLM-/RAG-Evaluationen, idealerweise mit Azure AI Foundry / Azure AI Evaluation SDK, Langfuse, RAGAS, DeepEval, Promptfoo, LangSmith, Arize Phoenix oder vergleichbaren Eval-/Observability-Frameworks Verständnis von Qualitätsmetriken wie Groundedness, Relevance, Coherence, Fluency und Completeness Erfahrung mit Eval-Datensätzen, Ground Truth, Golden Sets oder synthetischen Testfällen Erfahrung mit API-Tests, Performance-Tests oder Penetrationstests Erfahrung mit Content-Management-Systemen, idealerweise Strap Wie sieht der Rekrutierungsprozess bei Ekkiden aus? Bei Ekkiden sind wir bestrebt, jedem Kandidaten eine positive Erfahrung zu bieten. Erstgespräch: Unser Rekrutierungsteam wird sich mit Ihnen in Verbindung setzen, um Ihre Motivation und Erwartungen zu besprechen. Interviews: Je nach der Rolle, für die Sie sich bewerben, führen Sie ein oder zwei Interviews mit unseren Geschäftsleitern. Kundengespräch: Schließlich haben Sie die Möglichkeit, den Kunden kennenzulernen. Obwohl dies unser Standardprozess ist, können wir Anpassungen vornehmen, die auf spezifischen Umständen basieren.