Unterstützung durch Large Language Models (LLMs) ist aus der modernen Softwareentwicklung nicht mehr wegzudenken. Sie erleichtert nicht nur die effiziente Codierung, sondern unterstützt auch bei der Einhaltung von Best Practices. Der Grad dieser Unterstützung hängt maßgeblich davon ab, wie gut das LLM die verwendete Programmiersprache, wiederkehrende Code-Patterns sowie die zugrunde liegende Problemdomäne versteht. Je nach Anwendungsbereich kann es daher sinnvoll sein, ein LLM gezielt für einen bestimmten Use Case durch Finetuning anzupassen.
Im Rahmen der Masterthesis wird das Finetuning mehrerer LLMs auf unternehmenseigenem Quellcode untersucht. Ziel ist es, die minimale Modellgröße (gemessen an der Anzahl der Parameter) zu bestimmen, bei der noch eine ausreichende Performance gewährleistet ist. Gleichzeitig soll analysiert werden, inwieweit die Anzahl der Parameter Einfluss auf die Qualität der Unterstützung hat. Im Fokus steht dabei der sogenannte Fill-in-the-Middle (FIM) Use Case – ein Trainingsansatz, bei dem das Modell lernt, fehlende Codeabschnitte zwischen einem gegebenen Anfangs- und Endsegment zu generieren.
Uns ist wichtig, dass du das Arbeiten bei Vector vor Ort kennenlernst. Um das Studium und die Arbeit unter einen Hut zu bekommen, bieten wir nach individueller Abstimmung, und abhängig von der jeweiligen Tätigkeit, auch mobiles Arbeiten an. Bitte beachte, dass reine Remote-Arbeit nicht möglich ist. Nächstmöglicher Start WiSe25/26.
Dein Profil
* Studium der Fachrichtung Informatik, Elektro- und Informationstechnik oder vergleichbarer Studiengang
* Gute Programmierkenntnisse in Python
* Programmierkenntnisse in C/C++
* Erfahrungen/Kenntnisse in LLMs, GenAI und dessen Verwendung
* Idealerweise Kenntnisse in LLM Finetuning
* Gute Deutsch- und Englischkenntnisse
Deine Aufgaben
* Aufsetzen eines Frameworks zum Finetuning von LLMs auf Quellcode
* Erstellung von Trainings- und Testdaten basierend auf dem Quellcode
* Erarbeitung und Umsetzung eines Konzepts zur Evaluation des entstehenden Modells
* Ermittlung der Pareto-Front bezüglich LLM Parameterzahl und Performance
Dein Vector
Warum Vector einer der besten Arbeitgeber Deutschlands ist? Weil wir einiges dafür tun, damit sich Arbeit nicht wie Arbeit anfühlt. Dazu zählen zum einen individuell auf dich zugeschnittene Weiterbildungen, flexible Arbeitszeitmodelle inkl. vertrauensvoller Regelung zum mobilen Arbeiten (bis zu 66 % der Zeit). Zum anderen unterstützen wir dich mit Kinderkrippe, firmeneigenem Fitnessstudio, Parkplatz mit kostenloser E-Tankstelle oder vergünstigtem Deutschland-Ticket und noch vielem mehr. Darüber hinaus trägt unser hervorragendes Betriebsrestaurant dazu bei, dein Wohlfühl-Level hoch zu halten.
Kontakt
Job Code: ARAI-3790
Sabine Fligiel : +49 711 80670-1369
Haben wir dein Interesse geweckt?
Dann bewirb dich am besten gleich online.