Hintergrund/Motivation:
Mit dem Aufkommen leistungsfähiger Sprachmodelle (LLMs) entstehen immer häufiger Texte, die nicht ausschließlich von Menschen verfasst sind, sondern aus einer Mischung von menschlichen und maschinellen Passagen bestehen [1]. Solche sogenannten Hybridtexte stellen neue Herausforderungen dar, etwa bei der Plagiatserkennung, in der akademischen Integrität oder in der journalistischen Qualitätskontrolle [2]. Während es bereits zahlreiche Forschungsarbeiten zur Erkennung von vollständig LLM-generierten Texten gibt, ist die Identifikation von Hybridtexte deutlich schwieriger. Es fehlt an Studien, die systematisch untersuchen, wie zuverlässig Abschnitte innerhalb eines Dokuments einem Menschen oder einem LLM zugeordnet werden können [3].
Ziel:
Das Ziel dieser Arbeit ist es, Transformer-basierte Verfahren für die Erkennung von Hybridtexten zu entwickeln und zu evaluieren. Konkret sollen Abschnitte in Dokumenten identifiziert werden, die entweder von einem Menschen oder von einem LLM stammen. Dazu werden geeignete Datensätze aufgebaut (z.B. durch künstliche Kombination von Human- und LLM-Texten) und Modelle trainiert, die diese Segmentierungsaufgabe lösen.
Ergebnisse:
Die Arbeit liefert eine erste systematische Untersuchung zur automatischen Segmentierung von Hybridtexten. Die Ergebnisse sollen zeigen, wie zuverlässig aktuelle Verfahren in der Lage sind, menschliche und LLM-generierte Abschnitte voneinander zu trennen. Damit leistet die Arbeit einen Beitrag zur Entwicklung von Werkzeugen, die im Bildungsbereich, in der Plagiatserkennung und in der Medienanalyse eingesetzt werden können.
Hier sorgst Du für Veränderung
* Aufbau eines Datensatzes aus Hybridtexten (Kombination von Human- und LLM-generierten Abschnitten).
* Implementierung und Training von Transformer-basierten Klassifikations- oder Segmentierungsverfahren.
* Evaluation der Verfahren anhand verschiedener Textarten (z.B. akademische Texte, journalistische Artikel, Social Media Posts).
* Vergleich der Performance mit existierenden Methoden zur Textklassifikation.
* Anfertigung eines Projektberichts in Form einer Masterarbeit.
Hiermit bringst Du Dich ein
* Grundkenntnisse im Bereich Machine Learning und Natural Language Processing.
* Gute Python-Kenntnisse, vorzugsweise erste Erfahrung mit PyTorch oder HuggingFace Transformer.
* Interesse an der Schnittstelle von KI und Gesellschaft (z.B. Bildung, Medien, Plagiatsprüfung).
* Motivation, sich eigenständig in aktuelle Forschung zu LLM-Detektion einzuarbeiten.
Was wir für Dich bereithalten
* Selbstständige Arbeitszeiteinteilung
* Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung
Verwandte Arbeiten:
[1]
[2]
[3]
https://arxiv.org/html/2310.14724v3
Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.
Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.
Bereit für Veränderung? Dann bewirb Dich jetzt, und mach einen Unterschied! Nach Eingang Deiner Online-Bewerbung erhältst Du eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Dir, wie es weitergeht.
Fraunhofer-Institut für Sichere Informationstechnologie SIT
www.sit.fraunhofer.de
Kennziffer: 82693 Bewerbungsfrist: