Advertisement for the field of study such as: Automation technology, cybernetics, aerospace engineering, mechanical engineering, mechatronics, physics, control engineering, software engineering, computer science, robotics or comparable.
Reliable and precise perception is essential for robot-based bin picking and assembly, especially for bulk goods and object manipulation with robotic hands. The focus here is robust multi-camera fusion, accurate object detection in cluttered scenes (bulk goods), and multi-modal tracking that combines camera data with tactile feedback. Using deep learning, multi-view geometry, and simulation via digital twins, the goal is a real-time, deployable perception stack for an industrial robot arm using a robotic hand as an end effector.
The place of work would be in Heilbronn.
Was Sie bei uns tun
* Literature Review: Survey multi-camera sensor fusion, object detection under heavy clutter/occlusion, and multi-modal (vision + tactile) tracking in robotics and manufacturing.
Framework Development: Set up the digital twin in Isaac Sim; build scene generators for clutter, occlusions, and varying lighting/reflectivity. Specify dataset strategy (augmentation/domain randomization) and an automated evaluation pipeline. Calibrate and time-synchronize multi-camera systems with tactile sensors; define data schemas and ROS 2/Isaac ROS interfaces.
* Algorithm Implementation: Develop multi-camera fusion for 3D localization (triangulation, multi-view association) using e.g. EKF/UKF. Build multi-modal tracking that fuses object tracking with tactile signals. Optimize for real time (TensorRT, pruning/quantization). Implement robustness strategies for occlusions, small/reflective objects, and provide uncertainty estimates.
* Simulation and Testing: Generate diverse scenarios in Isaac Sim with domain randomization; Evaluate calibration error, FPS/latency, and resource usage. Run ablations on fusion strategies, number/placement of cameras, and tactile on/off; study sim-to-real transfer.
Was Sie mitbringen
* enrolled student
* High motivation and initiative
* Very good English language skills
* Experience with Isaac Sim / Lab
* Experience in computer vision and deep learning is an advantage
* Independent, responsible, and structured working style
Was Sie erwarten können
* Pleasant working atmosphere
* interesting and industry-relevant tasks
* dynamic, interdisciplinary team
* Insights into the future topic of automation
* Good technical equipment
Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.
Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.
Haben wir Ihr Interesse geweckt? Dann bewerben Sie sich jetzt online mit Ihren aussagekräftigen Bewerbungsunterlagen. Wir freuen uns darauf, Sie kennenzulernen!
Frau Jennifer Leppich
Recruiting
+49 711 970-1415
jennifer.leppich@ipa.fraunhofer.de
Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA
www.ipa.fraunhofer.de
Kennziffer: 81682 Bewerbungsfrist: