SFB 1404: FONDA – Grundlagen von Workflows für die Analyse gro?er naturwissenschaftlicher Daten

Entdeckungen in den Naturwissenschaften basieren zunehmend auf der computergestützten Analyse gro?er Datens?tze, die von komplexen Datenanalyseworkflows (DAWs) auf einer verteilten Infrastruktur durchgeführt werden. Die meisten Forschungsarbeiten zu DAWs konzentrieren sich die Minimierung der Laufzeit auf einer bestimmten Infrastruktur, was zu L?sungen führt, die nur schwer zu warten und zu erstellen sind. In vielen Forschungsprojekten ist der entscheidende Faktor aber nicht die Laufzeit einer Analyse, sondern deren Entwicklungszeit. Der SFB FONDA erforscht daher neue Architekturen, Sprachen und Algorithmen, um die menschliche Produktivit?t bei der Entwicklung, Wartung oder Wiederverwendung von DAWs zu erh?hen. In der ersten F?rderperiode fokussierte sich FONDA dabei auf drei spezifische Eigenschaften von DAWs, die in direktem Zusammenhang mit Produktivit?t stehen: Portabilit?t, Anpassbarkeit und Zuverl?ssigkeit. FONDA hat viel beachtete Ergebnisse in diesen Bereichen erzielt, wie z.B. verbesserte Portabilit?t durch flexible Schnittstellen zwischen Infrastrukturkomponenten, verbesserte Anpassbarkeit durch intelligentes Scheduling und verbesserte Zuverl?ssigkeit durch ?Contract-Driven“ DAW-Entwicklung. In der zweiten Phase wird FONDA drei Einschr?nkungen aus Phase I aufheben und sich die daraus ergebenden Fragestellungen in jeweils einem Forschungsschwerpunkt erforschen. Erstens l?sen wir uns von der Annahme, dass DAWs in einem einzigen Rechenzentrum ausgeführt werden, in dem alle notwendigen Daten vorliegen. Wir untersuchen stattdessen verteilte DAWs, deren Teilworkflows in verschiedenen Rechenzentren laufen und dort lokal vorhandene Daten einbeziehen. Zweitens erweitern wir unsere Ausrichtung in Hinblick auf den Lebenszyklus von DAWs mit einer neuen Research Area, in der Verbesserungen der Benutzerfreundlichkeit von DAW-Systemen erforscht werden. Drittens betrachten wir nicht mehr nur einzelne Workflows, sondern auch deren Evolution und Komposition, um die technische Nachhaltigkeit zu verbessern. Da die menschliche Produktivit?t in der Datenanalyse auch zunehmend durch hohe Energiekosten bedroht wird, werden wir auch Techniken zur Verbesserung der ?kologischen Nachhaltigkeit erforschen. Neben den wissenschaftlichen Erfolgen konnte die erste Phase von FONDA auch bereits mehrere langfristige Entwicklungen ansto?en. Mit der Einrichtung des neuen HPC@HU Services hatte unser SFB einen nachhaltigen strukturellen Einfluss auf die Sprecheruniversit?t. Die Anerkennung der Bedeutung unseres Forschungsthemas spiegelt sich in zahlreichen Neuberufungen in der Region wider, die eine passgenaue Erweiterung unserer PI-Gruppe erm?glichen. Wir sind stolz auf den au?ergew?hnlich hohen Anteil an Frauen unter unseren Promovierenden (38%) und freuen uns auf das geplante Buch zu "Workflows for Large-Scale Scientific Data Analysis", für das mehr als 100 Autorinnen und Autoren aus 15 L?ndern Beitr?ge zugesagt haben und das im Sommer 2024 als Open Access erscheinen wird.