Integrated Data Analysis Pipelines for Large-Scale Data Management, HPC, and Machine Learning

DAPHNE

Integrierte Datenanalysepipelines kombinieren Aufgaben aus den Bereichen Hochleistungsrechen, Datenmanagement und maschinellen Lernen und haben in den vergangenen Jahrzehnten immens an Verbreitung und Relevanz  gewonnen. Obwohl diese Bereiche viele Techniken z.b. auf der Ebene des Compilers und des Managements während der Laufzeit des Programms und viele Anforderungen, wie z.b. die effiziente Verwendung moderner heterogener Hardware, unterscheiden sich z.B. die vorwiegend verwendeten Programmierparadigmen, Ressourcen Manager und Dateiformate immens. Daphnes Ziel ist es eine einheitliche Schnittstelle für diese Domänen zu schaffen via DaphneLib, eine Python Bibliothek und DaphneDSL. Es ist das Ziel des LLVM basierte Daphne Compiler zusammen mit der Daphne Runtime die effiziente Verteilung und Ausführung auf moderner Hardware wie SIMD fähigen CPUs, GPUs, FPGAs und Computational Storage-geräten zu ermöglichen.

Laufzeit: 11/2020 - 11/2024

Fördermittelgeber: EU

Partner: TUD, ITU, KNOW-Center, Intel