BlenderProc ist eine Software zur Erzeugung von realistischen Bildern für das Training von neuronalen Netzen. Intern verwendet BlenderProc die freie Grafiksoftware Blender um fotorealistische Datensätze zu erzeugen und kann über ein intuitives Python-API gesteuert werden. Der Schwerpunkt der Software liegt im Realismus der erstellten Bilder und nicht nur auf der Geschwindigkeit ihrer Generierung. Dieser Realismus wird durch die Verwendung eines path tracers erreicht, der dem Weg der virtuellen Lichtstrahlen von einer virtuellen Lichtquelle zur virtuellen Kamera folgt. Physikalische Materialeigenschaften bestimmen dann, wie das Licht mit der 3D-Szene interagiert und auf dem Bild erscheint. Insgesamt versuchen wir den Unterschied zwischen den synthetisch generierten und echten Bildern so gering wie möglich zu halten.
Typische Ausgaben von BlenderProc (Farbbild, Tiefenbild, Objektklassen und Normalen)
BlenderProc kann in verschiedenen Anwendungsfällen eingesetzt werden, darunter Segmentierung, Tiefen-, Oberflächennormalen- und Lageschätzung. Ein Hauptmerkmal unseres Tools ist das einfach zu bedienende Python-API, das so konzipiert ist, dass es sich leicht erweitern lässt. Darüber hinaus werden viele öffentliche Datensätze, wie 3D FRONT oder ShapeNet, bereits unterstützt, was es einfacher macht synthetische Szenen mit zusätzlichen Objekten zu versehen. Der größte Vorteil von BlenderProc ist jedoch seine große Toolbox und die mitgelieferten Beispiele. Schließlich unterstützt BlenderProc nicht nur das Rendering von Farbe, Tiefe, Distanz, Oberflächennormalen und semantischer Segmentierung, sondern ist auch in der Lage, optischen Fluss und normalisierte Objektkoordinaten (NOCS) zu rendern und die Daten dann entweder in hdf5-Containern oder in den Formaten BOP oder COCO zu speichern.
Weitere Informationen finden Sie in unserem GitHub-Repository und unseren Publikationen (siehe unten).
Maximilian Denninger, Dominik Winkelbauer, Martin Sundermeyer, Wout Boerdijk, Markus Knauer, Markus Wendelin, Klaus H. Strobl, Matthias Humt, Rudolph Triebel,"BlenderProc2: A Procedural Pipeline for Photorealistic Rendering", 8 (82), p. 4901, Februar, 2023. https://elib.dlr.de/193977/
Maximilian Denninger, Martin Sundermeyer, Dominik Winkelbauer, Dmitry Olefir, Tomas Hodan, Youssef Zidan, Mohamad Elbadrawy, Markus Knauer, Harinandan Katam, Ahsan Lodhi "BlenderProc: Reducing the Reality Gap with Photorealistic Rendering" in: Proc. RSS 2020. Robotics: Science and Systems (RSS), Virtuell, Juli 2020. https://elib.dlr.de/139317/
Maximilian Denninger, Martin Sundermeyer, Dominik Winkelbauer, Youssef Zidan, Dmitry Olefir, Mohamad Elbadrawy, Ahsan Lodhi, and Harinandan Katam. October, 2019. arXiv:1911.01911.https://arxiv.org/abs/1911.01911
Falls Sie BlenderProc in einem Forschungsprojekt oder Publikation verwenden möchten, zitieren Sie uns bitte wie folgt (BibTeX):
@article{Denninger2023, doi = {10.21105/joss.04901}, url = {https://doi.org/10.21105/joss.04901}, year = {2023}, publisher = {The Open Journal}, volume = {8}, number = {82}, pages = {4901}, author = {Maximilian Denninger and Dominik Winkelbauer and Martin Sundermeyer and Wout Boerdijk and Markus Knauer and Klaus~H. Strobl and Matthias Humt and Rudolph Triebel}, title = {BlenderProc2: A Procedural Pipeline for Photorealistic Rendering}, journal = {Journal of Open Source Software} }
