Veröffentlichung @ HICSS 2021: Hirt et al. zu Sequential Transfer Learning in Neuronalen Netzen

image

Einflussfaktoren bei der Wiederverwendung von ML Modellen

In den kürzlich veröffentlichten Proceedings of the 54th Hawaii International Conference on System Sciences (HICSS) untersucht prenode’s Co-CEO Robin Hirt zusammen mit einem Team von Forschern die Möglichkeiten der Wiederverwendung von neuronalen Netzen auf verteilten Datensätzen. Die Wiederverwendung von Machine Learning Modellen birgt ein großes Potenzial, aber nicht jeder Transfer ist erfolgreich. Indikatoren können also helfen, die Übertragbarkeit von neuronalen Netzen abzuschätzen.

In Zusammenarbeit mit den Co-Autoren Akash Srivastava, Carlos Berg und Niklas Kühl führt das Team eine empirische Studie auf Basis von Verkaufsdaten verschiedener Restaurants durch. Neuronale Netze werden über die Datensätze der Restaurants hinweg trainiert und mit Hilfe von Transfer Machine Learning übertragen. Die Ergebnisse legen nahe, dass Indikatoren, wie der Ähnlichkeitsgrad der Netze, zur Einschätzung der Modellleistung verwendet werden können.

Transfer Learning verbessert ML Performance

Die Scores der Modelle zeigen, dass Transfer Learning zu einer signifikanten Verbesserung der Leistung eines Machine Learning Systems führen kann. Das Training einzelner Modelle auf mehreren, verteilten Datensätzen und ein anschließender Modelltransfer sind demnach ein nützlicher Weg, um die Performance eines Systems zu erhöhen.

Darüber hinaus stellt das Forscherteam fest, dass Modelle vom Training auf einem zusätzlichen Datensatz profitieren können. Ein solches Modell übertrifft folglich die ausschließlich auf der ursprünglichen Verteilung trainierte Version hinsichtlich der Leistung.

Die Decentralized Machine Learning Software mlx von prenode wendet diese Technologie an und nutzt somit einen Ansatz, bei dem die Trainingsdaten “on-the-edge” bleiben. Es werden lediglich die einzelnen, lokal entwickelten Modelle ausgetauscht, um daraus zentral ein kombiniertes Modell zu erstellen. Erfahren Sie mehr über das Verfahren und unsere Software auf der mlx Seite.

Weitere Informationen zum Forschungsprojekt im Paper von Hirt et al. auf hawaii.edu.