Veröffentlichung auf der HICSS 2021: Hirt et al. über sequenzielles Transferlernen in Netzwerken
January 5, 2021
Messung von Impact-Faktoren für die Wiederverwendung von ML-Modellen
In den kürzlich veröffentlichten Proceedings of the 54th Hawaii International Conference on System Sciences (HICSS) untersuchte Robin Hirt, Co-CEO von prenode, die Möglichkeiten der Wiederverwendung neuronaler Netze auf verteilten Datensätzen. In diesem Bereich gibt es das Problem, dass die Wiederverwendung von maschinellen Lernmodellen ein großes Potential hat, aber nicht jeder Transfer erfolgreich ist. Daher können Indikatoren helfen, die Übertragbarkeit von neuronalen Netzen einzuschätzen.
In Zusammenarbeit mit den Co-Autoren Akash Srivastava, Carlos Berg und Niklas Kühl führte das Team eine empirische Studie zu einem Anwendungsfall mit Verkaufsdaten verschiedener Restaurants durch. Neuronale Netze werden über die Datensätze der Restaurants hinweg trainiert und mit maschinellem Lernen ausgetauscht. Die Ergebnisse legen nahe, dass Indikatoren wie die Netzähnlichkeit zur Einschätzung der Modellleistung verwendet werden können.
Transfer Learning verbessert die ML-Leistung
Die Ergebnisse der Modelle zeigen, dass das Transfer-Lernen zu einer deutlichen Verbesserung der Leistung eines maschinellen Lernsystems führen kann. Daher ist das Training einzelner Modelle auf mehreren, verteilten Datensätzen und der anschließende Modelltransfer ein sinnvoller Weg, um den Nutzen eines Systems zu erhöhen.
Darüber hinaus stellt das Team fest, dass bereits trainierte Modelle vom Training auf einem anderen Datensatz profitieren können, da dies "das Modell, das nur auf der ursprünglichen Verteilung aufgebaut ist, übertrifft" (Hirt et al., 2021).
prenode's Decentralized Machine Learning Software mlx wendet diese Technologie an und nutzt einen Ansatz, bei dem die Trainingsdaten am Rande verbleiben. Daher werden nur die einzelnen, lokal trainierten Modelle ausgetauscht, um ein kombiniertes, zentrales Modell zu erstellen. Erfahren Sie hier mehr über unsere KI-Lösung.
Weitere Informationen zu den Forschungsarbeiten finden Sie in der Veröffentlichung auf hawaii.edu.
Video: Microsoft Intelligent Manufacturing Award 2023 | Meet the winners
Teilen Sie diesen Artikel
Mehr lesen