Megvii Open Sources Deep Learning Framework
Die chinesische Megvii Technology veröffentlicht ihr KI-Framework für tiefes Lernen
Das chinesische Start-up für künstliche Intelligenz (KI) Megvii Technology Limited gab bekannt, dass es sein Deep-Learning-Framework quelloffen macht, da China die Entwicklung der einheimischen KI vorantreibt und die Technologien zugänglicher macht, um die Abhängigkeit von US-Plattformen zu verringern.
Die MegEngine wurde 2014 entwickelt und ist Teil der Megvii-eigenen KI-Plattform Brain++, mit der Computer Vision in großem Maßstab trainiert werden kann und die es Entwicklern auf der ganzen Welt ermöglicht, KI-Lösungen für die industrielle und kommerzielle Nutzung zu entwickeln, so das Unternehmen aus Peking.
Dr. Sun Jian, Chief Scientist und Leiter der Megvii-Forschung, sagte: “Von der Entwicklung der MegEngine für den Eigengebrauch im Jahr 2014 haben wir sechs Jahre gebraucht, um sie heute als Open Source zu veröffentlichen. Das Open-Sourcing der MegEngine ist nur der erste Schritt unseres Beitrags zur Open-Source-Bewegung. Wir haben die MegEngine für unsere Anwendungen in den Bereichen Computergrafik, Gesichts- und Objekterkennung eingesetzt, aber die Entwicklergemeinschaft kann unsere grundlegende Technologie für innovative, reale Anwendungen der KI nutzen, die wir uns noch nicht vorstellen können. Sie werden das, was wir entwickelt haben, noch besser machen, und wir können mehr Zeit mit der Vermarktung unserer Produkte verbringen. Das ist eine Win-Win-Situation für alle.
Brain++ Plattform
Brain++, die KI-Produktivitätsplattform der nächsten Generation, besteht aus drei Säulen, nämlich dem Deep-Learning-Framework MegEngine, der Deep-Learning-Cloud-Computing-Plattform MegCompute und der Datenmanagement-Plattform MegData.
MegEngine
Die MegEngine wurde 2014 entwickelt und im März 2020 veröffentlicht. Sie ist die Kernkomponente von Brain ++ und eine neue Generation von Open-Source-Frameworks für industrielles Deep Learning. Tianyuan kann Entwicklern und Nutzern helfen, große Programmierschnittstellen zu nutzen, um große Deep-Learning-Modelle zu trainieren und einzusetzen.
Tianyuan gliedert sich in die fünf Schichten Computing Interface, Graph Representation, Optimization and Compilation, Runtime Management und Computing Kernel, die den Entwicklungsprozess von Algorithmen erheblich vereinfachen, die nicht-destruktive Migration der Trainingsgeschwindigkeit und -genauigkeit von Modellen ermöglichen und dynamische und statische Mischprogrammierung unterstützen. Der Modellimport und die integrierten leistungsstarken Computer-Vision-Operatoren eignen sich besonders für das Training großer Modellalgorithmen.
- Trainingsinferenz
- Statisch und dynamisch
- Kompatibel
- Flexibel und effizient
MegCompute
MegCompute, eine verteilte Deep-Learning-Plattform, ist eine groß angelegte, von Desperate unabhängig entwickelte Plattform für künstliche Intelligenz. Sie bietet ein E-Level Computing Resource Scheduling, EB-Level Massive Data Storage Management und ein 400G RDMA High-Speed Backbone Network.
Sie besteht aus Funktionsmodulen wie Infrastruktur, Datenspeicherung, Rechenzeitplanung und übergeordneten Diensten. Durch das verteilte Clustermanagement zur Maximierung der Ressourcennutzung und den umfassenden Service für die Algorithmenproduktion wird der Ausbildungsprozess effizienter.
- 400G RDMA
- Heterogener Ressourcenpool
- Flexible Aufgabenplanung
- Algorithmus-Erzeugungsprozess
MegData
MegData ist eine vom MegVision Research Institute selbst entwickelte Datenmanagement-Plattform für künstliche Intelligenz, die die fünf Bereiche Datenerfassung, Datenverarbeitung, Datenbeschriftung, Datenmanagement und Datensicherheit abdeckt. Beginnend mit der Datenproduktion unterstützt sie verschiedene Geschäftsszenarien und Trainingsmethoden zur Verarbeitung und Kennzeichnung von Daten.
Die Plattform bietet Standardverarbeitungsprozesse für die Annotation, die Merkmalsverarbeitung, die Ableitung und das Screening von strukturierten Daten. Außerdem bietet sie Online-Annotation für eine Vielzahl von unstrukturierten Daten. Der standardisierte Annotationsprozess ermöglicht Annotationsdaten, -aufgaben, -personal und -fortschritt.
Die einheitliche Verwaltung von Beschriftungsqualität und Beschriftungswerkzeugen liefert hochwertige Trainingsdaten für das KI-Modelltraining. Gleichzeitig hat MegData mehrere Datensicherheitsfunktionen entwickelt, um Datensicherheit und Datenschutz zu gewährleisten.
- Effizient
- Professionell
- sicher
- Stabil
Vorteile des Frameworks
MegEngine hat eine Reihe von Vorteilen im Vergleich zu den meisten Open-Source-Frameworks für Deep Learning:
-
Rechengeschwindigkeit: MegEngine verfügt über dynamische und statische Speicheroptimierungsmechanismen und ist daher schneller als TensorFlow;
-
Geringer Speicherbedarf: Durch die Analyse der gesamten Programmausführung optimiert MegEngine die Speichernutzung vollständig. Durch die Verwendung eines linearen Algorithmus zur Speicheroptimierung können komplexe Netzwerkstrukturen unterstützt werden. Die automatische Reduzierung wird anhand des Anteils des überflüssigen Speicherplatzes berechnet und kann bis zu zwei Größenordnungen betragen, sodass auch größere Modelle trainiert werden können;
-
Die Benutzerfreundlichkeit ist gut: Die MegEngine-Plattform kapselt die Details des neuen Benutzers und ermöglicht so einen schnellen Einstieg;
-
Unterstützung mehrerer Hardware-Plattformen und heterogener Berechnungen: MegEngine unterstützt gängige CPU-, GPU-, FPGA- und andere Hardware-Endgeräte, so dass mehrere Karten für das Training auf mehreren Maschinen eingesetzt werden können;
-
Integration des Trainingseinsatzes: Das gesamte Framework dient sowohl zum Training als auch zur Unterstützung der Inferenz, um ein Trainingsmodell zu erstellen, das auf mehreren Geräten eingesetzt werden kann, um Leistungseinbußen und Genauigkeitsverluste aufgrund der Komplexität des Umwandlungsprozesses zu vermeiden.
Offizielle Links
Interessant
Der chinesische Name der MegEngine, Tianyuan, bedeutet “der Ursprung für alles” und bezieht sich auch auf den Mittelpunkt eines Go-Bretts. Der Name ist nicht nur eine Hommage an AlphaGo, das von Googles DeepMind entwickelte Computerprogramm, sondern steht auch für Megvii’s Wunsch, der KI-Industrie des Landes eine bessere Zukunft zu ermöglichen.