Megvii Open Sources Deep Learning Framework
Čínska spoločnosť Megvii Technology otvorila zdrojové kódy rámca hlbokého učenia AI
Čínsky startup Megvii Technology Limited oznámil, že sprístupňuje svoj rámec pre hlboké učenie ako otvorený zdrojový kód, keďže Čína zintenzívňuje vývoj domácej umelej inteligencie a sprístupňuje technológie s cieľom znížiť závislosť od amerických platforiem.
MegEngine, pôvodne vyvinutý v roku 2014, je súčasťou vlastnej platformy umelej inteligencie Brain++ spoločnosti Megvii, ktorá dokáže trénovať počítačové videnie vo veľkom meradle a podľa spoločnosti so sídlom v Pekingu umožňuje vývojárom na celom svete vytvárať riešenia umelej inteligencie na priemyselné a komerčné využitie.
Vedúci vedecký pracovník a vedúci výskumu spoločnosti Megvii Dr. Sun Jian povedal: “Od vývoja MegEngine pre vlastné potreby v roku 2014 až po dnešný otvorený zdrojový kód uplynulo šesť rokov. Open sourcing MegEngine je len prvým krokom v našom príspevku k hnutiu open source. Použili sme ho na napájanie našich aplikácií na výpočtovú fotografiu, rozpoznávanie tváre a rozpoznávanie objektov, ale komunita vývojárov môže našu základnú technológiu použiť v inovatívnych, reálnych aplikáciách umelej inteligencie, ktoré sme si ešte nevedeli predstaviť. Vďaka nim bude to, čo sme vytvorili, ešte lepšie a my sa môžeme viac venovať komercializácii našich produktov. Je to výhra pre všetkých.”
Brain++ Platform
Brain++, platforma produktivity umelej inteligencie novej generácie, pozostáva z troch pilierov, a to z rámca hlbokého učenia MegEngine, platformy pre cloudové výpočty hlbokého učenia MegCompute a platformy pre správu údajov MegData.
MegEngine
MegEngine sa zrodil v roku 2014 a v marci 2020 sa stal otvoreným zdrojom. Je základnou zložkou systému Brain ++ a novou generáciou open-source frameworku pre hlboké učenie priemyselnej úrovne. Tianyuan môže pomôcť vývojárom a používateľom používať rozsiahle programovacie rozhrania na trénovanie a nasadzovanie rozsiahlych modelov hlbokého učenia.
Tianyuan je špecificky rozdelený do piatich vrstiev výpočtového rozhrania, reprezentácie grafov, optimalizácie a kompilácie, riadenia behu a výpočtového jadra, ktoré môžu výrazne zjednodušiť proces vývoja algoritmov, realizovať nedeštruktívnu migráciu rýchlosti a presnosti trénovania modelov a podporovať dynamické a statické zmiešané programovanie. A import modelu, vstavané vysoko výkonné operátory počítačového videnia, vhodné najmä na trénovanie algoritmov veľkých modelov.
- Trénovanie inferencie
- Statické a dynamické
- Kompatibilný
- Flexibilný a efektívny
MegCompute
MegCompute, distribuovaná platforma pre hlboké učenie, je rozsiahla platforma pre výpočty umelej inteligencie, ktorú nezávisle vyvinula spoločnosť Desperate. Poskytuje plánovanie výpočtových zdrojov na úrovni E, správu masívneho úložiska dát na úrovni EB a vysokorýchlostnú chrbticovú sieť 400G RDMA.
Obsahuje funkčné moduly, ako je infraštruktúra, ukladanie údajov, plánovanie výpočtových procesov a služby vyššej úrovne. Prostredníctvom distribuovanej správy klastra na maximalizáciu využitia zdrojov, kompletnej služby tvorby algoritmov zefektívňuje proces školenia.
- 400G RDMA
- Heterogénny fond zdrojov
- Flexibilné plánovanie úloh
- Proces tvorby algoritmov
MegData
MegData je originálna platforma na správu údajov umelej inteligencie vyvinutá výskumným ústavom MegVision, ktorá pokrýva päť dimenzií získavania údajov, spracovania údajov, anotácie údajov, správy údajov a zabezpečenia údajov. Počnúc tvorbou údajov podporuje rôzne obchodné scenáre a metódy školenia na spracovanie a označovanie údajov.
Platforma poskytuje štandardné postupy spracovania pre anotáciu, spracovanie príznakov, odvodenie a kontrolu štruktúrovaných údajov. Poskytuje aj možnosti online anotácie pre rôzne neštruktúrované údaje. Štandardizovaný proces anotácie umožňuje anotovať údaje, úlohy, personál a postup.
Jednotná správa kvality označovania a nástrojov na označovanie poskytuje vysokokvalitné tréningové údaje na trénovanie modelov umelej inteligencie. Spoločnosť MegData zároveň navrhla viacero funkcií zabezpečenia údajov, ktoré zabezpečujú bezpečnosť a ochranu osobných údajov.
- Efektívne
- Profesionálne
- Bezpečnosť
- Stabilita
Výhody rámca
MegEngine má v porovnaní s väčšinou open-source frameworkov pre hlboké učenie celý rad výhod:
-
Rýchlosť výpočtu: MegEngine má mechanizmus dynamickej a statickej optimalizácie väzby na pamäť, a preto je rýchlejší ako TensorFlow;
-
Malá pamäťová stopa: Vďaka analýze celého vykonávania programu MegEngine plne optimalizuje využitie pamäte. Najmä pomocou lineárneho algoritmu optimalizácie pamäte dokáže podporovať zložitú štruktúru siete, automatická redukcia sa počíta pomocou časti nadbytočnej pamäťovej stopy, a to až o dva rády, takže podporuje trénovanie väčších modelov;
-
Jednoduchosť používania je dobrá: Platforma MegEngine obsahuje podrobnosti o novom používateľovi, ktorý môže rýchlo začať pracovať;
-
Podporuje viaceré hardvérové platformy a heterogénne výpočty: MegEngine podporuje bežné CPU, GPU, FPGA a iné koncové mobilné zariadenia, viacero kariet môže byť viacstrojové školenie;
-
Integrácia nasadenia školenia: celý rámec na školenie aj na podporu odvodzovania, aby sa dosiahol model školenia, nasadenie viacerých zariadení, predišlo sa zníženiu výkonu a strate presnosti v dôsledku zložitosti procesu konverzie.
Oficiálne odkazy
Zaujímavé
Čínsky názov MegEngine, Tianyuan, znamená “pôvod všetkého” a odkazuje aj na stredový bod šachovnice Go. Názov nie je len pozdravom AlphaGo, počítačovému programu vyvinutému spoločnosťou DeepMind spoločnosti Google, ale predstavuje aj želanie spoločnosti Megvii umožniť lepšiu budúcnosť priemyslu umelej inteligencie v krajine.