Megvii открывает фреймворк глубокого обучения
Китайская компания Megvii Technology открыла исходный код системы глубокого обучения ИИ
Китайская компания Megvii Technology, занимающаяся разработкой искусственного интеллекта (ИИ), объявила в среду, что она открывает исходный код своей системы глубокого обучения, чтобы уменьшить зависимость от американских платформ.
Связано это с тем, что Китай активизирует развитие собственных систем искусственного интеллекта и делает технологии более доступными для всех.
MegEngine, первоначально разработанный в 2014 году, является частью Brain++ - собственной платформы искусственного интеллекта компании Megvii, которая может обучать компьютерному зрению в больших масштабах и позволяет разработчикам по всему миру создавать решения ИИ для промышленного и коммерческого использования, сообщает компания из Пекина.
Главный научный сотрудник и руководитель Megvii Research доктор Сунь Цзянь сказал: “Нам потребовалось шесть лет, чтобы разработать MegEngine для собственного использования в 2014 году и открыть его исходный код сегодня. Открытый исходный код MegEngine - это лишь первый шаг в нашем вкладе в движение за открытый исходный код. Мы использовали его для создания приложений для вычислительной фотографии, распознавания лиц и объектов, но сообщество разработчиков может использовать нашу основополагающую технологию в инновационных, реальных приложениях ИИ, которые мы еще не придумали. Они сделают то, что мы создали, еще лучше, а мы сможем уделять больше времени коммерциализации наших продуктов. Это выгодно для всех”.
Платформа Brain++
Brain++, платформа для повышения производительности ИИ нового поколения, состоит из трех основных компонентов, а именно: фреймворка глубокого обучения MegEngine, платформы облачных вычислений для глубокого обучения MegCompute и платформы управления данными MegData.
MegEngine
MegEngine появился на свет в 2014 году и его исходный код был открыт в марте 2020 года. Он является основным компонентом Brain++ и новым поколением промышленного фреймворка глубокого обучения с открытым исходным кодом. Tianyuan может помочь разработчикам и пользователям использовать промышленные интерфейсы программирования для обучения и развертывания крупномасштабных моделей глубокого обучения.
Tianyuan специально разделен на пять слоев: вычислительный интерфейс, представление графа, оптимизация и компиляция, управление временем выполнения и вычислительное ядро, что может значительно упростить процесс разработки алгоритмов, реализовать неразрушающую миграцию скорости обучения модели и точности, а также поддерживать динамическое и статическое смешанное программирование.
А импорт моделей, встроенные высокопроизводительные операторы компьютерного зрения, особенно подходят для обучения алгоритмов больших моделей. Его основные особенности:
- Обучение статистических выводов
- Статический и динамический
- Легко совместимый
- Гибкий и эффективный
MegCompute
MegCompute, распределенная платформа глубокого обучения, является крупномасштабной вычислительной платформой искусственного интеллекта, самостоятельно разработанной компанией Desperate. Она обеспечивает планирование вычислительных ресурсов на уровне E, управление массивным хранилищем данных на уровне EB и высокоскоростную магистральную сеть 400G RDMA.
Она содержит такие функциональные модули, как инфраструктура, хранилище данных, планирование вычислений и сервисы верхнего уровня. Благодаря распределенному управлению кластером для максимального использования ресурсов, полный сервис производства алгоритмов делает процесс обучения более эффективным.
- 400G RDMA
- Гетерогенный пул ресурсов
- Гибкое планирование задач
- Процесс генерации алгоритмов
MegData
MegData - это оригинальная самостоятельно разработанная платформа управления данными искусственного интеллекта исследовательского института MegVision, охватывающая пять измерений: получение данных, обработка данных, аннотирование данных, управление данными и безопасность данных. Начиная с получения данных, она поддерживает различные бизнес-сценарии и методы обучения для обработки и маркировки данных.
Платформа предоставляет стандартные процедуры обработки для аннотирования, обработки признаков, выведения и проверки структурированных данных. Она также предоставляет возможности аннотирования в режиме онлайн для различных неструктурированных данных. Стандартизированный процесс аннотирования обеспечивает аннотационные данные, задачи, персонал и прогресс.
Единое управление качеством маркировки и инструментами маркировки обеспечивает высококачественные учебные данные для обучения моделей ИИ. В то же время MegData разработала множество функций защиты данных для обеспечения безопасности и конфиденциальности данных. Ее особенности:
- Эффективный
- Профессиональный
- Безопасность
- Стабильный
Преимущества фреймворка
MegEngine обладает целым рядом преимуществ по сравнению с большинством фреймворков глубокого обучения с открытым исходным кодом:
Скорость вычислений: MegEngine имеет механизм динамической и статической оптимизации памяти с привязкой, и поэтому работает быстрее, чем TensorFlow;
Малый след в памяти: анализируя все выполнение программы, MegEngine полностью оптимизирует использование памяти. В частности, используя линейный алгоритм оптимизации памяти, он может поддерживать очень большие и сложные сетевые структуры. Использование меньшего объема памяти означает, что он может поддерживать обучение больших моделей;
Простота использования: Платформа MegEngine содержит все необходимые сведения, поэтому любой новый пользователь может быстро приступить к работе;
Поддержка различных аппаратных платформ и гетерогенных вычислений: MegEngine поддерживает общие CPU, GPU, FPGA и другие аппаратные конечные мобильные устройства, несколько карт могут быть использованы в многомашинном обучении;
Интеграция развертывания обучения: вся структура может быть использована как для обучения, так и для поддержки вывода, для достижения модели обучения, развертывания нескольких устройств, избежать снижения производительности и потери точности из-за сложности процесса преобразования.
Официальные ссылки
Интересно
Китайское название MegEngine, Tianyuan, означает “начало всего”, а также обозначает центральную точку доски для игры в Го. Это название - не только отсылка к AlphaGo, компьютерной программе, разработанной подразделением DeepMind компании Google, но и выражение желания Megvii обеспечить лучшее будущее для индустрии ИИ в стране.