Megvii abre el marco de aprendizaje profundo
La empresa china Megvii Technology abre el marco de aprendizaje profundo de la IA
La empresa china de Inteligencia Artificial (IA) Megvii Technology Limited ha anunciado que hace que su marco de aprendizaje profundo sea de código abierto, ya que China está intensificando el desarrollo de la IA nacional y haciendo que las tecnologías sean más accesibles para reducir la dependencia de las plataformas estadounidenses.
Desarrollado inicialmente en 2014, MegEngine forma parte de la plataforma de IA patentada por Megvii, Brain++, que puede entrenar la visión por ordenador a gran escala y permitir a los desarrolladores de todo el mundo crear soluciones de IA para uso industrial y comercial, según la empresa con sede en Pekín.
El Dr. Sun Jian, científico jefe y director de investigación de Megvii, ha declarado: “Hemos tardado seis años en desarrollar MegEngine para nuestro propio uso en 2014 y en abrirlo hoy. La apertura de MegEngine es solo el primer paso de nuestra contribución al movimiento de código abierto. Lo hemos utilizado para impulsar nuestras aplicaciones de fotografía computacional, reconocimiento facial y reconocimiento de objetos, pero la comunidad de desarrolladores puede utilizar nuestra tecnología fundacional en aplicaciones innovadoras del mundo real de la IA que aún no hemos imaginado. Ellos harán que lo que hemos construido sea aún mejor, y nosotros podremos dedicar más tiempo a la comercialización de nuestros productos. Todos salimos ganando”.
Plataforma Brain++
Brain++, la plataforma de productividad de IA de próxima generación, consta de tres pilares, a saber, el marco de aprendizaje profundo MegEngine, la plataforma de computación en la nube de aprendizaje profundo MegCompute y la plataforma de gestión de datos MegData.
MegEngine
MegEngine nació en 2014 y se abrió en marzo de 2020. Es el componente principal de Brain ++ y una nueva generación de marco de código abierto de aprendizaje profundo de nivel industrial. Tianyuan puede ayudar a los desarrolladores y usuarios a utilizar interfaces de programación a gran escala para entrenar y desplegar modelos de aprendizaje profundo a gran escala.
Tianyuan se divide específicamente en cinco capas de interfaz de computación, representación de gráficos, optimización y compilación, gestión de tiempo de ejecución y núcleo de computación, que pueden simplificar en gran medida el proceso de desarrollo de algoritmos, realizar la migración no destructiva de la velocidad de entrenamiento del modelo y la precisión, y apoyar la programación mixta dinámica y estática. Y la importación de modelos, operadores de visión por ordenador de alto rendimiento incorporados, especialmente adecuados para la formación de algoritmos de modelos grandes.
- Entrenamiento de inferencia
- Estática y dinámica
- Compatible
- Flexible y eficiente
MegCompute
MegCompute, una plataforma de aprendizaje profundo distribuido, es una plataforma informática de inteligencia artificial a gran escala desarrollada de forma independiente por Desperate. Proporciona programación de recursos informáticos de nivel E, gestión de almacenamiento de datos masivos de nivel EB y red troncal de alta velocidad RDMA de 400G.
Contiene módulos funcionales como la infraestructura, el almacenamiento de datos, la programación informática y los servicios de nivel superior. Mediante la gestión de clústeres distribuidos para maximizar la utilización de los recursos, el servicio completo de producción de algoritmos hace que el proceso de formación sea más eficiente.
- RDMA DE 400G
- Pool de recursos heterogéneos
- Programación flexible de tareas
- Proceso de generación de algoritmos
MegData
MegData es una plataforma original de gestión de datos de inteligencia artificial desarrollada por el Instituto de Investigación MegVision, que abarca las cinco dimensiones de adquisición de datos, procesamiento de datos, anotación de datos, gestión de datos y seguridad de datos. Empezando por la producción de datos, admite diferentes escenarios empresariales y métodos de formación para procesar y etiquetar datos.
La plataforma ofrece procedimientos de procesamiento estándar para la anotación, el procesamiento de características, la derivación y el cribado de datos estructurados. También proporciona capacidades de anotación en línea para una variedad de datos no estructurados. El proceso de anotación estandarizado permite la anotación de datos, tareas, personal y progreso.
La gestión unificada de la calidad del etiquetado y de las herramientas de etiquetado proporciona datos de formación de alta calidad para el entrenamiento de modelos de IA. Al mismo tiempo, MegData ha diseñado múltiples funciones de seguridad de datos para garantizar la seguridad y la privacidad de los mismos.
- Eficaz
- Profesional
- Seguridad
- Estable
Ventajas del marco
MegEngine tiene una serie de ventajas en comparación con la mayoría de los marcos de aprendizaje profundo de código abierto:
Velocidad de cálculo: MegEngine cuenta con un mecanismo de optimización de memoria dinámica y estática de enlace, y por lo tanto es más rápido que TensorFlow;
Pequeña huella de memoria: al analizar toda la ejecución del programa, MegEngine optimiza completamente la utilización de la memoria. En particular, utilizando un algoritmo lineal de optimización de memoria, puede soportar una estructura de red muy grande y compleja. El uso de menos memoria significa que puede soportar el entrenamiento de modelos más grandes;
Facilidad de uso: La plataforma MegEngine contiene todos los detalles que pueden ser necesarios, por lo que cualquier usuario nuevo puede empezar rápidamente;
Soporta múltiples plataformas de hardware y computación heterogénea: MegEngine soporta CPU común, GPU, FPGA, y otros dispositivos móviles finales de hardware, se pueden utilizar múltiples tarjetas en la formación de múltiples máquinas;
Integración del despliegue de la formación: todo el marco se puede utilizar tanto para la formación como para apoyar la inferencia, para lograr un modelo de formación, el despliegue de múltiples dispositivos, evitar la degradación del rendimiento y la pérdida de precisión debido a la complejidad del proceso de conversión.
Enlaces oficiales
Interesante
El nombre chino de MegEngine, Tianyuan, significa “el origen para todo” y también hace referencia al punto central de un tablero de Go. El nombre no es solo un saludo a AlphaGo, el programa informático desarrollado por DeepMind de Google, sino que representa el deseo de Megvii de permitir un futuro mejor para la industria de la IA del país.