Apple ha presentado la serie Open-source Efficient Language Models, diseñada para brindar resultados precisos en dispositivos como laptops, utilizando menos tokens de entrenamiento en comparación con otros modelos de Inteligencia Artificial (IA) como OLMo.
Conocida como OpenELM, esta familia emplea una estrategia de escalamiento por capas para asignar eficientemente los parámetros dentro de cada capa del modelo. Esto le permite enfocarse en tareas específicas y proporcionar resultados más precisos a los usuarios. La serie consta de cuatro modelos de lenguaje grandes (LLM) disponibles en diferentes tamaños: 270 millones, 450 millones, 1.100 millones y 3.000 millones de parámetros.
Cada uno de estos modelos tiene dos versiones: una versión preentrenada, que es una variante genérica entrenada con conjuntos de datos de la biblioteca CoreNet de GitHub, y una versión optimizada, ajustada e instruida para usos específicos. Este enfoque se detalla en el documento de investigación publicado en Arxiv.org.
Los investigadores indican que los modelos se han probado en un modelo MacBook Pro con SoC M2 Max, 64 GB de RAM y basado en macOS 14.4.1; así como en un ordenador con CPU Inteli9-13900KF equipada con DDR5-4000 DRAM y GPU NVIDIA RTX 4090 con 24 GB de VRAM.
En sus pruebas, Apple ha descubierto que OpenELM funciona de manera más eficiente que otrosLLM similares, como OLMo, desarrollado por Allen Institute for AI, ya que el suyo ofrece una mejora del 2,36 por ciento en la precisión y, a la vez, requiere dos veces menos tokens de pre entrenamiento.
Finalmente, Apple ha reconocido que OpenELM, cuyo repositorio está en Hugging Face, se ha entrenado con unos conjuntos de datos disponibles públicamente y «sin ninguna garantía de seguridad». Esto quiere decir que «existe la posibilidad de que estos modelos produzcan resultados inexactos, dañinos o sesgados».
