Efficient Transformers. Training & Inference on a Budget
¿Se pueden entrenar y desplegar modelos de lenguaje sin una granja de GPUs? En esta sesión organizada por Machine Learning Circle, recorreremos las principales técnicas y herramientas que permiten trabajar con transformers de forma eficiente y asequible.
Una guía práctica para ingenieros de machine learning, perfiles de infraestructura y profesionales que trabajan con LLMs en entornos con recursos limitados.
¿Qué podrás aprender?
- Atajos de atención: LinearAttention, Linformer, Performer, GQA, RoFormer y estructuras con Sglang.
- Modelos eficientes de estado: Mamba y Mamba 2 para gestionar contextos largos con bajo coste.
- Optimización hardware-aware: FlashAttention v1/v2, FP8, optimizadores fusionados, gradient checkpointing.
- MoE en producción: cómo usar DeepSeekMoE y MetaShuffling para especialización de expertos y acelerar inferencia.
Habrá ejemplos, trade-offs, configuraciones y consejos que puedes aplicar directamente a tus flujos de trabajo.
¿Quién lo imparte?
Tomás Guija, ML Engineer en ML Circle
¡Apúntatelo en la agenda!
📅 Fecha: 14 de octubre de 2025
⏰ Horario: 18:30 – 20:00 h.
📍 Ubicación: Madrid Innovation Lab (MIL). C/ Bravo Murillo 37-39
Un evento para ingenieros, investigadores y desarrolladores que quieren hacer más con menos en el entrenamiento y despliegue de LLMs.