Tag

#Transformers

22 artículos encontrados.

Redes neuronales sin pesos: la apuesta por IA 1.000 veces más eficiente

La investigadora Lizy K. John revive una técnica de los 80 para reemplazar multiplicaciones por tablas de búsqueda, logrando modelos 1.000 veces más pequeños. ¿Podría este enfoque escalar a los transformers que impulsan ChatGPT?

6 min lectura2dIAOnda Redaccion

Tutoriales

Aprendizaje por Refuerzo In-Context: La nueva frontera para IA que se adapta en entornos cambiantes

Un nuevo survey en arXiv estructura el campo del ICRL no estacionario: modelos que aprenden en producción sin actualizar pesos, filtrando qué experiencias pasadas siguen siendo válidas cuando las reglas del juego cambian.

6 min lectura2semIAOnda Redaccion

Tutoriales

NVIDIA Cosmos Framework: Tutorial para Modelos 3D en Colab

Un nuevo tutorial explora cómo construir un modelo compacto de mezcla de transformadores multimodal usando el framework Cosmos de NVIDIA. Ideal para profesionales que buscan implementar modelos de inteligencia artificial avanzados sin requerimientos de hardware extremos.

5 min lectura3semIAOnda Redaccion

Modelos IA

Wiola: La nueva arquitectura de SLM que rompe con el legado de GPT y LLaMA

Más allá de los Transformers convencionales, Wiola propone una arquitectura desde cero para optimizar modelos pequeños. Descubre cómo sus cinco innovaciones buscan máxima eficiencia.

5 min lectura4semIAOnda Redaccion

Investigación

Memoria Continuum: la nueva arquitectura que revoluciona los Transformers

Una novedosa arquitectura llamada Continuum Memory System sustituye la memoria de dos velocidades de los Transformers por una gama de bloques que se actualizan en relojes independientes, mejorando eficiencia y capacidad de aprendizaje profundo.

5 min lectura6semIAOnda Redaccion

Empresas

Golpe maestro de OpenAI: Noam Shazeer, el arquitecto de los Transformers, cambia de bando

Uno de los padres fundadores de la IA moderna deja Google para unirse a OpenAI. Un movimiento estratégico que redefine la guerra por el talento en la era de los LLM.

5 min lectura6semIAOnda Redaccion

Investigación

MiniMax presenta MSA: atención escasa 2‑ramas que reduce 28× el costo computacional

MiniMax lanza MSA, una arquitectura de atención bloque‑esparsa que combina un índice ligero y un bloque principal, logrando el mismo rendimiento que GQA pero con 28,4 veces menos cálculo por token en contextos de 1 M.

5 min lectura6semIAOnda Redaccion

Investigación

Transformers eficientes con xFormers: optimizando memoria y velocidad

IAOnda revela cómo xFormers permite construir modelos de Transformers más eficientes en memoria mediante técnicas como GQA, ALiBi y paquetes secuenciales. Un avance clave para aplicaciones de IA en tiempo real y dispositivos con recursos limitados.

5 min lectura6semIAOnda Redaccion

Investigación

Transformers y Aprendizaje por Refuerzo Profundo Revolucionan la Programación de Tareas en la Industria

Un estudio innovador propone un método basado en Transformers para resolver el problema de programación de talleres abiertos (OSSP), logrando resultados competitivos en instancias grandes sin necesidad de reentrenamiento. Esta técnica combina arquitectura encoder-decoder y atención multi-cabeza para optimizar procesos industriales complejos.

5 min lectura6semIAOnda Redaccion

Investigación

Descubren la aritmética oculta de LoRA en matrices gigantes: ¿Qué implica para la IA?

Por primera vez se revela la operación interna de una matriz 4096×4096 bajo LoRA, desvelando detalles que podrían transformar el entrenamiento de modelos de IA. Un hallazgo que conecta psicología y computación.

5 min lectura7semIAOnda Redaccion

Tutoriales

Acelera el entrenamiento de Transformers con NVIDIA Apex y torch.amp

Descubre cómo optimizar el entrenamiento de modelos de inteligencia artificial usando herramientas como FusedAdam y FusedLayerNorm. Un análisis práctico para desarrolladores y researchers.

5 min lectura8semIAOnda Redaccion

Herramientas

Hexo Labs open-source: SIA auto-mejora modelos y frameworks

Hexo Labs liberó SIA, un agente auto-mejorante que actualiza pesos y estructuras. Logra avances en LawBench y denoise de scRNA-seq. ¿Qué significa para la IA autónoma?

5 min lectura9semIAOnda Redaccion

Investigación

Lighthouse Attention acelera preentrenamiento de modelos con contexto largo

Nous Research presenta un mecanismo de atención jerárquica que reduce el tiempo de entrenamiento en un 1.4–1.7×. La técnica, llamada Lighthouse Attention, funciona solo durante la fase de preentrenamiento y desaparece al desplegar el modelo.

5 min lectura11semIAOnda Redaccion

Investigación

Descifrando los LLMs: El Viaje Interior de la IA Moderna

En la segunda parte de esta serie, exploramos cómo los modelos de lenguaje transforman las entradas en representaciones contextuales. El encoder juega un papel clave en este proceso, revelando la complejidad detrás de la IA generativa.

5 min lectura11semIAOnda Redaccion

Investigación

Alibaba revoluciona razonamiento IA con algoritmo de pensamiento profundo

El equipo de Qwen soluciona limitación del aprendizaje por refuerzo con nuevo método que duplica longitud de procesos cognitivos en modelos de IA.

5 min lectura17semIAOnda Redaccion

Tutoriales

Desarrolla un Pipeline de Inteligencia Artificial con Gemma 3 1B y Hugging Face para Chatbots de Produccion

Aprende a crear un pipeline de generación de texto con Gemma 3 1B y Hugging Face, perfecto para aplicaciones de chatbots y asistentes virtuales de producción. Con este tutorial, podrás automatizar la creación de respuestas personalizadas y mejorar la experiencia del usuario

5 min lectura17semIAOnda Redaccion

Empresas

Robosen Soundwave: La magia de un robot que cambia de forma

El nuevo robot de Robosen Soundwave puede convertirse en un coche, tanque o avión, llevando a la infancia a un nivel superior con su diseño y voces originales de Frank Welker.

5 min lectura17semIAOnda Redaccion

Investigación

Limitaciones de los modelos de IA: un experto desmonta la ilusión de la sencillez

El reconocido investigador François Chollet nos muestra que, a veces, la simplicidad es solo una ilusión. Descubre el nuevo test de referencia para evaluar los modelos de IA de manera efectiva.

5 min lectura18semIAOnda Redaccion

Tutoriales

Implementa modelos de razonamiento Qwen3.5 con pensamiento de Claude y reducción de bits con GGUF y cuantización de 4 bits

Descubre cómo crear un pipeline de Colab para ejecutar modelos de razonamiento Qwen3.5 con pensamiento de Claude y reducir la complejidad con GGUF y cuantización de 4 bits. Un tutorial práctico para expertos en Inteligencia Artificial.

5 min lectura18semIAOnda Redaccion

Investigación

Identidad Visual en la Busqueda de Documentos: Un Paso Adelante en los Modelos de Lenguaje Integrados

¿Puede tu sistema de RAG leer, pero no ver? La respuesta es ahora posible gracias a la innovadora combinación de ColModernVBERT y Qdrant.

5 min lectura18semIAOnda Redaccion

Modelos IA

Moonshot AI revoluciona Transformers con atención residual

Moonshot AI presenta Attention Residuals, una innovación que reemplaza las conexiones residuales fijas por atención profunda, prometiendo mejor escalabilidad y rendimiento en modelos de lenguaje grandes.

6 min lectura19semIAOnda Redaccion

Investigación

Breakthrough en eficiencia: nueva arquitectura Mamba-2 rivaliza con Transformers usando 10x menos memoria

La arquitectura Mamba-2 basada en modelos de espacio de estados demuestra rendimiento comparable a Transformers con una fracción del coste computacional.

9 min min lectura20semIAOnda Redaccion