La arquitectura que mueve toda la IA nació por subir dos puntos en una métrica de traducción

Featured image for La arquitectura que mueve toda la IA nació por subir dos puntos en una métrica de traducción

Todo lo que usamos hoy —ChatGPT, Claude, Gemini, el generador de textos que tienes abierto en otra pestaña— corre sobre una arquitectura que se publicó en 2017 en un artículo de ocho páginas y pico. El artículo se titulaba «Attention is all you need», que ya era una declaración de intenciones, y el objetivo de sus autores era bastante más modesto que fundar una industria: querían traducir mejor del inglés al alemán.

La arquitectura que mueve toda la IA nació por subir dos puntos en una métrica de traducción

Merece la pena mirar los números concretos, porque son maravillosamente pequeños.

Dos puntos y medio de una métrica que no conoce nadie

El resultado estrella del artículo fue alcanzar 28,4 puntos BLEU en la prueba estándar de traducción inglés-alemán, más de dos puntos por encima de lo mejor que existía hasta ese momento, incluidos los sistemas que combinaban varios modelos.

BLEU, para el que no venga del mundo de la traducción automática, es una métrica que compara la salida del sistema con traducciones hechas por humanos y mide el solapamiento de secuencias de palabras. Tiene defectos conocidos, se discute desde hace veinte años y fuera de ese campo no le importa absolutamente a nadie.

O sea: la arquitectura sobre la que se sostiene la economía de la inteligencia artificial nació de un intento de subir dos puntos en un indicador que la mayoría de los que hoy la usan no sabría definir.

Y de paso, la parte que sí buscaban

Hay un detalle del artículo que se cita menos y que en su momento era el argumento comercial de verdad: el modelo se entrenaba mucho más rápido. Las redes recurrentes que se usaban antes procesaban las frases palabra por palabra, en orden, y eso impedía aprovechar bien las tarjetas gráficas. El Transformer mira toda la frase a la vez, así que el entrenamiento se paraleliza.

Ese era el titular para sus jefes: mismo resultado o mejor, en una fracción del tiempo de cómputo. Lo de fundar una industria vino después, cuando alguien se dio cuenta de que la misma arquitectura funcionaba igual de bien para predecir la siguiente palabra de cualquier texto, no solo de una traducción.

El patrón se repite más de lo que parece

Esta historia tiene hermanas por todas partes, y algunas son de risa.

El horno microondas salió de un ingeniero de radares, Percy Spencer, al que en 1945 se le derritió una chocolatina en el bolsillo por estar delante de un magnetrón encendido. El Post-it salió de un químico de 3M, Spencer Silver, que en 1968 buscaba un adhesivo ultrarresistente y le salió uno que casi no pegaba; tardó cinco años en encontrar a un compañero al que le sirviera para marcar las páginas del cancionero de su coro.

Y la mejor de todas: la película aislante que llevan los sustratos de los chips de gama alta la fabrica Ajinomoto, la empresa japonesa del glutamato. Se llama ABF, Ajinomoto Build-up Film, y viene de su química de aminoácidos, que es la misma que hay detrás del potenciador de sabor. La compañía de los condimentos acabó siendo pieza crítica de la industria de los semiconductores, con márgenes en ese negocio muy por encima de los de la comida.

Qué nos llevamos de aquí los que medimos cosas

Hay una conclusión perezosa —«la suerte manda»— que es la que menos sirve. Prefiero otras dos, que además tienen aplicación directa en cualquier proyecto digital.

La primera: una métrica pequeña bien elegida es un motor perfectamente válido. Los autores del Transformer no se levantaron con la ambición de reinventar nada. Tenían un número, querían subirlo y probaron una arquitectura rara para conseguirlo. En nuestro terreno pasa lo mismo con cosas que parecen menores: el tiempo hasta el primer byte, el porcentaje de páginas indexadas de una plantilla, el ratio de clic de un tipo de resultado. Se optimizan porque están medidos, y de vez en cuando lo que sale de ahí sirve para algo que no estaba en el plan.

La segunda: los accidentes útiles solo le pasan a quien tiene algo en marcha. Spencer llevaba treinta años delante de tubos de radio. Silver se pasó un lustro enseñando su pegamento fallido a todo el que quiso escucharlo. La suerte los encontró trabajando, que es la única postura en la que te encuentra.

Lo contrario también existe y tiene nombre: parálisis por análisis. Meses comparando herramientas, leyendo comparativas, montando hojas de cálculo con proveedores y viendo tutoriales, con la sensación real de estar avanzando porque comparar se siente productivo. Y al cabo de ese tiempo no hay nada publicado, nada medido y nada de lo que aprender.

Así que la próxima vez que dudes entre cinco opciones para empezar algo, acuérdate de que la arquitectura que mueve toda la inteligencia artificial actual salió de un equipo que solo quería traducir mejor al alemán. Elige una, ponla en marcha y mide. El accidente ya vendrá, pero solo si estás delante del magnetrón.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *