Introducción

En esta sección, conocerás el núcleo de cómo funciona ChatGPT, un modelo de inteligencia artificial que ha revolucionado la manera en que interactuamos con la tecnología. En un formato visualmente atractivo, con un énfasis en los elementos gráficos sobre el texto, descubrirás los procesos internos que hacen posible cada interacción con este avanzado sistema de IA. Desde la transformación de palabras en un idioma que la máquina puede entender, hasta el uso de tecnología transformadora que permite a ChatGPT entender y generar lenguaje con una fluidez sorprendente. Prepárate para adentrarte en los secretos detrás de la magia de ChatGPT.

Explicación

Para escribir texto, los modelos de lenguaje primero deben traducir palabras a un idioma que comprendan.

Esta pantalla se obtuvo directamente del software que se está explicando en la computadora, para fines educativos.
Fuente: Murgia, M. (2023). Generative AI exists because of the transformer. Recuperado de https://ig.ft.com/generative-ai/

Primero, un bloque de palabras se divide en 'tokens’, unidades básicas que pueden codificarse. Los tokens suelen representar fracciones de palabras, pero convertiremos cada palabra completa en un token.

Para comprender el significado de una palabra, observa el ejemplo: los modelos de lenguaje primero la observan en contexto, utilizando enormes conjuntos de datos de entrenamiento, tomando nota de las palabras cercanas. Estos conjuntos de datos se basan en la recopilación de texto publicado en Internet.

Al final, terminamos con un gran conjunto de palabras que se encuentran junto a la palabra “work” en los datos de entrenamiento, así como aquellas que no se encontraron cerca de ésta.

A medida que el modelo procesa este conjunto de palabras, produce un vector (o lista de valores) y lo ajusta en función de la proximidad de cada palabra para que funcione en los datos de entrenamiento. Este vector se conoce como incrustación de palabras (embedding).

El ‘embedding’ de una palabra puede tener cientos de valores, cada uno de los cuales representa un aspecto diferente del significado de la palabra. Así como se podría describir una casa por sus características (tipo, ubicación, dormitorios, baños, pisos, etcétera), los valores en un embedding cuantifican las características lingüísticas de una palabra.

La forma en que se derivan estas características significa que no sabemos exactamente qué representa cada valor, pero las palabras que esperamos que se utilicen de formas similares a menudo tienen embeddings de apariencia similar.

Un par de palabras como 'sea’ y ‘ocean’, por ejemplo, pueden no usarse en contextos idénticos ("todo en el océano" no es un sustituto directo de "todo en el mar"), pero sus significados son cercanos entre sí y los embeddings nos permiten cuantificar esa cercanía.

Al reducir los cientos de valores que representa cada embedding a solo dos, podemos ver las distancias entre estas palabras con mayor claridad.

Podríamos detectar grupos de pronombres o modos de transporte; poder cuantificar palabras de esta manera es el primer paso en un modelo que genera texto.

Pero esto por sí solo no es lo que hace que los modelos de lenguaje sean tan inteligentes. Lo que desbloqueó sus habilidades para analizar y escribir con tanta fluidez como lo hacen hoy en día es una herramienta llamada 'transformer’ o transformador, que aceleró y aumentó radicalmente la forma en que las computadoras entendían el lenguaje.

Los transformadores procesan una secuencia completa a la vez (ya sea una oración, un párrafo o un artículo completo), analizando todas sus partes y no solo palabras individuales. Esto permite que el software capture mejor el contexto y los patrones, y traduzca (o genere) texto con mayor precisión.

Conclusión

Como has podido observar ChatGPT traduce y procesa el lenguaje humano en un formato que puede comprender, gracias a la innovadora tecnología de los transformadores. Este viaje visual te ha mostrado no solo cómo las palabras se convierten en tokens y se analizan en contextos amplios para entender su significado, sino también cómo los embeddings de palabras y los transformadores trabajan conjuntamente para crear respuestas coherentes y contextuales. La capacidad de ChatGPT para analizar el lenguaje a un nivel profundo y generar texto con precisión es un testimonio del poder y la complejidad de la IA moderna.

Checkpoint

Asegúrate de:

Comprender cómo ChatGPT procesa y traduce el lenguaje humano utilizando la tecnología de transformadores, desde la conversión de palabras en tokens hasta la generación de texto preciso y contextual, revelando la complejidad y el poder de la inteligencia artificial moderna.

Referencias bibliográficas