Saltar al contenido principal

馃煝 Ajustes del LLM

ILikeTheItWhenThatTrainsFrogsProbabilitiesof next token0.050.30.30.150.150.05

Introducci贸n

Los resultados de los LLM pueden verse afectados por los hiperpar谩metros de configuraci贸n, que controlan varios aspectos del modelo, como su grado de "aleatoriedad". Estos hiperpar谩metros pueden ajustarse para producir resultados m谩s creativos, diversos e interesantes. En esta secci贸n, discutiremos dos hiperpar谩metros de configuraci贸n importantes y c贸mo afectan a los resultados de los LLM.

note

[para investigadores] Son diferentes de los hiperpar谩metros normales, como la tasa de aprendizaje, el n煤mero de capas, el tama帽o oculto, etc.

Temperatura

La temperatura es un hiperpar谩metro de configuraci贸n que controla la aleatoriedad de los resultados del modelo ling眉铆stico. Una temperatura alta produce resultados m谩s impredecibles y creativos, mientras que una temperatura baja produce resultados m谩s comunes y conservadores. Por ejemplo, si ajusta la temperatura a 0.5, el modelo generar谩 normalmente un texto m谩s predecible y menos creativo que si ajusta la temperatura a 1.0.

Top p

Top p, tambi茅n conocido como muestreo de n煤cleos, es otro hiperpar谩metro de configuraci贸n que controla la aleatoriedad de la salida del modelo ling眉铆stico. Establece un umbral de probabilidad y selecciona los tokens superiores cuya probabilidad acumulada supera el umbral. A continuaci贸n, el modelo toma muestras aleatorias de este conjunto de tokens para generar la salida. Este m茅todo puede producir resultados m谩s diversos e interesantes que los m茅todos tradicionales, que muestrean aleatoriamente todo el vocabulario. Por ejemplo, si se fija top p en 0,9, el modelo s贸lo tendr谩 en cuenta las palabras m谩s probables que constituyan el 90% de la masa de probabilidad.

Otros hiperpar谩metros relevantes

Hay muchos otros hiperpar谩metros que pueden afectar el rendimiento del modelo de lenguaje, como la frecuencia y las penalizaciones por presencia. No los cubrimos aqu铆, pero tal vez lo haremos en el futuro.

C贸mo estos hiperpar谩metros afectan la salida

Tanto la temperatura como el valor top p pueden afectar al resultado de un modelo ling眉铆stico controlando el grado de aleatoriedad y diversidad del texto generado. Un valor alto de temperatura o de top p produce resultados m谩s impredecibles e interesantes, pero tambi茅n aumenta la probabilidad de errores o de texto sin sentido. Un valor bajo de temperatura o de Top p pueden producir resultados m谩s conservadores y predecibles, pero tambi茅n pueden dar lugar a texto repetitivo o poco interesante.

Para tareas de generaci贸n de texto, puede que le interese utilizar una temperatura alta o un valor p alto. Sin embargo, para las tareas en las que la precisi贸n es importante, como las tareas de traducci贸n o la respuesta a preguntas, se debe utilizar una temperatura baja o un valor p superior para mejorar la precisi贸n y la correcci贸n factual.

note

A veces, m谩s aleatoriedad puede ser 煤til en tareas donde la precisi贸n es necesaria cuando se combina con t茅cnicas especiales de prompting.

Conclusi贸n

En resumen, la temperatura, el top p y otros hiperpar谩metros de configuraci贸n del modelo son factores clave a tener en cuenta cuando se trabaja con modelos ling眉铆sticos. Al comprender la relaci贸n entre estos hiperpar谩metros y el resultado del modelo, los profesionales pueden optimizar sus prompts para tareas y aplicaciones espec铆ficas.

:::warning Algunos modelos, como ChatGPT, no permiten ajustar estos hiperpar谩metros de configuraci贸n. :::

Por jackdickens382