Temperatura, top-p, top-k: los parámetros

#Top-p, top-k, temperatura: la definición en un cuadro

Con cada palabra generada, un modelo calcula una probabilidad para cada token de su vocabulario. Los parámetros de muestreo deciden después cuál seleccionar. Top-p y top-k reducen la lista de candidatos; la temperatura modifica la diferencia entre los más probables y los menos probables. Ninguno añade conocimiento al modelo: solo regulan la variedad y el riesgo.

Estos valores predeterminados proceden de la documentación de referencia del Modelfile de Ollama. Muchos modelos incluyen sus propios valores en su archivo de configuración, que sustituyen a esos valores predeterminados: de ahí el interés de leer la ficha del modelo, como veremos más abajo.

#¿Cómo elige un LLM la siguiente palabra?

El modelo genera, para cada posición, una distribución de probabilidades sobre todo su vocabulario. Elegir siempre el token más probable, lo que se llama decodificación voraz, produce textos planos, repetitivos y a veces atrapados en un bucle. Se introduce así un muestreo aleatorio, limitado por los parámetros de muestreo. Una semilla fija (seed) hace que este muestreo sea reproducible: la documentación de Ollama especifica que una semilla dada produce el mismo texto para el mismo prompt.

El orden en que se aplican los filtros importa. En llama.cpp, el motor de inferencia GGUF utilizado, entre otros, por LM Studio, el orden predeterminado es: penalizaciones, DRY, top-n sigma, top-k, typical-p, top-p, min-p, XTC y, por último, la temperatura. Es decir, top-k y top-p operan sobre las probabilidades originales, y la temperatura solo sirve para elegir entre lo que queda. Muchos tutoriales indican lo contrario; el orden real puede variar de un motor a otro y se configura en llama.cpp mediante el parámetro --samplers.

#Un ejemplo numérico: lo que retiene cada ajuste

Tomemos siete candidatos para la siguiente palabra, con sus probabilidades: 0,45; 0,25; 0,12; 0,08; 0,05; 0,03; 0,02. Esta tabla es un cálculo ilustrativo, no una medición en un modelo real.

Punto a tener en cuenta: top-k mantiene siempre el mismo número de candidatos, independientemente de la situación; top-p y min-p se adaptan. Cuando el modelo está muy seguro (un token a 0,95), top-p podría conservar solo uno o dos candidatos; cuando duda entre diez palabras, conserva más. Por eso, top-p suele preferirse a top-k.

#1. Temperatura: el botón del azar

Antes del muestreo, los logits del modelo se dividen por la temperatura. A baja temperatura, la diferencia entre los tokens aumenta: el más probable domina a los demás. A alta temperatura, la diferencia se reduce. A 0, el modelo siempre elige el token más probable y produce salidas idénticas en cada intento, lo que confirma la documentación de llama.cpp.

0 à 0,3

Extracción, clasificación, resumen fidedigno: quieres la misma respuesta en cada intento.

0,4 à 0,7

Redacción técnica, traducción, soporte: variedad sin deriva.

0,8

Valor predeterminado de Ollama y de llama.cpp: conversación general.

1 o más

Creatividad, brainstorming; mayor riesgo de errores y digresiones.

#2. Top-p: el filtro adaptativo

Top-p, o muestreo de núcleo, conserva los tokens más probables hasta que su probabilidad acumulada alcanza p. Con 0,9, se descarta la cola que representa el 10 % de la probabilidad; con 1,0, no se filtra nada. La documentación de Ollama recuerda que un valor más alto, por ejemplo 0,95, produce un texto más variado, y uno más bajo, por ejemplo 0,5, un texto más enfocado y conservador.

0,5 à 0,7

Muy conservador: respuestas seguras, a veces monótonas.

0,9

Valor predeterminado de Ollama: recorta la cola sin limitar demasiado la variedad.

0,95

Valor predeterminado de llama-server, y valor recomendado por varias fichas de modelos.

1,0

Filtro desactivado: la temperatura sigue actuando sola.

#3. Top-k: el límite máximo fijo

Top-k conserva solo los k tokens más probables. La documentación de Ollama describe este parámetro como una forma de reducir la probabilidad de generar contenido sin sentido: con un valor más alto (100), las respuestas son más diversas; con uno más bajo (10), más conservadoras. Su valor predeterminado es 40, como en llama.cpp, donde 0 lo desactiva.

Para la consulta «top p vs top k»: utiliza top-p como ajuste principal, mantén top-k como mecanismo de protección y no ajustes ambos en la misma prueba; de lo contrario, no sabrás cuál produjo la diferencia.

#Valores por defecto y recomendaciones de los proveedores

Los valores predeterminados de un motor representan un compromiso genérico. Los editores de modelos suelen publicar valores adaptados a sus modelos, que pueden diferir de los predeterminados. Estas son las recomendaciones de la ficha de Qwen3.5 para sus modelos, para compararlas con los valores predeterminados de Ollama (temperatura 0,8, top-p 0,9, top-k 40).

Estos valores se aplican a esta familia de modelos, no a todos. Las fichas de otros editores indican otros valores: busca la sección sobre parámetros de muestreo recomendados en la ficha de Hugging Face o en la página del modelo en la biblioteca de Ollama. La ficha de Qwen también especifica que la compatibilidad con estos parámetros varía según el motor de inferencia.

#Penalizaciones: repetición, frecuencia, presencia

Los modelos locales, especialmente los pequeños o muy cuantizados, a veces repiten las mismas frases en bucle. Las penalizaciones son el remedio, pero sus valores predeterminados suelen ser poco conocidos. En Ollama, repeat_penalty vale 1,0 por defecto, por lo que la penalización está desactivada; la documentación da 1,5 como ejemplo de un valor que penaliza con más fuerza. El valor 1,1 que se cita a menudo es una opción que debes elegir, no un valor predeterminado.

repeat_penalty

Penaliza los tokens vistos recientemente; repeat_last_n (64 por defecto) fija la ventana que se analiza.

frequency_penalty

Penalización proporcional al número de apariciones, para generaciones largas.

presence_penalty

Penalización en cuanto un token ha aparecido, para fomentar un vocabulario más variado; Qwen recomienda 1,5 en varios de sus modos, con el riesgo de mezclar idiomas si el valor es demasiado alto.

#Aplicar estos ajustes en Ollama

Existen dos métodos: un Modelfile, que fija valores para un modelo con un nombre definido, o el campo options de una solicitud a la API, que acepta los mismos parámetros que el Modelfile. El Modelfile es adecuado para el uso diario; la API, para un programa.

FROM llama3.2
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER top_k 40

ollama create llama-precis -f ./Modelfile
ollama run llama-precis

curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"Résume en une phrase : ...","stream":false,"options":{"temperature":0.3,"top_p":0.9}}'

Para profundizar en los Modelfile (prompt de sistema, contexto, plantilla), consulta la guía de personalización. Para LM Studio y Jan, los mismos parámetros se configuran en el panel de configuración del modelo.

#Modelos de razonamiento: no ajustar todo mediante la temperatura

Los modelos de razonamiento generan primero una traza de reflexión antes de responder. En Ollama, estos modelos muestran un campo de reflexión separado, y los comandos disponibles varían según el modelo: la documentación sugiere consultar la API show para conocer los valores aceptados y el valor por defecto. Por ejemplo, para gpt-oss, los niveles son low, medium y high, con medium como valor por defecto.

Para reducir los lanzamientos innecesarios en una pregunta sencilla, actúa primero en este nivel de reflexión, si existe, en lugar de en la temperatura. La temperatura, por su parte, debe seguir la ficha del modelo: un razonamiento demasiado frío puede congelarse, un razonamiento demasiado caliente puede dispersarse.

#Ajustes predefinidos de partida según el uso

Estos ajustes predefinidos son puntos de partida, no mediciones. Cambia un parámetro a la vez, envía tres veces el mismo prompt y compara los resultados: si los tres intentos dan la misma respuesta cuando esperas variedad, la temperatura es demasiado baja o la semilla está fijada.

#Síntomas y ajustes para probar

El modelo repite la misma frase

Activa repeat_penalty con un valor de alrededor de 1,1 o activa presence_penalty, o acorta la generación con num_predict.

Respuestas planas y genéricas

Aumenta la temperatura un paso (de 0,7 a 0,9) o flexibiliza top_p.

El modelo inventa hechos

Baja la temperatura, pero ten en cuenta que no es suficiente: ver la guía sobre las alucinaciones.

JSON mal formado

Temperatura baja y formato solicitado explícitamente; utiliza el modo de salida estructurada de Ollama cuando exista.

Mezcla de idiomas o palabras extrañas

Baja presence_penalty o repeat_penalty, o aumenta ligeramente la cuantización del modelo.

• Ollama Modelfile: personalizar un modelo
• Fundamentos del prompting
• Dominar los system prompts
• Comprender la ventana de contexto
• Limitar las alucinaciones de un LLM local

• Fuente: referencia del Modelfile Ollama
• Fuente: ficha Qwen3.5-9B
• Fuente: llama.cpp, opciones de llama-server
• Fuente: Ollama, modelos de razonamiento