Faster-Whisper: transcribir rápido, incluso sin GPU

#Qué es y qué no es

Whisper designa tanto a una familia de modelos como a la implementación de referencia de OpenAI que los ejecuta. Faster-Whisper mantiene los primeros y reemplaza la segunda por CTranslate2, un motor de inferencia optimizado para modelos de tipo transformer, desarrollado inicialmente para traducción automática en OpenNMT. El texto producido es el mismo con calidad equivalente; lo que cambia es el tiempo y la memoria necesarios para obtenerlo, no el contenido del resultado final.

Consecuencia práctica: todo lo que ya sabes sobre la elección del tamaño del modelo Whisper sigue siendo perfectamente válido, y la mayoría de las herramientas de transcripción local que encuentras a diario ya lo utilizan internamente, a menudo sin indicarlo ni documentarlo necesariamente. Otro detalle útil: a diferencia de openai-whisper, FFmpeg no necesita instalarse por separado en el sistema; el audio se descodifica mediante la biblioteca PyAV, que incluye sus propias bibliotecas FFmpeg.

#¿De dónde viene la mejora de rendimiento?

Motor de inferencia especializado

CTranslate2, escrito para ejecutar transformadores de forma eficiente, en lugar de un entorno generalista como PyTorch usado directamente.

La cuantización

Ejecutar el modelo en 8 bits reduce el consumo de memoria y acelera la ejecución, con una pérdida generalmente imperceptible en la calidad de la transcripción.

Procesamiento por lotes

Los archivos largos pueden dividirse y procesarse en paralelo (batch_size) en lugar de estrictamente uno tras otro, a costa de un mayor consumo de memoria.

Detección de actividad vocal

Saltar los silencios evita que el modelo trabaje con contenido vacío — en grabaciones de reuniones, eso no es nada despreciable.

#La mejora, cuantificada por el desarrollador

SYSTRAN publica sus propias pruebas de rendimiento en lugar de dejar que el lector haga conjeturas: la transcripción de 13 minutos de audio, comparada entre varias implementaciones en el mismo hardware, con los tiempos y la memoria consumida por cada una. Dos conjuntos de mediciones son especialmente relevantes para el uso sin tarjeta gráfica dedicada, que corresponde a la mayoría de los equipos de trabajo en las empresas.

En CPU, la versión int8 de Faster-Whisper transcribe, por tanto, 4,1 veces más rápido que openai/whisper y utiliza menos memoria (1 477 MB frente a 2 335 MB), un resultado coherente con el anuncio general del proyecto: «hasta 4 veces más rápido… utilizando menos memoria». En GPU, la misma prueba con el modelo large-v2 (RTX 3070 Ti) arroja 1 min 03 en fp16 y 59 segundos en int8, frente a 2 min 23 para openai/whisper: la cuantización aporta aquí una mejora de velocidad más modesta que en CPU, pero la memoria de vídeo utilizada baja de 4 708 MB a 2 926 MB.

El repositorio publica también una comparativa con la variante distil-whisper-large-v3, un modelo aligerado mediante destilación en lugar de cuantización. En GPU, con la biblioteca transformers en fp16 y un procesamiento por lotes de 16, este modelo tarda 46 minutos y 12 segundos en transcribir el corpus de prueba con una tasa de error por palabra de 14,801; la misma configuración con Faster-Whisper tarda 25 minutos y 50 segundos con una tasa de error por palabra de 13,527: más rápido Y más preciso en esta prueba concreta, lo que demuestra que la mejora de CTranslate2 no se limita a la cuantización: el propio motor de ejecución cuenta, independientemente del modelo exacto que ejecute.

La prueba de rendimiento también compara Faster-Whisper con whisper.cpp, otra reimplementación muy utilizada, especialmente en Mac y en hardware embebido. Con el modelo large-v2 en fp16, whisper.cpp con Flash Attention tarda 1 minuto y 05 segundos y utiliza 4 127 MB de memoria de vídeo, prácticamente a la par que Faster-Whisper (1 minuto y 03 segundos, 4 525 MB): un recordatorio útil de que Faster-Whisper no es la única opción rápida, sino la que esta guía documenta con más detalle porque su ecosistema de Python se integra más fácilmente en una cadena RAG o en la elaboración automatizada de un informe.

#Instalarlo y transcribir un primer archivo

La instalación se realiza con una sola línea, sin dependencias del sistema que gestionar para la decodificación de audio gracias a PyAV, integrada directamente en el paquete Python. El código mínimo incluye tres parámetros que marcan toda la diferencia frente a un uso ingenuo del modelo: la elección explícita del dispositivo (cpu o cuda), el tipo de cálculo (compute_type, donde int8 es el punto de partida razonable en CPU) y la activación del filtro de detección de actividad de voz.

pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe("reunion.wav", language="fr", vad_filter=True)

for segment in segments:
    print(f"[{segment.start:.1f}s -> {segment.end:.1f}s] {segment.text}")

Tres líneas de código bastan para aplicar los dos ajustes que explican la mayor parte de la diferencia medida en el banco de pruebas oficial: compute_type="int8" para la cuantización y vad_filter=True para la detección de actividad vocal. El parámetro language="fr", por su parte, desactiva la detección automática de idioma, que se equivoca con mayor frecuencia en los primeros segundos de una grabación.

#¿Qué modelo, qué precisión?

Para el francés, la diferencia entre un modelo intermedio y uno grande se aprecia sobre todo en los nombres propios, las siglas y los pasajes en los que varias personas hablan al mismo tiempo. Si la transcripción se pasa después a un modelo de lenguaje que redacta un informe estructurado, un error aislado en una palabra poco frecuente importa menos de lo que se suele creer intuitivamente; si una persona debe leerla tal cual, el modelo grande se justifica, a costa del tiempo y la memoria indicados más arriba en esta guía.

#Los ajustes que realmente importan

1. 01
   Forzar el idioma

   La detección automática se equivoca en los primeros segundos, especialmente si la grabación comienza con un silencio o un saludo breve. Indicar el idioma elimina toda una categoría de errores.
2. 02
   Activar la detección de actividad vocal

   Evita transcribir los silencios y reduce las alucinaciones al final del archivo, cuando el modelo inventa texto a partir del silencio.
3. 03
   Elegir la cuantización int8

   Es el ajuste que explica la mayor parte de la diferencia medida en el banco de pruebas oficial: en CPU, reduce el tiempo de 2 min 37 s a 1 min 42 s en el modelo small, con un menor consumo de memoria.
4. 04
   Activar el procesamiento por lotes si la memoria lo permite

   batch_size=8 vuelve a reducir el tiempo a la mitad en el banco de pruebas oficial, a costa de un mayor consumo de memoria: debe reservarse para máquinas con memoria de sobra.

#Tres usos prácticos en una máquina común

Las cifras del banco de pruebas oficial adquieren todo su sentido al relacionarlas con casos reales, en un puesto de trabajo sin tarjeta gráfica dedicada: la situación más habitual en las empresas.

Resumen de reunión

Transcribir una reunión de una hora en int8 con un procesador de escritorio lleva unos siete u ocho minutos, si se extrapolan las cifras medidas para 13 minutos; un tiempo que permite iniciar la transcripción durante la pausa para el café que sigue a la propia reunión.

Archivado de podcasts o webinarios

Un procesamiento por lotes iniciado por la noche sobre un conjunto de archivos largos aprovecha directamente la mejora medida con batch_size=8, sin necesidad de supervisar la ejecución hasta la mañana.

Subtitulado de un vídeo a posteriori

Faster-Whisper produce el texto sin procesar del vídeo; una alineación palabra por palabra con WhisperX añade después las marcas de tiempo precisas necesarias para un archivo de subtítulos realmente utilizable en el montaje.

En los tres casos, el punto en común es la ausencia de tarjeta gráfica en la ecuación: las mediciones de CPU del banco de pruebas oficial muestran que un procesador de escritorio reciente es más que suficiente para un uso habitual, lo que desplaza la verdadera cuestión hacia el tamaño del modelo y la cuantización, en lugar de hacia la compra de hardware adicional para una simple necesidad de transcripción.

#Faster-Whisper o otra opción

• WhisperX: marcas de tiempo por palabra y hablantes
• Whisper en local: las bases
• Del archivo de audio al informe
• Vosk: transcribir en flujo continuo en lugar de hacerlo a partir de un archivo
• Fuente: repositorio oficial de Faster-Whisper y su banco de pruebas
• Fuente: motor de inferencia CTranslate2
• Fuente: repositorio oficial openai/whisper (referencia de la comparativa)

#FAQ