Familia Rakuten · 700B de parámetros

Rakuten AI 3.0

Modelo insignia japonés abierto ~700B MoE. Proyecto GENIAC. Apache 2.0. Excelente en japonés.

Rakuten·Licencia Apache 2.0·Contexto 32k tokens·Fecha de lanzamiento marzo de 2025← Catálogo

01Lo que sabe hacer

Puntos fuertes
  • Muy bueno en japonés
  • 700B parámetros totales
  • Uso empresarial en comercio electrónico
Limitaciones que debes conocer
  • —420 GB de VRAM Q4
  • —Contexto de solo 32k
  • —Muy orientado al japonés/comercio
Arquitectura
MoE · 700B en total · Rakuten AI 3 · contexto de 32k
Entrenamiento
Rakuten: corpus masivo JP/EN para comercio electrónico y empresas.
Ideal para
Japonés nativoSoberanía JP

04Instalar

Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.

$# Infrastructure lourde requise — non disponible en local standard
⚠
Primera descarga: entre 2 y 40 GB según la cuantización elegida. Reserva espacio en disco y se recomienda una conexión estable. Las siguientes ejecuciones son instantáneas.

02Memoria requerida

VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.

Q4_K_M
El más ligero, ~5% de pérdida
420 GB
Q5_K_M
Buen equilibrio calidad/tamaño
500 GB
Q8_0
Casi indistinguible de FP16
745 GB
FP16
Precisión completa — uso en servidor
1400 GB
Alternativa con CPU · Si no tienes GPU, calcula 500 GB de RAM mínimo para ejecutar este modelo a velocidad reducida.
Este modelo en tu ChatGPT privado, sin nube

¿Demasiado grande para tu máquina? El kit te da el modelo que cabe en tu VRAM

  • Espacio en línea de por vida
  • PDF + archivos
  • Reembolsado 30 d

03Velocidad estimada

Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.

Gama de entrada
~1t/s
GTX 1650, RX 6600, MBA M2 8GB
Gama media
~4t/s
RTX 4060, 4070, MBP M3 Pro
Gama alta
~12t/s
RTX 4090, M4 Max, Radeon 7900