¿Puedo ejecutar DeepSeek R1 70B?

DeepSeek R1 70B es el modelo al que recurres cuando quieres razonamiento con cadena de pensamiento corriendo por completo en tu propio hardware, no un asistente de chat rápido. En 4 bits pesa unos 42.8 GB y necesita como mínimo alrededor de 64 GB de RAM, lo que descarta de plano una sola GPU de consumo: no entra en una RTX 3060 12GB ni siquiera en una RTX 4090 24GB. Su hogar realista es un Mac con bastante memoria unificada o una estación de trabajo con 64 GB o más, donde el conjunto completo de pesos puede de verdad permanecer residente. Esto es un compromiso serio, no una descarga casual.

En el uso diario, el titular honesto es que es lento. En un Apple M-Max hablamos de unos 8 tok/s, y en una CPU con DDR5 baja a cerca de 1 tok/s, así que las respuestas llegan a ritmo de lectura en el mejor caso y se arrastran en el peor. Como R1 piensa en voz alta antes de responder, muchos de esos tokens se van en razonamiento visible, de modo que una sola respuesta puede tardar un buen rato. El contexto de 128K está ahí, pero llenarlo lleva la memoria total a unos 87.5 GB, muy por encima del piso de 64 GB, así que mantén un contexto de trabajo moderado salvo que tengas margen de sobra.

Frente a su propia familia, el intercambio es claro: DeepSeek R1 7B o el diminuto 1.5B corren mucho más rápido y entran en hardware modesto, pero este 70B suele aguantar mejor en razonamiento de varios pasos más difícil, donde los destilados pequeños tienden a perder el hilo. Comparado con Llama 3.1 70B, que está afinado para chat, el rasgo distintivo de R1 70B es ese estilo de razonamiento explícito, más adecuado para problemas de matemáticas y lógica que para conversación abierta. La licencia MIT es la parte fácil aquí: puedes usarlo comercialmente y en producción sin ataduras específicas del proveedor. Solo presupuesta la memoria y la espera.