Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
Cada noche nuestra Mac mini corre Qwen3.6-35B-A3B en su propio hardware y responde las mismas pruebas calificadas que 4 modelos de pago en la nube (Qwen3.6-35B-A3B (OpenRouter), gpt-oss-120b (Together), Haiku 5.5, Sonnet 5.5). Un programa revisa cada respuesta contra reglas explícitas, no otro modelo. Esta página se reconstruye cada mañana con la última noche, así que es un registro continuo, no una prueba única. Ver también servir modelos locales.
Última corrida: 10 de noviembre de 2026 (UTC) · 9 noches publicadas · costo en la nube de la corrida USD 0.19, con un tope nocturno de USD 5
Qwen3.6-35B-A3B (cuantización Q4) en una Mac mini con un Apple M5 Pro y 64 GB de memoria. Cargado, el modelo ocupa unos 22 GB. La respuesta mediana tardó 16.5 s, generando unos 66 tokens por segundo (según el reloj de su propio servidor).
13 pruebas, 3 intentos cada una. Una llamada fallida, o un intento omitido en una prueba en la que se calificó al modelo, cuenta como fallo. La excepción son los intentos clasificados como No ejecutados, porque una falla en nuestra configuración de prueba impidió que llegaran al modelo: esos quedan fuera de la puntuación.
| Modelo | Corre en | Aprobadas | Errores | No ejecutados | Costo de la corrida | Precio de lista por 1M de tokens (entrada / salida) |
|---|---|---|---|---|---|---|
| Qwen3.6-35B-A3B (hub, Q4) | Nuestra Mac mini | 39/39 (100%) | 0 | 0 | USD 0 en tarifas de API | — |
| Qwen3.6-35B-A3B (OpenRouter) | API en la nube | 38/39 (97%) | 0 | 0 | USD 0.06 | USD 0.1 / USD 0.9 |
| gpt-oss-120b (Together) | API en la nube | 39/39 (100%) | 0 | 0 | USD 0.01 | USD 0.15 / USD 0.6 |
| Haiku 5.5 | API en la nube | 38/39 (97%) | 0 | 0 | USD 0.0063 | USD 0.1 / USD 0.5 |
| Sonnet 5.5 | API en la nube | 38/39 (97%) | 0 | 0 | USD 0.11 | USD 2 / USD 10 |
Los costos en la nube son a precio de lista. Una llamada cuyo costo no reportó el proveedor se cuenta por una reserva estimada, así que son estimaciones, no facturas.
No mostramos los tiempos de respuesta en la nube. Nuestro temporizador de llamadas a la nube se ha estado deteniendo al llegar los encabezados de la respuesta y no la respuesta completa, lo que hizo que un proveedor pareciera unas 15 veces más rápido de lo que es, así que esos tiempos están mal. Los tiempos de la Mac mini de arriba vienen de su propio servidor y no se ven afectados.
| Tipo | Qwen3.6-35B-A3B (hub, Q4) | Qwen3.6-35B-A3B (OpenRouter) | gpt-oss-120b (Together) | Haiku 5.5 | Sonnet 5.5 |
|---|---|---|---|---|---|
| Razonamiento bajo presión (5) | 15/15 | 15/15 | 15/15 | 14/15 | 14/15 |
| Fidelidad de formato (4) | 12/12 | 11/12 | 12/12 | 12/12 | 12/12 |
| Contexto largo (4) | 12/12 | 12/12 | 12/12 | 12/12 | 12/12 |
| Prueba | Qwen3.6-35B-A3B (hub, Q4) | Qwen3.6-35B-A3B (OpenRouter) | gpt-oss-120b (Together) | Haiku 5.5 | Sonnet 5.5 |
|---|---|---|---|---|---|
| reasoning_date_arithmetic | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 |
| reasoning_conditional_probability | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 |
| reasoning_mixed_units | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| reasoning_billing_trap | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| reasoning_knights_knaves | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_json_escaping | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_constrained_writing | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_csv_rfc4180 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_number_rounding | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 |
| longctx_multi_needle | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_distractor_needles | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_scattered_facts | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_contradiction_override | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Aprobadas sobre intentos, la más reciente primero. * marca una noche que no corrió la suite completa o que tuvo intentos clasificados como No ejecutados, que quedan fuera de la puntuación. Un * junto a una puntuación significa que se dejaron fuera algunos intentos, así que no la comparamos con las demás.
| Corrida (UTC) | Qwen3.6-35B-A3B (hub, Q4) | Qwen3.6-35B-A3B (OpenRouter) | gpt-oss-120b (Together) | Haiku 5.5 | Sonnet 5.5 |
|---|---|---|---|---|---|
| 10 de noviembre de 2026 | 39/39 | 38/39 | 39/39 | 38/39 | 38/39 |
| 9 de noviembre de 2026 | 38/39 | 39/39 | 39/39 | 39/39 | 38/39 |
| 8 de noviembre de 2026 | 39/39 | 38/39 | 39/39 | 39/39 | 39/39 |
| 7 de noviembre de 2026 | 38/39 | 39/39 | 39/39 | 39/39 | 38/39 |
| 6 de noviembre de 2026 | 38/39 | 38/39 | 39/39 | 39/39 | 38/39 |
| 5 de noviembre de 2026 | 38/39 | 39/39 | 39/39 | 39/39 | 39/39 |
| 4 de noviembre de 2026 | 39/39 | 39/39 | 39/39 | 39/39 | 37/39 |
| 3 de noviembre de 2026 * | 20/21 * | 37/39 | 39/39 | 39/39 | 36/39 |
| 2 de noviembre de 2026 * | 35/36 * | 39/39 | 39/39 | 38/39 | 38/39 |
Un experimento aparte: Qwen3.6-35B-A3B en la Mac mini con su razonamiento activado y desactivado, 16 pruebas, 3 intentos cada una. Corrida del 2 de noviembre de 2026 (UTC).
| Ajuste | Aprobadas | Tiempo mediano | Se quedó sin tokens |
|---|---|---|---|
| Razonamiento activado | 47/48 | 16.4 s | 1 |
| Razonamiento desactivado | 35/48 | 0.2 s | 0 |
Desactivar el razonamiento bajó la tasa de aprobación de 98 % a 73 %; la respuesta mediana tardó 0.2 s en lugar de 16.4 s.
13 pruebas cortas, 3 intentos cada una: unos puntos de diferencia pueden ser azar. "USD 0 en tarifas de API" no incluye el precio de la máquina ni la electricidad que consume mientras responde. El modelo local es una copia cuantizada Q4; la copia en la nube del mismo identificador puede no serlo. Aquí no se prueban el uso de herramientas ni la redacción abierta.
Pruebas de nuestra Deep Suite que un programa puede calificar (razonamiento, formato y recuperación en contexto largo), 3 intentos por prueba para cada modelo cada noche desde las 04:00 hora de la Mac mini (a la 01:10 antes del 5 de noviembre de 2026), todos los modelos con el mismo presupuesto de salida y el muestreo por defecto de su proveedor, con un tope de USD 5 por noche de gasto en la nube. Una noche publicada cuenta si corrió la suite completa, o se marca como parcial si se detuvo antes (por ejemplo, al llegar al tope) o si algunos intentos se clasificaron como No ejecutados. Una noche sin ninguna llamada completada no se publica; las cifras se reconstruyen a la mañana siguiente.
Lo que el mismo modelo hace con las entradas reales de nuestros propios trabajos: estamos probando Qwen en una Mac mini.