Ranking de modelos de IA
Qué modelos se usan de verdad en el chat y la API de CertuAI, medido en tokens, con crecimiento, velocidad y disponibilidad de cada proveedor.
El ranking se llena a medida que llegan pedidos. Se actualiza cada 10 minutos.
Cómo medimos estos números
Cada pedido que el chat y la API envían a un modelo se cuenta en cuanto termina: tokens de entrada y de salida, latencia total (del pedido al último byte), tiempo al primer token (respuestas en streaming) y velocidad (tokens de salida por segundo, contados después del primer token, solo en respuestas de al menos 20 tokens). Las medianas se estiman a partir de un histograma de latencia, así que son cercanas pero no exactas.
La disponibilidad es 1 menos la proporción de pedidos que falló el proveedor (tiempo agotado, límite de uso, error del servidor y fallas de red). Un pedido rechazado por estar mal formado no cuenta contra el proveedor. La disponibilidad aparece solo después de 50 pedidos en el período, y la latencia después de 10 respuestas, así un modelo con tres pedidos afortunados nunca encabeza la lista.
Los días son en UTC. Hoy cuenta desde la medianoche UTC; esta semana son los últimos 7 días, hoy incluido. Las pruebas sintéticas, cuando están activas, cuentan para disponibilidad y velocidad, nunca para popularidad.