latentDatos y contrato de las búsquedas
La evaluación fijó 237 vacantes y 48 peticiones predefinidas. Cada método ejecutó cada petición dos veces para medir tiempo; la calidad usa la primera repetición. Las peticiones se escribieron para el benchmark y no proceden del tráfico de usuarios.
Petición → candidatos léxicos (hasta 30) → juicio de Jev
Petición → embedding → búsqueda por coseno en 237 vacantes
Resultados de cuatro métodos → pares reunidos → evaluación a ciegas
Jev recibió los primeros 1,000 caracteres de cada candidato. MiniLM, BGE-small y Arctic-embed-s se ejecutaron en CPU con representaciones de fragmentos de 600 caracteres, solapamiento de 100 y promedio normalizado. La búsqueda exacta en pgvector evita atribuir diferencias a un índice aproximado. Siguen existiendo diferencias de cobertura y texto disponible, así que se comparan sistemas completos.
Qué cuenta como coincidencia
La evaluación reúne los primeros diez resultados de cada método y dos vacantes aleatorias cuando están disponibles. Tras eliminar duplicados quedaron 1,399 pares de petición y vacante. El juez vio el texto completo y los metadatos sin conocer el método, la posición ni el puntaje de búsqueda.
| Grado | Significado |
|---|---|
| 2 | El trabajo encaja y cada requisito explícito tiene respaldo |
| 1 | Coincidencia parcial o información solicitada ausente |
| 0 | Trabajo no relacionado o contradicción explícita |
Una vacante remota sin países elegibles no cumple automáticamente una petición que exige trabajar desde México. Cada juicio conserva razones, evidencia y requisitos desconocidos o incumplidos. Dos errores HTTP 520 se resolvieron al reintentar; los fallos no se convirtieron en etiquetas negativas.
Resultados y denominadores
| Método | nDCG@10 del conjunto evaluado | Precisión estricta@5 | Mediana de búsqueda |
|---|---|---|---|
| Jev | 0.630 | 13.3% | 235 ms |
| MiniLM | 0.487 | 13.8% | 29 ms |
| BGE | 0.380 | 12.5% | 33 ms |
| Arctic | 0.367 | 12.5% | 33 ms |
nDCG asigna ganancias de 3, 1 y 0 a los grados 2, 1 y 0. Su promedio incluye las 45 peticiones con algún resultado relevante en el conjunto juzgado. La precisión estricta incluye las 48 peticiones y 240 posiciones posibles por método; una posición vacía cuenta como fallo.
Jev obtuvo 32 apariciones sólidas y 107 parciales entre los primeros cinco resultados. MiniLM obtuvo 33 sólidas y 81 parciales. La mejora graduada no demuestra más vacantes que cumplan todos los requisitos. Son apariciones por petición, no vacantes distintas. El CSV también contiene una precisión graduada; no debe confundirse con la precisión estricta de grado 2 mostrada aquí.
Una consulta para inspeccionar
En la petición sobre entrevistar usuarios y diseñar y probar experiencias y prototipos, Jev devolvió diez coincidencias parciales. MiniLM devolvió una sólida, tres parciales y seis irrelevantes. Una interfaz para explorar oportunidades puede valorar la primera lista; una comprobación estricta puede valorar el respaldo de la segunda.
Evaluación detallada, juicios individuales y herramienta de evaluación a ciegas. Exporta las calificaciones para conservarlas: el adjunto aislado no puede guardarlas en el almacenamiento del sitio. Los adjuntos conservan su idioma original.
Consumo y una siguiente comparación justa
El juez usó 2,634,345 tokens de entrada y 187,458 de salida, incluido el razonamiento. Reportó 2,485,742 tokens de entrada en caché. La estimación histórica fue de unos $2.48 bajo las tarifas registradas, sin consumo no reportado de llamadas fallidas. Corresponde a evaluación, no a alojamiento, embeddings o búsquedas Jev. Consumo y supuestos.
Para reproducir, fija vacantes, peticiones, preprocesamiento, límites de candidatos, configuración y rúbrica. Conserva fallos y repeticiones. Iguala cobertura y texto antes de atribuir una diferencia al modelo y revisa una muestra con personas. Las etiquetas reunidas no permiten calcular recall sobre todo el corpus. El experimento sintético con 72 vacantes es otra evaluación.
El artículo técnico describe esa comparación y el archivo de evidencia. La diferencia observada es descriptiva; no establece significancia estadística ni un ganador universal.