Probamos modelos frontier y motores de document AI con más de 1.000 documentos reales, midiendo las capacidades que exige el straight-through processing. anyformat lidera los cuatro estudios, y es el único sistema que combina precisión de nivel frontier con citas visuales y confianza calibrada.
¿Cuál es vuestra tasa de precisión?
Es la primera pregunta que hace cualquier comprador de document AI. Pero como expliqué en Más allá de la precisión, rara vez es la que decide si un sistema funciona en producción.
Un documento limpio de demo no es la parte difícil. Producción es donde los documentos se alargan, los formatos cambian, las tablas ocupan decenas de páginas y cada extracción fallida genera otra revisión manual.
La prueba de verdad es el straight-through processing: que un documento pase de entrada a salida validada sin que nadie tenga que arreglarlo por el camino.
Así que ejecutamos el benchmark que todo el mundo quería ver: modelos frontier de varios proveedores y los principales motores especializados de OCR y document AI, probados con más de 1.000 documentos reales.
Ni ejemplos limpios ni PDFs de una página. Documentos reales, con los modos de fallo que rompen la automatización.
Cuatro estudios: calidad de parsing, extracción en documentos largos, formatos complejos y calibración de la confianza.
Esto es lo que encontramos.
Qué hemos probado
Cuatro estudios, un principio: documentos reales, puntuación de producción.
Parsing. Calidad de conversión de PDF a Markdown en más de 1.000 documentos reales de más de 30 tipos, evaluada sobre extracción de contenido, tablas y estructura del documento.
Documentos largos. Documentos reales de hasta 50 páginas (unas 2.400 filas), midiendo cuántas filas se recuperan correctamente.
Formatos complejos. Casi 100 facturas reales de formatos variados, puntuadas por completitud total del documento: cada campo y cada línea capturados.
Confianza. Si la confianza asociada a cada valor extraído está calibrada. Cuando decimos que estamos al 90% de confianza, ¿acertamos en torno al 90% de las veces?
Parsing: precisión de nivel frontier, con infraestructura de producción
Medir la calidad del parsing de documentos es complejo. Un buen parser tiene que preservar el contenido, reconstruir las tablas y mantener la estructura que da sentido al documento. Cada dimensión requiere una forma distinta de medir la calidad, y por eso iniciativas académicas como OmniDocBench evalúan el parsing como un pipeline completo en lugar de con una sola métrica.
Nuestro Parse Score sigue el mismo principio. Combina estas dimensiones en un único benchmark, promediando métricas de evaluación especializadas para texto, tablas y estructura del documento. Lo probamos con más de 1.000 documentos reales contra una verdad de referencia cuidadosamente curada.
En esta puntuación combinada, anyformat alcanza precisión state-of-the-art a una fracción del coste de los modelos frontier, y se mantiene por delante de todos los motores de OCR especializados que probamos. Esta es la clasificación completa:
| Parser | Parse Score | Coste / 1.000 páginas | Citas visuales | Confianza |
|---|---|---|---|---|
| anyformat | 78,1% | $25 | Sí | Calibrada |
| GPT-5.5 | 77,9% | $102.13 | No | Ninguna |
| Gemini 3.5 Flash | 77,9% | $31.33 | No | Ninguna |
| Claude Opus 4.8 | 77,3% | $83.50 | No | Ninguna |
| GPT-4.1 | 72,3% | $14.43 | No | Sin calibrar |
| Mistral OCR 4 | 70,5% | $4 | Sí | Sin calibrar |
| Azure DI | 69,9% | $10 | Sí | Sin calibrar |
| AWS Textract | 65,4% | $15 | Sí | Sin calibrar |
| Google Doc AI | 55,0% | $1.50 | Sí | Sin calibrar |
| Docling | 52,3% | Autoalojado | Sí | Sin calibrar |
| PaddleOCR | 43,2% | Autoalojado | Sí | Sin calibrar |
La precisión es solo la mitad de la foto. La otra mitad es lo que cuesta ejecutar esa precisión:
Arriba y a la izquierda es donde quieres estar: precisión de nivel frontier a 25 dólares por cada 1.000 páginas, frente a los 102 de GPT-5.5. Los motores autoalojados (Docling, PaddleOCR) quedan fuera del gráfico
Construido sobre datos abiertos, devuelto a la comunidad
Antes del artículo completo de metodología, una nota sobre el origen de los números. El benchmark de parsing parte de una muestra de PDFs reales de código abierto con licencia MIT. El dataset original publicaba su verdad de referencia solo como salida JSON, que sirve para extracción pero no permite juzgar el parsing: no te dice si una tabla sobrevivió, si se mantuvo el orden de lectura o si se preservó la estructura del documento.
Así que lo reconstruimos a mano. Para cada documento, creamos manualmente la verdad de referencia en Markdown con HTML embebido, el formato que se ha convertido en el estándar de la industria para evaluar el parsing de documentos. Publicaremos el dataset mejorado y la metodología completa de puntuación durante las próximas semanas, devolviendo el benchmark a la comunidad de la que salió, para que cada número de este artículo se pueda comprobar y reproducir.
De todas formas, la limitación de los modelos frontier a pelo no es solo la calidad del resultado. Devuelven una predicción, pero no aportan la infraestructura necesaria para operar flujos documentales en producción.
Eso es lo que anyformat añade encima del modelo: citas visuales que enlazan cada valor extraído con su ubicación exacta en el documento, señales de confianza calibradas que te dicen qué se puede automatizar, validación, y la capa de flujos de trabajo necesaria para procesar documentos de forma fiable a escala. El arnés es el producto.
Convertir la salida de un modelo en un sistema en el que puedes confiar y que puedes operar.
Extracción: donde los documentos se rompen de verdad
La extracción es donde producción destapa los casos límite. El reto no es extraer una vez un documento corto y limpio. Es mantener la calidad cuando los documentos se vuelven más largos, más complejos y menos predecibles.
En producción, el parsing rara vez va solo. Parse → extract es el flujo más común entre nuestros clientes: el parsing convierte el documento en Markdown fiel, y la extracción convierte ese Markdown en campos tipados y validados contra un esquema JSON. Normalizar datos hacia un ERP, un TMS o una base de datos exige salidas tipadas; ningún sistema aguas abajo ingiere prosa.
El pipeline parse → extract en anyformat Studio. El parsing produce Markdown fiel; la extracción lo convierte en campos tipados contra esquema
Dos modos de fallo aparecen de forma sistemática en producción: documentos que crecen en longitud y documentos con estructuras complejas. Medimos ambos.
Documentos largos: cuando la salida empieza a degradarse
El documento sigue. La mayoría de sistemas de extracción, no.
Una tabla corta es fácil. El reto empieza cuando esa tabla crece hasta decenas de páginas y miles de filas. Desaparecen filas, se parten cabeceras, y la salida puede parecer correcta hasta que alguien se da cuenta de que falta información. Esta degradación está bien documentada en la literatura: los modelos de lenguaje pierden información en contextos largos, incluso cuando el documento es perfectamente legible.
Nuestro benchmark de escalado de filas probó exactamente eso: una tabla de líneas que crece de 1 a 50 páginas, hasta alcanzar unas 2.400 filas.
Los modelos frontier se degradaron a medida que los documentos crecían, hasta no recuperar casi ninguna fila. anyformat se mantuvo en ~99% de recuperación de filas, con la salida completa incluso al escalar el documento.
GPT-5.5 y GPT-4.1 se desploman primero, Gemini 3.5 Flash hacia la página 20, Claude Opus 4.8 en la página 50. La línea azul es de la que dependen tus operaciones
Ya hemos escrito sobre por qué los documentos largos rompen los sistemas de extracción y sobre la arquitectura parse-extract que hay detrás de este resultado.
Formatos complejos: documentos completos, no resultados parciales
El segundo modo de fallo es la completitud.
Las facturas, albaranes y extractos reales contienen entidades que se repiten, estructuras anidadas, formatos cambiantes y tablas que varían de un proveedor a otro. Acertar la mayor parte del documento no basta para el straight-through processing. La extracción tiene que ser completa.
Así que medimos la versión estricta: un documento solo pasaba si se capturaban todos los campos y todas las líneas.
En nuestro benchmark de formatos complejos, anyformat extrajo el 94% de los documentos a la perfección.
En los documentos más difíciles, anyformat alcanzó un 83% de extracciones perfectas, casi el doble que el siguiente mejor sistema, que se quedó en el 43%.
Porcentaje de documentos extraídos a la perfección, por nivel de dificultad:
| Sistema | Fácil | Medio | Difícil | Total |
|---|---|---|---|---|
| anyformat | 100% | 92% | 83% | 94% |
| Claude Opus 4.8 | 98% | 96% | 43% | 85% |
| Gemini 3.5 Flash | 100% | 100% | 22% | 81% |
| GPT-5.5 | 100% | 100% | 17% | 80% |
| GPT-4.1 | 100% | 16% | 9% | 57% |
Fijaos en el patrón: todo el mundo roza la perfección en el nivel fácil. La demo le funciona a cualquiera. Es en el nivel difícil, las facturas con líneas anidadas y formatos que cambian de un proveedor a otro, donde el sector se cae por el precipicio.
Estos son los casos que deciden si la automatización funciona de principio a fin, o si alguien sigue revisando cada documento a mano.
Confianza: un número sobre el que puedes actuar
Cada valor que devuelve anyformat lleva una puntuación de confianza calibrada. Calibrada es la parte importante: una puntuación de confianza solo sirve si refleja la realidad.
Cuando decimos que estamos al 90% de confianza, la extracción debería ser correcta en torno al 90% de las veces. En el benchmark, anyformat alcanzó un 99,1% de precisión de calibración (Adaptive ECE de 0,009).
Eso significa que los equipos pueden fijar umbrales, aprobar automáticamente las extracciones con confianza alta y enviar a revisión solo los valores inciertos, con sus citas visuales adjuntas. Hemos documentado en detalle cómo puntuamos y calibramos la confianza en datos estructurados, sobre la base de la investigación en calibración para modelos de lenguaje.
Qué viene ahora
Los resultados del benchmark ya están publicados en nuestra home.
Explorad los cuatro estudios, comparad los modelos y ved dónde sigue rompiéndose el document AI.
Durante las próximas semanas publicaremos análisis en profundidad de cada benchmark: los datasets, la metodología de puntuación y los modos de fallo que hay detrás de los resultados.
Si queréis ver dónde quedan vuestros propios documentos, empezad por los más difíciles que tengáis.
Infraestructura documental plug-and-play en la que puedes confiar.
Preguntas frecuentes
¿Cómo se ejecutó el benchmark de anyformat?
Cuatro estudios independientes con más de 1.000 documentos reales: calidad de parsing (PDF a Markdown en más de 30 tipos de documento), extracción en documentos largos (tablas que escalan de 1 a 50 páginas, unas 2.400 filas), formatos complejos (casi 100 facturas de formatos variados puntuadas por completitud total) y calibración de la confianza (si la confianza declarada coincide con la precisión real). Todos los estudios usan documentos reales y una verdad de referencia curada, no ejemplos sintéticos.
¿Cómo se compara anyformat con GPT-5.5, Gemini y Claude en parsing de documentos?
En el Parse Score combinado, anyformat alcanza un 78,1%, al nivel de los modelos frontier más potentes (GPT-5.5 y Gemini 3.5 Flash con 77,9%, Claude Opus 4.8 con 77,3%) y por delante de todos los motores de OCR especializados probados. A diferencia de la salida bruta de un modelo, cada resultado de anyformat incluye citas visuales y confianza calibrada.
¿Por qué fallan los LLMs con documentos largos?
Cuando las tablas ocupan decenas de páginas, los modelos van perdiendo cobertura y se saltan filas en silencio, incluso cuando el documento es perfectamente legible. En nuestro benchmark de escalado hasta 50 páginas, los modelos frontier acabaron sin recuperar casi ninguna fila, mientras que anyformat mantuvo un ~99% de recuperación de filas.
¿Serán públicos los datos del benchmark?
Lo serán. El benchmark de parsing parte de una muestra de PDFs reales de código abierto con licencia MIT cuya verdad de referencia existía originalmente solo como salida JSON. Reconstruimos la verdad de referencia a mano en Markdown con HTML embebido, el formato estándar de la industria para evaluar el parsing de documentos, y publicaremos el dataset mejorado y la metodología completa para la comunidad durante las próximas semanas.
¿Qué significa confianza calibrada en extracción de documentos?
Confianza calibrada significa que la puntuación declarada coincide con la precisión real: cuando el sistema dice 90% de confianza, acierta en torno al 90% de las veces. anyformat midió un 99,1% de precisión de calibración (Adaptive ECE de 0,009), lo que permite a los equipos aprobar automáticamente las extracciones con confianza alta y enviar a revisión humana solo los valores inciertos.
Lecturas relacionadas: Más allá de la precisión: las métricas de document AI que predicen el éxito en producción · Los documentos largos son el caso real de producción · Cómo hacer fiables las extracciones de datos con IA
Compara anyformat: vs ChatGPT, Claude y Gemini · vs Azure Document Intelligence · vs AWS Textract · Todas las comparaciones →
