Con qué nos medimos, a la vista de todos.
Publicamos los 241 casos con los que AIM LEX se pone a prueba en Derecho español, cada uno con su fuente oficial y con lo que una respuesta correcta tiene que decir; los criterios con que se corrige; el corrector, para que cualquiera mida con él su propia herramienta; y los resultados de cada versión, tal como salen.
Versión 1.172.82 · se regenera en cada versión del sistema
Los últimos resultados
Tirada general publicada el . El detalle, en Confianza.
Los bancos
Laboral
Despidos, contratos, jornada, prestaciones y Seguridad Social, rama por rama.
20 casos · última medida: 5 de 5
Mercantil
Sociedades, contratos mercantiles, insolvencia y competencia.
20 casos
Fiscal
IVA, IRPF, Sociedades, procedimiento y sanciones tributarias.
8 casos
Derecho foral y autonómico
Lo que cambia por territorio: derecho civil foral y tributos forales.
9 casos
Exactitud de las cifras
Que el plazo, el importe o el porcentaje sea el correcto, no solo que la cita exista.
6 casos
Premisas falsas
Preguntas que parten de algo que no es verdad: la respuesta correcta lo corrige.
102 casos
Vigencia en el tiempo
La norma vigente en la fecha que importa, y no una versión derogada.
5 casos
Verificación de citas
Citas reales que deben confirmarse y citas falsas o imposibles que deben cazarse.
45 casos
Recuperación de la norma
Que la búsqueda llegue al artículo que responde, antes de redactar nada.
26 casos
Cómo se corrige
exige- La respuesta tiene que contener al menos una de las formas aceptadas (por ejemplo, «20 días» o «veinte días»). Se compara tras normalizar mayúsculas, tildes, espacios y la forma de escribir las cifras.
prohibe- La respuesta no puede contener ninguna de estas expresiones: suelen ser la cifra derogada o la premisa falsa.
espera- En el banco de verificación: «verde» (la cita existe y dice eso: debe confirmarse), «rojo» (no existe o es imposible: debe cazarse), «no_rojo» (no puede acusarse una cita correcta) o «no_verde» (no puede confirmarse lo que no consta).
fallo- Un caso que falla se repite dos veces más, porque el sistema no es determinista; solo cuenta como fallo si falla las tres. Los resultados se publican tal cual salen: no se eligen tiradas.
error- Cuenta como error inventar una norma o una cita, apoyarse en una norma derogada, no encontrar la fuente esperada en una pregunta que tiene respuesta o responder lo que debía declinarse.
Mide tu propia herramienta
Descarga el corrector de referencia (Python 3, sin dependencias) y los casos. Para cada caso, pasa la pregunta a tu herramienta y
corrige su respuesta con corregir(caso, respuesta); en el banco de verificación, con evaluar_caso_banco(caso, citas).
import json, urllib.request
from corrector_aim_lex import corregir
casos = json.load(urllib.request.urlopen("https://www.aim-lex.ai/banco-abierto/laboral.json"))["casos"]
for c in casos:
respuesta = mi_herramienta(c["pregunta"])
print(c["id"], corregir(c, respuesta)["bien"])O corrige en línea: envía el caso y la respuesta a POST /banco-abierto/corregir con el cuerpo
{"caso": {...}, "respuesta": "..."}.