Una oficina pública puede tener un manual de supervisión y carecer de evidencia sobre lo que sucede cuando una persona cuestiona una decisión automatizada. Para estudiar esa distancia conviene seguir decisiones concretas: qué información se utilizó, quién intervino y qué ocurrió después del reclamo.
El marco de gestión de riesgos de inteligencia artificial del NIST es de uso voluntario y busca incorporar consideraciones de confiabilidad al diseño, uso y evaluación de sistemas. Sirve como referencia para formular preguntas; por sí mismo no acredita que una institución gestione adecuadamente sus riesgos.
La unidad de análisis
Propongo registrar un episodio de decisión, desde la entrada de información hasta su revisión. Puede ser la clasificación de una solicitud o una alerta que orienta una inspección. Antes de reunir datos habría que delimitar qué parte depende del sistema y cuál corresponde al criterio profesional.
Un episodio debe poder reconstruirse. Un número total de decisiones corregidas ofrece poco contexto si no se conoce cuántas fueron examinadas, qué cambios se consideraron correcciones y qué asuntos quedaron sin respuesta.
Qué registrar en cada episodio
| Campo | Evidencia que se buscaría |
|---|---|
| Decisión y contexto | Servicio, fecha, regla aplicable y función del sistema. |
| Información utilizada | Origen de los datos, versión disponible y limitaciones documentadas. |
| Responsable | Persona o área con autoridad para revisar y modificar el resultado. |
| Problema o desacuerdo | Incidente, reclamo o diferencia de criterio, descrito sin datos identificables. |
| Respuesta | Actuación, fecha, explicación ofrecida y corrección cuando corresponda. |
| Seguimiento | Comprobación de la corrección y cambios en el procedimiento. |
La matriz es una propuesta de trabajo. Sus campos deben adaptarse al servicio estudiado y no constituyen una escala validada ni una certificación. Su utilidad dependerá de la calidad de los documentos y del acceso al proceso real.
Cómo pasar del registro al análisis
Comenzaría con un conjunto acotado de episodios y contrastaría registros, entrevistas y procedimientos. Buscaría también casos sin reclamo: la ausencia de inconformidades puede responder a barreras para presentarlas. Esa posibilidad debe investigarse, en lugar de interpretarla automáticamente como satisfacción.
La comparación puede distinguir tiempos de respuesta, tipos de corrección y puntos donde se pierde información. Para cada cálculo se explicitarían el universo, el periodo y los casos excluidos. Si el acceso es parcial, el análisis debe indicar qué decisiones no pudieron reconstruirse.
Un ejemplo para delimitar el estudio
En un caso hipotético, una persona solicita revisar la clasificación de su trámite. El expediente contiene la respuesta del sistema, pero no identifica quién puede modificarla. La investigación registraría esa falta de información y comprobaría las atribuciones del personal antes de atribuir una omisión a una persona o área.
El siguiente paso sería revisar si la corrección llegó al servicio y si el procedimiento cambió. El cierre administrativo de un expediente no demuestra por sí mismo que se haya resuelto el problema que lo originó.
Límites y uso público
Un conjunto de episodios documentados permite analizar procesos; no demuestra que todo el sistema sea confiable ni que una corrección haya reducido daños en toda la población. Los resultados públicos deben presentarse sin datos que identifiquen a las personas atendidas.
La propuesta desarrolla las preguntas de las entradas sobre responsabilidad y gobernanza algorítmica enlazadas abajo. Aún requiere aplicación y evaluación antes de atribuirle resultados. Puede utilizarse como guía para delimitar un estudio, solicitar evidencia y discutir qué puede corregirse.
Fuentes y lecturas relacionadas
NIST AI Risk Management Framework
Los algoritmos públicos no se vuelven responsables con una lista de verificación
La gobernanza algorítmica también decide qué cuenta como riesgo
¿Quieres trabajar una pregunta de investigación sobre poder, universidad o tecnología? Contacta conmigo.
Descubre más desde Doctor Luis Enrique Sánchez Diaz
Suscríbete y recibe las últimas entradas en tu correo electrónico.