Directrices éticas de IA y proceso de auditoría de sesgo para la ciudad de Modesto
Modesto, California afronta preguntas crecientes sobre cómo las agencias municipales usan sistemas automatizados de decisión. Esta guía resume un marco práctico de ordenanza ética de IA y un proceso de auditoría de sesgo para las operaciones de la ciudad de Modesto, alinea elementos recomendados con controles municipales existentes y señala dónde el código municipal no contiene disposiciones explícitas sobre IA [1]. Está dirigida al personal municipal, a miembros del concejo y a proveedores que implementan IA en servicios públicos.
Alcance y objetivos
Este marco de política cubre la contratación de la ciudad, los algoritmos gestionados por proveedores, la toma de decisiones automatizada en beneficios públicos, las herramientas analíticas de seguridad pública y la IA administrativa interna utilizada por los departamentos de Modesto. Los objetivos incluyen transparencia, no discriminación, minimización de datos, documentación y auditorías periódicas de sesgo.
Requisitos básicos
- Evaluación de impacto algorítmico documentada antes de la contratación o el despliegue.
- Auditorías de sesgo anuales realizadas por revisores internos calificados o independientes.
- Fondos presupuestados para auditorías y actividades de mitigación en los planes departamentales.
- Procedimientos para gestionar quejas sobre decisiones automatizadas, incluida la escalada al Fiscal de la Ciudad o al jefe de departamento designado.
- Medidas de transparencia: resúmenes públicos, declaraciones de propósito del modelo y documentación técnica con información redactada cuando proceda por motivos de seguridad.
Sanciones y aplicación
Modesto actualmente no tiene una sección del código municipal que prescriba explícitamente multas o procedimientos específicos para IA; los montos de las multas y las reglas de escalada no están especificados en la página del código municipal citada aquí [1]. La aplicación seguiría los canales municipales existentes, normalmente con la participación de jefes de departamento, procesos de aplicación del código y el Fiscal de la Ciudad para la ejecución civil.
- Multas: no especificadas en la página citada; las sanciones financieras dependerían de las secciones aplicables del Código Municipal de Modesto o de un nuevo texto de ordenanza [1].
- Escalada: primero, acción correctiva y remediación; las violaciones repetidas o continuas podrían conllevar órdenes administrativas o acciones civiles; los rangos específicos no están especificados en la página citada.
- Sanciones no monetarias: órdenes de cese de uso, planes de remediación obligatorios, terminación contractual de proveedores o medidas cautelares en tribunales; los procedimientos específicos no están especificados en la página citada.
- Organismo aplicador: departamento responsable del sistema afectado (por ejemplo, el Departamento de Tecnología de la Información) con supervisión del Fiscal de la Ciudad; recepción de quejas a través de los canales oficiales de reporte de la ciudad.
- Recursos/apelaciones: las apelaciones normalmente proceden mediante revisión administrativa o tribunales civiles; los plazos para apelaciones no están especificados para asuntos de IA en la página del código municipal citada.
- Defensas/discreción: usos permitidos bajo una contratación aprobada, exenciones por emergencia o variaciones concedidas; el lenguaje específico no está especificado en la página citada.
Solicitudes y formularios
No se publica ningún permiso o formulario específico para IA en la página del código municipal citada; los departamentos normalmente utilizan formularios estándar de contratación y aprobación de políticas o solicitan autorización del concejo para nuevas ordenanzas [1].
Proceso de auditoría: pasos prácticos
- Inicie una Evaluación de Impacto Algorítmico durante la contratación: defina el propósito, las poblaciones cubiertas y el nivel de riesgo.
- Exija a los proveedores la presentación de documentación del modelo, descripciones de los datos de entrenamiento e informes de validación.
- Realice una auditoría técnica y operativa de sesgo que cubra sesgo de conjuntos de datos, rendimiento por subgrupos y modos de fallo.
- Documente medidas de mitigación e implemente métricas de supervisión y umbrales para desencadenar revisiones automáticas.
- Programe reauditorías anuales o según el nivel de riesgo; escale hallazgos de alto riesgo a la dirección ejecutiva.
Violaciones comunes
- No realizar una evaluación de impacto antes del despliegue.
- Falta de documentación sobre datos de entrenamiento o resultados de validación.
- Impacto dispar en clases protegidas sin medidas de remediación.
- Incumplimiento de requisitos contractuales para auditorías e informes.
Preguntas frecuentes
- ¿Tiene Modesto una ordenanza específica sobre IA?
- No actualmente; no se encuentra texto de ordenanza específico sobre IA en la página del código municipal citada aquí [1]. Se requeriría acción legislativa para crear reglas o sanciones vinculantes.
- ¿Quién aplica la política de IA en los sistemas municipales?
- Los jefes de departamento con supervisión del Fiscal de la Ciudad y el Concejo Municipal en asuntos de ordenanzas; los procedimientos de queja utilizan los canales oficiales de reporte de la ciudad.
- ¿Se requieren auditorías de sesgo independientes?
- El marco recomendado exige auditorías de sesgo anuales para sistemas de mayor riesgo; si las auditorías independientes son obligatorias depende de la ordenanza o de los términos contractuales, lo cual no está especificado en la página citada del código municipal.
Cómo hacerlo
- Identifique todos los sistemas de decisión automatizada utilizados por el departamento y clasifique el nivel de riesgo.
- Realice una Evaluación de Impacto Algorítmico documentando propósito, fuentes de datos y grupos afectados.
- Contrate a un auditor (interno o independiente) y delimite pruebas técnicas para sesgo y rendimiento.
- Implemente planes de mitigación, actualice contratos de contratación y publique un resumen público de los hallazgos.
- Monitoree las métricas de rendimiento y programe reauditorías periódicas; registre todas las acciones tomadas.
Puntos clave
- Modesto no tiene texto explícito de ordenanza sobre IA en la página del código municipal citada; se necesita acción normativa para reglas vinculantes [1].
- Implemente evaluaciones de impacto, auditorías documentadas y planes de remediación como buenas prácticas.