Guía de revisión ética de IA y auditoría de sesgos para Durham
Durham, Carolina del Norte, departamentos municipales que desarrollan o adquieren herramientas con IA deben seguir un proceso claro de revisión ética y auditoría de sesgos para reducir daños, garantizar transparencia y cumplir obligaciones municipales. Esta guía resume cómo una revisión centrada en Durham puede encajar con el código municipal existente, la contratación y las estructuras de supervisión, explica vías de cumplimiento y enumera pasos prácticos para departamentos, proveedores y residentes.
Alcance y propósito
Esta orientación se aplica a sistemas desarrollados por la ciudad y a herramientas de terceros utilizadas por departamentos de la Ciudad de Durham para soporte de decisiones, toma de decisiones automatizada o procesamiento algorítmico de datos personales. Cubre disparadores de revisión ética, expectativas de auditoría de sesgos, documentación y reporte. Cuando la ciudad ha promulgado reglas específicas se citan; cuando no, el código municipal y las normas de contratación son las referencias controladoras.City of Durham Code of Ordinances[1]
Elementos clave de una revisión ética de IA
- Documentar el propósito del sistema, puntos de decisión, conjuntos de datos y partes interesadas.
- Realizar una evaluación documentada de sesgos que cubra los datos de entrada, el entrenamiento del modelo, métricas de evaluación y posibles impactos desiguales.
- Definir planes de monitoreo y validación para la deriva del modelo, precisión y equidad después del despliegue.
- Incluir cláusulas contractuales para la cooperación del proveedor en auditorías, acceso a datos y medidas correctivas.
- Establecer la cadencia de revisión y los disparadores de reauditoría (por ejemplo, actualización mayor del modelo, ingestión de nuevos datos o queja).
Multas y aplicación
Durham aplica las normas municipales mediante la ejecución del código, recursos de contratación y, cuando procede, sanciones civiles o penales. Para multas específicas por IA, escalamiento y plazos, la ciudad no ha publicado una ordenanza dedicada en la página citada del código; por tanto, los detalles no se especifican en la página citada.[1]
- Cantidades de las multas: no especificadas en la página citada.
- Escalamiento: rangos para primeras, repetidas y continuas infracciones no están especificados en la página citada.
- Sanciones no monetarias: la ciudad puede usar órdenes correctivas, recursos contractuales, suspensión de servicio y medidas cautelares según el código o el contrato; sanciones específicas para IA no están publicadas en la página citada.
- Autoridad y vías de inspección: la aplicación normalmente involucra la oficina responsable del sistema, Compras/Contratos o cumplimiento del código; las quejas pueden dirigirse al departamento correspondiente o a los portales de quejas oficiales listados abajo.
- Apelaciones y revisión: los procedimientos de apelación y plazos dependen de la ordenanza aplicable o del contrato de contratación y no están especificados para asuntos de IA en la página citada.
Solicitudes y formularios
No hay un formulario dedicado de la ciudad para revisión ética de IA o auditorías de sesgos publicado en la página del código municipal citada; los departamentos deben seguir los procedimientos existentes de contratación y presentación de contratos o contactar a Servicios de Tecnología para procesos internos de revisión.[1]
Pasos de acción para departamentos y proveedores
- Incorporar revisiones éticas en los RFP y en las declaraciones de trabajo.
- Exigir a los proveedores informes de auditoría de sesgos y documentación de la procedencia de los datos de entrenamiento.
- Planificar mitigaciones técnicas: reponderación, pruebas contrafactuales o controles con intervención humana.
- Designar una oficina responsable o administrador de datos y publicar un contacto para quejas y consultas.
FAQ
- ¿Qué activa una revisión ética de IA en Durham?
- Cualquier contratación o desarrollo interno que automatice decisiones que afecten a residentes, asigne beneficios o riesgos, o procese datos personales sensibles debe activar una revisión.
- ¿Quién hace cumplir el cumplimiento para herramientas municipales de IA?
- La aplicación la realizan el departamento propietario del sistema, Compras/Contratos y los mecanismos de cumplimiento del código municipal; las reglas específicas de aplicación de IA no están publicadas en la página citada.[1]
- ¿Pueden los residentes solicitar auditorías o apelar decisiones automatizadas?
- Los residentes deben presentar quejas al departamento responsable o usar el contacto oficial para quejas; las rutas formales de apelación dependen del programa subyacente y están regidas por ordenanzas o contratos aplicables.
How-To
- Defina el alcance del sistema e identifique los puntos de decisión que requieren revisión.
- Recoja y documente conjuntos de datos, especificaciones del modelo y métricas de evaluación.
- Ejecute una auditoría de sesgos usando conjuntos de prueba representativos y métricas de equidad.
- Elabore un plan de mitigación y exija compromisos del proveedor en el lenguaje contractual.
- Establezca monitoreo, disparadores de reauditoría e informes públicos cuando corresponda.
Conclusiones clave
- Incorpore revisiones éticas desde el inicio de la contratación para reducir riesgos posteriores.
- Exija auditorías de sesgos documentadas y cooperación del proveedor en los contratos.
Ayuda y soporte / Recursos
- Sitio principal de la Ciudad de Durham
- Servicios de Tecnología / Tecnología de la Ciudad de Durham
- Departamento de Planificación de la Ciudad de Durham