Directrices de ética de IA y auditoría de sesgos - Staten Island
Staten Island, Nueva York: las agencias municipales y los contratistas usan cada vez más sistemas de decisión automatizada (ADS). Esta guía explica las expectativas municipales sobre ética de IA, el proceso recomendado de auditoría de sesgos para sistemas usados en funciones gubernamentales locales y cómo los residentes, proveedores y funcionarios deben informar o remediar resultados sesgados.
Sanciones y cumplimiento
La ciudad de Nueva York ha desarrollado políticas y grupos de trabajo sobre responsabilidad algorítmica y sistemas de decisión automatizada; la orientación municipal define roles de supervisión pero no siempre prescribe multas fijas en las páginas citadas a continuación [1][2]. La aplicación por resultados discriminatorios recae típicamente en las agencias con jurisdicción (por ejemplo, agencias contratantes, la agencia que utiliza el ADS o la Comisión de Derechos Humanos de NYC para reclamaciones de discriminación).
- Responsable: el gestor del programa de la agencia o la autoridad contratante; las reclamaciones por discriminación pueden ser gestionadas por la Comisión de Derechos Humanos de NYC.
- Multas: no especificadas en la página citada.
- Escalada: las páginas de orientación no indican rangos concretos para primera/reincidencia/ofensas continuas; consulte los procedimientos de la agencia o la Comisión para remedios civiles.
- Sanciones no monetarias: órdenes de cesar el uso del sistema, planes de remediación, suspensión o rescisión de contratos, auditorías obligatorias y derivación a procedimientos administrativos o civiles.
- Vías de inspección y denuncia: las quejas o consultas de cumplimiento se dirigen a la agencia que adquirió o opera el ADS y a la Comisión de Derechos Humanos de NYC para reclamaciones de discriminación.
- Recursos/revisiones: revisión administrativa a través de la agencia encargada o recurso civil en tribunales; los plazos para presentar recursos no están especificados en las páginas de orientación citadas.
Solicitudes y formularios
No existe un formulario "auditoría de sesgos" único y publicado en las páginas de orientación municipales citadas; las agencias suelen exigir auditorías como parte de la contratación o revisión postdespliegue y pueden publicar plantillas de auditoría específicas del contrato o requisitos de informes.
- Formularios: no especificados en las páginas citadas; consulte los documentos contractuales de la agencia que realiza la contratación o los recursos del grupo de trabajo ADS [1].
- Plazos: los términos de contratación o del contrato establecerán fechas de entrega.
- Tarifas: no suelen indicarse en las páginas de orientación; los términos contractuales pueden especificar costes del proveedor para auditorías.
Violaciones comunes: falta de documentación de conjuntos de datos y métricas de evaluación, ausencia de análisis de impacto dispar y omisión de planes de mitigación; los remedios varían según la agencia e incluyen remediación obligatoria o cese del uso del sistema.
Proceso recomendado de auditoría de sesgos
El proceso siguiente es coherente con los materiales de responsabilidad ADS de la ciudad de Nueva York y las mejores prácticas de auditoría ampliamente utilizadas. Las agencias y contratistas deben adaptar las plantillas a las normas de contratación local y a las restricciones de privacidad.
- Inventario: documentar propósito del sistema, fuentes de datos, etiquetas de entrenamiento y puntos de decisión.
- Pruebas previas al despliegue: ejecutar métricas de equidad, pruebas por muestreo y evaluaciones de validación enfocadas en atributos protegidos cuando sea legal y apropiado.
- Mitigación: aplicar correcciones técnicas y controles de política para reducir sesgos detectados.
- Gobernanza: asignar un oficial responsable, procedimientos de registro y revisión humana, y rutas claras de escalado para impactos adversos.
- Monitoreo posterior al despliegue: re-auditorías programadas e informes de transparencia accesibles a los órganos de supervisión o al público según lo exija el contrato o la política.
Conclusiones clave
- Auditorías proactivas, documentación y gobernanza reducen riesgos legales y operativos.
- La aplicación depende de la agencia; consulte los requisitos del contrato y la orientación de la agencia.
Ayuda y apoyo / Recursos
- Automated Decision Systems Task Force - NYC
- Mayor's Office of the Chief Technology Officer / OTI
- NYC Commission on Human Rights
- NYC Department of Citywide Administrative Services (DCAS)