Ordenanza de estándares de ética y auditoría de sesgo de IA de San Francisco
Las agencias de San Francisco, California que usan sistemas automatizados necesitan estándares claros de ética y auditoría de sesgo para proteger los derechos civiles y la confianza pública. Esta guía explica los estándares esperados para contratación, auditoría, transparencia y cumplimiento para departamentos municipales y contratistas, y describe las vías de ejecución y apelación ante las autoridades de la ciudad. Resume lo que las agencias deben adoptar en política, registros e informes públicos para reducir resultados discriminatorios y seguir las reglas de adquisiciones y privacidad.
Descripción general
Este artículo presenta estándares recomendados para evaluaciones de impacto algorítmico, protocolos de prueba de sesgo, documentación, participación comunitaria y obligaciones de transparencia para las agencias de San Francisco. Hace referencia a recursos legislativos y del código municipal de San Francisco donde las agencias pueden confirmar obligaciones legales y al registro legislativo de la Junta de Supervisores para textos de ordenanzas.[1]
Sanciones y ejecución
La ejecución depende de la ordenanza o las disposiciones del código municipal adoptadas por la Junta de Supervisores y de los capítulos aplicables del código administrativo. Cuando una ordenanza de implementación o una sección del código especifica multas, calendarios o remedios no monetarios, las agencias y los proveedores están sujetos a esas cláusulas; cuando no se especifica, las herramientas de ejecución siguen la práctica estándar de cumplimiento del código de la ciudad.[2]
- Multas: no especificado en la página citada.
- Escalada (primera/reincidente/continuada): no especificado en la página citada.
- Remedios no monetarios: órdenes de cese de uso, remediación obligatoria, informes públicos, suspensión o terminación de contratos y acciones judiciales según el lenguaje de la ordenanza.
- Órgano ejecutor: típicamente el departamento nombrado en la ordenanza (por ejemplo, una oficina de ejecución asignada, el City Attorney o una oficina de supervisión designada).
- Vías de inspección y queja: las quejas suelen presentarse ante el departamento ejecutor o mediante los canales de la Junta de Supervisores; consulte la guía de implementación para la ruta exacta.
- Apelación/revisión: las vías de apelación y los plazos dependen de la ordenanza o del código administrativo; si no se indica en la ordenanza, se aplican las disposiciones administrativas estándar o están "no especificado en la página citada."
- Defensas/discreción: defensas comunes incluyen confianza razonable en las representaciones del proveedor, remediación activa o una variación permitida si la ordenanza la contempla.
Solicitudes y formularios
Cuando una ordenanza requiere auditorías, puede hacer referencia a formularios obligatorios o plantillas de informe; si no existe un formulario publicado en la ordenanza o el código, la ciudad puede proporcionar plantillas de guía a través de la oficina ejecutora o el portal de adquisiciones. Para nombres de formularios, números, tasas, métodos de envío y plazos específicos, consulte la ordenanza adoptada o la oficina ejecutora designada.[1]
Estándares para auditorías y registros
Los elementos centrales que las agencias deben incluir en auditorías de ética y sesgo son alcance, procedencia de datos, descripciones del modelo, métricas de rendimiento desglosadas por clases protegidas, metodología de prueba, pasos de mitigación y resúmenes públicos. Las auditorías deben conservarse según los calendarios de retención de registros de la ciudad y las reglas de redacción para datos sensibles.
- Alcance y objetivos de la auditoría.
- Documentación de la procedencia y linaje de los datos.
- Metodología de prueba de sesgo y resultados.
- Pasos de mitigación y plan de implementación.
Pasos operativos para agencias
Las agencias deben integrar los estándares en adquisiciones, contratación, gestión de proyectos y revisión legal. Los pasos de acción clave aparecen en la sección How-To abajo.
FAQ
- ¿Qué desencadena una auditoría de ética o sesgo de IA para una agencia municipal?
- Cuando un sistema automatizado afecta materialmente a individuos o grupos en servicios públicos, la guía de adquisiciones o una ordenanza puede exigir una auditoría. Las agencias deben consultar la ordenanza adoptada o la política para los desencadenantes exactos.[1]
- ¿Quién hace cumplir el cumplimiento de los estándares?
- La autoridad de ejecución es el departamento u oficina nombrada por la ordenanza; si no se nombra, la ejecución puede corresponder al City Attorney o a los mecanismos de supervisión de la Junta de Supervisores y a los procedimientos administrativos estándar.[2]
- ¿Los informes de auditoría son públicos?
- La publicación depende de la ordenanza, las reglas de confidencialidad y las leyes de privacidad; muchos estándares requieren un resumen público y un apéndice técnico redactado.
How-To
- Evalúe si el sistema afecta materialmente a las personas y clasifique el nivel de riesgo.
- Encargue una evaluación de impacto algorítmico previa al despliegue y una prueba de sesgo con metodología documentada.
- Adopte medidas de mitigación, exija cláusulas contractuales al proveedor para acceso a auditorías y datos, e integre monitoreo continuo.
- Publique un resumen público y conserve los registros completos de auditoría conforme a la política de retención de la ciudad.
Puntos clave
- Las agencias deben documentar auditorías, mitigación y resúmenes públicos.
- La ejecución depende de la ordenanza y de la oficina ejecutora nombrada.
Ayuda y recursos
- Oficina del Alcalde, Ciudad y Condado de San Francisco
- DataSF (datos abiertos de la ciudad de San Francisco)
- Código Municipal de San Francisco (Code Library)