Requisitos de auditoría de sesgo de IA para proveedores en San Francisco
Resumen
San Francisco, California exige que los proveedores que suministran sistemas de IA o sistemas de decisión automatizados a las agencias municipales cumplan con expectativas de auditoría de sesgo y rendición de cuentas cuando esos sistemas se usan en programas o servicios de la ciudad. Esta guía explica los requisitos típicos de contratación, las obligaciones del proveedor, la evidencia y el registro, y cómo funcionan la aplicación y las apelaciones conforme a las normas y la legislación de la ciudad [1].
- Los proveedores deben revelar el uso de sistemas de decisión automatizados y proporcionar documentación técnica.
- Se espera que los proveedores presenten auditorías independientes de sesgo o evaluaciones de impacto algorítmico.
- Los contratos pueden exigir monitoreo continuo, acceso a datos para auditorías y planes de mitigación para riesgos identificados.
Sanciones y aplicación
San Francisco aplica los términos del contrato de contratación a través de la agencia contratante y del Administrador de la Ciudad o la oficina de contratos designada; las sanciones y multas específicas se establecen en los términos del contrato o en las ordenanzas e instrumentos de control. Cuando correspondan multas numéricas o sanciones por día, esas cifras no están especificadas en la página citada [1]. Los departamentos pueden, en su lugar, utilizar recursos contractuales, la suspensión del trabajo, la resolución por incumplimiento, la retención de pagos o la búsqueda de daños.
- Multas monetarias: no especificado en la página citada [1].
- Escalamiento: los contratos suelen incluir recursos progresivos para incumplimientos iniciales, repetidos o continuos; los rangos exactos no están especificados en la página citada [1].
- Sanciones no monetarias: órdenes de corrección, suspensión o terminación del contrato, remediación obligatoria y acciones judiciales.
- Organismo aplicador y vías de denuncia: la oficina de contratación o la Office of Contract Administration; consulte Ayuda y Recursos para páginas de contacto oficiales.
- Apelaciones/revisión: los procedimientos de impugnación y reclamación de contratos están disponibles a través de la oficina de contratación; los plazos específicos para apelaciones no están especificados en la página citada [1].
Solicitudes y formularios
Los requisitos para presentar auditorías de sesgo suelen establecerse en los documentos de la licitación y en las cláusulas del contrato. No hay un formulario municipal independiente para auditorías de IA publicado en la página citada; los proveedores deben seguir las instrucciones de la licitación y presentar los informes de auditoría como anexos a menos que los documentos de la licitación especifiquen un formulario [1].
- Cuando se facilite, incluya nombre del auditor, metodología, conjuntos de datos, métricas y plan de remediación.
- Tarifas: cualquier tarifa de certificación o revisión se establece en la licitación o en el contrato; no especificado en la página citada [1].
Obligaciones y buenas prácticas para proveedores
Los proveedores deben preparar documentación y lenguaje contractual que demuestren cumplimiento: documentación del modelo, conjuntos de datos de entrenamiento y prueba, métricas de sesgo, informes de auditoría independientes, historiales de versiones, controles de acceso y métodos de anonimización para datos sensibles. Los contratos pueden exigir intercambio de datos bajo términos de confidencialidad para permitir verificaciones de cumplimiento por parte de la ciudad.
- Mantener registros del desarrollo del modelo, conjuntos de datos y pruebas de rendimiento.
- Proveer planes de mitigación para sesgos identificados y actualizar modelos según sea necesario.
- Cumplir los plazos de entrega de auditorías especificados en la licitación o en el contrato.
Pasos de acción para proveedores
- Revise las cláusulas de la licitación sobre sistemas de decisión automatizados y entregables de auditoría antes de ofertar.
- Contrate a un auditor independiente con experiencia técnica y estadística relevante.
- Incluya compromisos de remediación y cronogramas en su propuesta para demostrar capacidad de respuesta.
- Prepárese para usar los procedimientos de impugnación y apelación de la oficina de contratación si una determinación de cumplimiento afecta la adjudicación.
Preguntas frecuentes
- ¿Todos los proveedores necesitan una auditoría de sesgo para licitar contratos en San Francisco?
- No siempre; los requisitos dependen de si la licitación involucra sistemas de decisión automatizados y de la política del departamento, y se debe consultar el texto de la ordenanza de control [1].
- ¿Quién revisa los informes de auditoría?
- Los funcionarios de contratación o revisores técnicos designados en el departamento adquirente revisan los informes; la Office of Contract Administration puede intervenir para la aplicación del cumplimiento.
- ¿Qué sucede si una auditoría detecta sesgo?
- La ciudad puede exigir remediación, planes correctivos o recursos contractuales que incluyen la suspensión o la terminación dependiendo de la gravedad.
Cómo hacerlo
- Identifique si su solución califica como sistema de decisión automatizado en la licitación.
- Contrate a un auditor independiente con la experiencia técnica y estadística adecuada.
- Elabore un informe de auditoría que aborde metodología, conjuntos de datos, métricas, hallazgos y pasos de remediación.
- Envíe la auditoría y la documentación requerida según las instrucciones de la licitación y conserve registros para verificaciones de cumplimiento.
- Si hay una acción contractual adversa, utilice el proceso de impugnación y apelación de la oficina de contratación.
Puntos clave
- Verifique el lenguaje de la licitación con antelación para confirmar requisitos de auditoría y divulgación.
- Las auditorías independientes de sesgo y los planes claros de remediación mejoran las perspectivas de adjudicación.
Ayuda y soporte / Recursos
- Board of Supervisors - Legislation and Ordinances
- Sitio oficial de la Ciudad y Condado de San Francisco
- Oficinas de contratación y adquisiciones de San Francisco (ver páginas departamentales)