Revelar uso de algoritmos en contratos de la Ciudad de Nueva York
En la Ciudad de Nueva York, Nueva York, los proveedores que ofrecen software, análisis o servicios que utilizan algoritmos deben estar preparados para revelar cómo funcionan esos sistemas al contratar con agencias municipales. Este artículo resume las expectativas municipales actuales, los puntos de contacto de contratación, pasos prácticos de cumplimiento para licitantes y las vías de apelación o queja en el contexto de contratación de la ciudad. Está dirigido a proveedores, oficiales de adquisiciones y equipos legales que preparan propuestas, auditorías o cláusulas contractuales para herramientas algorítmicas vendidas a agencias de la Ciudad de Nueva York. Cuando no se publiquen formularios o umbrales oficiales en las páginas de control que citamos, este artículo señala esa omisión y remite a los contactos de la agencia para confirmación. [1]
Alcance y cuándo se requiere la revelación
Las expectativas de revelación suelen aplicarse cuando un proveedor propone un producto o servicio que toma o ayuda materialmente en la toma de decisiones automatizadas que afectan operaciones municipales o servicios públicos. Las agencias pueden requerir:
- Documentación de los componentes algorítmicos y modelos de terceros integrados en la solución.
- Descripciones de las fuentes de datos, categorías de datos de entrenamiento y políticas de retención.
- Información sobre validación, pruebas y cualquier evaluación de sesgo o impacto realizada por el proveedor.
Las agencias que usan o adquieren sistemas de decisión automatizada en la Ciudad de Nueva York publican orientaciones y pueden solicitar revelaciones por escrito durante la contratación o antes del despliegue.[2]
Penalidades y aplicación
La aplicación y los remedios por no revelar el uso algorítmico en contratos dependen de las normas de contratación, las cláusulas contractuales y la ley municipal o los reglamentos aplicables. Las sanciones monetarias específicas no están establecidas de forma uniforme en las páginas municipales principales que citamos; cuando no se publican importes decimos "no especificado en la página citada".
- Sanciones monetarias: no especificado en la página citada.
- Remedios contractuales: las agencias pueden aplicar remedios contractuales como rechazo de ofertas, terminación por incumplimiento, retención de pagos o daños según lo previsto en el contrato.
- Acciones no monetarias: órdenes de cese, suspensión de privilegios de contratación o requisitos para remediar problemas algorítmicos.
- Responsables y contactos: las oficinas de contratación de las agencias y la Oficina del Alcalde para Servicios de Contratación (MOCS) supervisan normalmente el cumplimiento de adquisiciones; otros organismos de supervisión identificados por la ley municipal pueden participar en la revisión.
Escalamiento: la orientación citada no enumera cronogramas de escalamiento fijos; las agencias suelen seguir las normas de contratación para infracciones iniciales, repetidas y continuas y pueden aplicar remedios progresivos según las cláusulas contractuales (no especificado en la página citada). Las vías de apelación y revisión suelen ser los procedimientos de protesta de adquisiciones, sesiones informativas para proveedores y procesos de disputa contractual gestionados por la agencia contratante o MOCS; los plazos exactos para presentar protestas o apelaciones se establecen en los documentos de la licitación o las reglas de la agencia y no están especificados en la página citada.
Solicitudes y formularios
No existe un formulario de revelación único a nivel municipal publicado en las páginas principales que citamos. Las agencias pueden incluir requisitos de revelación dentro de los documentos de la licitación, formularios de propuesta o anexos contractuales; los proveedores deben revisar la licitación y contactar al oficial de adquisiciones de la agencia para cualquier plantilla o instrucciones de envío requeridas.
Pasos de acción para proveedores
- Revise la licitación y la orientación de la agencia para el lenguaje de revelación específico y los plazos.
- Prepare un paquete de revelación del proveedor que describa el propósito del modelo, fuentes de datos, validación y auditorías de sesgo.
- Incluya garantías contractuales y compromisos de remediación que aborden los riesgos algorítmicos.
- Mantenga registros de pruebas e informes para respaldar el cumplimiento posterior a la adjudicación y las auditorías.
Preguntas frecuentes
- ¿Siempre debo revelar que se usa un algoritmo?
- No siempre; la revelación depende de la licitación y de si la herramienta automatiza la toma de decisiones de forma material o afecta a los servicios de la ciudad. Revise los requisitos de la licitación y consulte al oficial de adquisiciones.
- ¿Existen sanciones estándar por no revelar el uso del algoritmo?
- Las sanciones monetarias no están especificadas en las páginas de orientación municipal citadas; los remedios suelen ser contractuales e incluir el rechazo de la oferta o remedios contractuales.
- ¿Dónde presento una queja si una agencia no sigue las reglas de revelación?
- Utilice el contacto de contratación de la agencia o los canales de queja de MOCS; las agencias publican la información de contacto en las páginas de las licitaciones.
Cómo hacerlo
- Identifique si su producto o servicio cumple la definición de la agencia de sistema de decisión automatizada.
- Compile la documentación: descripción del algoritmo, inventarios de datos, informes de pruebas y validación y auditorías de sesgo.
- Incluya una sección de revelación clara en su propuesta o anexos contractuales que aborde funcionalidad, datos y medidas de mitigación.
- Si se solicita, proporcione archivos de respaldo o permita una revisión de la agencia o de terceros bajo términos de confidencialidad.
- Si surge una disputa, siga los procedimientos de protesta y debrief establecidos en la licitación o contacte a MOCS para obtener orientación.
Puntos clave
- Revele el uso algorítmico temprano en la contratación para reducir riesgos en la oferta.
- Mantenga la documentación y los registros de validación para auditorías y revisiones posteriores a la adjudicación.
Ayuda y soporte / Recursos
- Mayor's Office of Contract Services (MOCS) - Procurement guidance
- Department of Information Technology & Telecommunications (DoITT)
- New York City Law Department