Predecir el futuro (Parte Segunda): las promesas y peligros de la evaluación de riesgos

En los últimos años, coincidiendo con el hype sobre big data y predictive analytics, se habla mucho de criminológica computacional o de los algoritmos. El profesor norteamericano Richard Berk ha sido uno de los más claros proponentes de este tipo de enfoques. En su trabajo esto ha consistido en la aplicación de algoritmos y prácticas científicas desarrolladas en el campo del aprendizaje de máquinas para tratar de mejorar la predicción de los instrumentos de evaluación de riesgo que se emplean en el contexto de la justicia penal. Como apuntaba en una entrada anterior, la idea de predictive policing ha ido ganando terreno en el contexto anglosajón y, me consta que los Mossos están colaborando con el departamento de matemáticas de la UdG para tratar de desarrollar este tipo de modelos en el contexto catalán. Berk está convencido que el uso de técnicas avanzadas desarrolladas por estadísticos e informáticos (i.e., en particular random forests, que no tengo ni idea de cómo se traduce correctamente al castellano: ¿bosques aleatorios?) pueden reducir el error de clasificación de estos instrumentos.

Este tipo de promesas ha encontrado un nicho adecuado para su proliferación en el actual contexto cultural. En fin, en Occidente siempre hemos sido unos vendidos a la idea del progreso a mano de la ciencia. Dentro del tema de predictive policing, como ya apuntaba en una entrada anterior, hay empresas privadas que se han dado cuenta de que aquí hay dinero y con muy poco pudor (ver aquí, o aquí) están promoviendo particulares modelos que no son nada baratos. Se está generando toda una industria con intereses financieros considerables que condicionan la crítica a estos modelos, al margen que la evidencia sobre su valor aún es muy incipiente, como destacaba un informe de la RAND Corporation hace un par de años.

Predictive policing hasta el momento ha estado centrado en predicciones a nivel de área. Pero progresivamente se está empezando a desplazar hacia el territorio de las predicciones individuales. En la entrada anterior precisamente planteamos un ejemplo concreto de ello al hablar de VIOGEN. De igual manera, también vemos como la predicción empieza a jugar un papel más determinante no solamente a nivel policial, sino incluso en la fase de determinación de la pena (el muy controvertido “evidence-based sentencing”) – lo cual representa una transformación frente al pasado nada trivial. Resumiendo un poco: (1) aunque es cierto que la predicción en el campo de justicia penal tiene una muy larga historia sobre todo en el campo penitenciario (no exenta de controversia técnica o inspirada en enfoques de justicia); (2) desarrollos tecnológicos, culturales y económicos están expandiendo su campo de acción lo que está generando un mayor escrutinio y debate sobre estas prácticas.

Esta expansión está generando todo tipo de respuestas. En el reciente congreso de la Sociedad Europea de Criminología en Oporto hubo al menos un par de mesas en las que se discutían estos desarrollos. Adam Edwards, de la Universidad de Cardiff y colaborador en el proyecto COSMOS (que intentan usar datos de twitter para este tipo de propósitos), clasifica las reacciones en tres categorías: la de los entusiastas (ver por ejemplo la charla TED de Anne Milgram), la de los críticos (ver el paper de Sonjia Starr), y la de los escépticos (entre los que se cuenta el propio Edwards). En España, mi muy estimado colega y una de las autoridades nacionales en evaluación de riesgo, el Profesor Antonio Andres Pueyo, entraba a describir y valorar alguno de estos desarrollos en un blog reciente en un tono generalmente positivo que se hace eco del PSA-Court desarrollado por la fundación que tiene como vice-presidente a la entusiasta Anne Milgram, asi como de otros instrumentos empleados en contextos diversos.

Yo soy de los que ve el vaso medio vacío. De los escépticos. Creo que, para mi evidentemente, es importante tratar de mejorar las decisiones que se toman en el ámbito penal y que puede haber espacio para el uso de modelos predictivos en este contexto. Pero creo que tenemos que andarnos con mucho ojo al respecto, por una serie de razones.

Primero, porque como dicen los daneses es “difícil hacer predicciones, sobre todo predicciones sobre el futuro”. Esto no quiere decir que sea imposible, pero simplemente reconocer que a día de hoy nos queda mucho recorrido por delante. El meta análisis de Seena Fazel y sus colegas (2012) concluía que “after 30 years of development, the view that violence, sexual, or criminal risk can be predicted in most cases is not evidence based. This message is important for the general public, media, and some administrations who may have unrealistic expectations of risk prediction”  y que, para fines penales, “risk assessment tools in their current form can only be used to roughly classify individuals at the group level, and not to safely determine criminal prognosis in an individual case”. Uno puede o no compartir esta conclusión. Pero cuanto menos hay que reconocer que el debate existe y deberíamos ponerlo al frente de cualquier propuesta.

Segundo, porque realmente existen problemas de algoritmos discriminatorios y esto es algo sobre lo que la comunidad matemática e informática está cada vez más concienciada a medida que las técnicas desarrolladas en el campo de aprendizaje de máquinas se emplean en contextos como el penal. Anne Milgram en su respuesta a un artículo del New York Times sobre estos problemas mostraba una candidez injustificada. Decir que el instrumento que ellos investigaron no discrimina “porque no toma en consideración variables como raza” es no entender cómo funcionan las técnicas de aprendizaje de máquinas. Esto lo explica muy bien Moritz Hardt: “a learning algorithm is designed to pick up statistical patterns in training data. If the training data reflect existing social biases against a minority, the algorithm is likely to incorporate these biases. This can lead to less advantageous decisions for members of these minority groups. Some might object that the classifier couldn’t possibly be biased if nothing in the feature space speaks of the protected attributed, e.g., race. This argument is invalid. After all, the whole appeal of machine learning is that we can infer absent attributes from those that are present. Race and gender, for example, are typically redundantly encoded in any sufficiently rich feature space whether they are explicitly present or not.” (ver también el reciente artículo de Barocas y Selbts, 2015).

Pensemos en un ejemplo. A menudo se dice que un buen predictor de la conducta futura es la conducta pasada. En justicia penal no tenemos medidas “objetivas” de conducta pasada, pero podemos tener “proxies” como detenciones o intervenciones penales ejecutadas contra un determinado sujeto. Estas proxies si pueden ser empleadas en nuestros modelos. Sin embargo, estas proxies no solamente miden conducta pasada, también miden los sesgos del sistema de justicia penal, que no suele detener o procesar por igual a blancos y negros, inmigrantes y nacionales, etc. Incorporar estas proxies, por tanto, también incorpora en el modelo el sesgo del sistema de justicia penal. No nos olvidemos, por otra parte, que la medida que generalmente se utiliza para validar modelos predictivos (lo que vamos a predecir) en el ámbito de la justicia penal son… err… datos de las justicia penal sobre nuevos delitos (que no suele detener o procesar por igual a blancos y negros, inmigrantes y nacionales, etc).

La comunidad científica y jurídica está tratando de trabajar sobre estos problemas. Las conferencias sobre “Fairness, Accountability and Transparency in Machine Learning”, que solamente llevan dos años funcionando, se han convertido en uno de los foros en los que se discute este tipo de cuestiones. Pero como digo, tenemos que andarnos con ojo y ser muy conscientes de los problemas que este tipo de modelos traen consigo. Como Barocas y Selbst (2015) plantean “addressing the sources of this unintentional discrimination and remedying the corresponding deficiencies in the law will be difficult technically, difficult legally, and difficult politically” y “there are a number of practical limits to what can be accomplished computationally.”

De lo que no cabe duda es que estamos en un momento histórico en el que realmente, dada la magnitud de los retos, es fascinante trabajar sobre este tipo de temas, tanto en el lado más técnico, como en el lado más político y jurídico.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s