You can’t police your way out of what’s happening

As a criminologist who has contributed to the policing literature, I want to express my profound condemnation of the policing management of the past weekend events in Catalunya. At times like this it is hard to know what the right response is. My tweeting and discussions with friends and colleagues possibly illustrates how I am too finding it hard to figure out what an adequate response is to what is going on. We are all, understandably, very touchy at the moment. Personally, I dislike all nationalisms; I think Rajoy and Puigdemont need to resign; and that we need new national and Catalan elections, a reformed Constitution, and some sort of agreement in a legal referendum. You may agree or not with that. But that’s fine. That’s not what I want to talk about here. What I want to talk about here is about what happened on Sunday. As a criminologist one thing I know is my stuff. And although it is difficult to be objective at the moment, what it is very clear to me is that the policing response in Sunday was a good example of bad practice.

Through vicarious experience, I know how hard the police response to those events has shaken many of our colleagues and other members of Catalunya society. It is hard to put in words the raw emotions that this response has generated among people that are very close to me. It was uncalled for. The measures taken up to that point to disrupt the referendum have been appropriate and measured. They responded to a clear strategy of making it difficult for the Govern to claim that the results of the referendum could be meaningful. But in the day of the referendum important mistakes were made. To simply say, as many politicians and op-ed pieces are now saying in Spain, that the police was just obeying the orders of a judge and acted proportionally in applying the law shows an incredible and unjustifiable disregard for decades of policing scholarship, both in police legitimacy and the policing of public order. It is a very lame and unsustainable excuse.

The police does not derive its legitimacy only from the law. The police needs to have the respect and support of the communities they police. Community policing as a model has been inspiring policing thinking since the 1970s -partly as a response to the legacy of historical failures in crowd control. The types of tactics deployed last Sunday undermine that support that the police very much needs, as the literature on procedural justice suggests: “We know that when people find the police to be disrespectful and careless of human dignity, not only is trust lost, legitimacy is also damaged and cooperation is withdrawn as a result. Without such public support, the job of the police is much harder and the objectives of less crime harder to achieve”. To simply invoke the law to justify them is to live in a world that ignores lived experiences and the social meaning and interpretation of police action.

There is other way of policing public order that is less conducive to see the kind of images that we witnessed last Sunday. It should have recognised the interactive dynamics of crowd conflict and adopted a “negotiated management” approach (McPhail et al. 1998; Baker, 2007): a low key, non-confrontational, and peace-keeping approach. And this didn’t happen. Mostly this was so because the police were put in an impossible position by the political class, but also because the Spanish police lags behind in the way public demonstrations are policed. Huge peaceful gatherings like the ones we saw last weekend do not require the police use the force to preserve order. There was no imminent threat to anybody that required such use of force. Whatever one makes of the referendum, trying to close the facilities where large crowds (that included children and the elderly) were voting without sufficient police resources and using force was a recipe for disaster, and very bad policing practice. As David Buil Gil has argued elsewhere even if the three police forces (Mossos, Policia Nacional, and Guardia Civil) have cooperated to the full they would not have had enough resources to close down the 2229 electoral facilities. Why bother trying? “Más vale sucumbir con gloria en mares enemigos que volver a España sin honra ni vergüenza?” We should be past that. Given the situation in the ground, the police should have restrained themselves from using means that were not going to stop the voting; were likely to result in the use of force; had shaken the public and bystanders regardless of their political views; and had undermined their legitimacy. Or as David has indicated: “Ante una situación así, se pueden tomar muchas decisiones operativas destinadas a garantizar, en la medida de lo posible, el orden y el cumplimiento de la ley. Se puede destinar pocas unidades a cada una de las sedes electorales para asegurar que no existan incidentes de violencia que pongan en riesgo el bienestar personal de ningún individuo. Se puede desarrollar una campaña de concienciación ciudadana para tratar que la jornada transcurra con la mayor normalidad posible. Se puede contar con otros agentes, como lo pueden ser policías locales, protección civil y bomberos, para asegurar la seguridad en la zona.” Sadly that’s not what happened.

As former Chief Constable of Greater Manchester Police, Sir Peter Fahy noted on Sunday, “Democratic politicians should not put the police in the position the Spanish government put the Policia Nacional” (and Guardia Civil) “today”. What is happening in Catalunya is a political crisis that requires a political solution. There is a saying in policing, “you cannot arrest your way out problems”. Similarly you cannot police your way out of what essentially is a political and social problem. And it is bloody time the Spanish political class and institutions realised this.

Advertisements

“Spikes” y femicidios

Leyendo estos últimos días la prensa española me ha llamado bastante la atención las reacciones a las cifras sobre víctimas mortales de violencia doméstica en los últimos dos meses.

La prensa ha dedicado varios artículos al respecto. En El Diario se nos dice que estas cifras “fulmina los peores datos y convierte el inicio de año en el más sangriento en violencia de género de la última década”. En la misma línea El Mundo anunciando un estudio sobre el caso explica que estas iniciativas “se han puesto sobre la mesa después de que, en sólo 53 días de año, se superara el límite de homicidios sobre mujeres desde que éstos se contabilizan en nuestro país, en 2003, un año antes de que se aprobara la ley orgánica contra la violencia de género. 2017 es ya el peor arranque de año en lo que a lucha contra el machismo se refiere.” El País aqui nos ofrece esta grafico comparando los meses de entre Enero y Febrero desde que se inició la serie en el 2003 he incide en la misma idea. Lo que posiblemente ha generado esta reacción ha sido la proximidad temporal de los últimos incidentes.

Todo esto puede parecer muy noticiable. ¿Pero es la situación tan mala como se describe? ¿Estamos siendo testigos de una tendencia que se sale del patrón histórico? Habría que empezar diciendo que una muerte es ya demasiadas muertes. Y que no trato de trivializar aquí el dolor y sufrimiento que se esconde tras las estadísticas. Pero como científicos sociales también tenemos la responsabilidad de presentar los datos como son.

Si en vez de presentar solo los meses de Enero y Febrero, como hace El País, atendemos a toda la serie temporal, podremos ver que hay mucho ruido en la misma (¡afortunadamente!), y que los datos que tenemos para el 2017, entran dentro de la variación “normal” que se observa en la serie.

rplot

Si descomponemos la serie temporal en los distintos elementos que la componen (la tendencia, el efecto de temporadas, y el ruido) veremos que la tendencia (“trend”) a este plazo aun esta en la zona baja. Al que no entienda estas figuras les recomiendo este articulo periodistico al respecto.

rplot02

Si a esto le añadimos que tenemos una de las tasas más bajas de la Unión Europea, todo ello ayuda a contextualizar lo que está ocurriendo. Como digo, una mujer muerta ya es demasiadas muertes, pero seamos también conscientes de la realidad empírica a la hora de generar debates públicos. En los tiempos que corren (ehem, Trump), la hipérbole no es necesaria y es particularmente importante ser fieles a los datos. Por otro lado, ahora que el periodismo de datos esta tan de modas uno espera estándares más rigurosos a la hora trabajar este tipo de información.

Por lo demás coincido con mi querido colega Andres Pueyo que aunque evidentemente las respuestas a este fenómeno son muy mejorables, tenemos también que reconocer que existen límites a la posibilidad real de reducir mucho más estos niveles. Lo contrario es vender una ficción y hacer política del dolor de las víctimas.

 

¿Un master en el Reino Unido?

Muchas veces me han preguntado colegas y alumnos consejos sobre donde hacer un postgrado en criminología. Normalmente no he dudado mucho con mi respuesta. Si es para hacer un doctorado, sin lugar a dudas el sitio es los Estados Unidos, donde no solamente suele haber mejor financiación, sino donde los programas de doctorados son más completos, aprendes más de método, y suele haber más oportunidades de adquirir experiencia investigadora en proyectos de calado que se puedan estar desarrollando en el departamento en cuestión. Lo de la Universidad en concreto ya depende más de los intereses en cuanto tema de cada uno.

Si es para hacer un master las diferencias con lo que se ofrece en el Reino Unido son menos pronunciadas. Y es difícil también obtener financiación en Estados Unidos solamente para hacer un master. Aunque generalmente el componente metodológico suele ser más contundente en Estados Unidos e irte allí, si te va bien, te puede abrir las puertas a un doctorado (en fin, esa fue mi historia personal).

Recientemente, no obstante, el gobierno de Inglaterra (las competencias educativas corresponden a cada una de las nacionalidades británicas) ha creado un nuevo esquema de financiación para estudios de master que hace la oferta británica (y si, aunque suene raro, los beneficios afectan a masters ofrecidos en cualquier parte del Reino Unido) más atractiva a los estudiantes de la Unión Europea. En el último Spending Review, la actualización de los presupuestos que se suele aprobar en otoño, el ministro de economía, George Osborne, aprobó la creación de unos préstamos para estudiantes interesados en cursar masters en el Reino Unido.

Tradicionalmente el inglés que quisiera hacer un master se lo tenía que pagar de su bolsillo (el 70 y pico por ciento de ellos se lo pagaba así) o aspirar a las limitadas y muy competitivas becas. Siempre podías pedir un préstamo al banco, pero con un tipo de interés y condiciones de repago como los de cualquier crédito. El nuevo sistema es muy generoso. Sus características principales son las siguientes:

  • Se puede pedir hasta £10,000 a gastar en matricula y/o mantenimiento. En una universidad del Russell Group las tasas para un master oscilan en torno a las £7,000. El nuestro en Manchester, por ejemplo, está a £7,700. En las universidades de segunda el promedio esta alrededor de las £5,000.
  • Solo te lo van a dar, evidentemente, si has sido admitido en un master y los pagos empiezan (en tres plazos) el día que comienza el curso.
  • Lo pueden pedir los ingleses que residan en Inglaterra o los ciudadanos europeos que residan en la Unión (tres años antes de comenzar los estudios de master).
  • Se puede utilizar para financiar un master en cualquier parte del Reino Unido.
  • El tipo de interés es del 3% sobre el Retail Price Index, una medida de inflacion (que en fin es más generoso que un préstamo normal)
  • Solo empiezas a pagar cuando tu sueldo anual supera las £21,000 brutas. Y solo en proporción al exceso sobre esa cantidad salarial. Por ejemplo, si ganas £25,000 libras, las cantidades de repago mensual se computan sobre £4,000 (vendría a ser unas £30 al mes).
  • Si en algún momento tus condiciones salariales mejoran o empeoran se tendría en cuenta. Por ejemplo, si te quedas en el paro o tu salario baja de las £21,000 brutas, dejarías de pagar hasta que tus condiciones volvieran a las condiciones que dan lugar a pago.
  • A los 30 años expira la necesidad de devolver el préstamo, con independencia de lo que llegues pagado.
  • Solamente puedes pedirlo si no has hecho ya un masters sea donde sea.

Los detalles del programa aún están siendo finalizados, pero está previsto que la plataforma informática para solicitar estos préstamos se ponga en funcionamiento a principios del verano. La solicitud de plaza en masters para el próximo curso está abierta ya en todas las universidades. Quien esté interesado en más detalles debería consultar la página de internet de la compañía que ofrece estos préstamos. A lo largo de los próximos meses publicaran más información, de momento el sitio donde podéis encontrar más publicación es en la parte del website dedicado a personal de universidades (más que en la sección de alumnos).

Curiosamente esto coincide con cambios también en nuestro programa de master. Cambios tan recientes que ni siquiera están todavía anunciados en nuestra página de internet. Pero, a no ser que surja algún imprevisto de última hora, nuestro MRes on Criminology va a tener una especialización en Quantitative Criminology que ofreceremos a partir del próximo curso académico en colaboración con el Departamento de Estadística Social. En resumen, lo que esto significa es que la formación metodológica asociada al mismo no va a tener nada que envidiarle a un master norteamericano. Si alguien está interesado no dudéis en poneros en contacto conmigo.

No to austerity

Sometimes one has to take a clear stand. The Tory party has been pushing an austerity agenda in the UK for the last few years and promises to continue in the same line for the foreseeable future. This policy agenda has had a massive impact on everything that as a criminologist I care about: cuts to legal aid that reduce access to justice; the privatisation of the Probation service (an institution that has inspired so many across the world); cuts to prison budgets that have resulted in the significant worsening of conditions in prison settings; and reductions in policing budgets that will fundamentally change what policing forces can do to prevent and respond to crime.

Most of this we know is driven by ideology, not by insights from economics. Despite what mainstream media projects, the economic orthodoxy does not support this kind of policies. And it is generally agreed among economists that they have contributed to slower growth post-recession. We also know we’re not all on it together, as numerous very rigorous studies have shown, and that the continuation of these policies will likely make things worse.

Universities in the UK have seen policies to facilitate privatisation of the sector and we witnessed the ramping up of the tuition fee system,  measures that will mean more debt for poorest students, and the creation of an unsustainable funding regime. Yet those tuitions fees, the removal of the caps for recruitment, and the partial protection of research funding means that Universities have been partially insulated in comparison with other public sectors. But this level of insulation is about to change as the current government sets its eyes on the reform of the current research funding regime.

There is a lot of talk about impact and social responsibility agendas in academia, as well as about the notion of public criminology. At Manchester we take pride in addressing global inequalities. Well, as far as I am concerned, that includes publicly telling this government: “enough.” It is for these reasons that this Sunday morning I will be joining the march called for TUC to protest against these policies. If you are around the Manchester area, please feel free to join me, my family, and those thousands of people that will be doing the same. UCU and the local branch UMUCU will be meeting across the St. Peter Chaplaincy in Oxford Road, just between the School of Computer Science and the Blackwell’s library at midday. The full program of activities is available here.  Just remember if you bring toddlers, to have a good explanation for all those pig masks!

Predicting the future offender (Part 2)

For popular demand and motivated by yet a new journalistic account of developments on predictive policing (that I got to know through the very prolific tweeter criminologist @ManneGerell), I am presenting a slightly adapted presentation from my last blog entry. So here we go…

In the last few years, we have seen an increasing interest in computational criminology. American criminologist Richard Berk has been one of the most prolific authors in this area. His wok in particular has consisted in applying algorithms and scientific practices developed in the machine learning community for improving the predictive accuracy of risk assessment tools used in criminal justice. Berk has tried to make the case that using some of the most advanced algorithms (such as random forests) we can reduce the classification error of these tools.

This type of “promise” has found an appropriate niche in our cultural context. In the West we have always keen to accept the idea of progress through technological developments. The use of predictive analytics in policing is perhaps one of the most recent chapters in this history. As I discussed in a previous entry, there’s an increasing interest among private companies to develop applications that would make them good money (out of increasingly poorer police forces) by developing predictive applications for the police. Sometimes, the marketing and publicity is a bit over the top (see here and here) and the evidence base for these applications is still developing (see the RAND report on the matter).

Debates around predictive policing for the most part have focused on applications at the area level, as a solution to prospectively identify hot spots of crime. But progressively the field is moving towards applications at the individual level (as noted in the NYT story noted above). In my last entry, I also discussed a particular example, VIOGEN (a tool used by the Spanish police in intimate partner violence cases). Equally, we are beginning to see how predictive analytics are starting to play a more important role not only in the policing field, but also even in the sentencing field (the very controversial “evidence-based sentencing”). These applications represent a nontrivial innovation. In sum:

  1. Although it is true that risk assessment and efforts at predicting the future have a long history in criminal justice, particularly in the context of probation and correctional practice (which are not exempt from controversy: see here, here or here);
  2. Technological, cultural and economic developments are significantly expanding their field of action, and this, in turn, is generating a greater scrutiny and debate.

This expansion is generating all sorts of responses. In the recent annual meeting of the European Society of Criminology in Porto there were at least two panels devoted to these issues. Adam Edwards, from Cardiff University and linked to the COSMOS project (a good example of these developments), classifies reactions in three categories: enthusiasts (see for example the TED talk by Anne Milgram); critics (see for example the paper by Sonjia Starr on evidence-based sentencing), and sceptics (Adam included).

I tend to side with the sceptics. Like Berk I think we can learn a lot from the machine learning community. My own current ESRC funded work in collaboration with computer scientists is using predictive analytics to help police better classify domestic abuse cases. Indeed, my favourite paper at ASC last year was Cynthia Rudin’s work on understanding patterns of repeats offending using really smart algorithms (BTW  I highly recommend her just started MOOC on data science in the edX platform). But at the same time we need to be cognizant of the problems and dangers that uncritical application of these tools may bring about.

First, because as the Danes say, it is very difficult to make predictions, particularly predictions about the future. This is not to say we should not try, but (a) we still have a very long way ahead of us and (b) at present these predictions need to be complemented by human judgement.  Why? The meta-analysis of Seena Fazel and colleagues (2012) not long ago concluded that “after 30 years of development, the view that violence, sexual, or criminal risk can be predicted in most cases is not evidence based. This message is important for the general public, media, and some administrations who may have unrealistic expectations of risk prediction” and that for criminal justice applications “risk assessment tools in their current form can only be used to roughly classify individuals at the group level, and not to safely determine criminal prognosis in an individual case”.  We should not ignore pronouncements of this nature.

Second, because there is a real danger of discriminatory algorithms. This is something that the mathematical and computer science community is increasingly more concerned with. Anne Milgram in her response to a critical article from the New York Times about some of these problems showed an unjustified naivety.  To say that the particular tool that they developed was not discriminatory “because it does not take into account variables such as race” is to show very little understanding of how machine learning works. This is very well explained by Moritz Hard: “a learning algorithm, is designed to pick up statistical patterns in training data. If the training data reflect existing social biases against a minority, the algorithm is likely to incorporate these biases. This can lead to less advantageous decisions for members of these minority groups. Some might object that the classifiers couldn’t possibly be biased if nothing in the feature space speaks of  the protected attributed, e.g., race. This argument is invalid. After all, the whole appeal of machine learning is that we can infer absent attributes from those that are present. Race and gender, for example, are typically redundantly encoded in any sufficiently rich feature space whether they are explicitly present or not.” (see as well Barocas y Selbts, 2015).

Let’s think of an example. We know a good predictor of future behaviour is past behaviour. In criminal justice, we don’t really have direct measures of past criminal behaviour. However, we have indirect measures such as measures of previous police or other criminal justice interventions (e.g., arrests, convictions, etc.). So one could use these indirect measures as proxies in our feature space to develop a prediction. The thing is these measures also incorporate the biases of the criminal justice system, that tends to discriminate against certain ethnic groups, residents in certain communities, the unemployed, etc. Let’s not forget, critically, that the way we evaluate these models is by looking at how well they predict a particular outcome: a new crime. And since we don’t have direct measures of crime, we also rely on proxies such as a new call for service, a new arrest, etc (which will also incorporate the biases of the criminal justice system).

The scientific and legal community, as I said, is increasingly concerned with these issues. If you are, you should have your ears open for the next conference on “Fairness, Accountability and Transparency in Machine Learning”, an excellent forum for discussing this sort of topics from a very technical angle. These are complex problems and as Barocas and Selbst (2015) argue   “addressing the sources of this unintentional discrimination and remedying the corresponding deficiencies in the law will be difficult technically, difficult legally, and difficult politically” and “there are a number of practical limits to what can be accomplished computationally.” It will be very interesting to see how the criminological community engages in these debates in forthcoming years.

Predecir el futuro (Parte Segunda): las promesas y peligros de la evaluación de riesgos

En los últimos años, coincidiendo con el hype sobre big data y predictive analytics, se habla mucho de criminológica computacional o de los algoritmos. El profesor norteamericano Richard Berk ha sido uno de los más claros proponentes de este tipo de enfoques. En su trabajo esto ha consistido en la aplicación de algoritmos y prácticas científicas desarrolladas en el campo del aprendizaje de máquinas para tratar de mejorar la predicción de los instrumentos de evaluación de riesgo que se emplean en el contexto de la justicia penal. Como apuntaba en una entrada anterior, la idea de predictive policing ha ido ganando terreno en el contexto anglosajón y, me consta que los Mossos están colaborando con el departamento de matemáticas de la UdG para tratar de desarrollar este tipo de modelos en el contexto catalán. Berk está convencido que el uso de técnicas avanzadas desarrolladas por estadísticos e informáticos (i.e., en particular random forests, que no tengo ni idea de cómo se traduce correctamente al castellano: ¿bosques aleatorios?) pueden reducir el error de clasificación de estos instrumentos.

Este tipo de promesas ha encontrado un nicho adecuado para su proliferación en el actual contexto cultural. En fin, en Occidente siempre hemos sido unos vendidos a la idea del progreso a mano de la ciencia. Dentro del tema de predictive policing, como ya apuntaba en una entrada anterior, hay empresas privadas que se han dado cuenta de que aquí hay dinero y con muy poco pudor (ver aquí, o aquí) están promoviendo particulares modelos que no son nada baratos. Se está generando toda una industria con intereses financieros considerables que condicionan la crítica a estos modelos, al margen que la evidencia sobre su valor aún es muy incipiente, como destacaba un informe de la RAND Corporation hace un par de años.

Predictive policing hasta el momento ha estado centrado en predicciones a nivel de área. Pero progresivamente se está empezando a desplazar hacia el territorio de las predicciones individuales. En la entrada anterior precisamente planteamos un ejemplo concreto de ello al hablar de VIOGEN. De igual manera, también vemos como la predicción empieza a jugar un papel más determinante no solamente a nivel policial, sino incluso en la fase de determinación de la pena (el muy controvertido “evidence-based sentencing”) – lo cual representa una transformación frente al pasado nada trivial. Resumiendo un poco: (1) aunque es cierto que la predicción en el campo de justicia penal tiene una muy larga historia sobre todo en el campo penitenciario (no exenta de controversia técnica o inspirada en enfoques de justicia); (2) desarrollos tecnológicos, culturales y económicos están expandiendo su campo de acción lo que está generando un mayor escrutinio y debate sobre estas prácticas.

Esta expansión está generando todo tipo de respuestas. En el reciente congreso de la Sociedad Europea de Criminología en Oporto hubo al menos un par de mesas en las que se discutían estos desarrollos. Adam Edwards, de la Universidad de Cardiff y colaborador en el proyecto COSMOS (que intentan usar datos de twitter para este tipo de propósitos), clasifica las reacciones en tres categorías: la de los entusiastas (ver por ejemplo la charla TED de Anne Milgram), la de los críticos (ver el paper de Sonjia Starr), y la de los escépticos (entre los que se cuenta el propio Edwards). En España, mi muy estimado colega y una de las autoridades nacionales en evaluación de riesgo, el Profesor Antonio Andres Pueyo, entraba a describir y valorar alguno de estos desarrollos en un blog reciente en un tono generalmente positivo que se hace eco del PSA-Court desarrollado por la fundación que tiene como vice-presidente a la entusiasta Anne Milgram, asi como de otros instrumentos empleados en contextos diversos.

Yo soy de los que ve el vaso medio vacío. De los escépticos. Creo que, para mi evidentemente, es importante tratar de mejorar las decisiones que se toman en el ámbito penal y que puede haber espacio para el uso de modelos predictivos en este contexto. Pero creo que tenemos que andarnos con mucho ojo al respecto, por una serie de razones.

Primero, porque como dicen los daneses es “difícil hacer predicciones, sobre todo predicciones sobre el futuro”. Esto no quiere decir que sea imposible, pero simplemente reconocer que a día de hoy nos queda mucho recorrido por delante. El meta análisis de Seena Fazel y sus colegas (2012) concluía que “after 30 years of development, the view that violence, sexual, or criminal risk can be predicted in most cases is not evidence based. This message is important for the general public, media, and some administrations who may have unrealistic expectations of risk prediction”  y que, para fines penales, “risk assessment tools in their current form can only be used to roughly classify individuals at the group level, and not to safely determine criminal prognosis in an individual case”. Uno puede o no compartir esta conclusión. Pero cuanto menos hay que reconocer que el debate existe y deberíamos ponerlo al frente de cualquier propuesta.

Segundo, porque realmente existen problemas de algoritmos discriminatorios y esto es algo sobre lo que la comunidad matemática e informática está cada vez más concienciada a medida que las técnicas desarrolladas en el campo de aprendizaje de máquinas se emplean en contextos como el penal. Anne Milgram en su respuesta a un artículo del New York Times sobre estos problemas mostraba una candidez injustificada. Decir que el instrumento que ellos investigaron no discrimina “porque no toma en consideración variables como raza” es no entender cómo funcionan las técnicas de aprendizaje de máquinas. Esto lo explica muy bien Moritz Hardt: “a learning algorithm is designed to pick up statistical patterns in training data. If the training data reflect existing social biases against a minority, the algorithm is likely to incorporate these biases. This can lead to less advantageous decisions for members of these minority groups. Some might object that the classifier couldn’t possibly be biased if nothing in the feature space speaks of the protected attributed, e.g., race. This argument is invalid. After all, the whole appeal of machine learning is that we can infer absent attributes from those that are present. Race and gender, for example, are typically redundantly encoded in any sufficiently rich feature space whether they are explicitly present or not.” (ver también el reciente artículo de Barocas y Selbts, 2015).

Pensemos en un ejemplo. A menudo se dice que un buen predictor de la conducta futura es la conducta pasada. En justicia penal no tenemos medidas “objetivas” de conducta pasada, pero podemos tener “proxies” como detenciones o intervenciones penales ejecutadas contra un determinado sujeto. Estas proxies si pueden ser empleadas en nuestros modelos. Sin embargo, estas proxies no solamente miden conducta pasada, también miden los sesgos del sistema de justicia penal, que no suele detener o procesar por igual a blancos y negros, inmigrantes y nacionales, etc. Incorporar estas proxies, por tanto, también incorpora en el modelo el sesgo del sistema de justicia penal. No nos olvidemos, por otra parte, que la medida que generalmente se utiliza para validar modelos predictivos (lo que vamos a predecir) en el ámbito de la justicia penal son… err… datos de las justicia penal sobre nuevos delitos (que no suele detener o procesar por igual a blancos y negros, inmigrantes y nacionales, etc).

La comunidad científica y jurídica está tratando de trabajar sobre estos problemas. Las conferencias sobre “Fairness, Accountability and Transparency in Machine Learning”, que solamente llevan dos años funcionando, se han convertido en uno de los foros en los que se discute este tipo de cuestiones. Pero como digo, tenemos que andarnos con ojo y ser muy conscientes de los problemas que este tipo de modelos traen consigo. Como Barocas y Selbst (2015) plantean “addressing the sources of this unintentional discrimination and remedying the corresponding deficiencies in the law will be difficult technically, difficult legally, and difficult politically” y “there are a number of practical limits to what can be accomplished computationally.”

De lo que no cabe duda es que estamos en un momento histórico en el que realmente, dada la magnitud de los retos, es fascinante trabajar sobre este tipo de temas, tanto en el lado más técnico, como en el lado más político y jurídico.