You can’t police your way out of what’s happening

As a criminologist who has contributed to the policing literature, I want to express my profound condemnation of the policing management of the past weekend events in Catalunya. At times like this it is hard to know what the right response is. My tweeting and discussions with friends and colleagues possibly illustrates how I am too finding it hard to figure out what an adequate response is to what is going on. We are all, understandably, very touchy at the moment. Personally, I dislike all nationalisms; I think Rajoy and Puigdemont need to resign; and that we need new national and Catalan elections, a reformed Constitution, and some sort of agreement in a legal referendum. You may agree or not with that. But that’s fine. That’s not what I want to talk about here. What I want to talk about here is about what happened on Sunday. As a criminologist one thing I know is my stuff. And although it is difficult to be objective at the moment, what it is very clear to me is that the policing response in Sunday was a good example of bad practice.

Through vicarious experience, I know how hard the police response to those events has shaken many of our colleagues and other members of Catalunya society. It is hard to put in words the raw emotions that this response has generated among people that are very close to me. It was uncalled for. The measures taken up to that point to disrupt the referendum have been appropriate and measured. They responded to a clear strategy of making it difficult for the Govern to claim that the results of the referendum could be meaningful. But in the day of the referendum important mistakes were made. To simply say, as many politicians and op-ed pieces are now saying in Spain, that the police was just obeying the orders of a judge and acted proportionally in applying the law shows an incredible and unjustifiable disregard for decades of policing scholarship, both in police legitimacy and the policing of public order. It is a very lame and unsustainable excuse.

The police does not derive its legitimacy only from the law. The police needs to have the respect and support of the communities they police. Community policing as a model has been inspiring policing thinking since the 1970s -partly as a response to the legacy of historical failures in crowd control. The types of tactics deployed last Sunday undermine that support that the police very much needs, as the literature on procedural justice suggests: “We know that when people find the police to be disrespectful and careless of human dignity, not only is trust lost, legitimacy is also damaged and cooperation is withdrawn as a result. Without such public support, the job of the police is much harder and the objectives of less crime harder to achieve”. To simply invoke the law to justify them is to live in a world that ignores lived experiences and the social meaning and interpretation of police action.

There is other way of policing public order that is less conducive to see the kind of images that we witnessed last Sunday. It should have recognised the interactive dynamics of crowd conflict and adopted a “negotiated management” approach (McPhail et al. 1998; Baker, 2007): a low key, non-confrontational, and peace-keeping approach. And this didn’t happen. Mostly this was so because the police were put in an impossible position by the political class, but also because the Spanish police lags behind in the way public demonstrations are policed. Huge peaceful gatherings like the ones we saw last weekend do not require the police use the force to preserve order. There was no imminent threat to anybody that required such use of force. Whatever one makes of the referendum, trying to close the facilities where large crowds (that included children and the elderly) were voting without sufficient police resources and using force was a recipe for disaster, and very bad policing practice. As David Buil Gil has argued elsewhere even if the three police forces (Mossos, Policia Nacional, and Guardia Civil) have cooperated to the full they would not have had enough resources to close down the 2229 electoral facilities. Why bother trying? “Más vale sucumbir con gloria en mares enemigos que volver a España sin honra ni vergüenza?” We should be past that. Given the situation in the ground, the police should have restrained themselves from using means that were not going to stop the voting; were likely to result in the use of force; had shaken the public and bystanders regardless of their political views; and had undermined their legitimacy. Or as David has indicated: “Ante una situación así, se pueden tomar muchas decisiones operativas destinadas a garantizar, en la medida de lo posible, el orden y el cumplimiento de la ley. Se puede destinar pocas unidades a cada una de las sedes electorales para asegurar que no existan incidentes de violencia que pongan en riesgo el bienestar personal de ningún individuo. Se puede desarrollar una campaña de concienciación ciudadana para tratar que la jornada transcurra con la mayor normalidad posible. Se puede contar con otros agentes, como lo pueden ser policías locales, protección civil y bomberos, para asegurar la seguridad en la zona.” Sadly that’s not what happened.

As former Chief Constable of Greater Manchester Police, Sir Peter Fahy noted on Sunday, “Democratic politicians should not put the police in the position the Spanish government put the Policia Nacional” (and Guardia Civil) “today”. What is happening in Catalunya is a political crisis that requires a political solution. There is a saying in policing, “you cannot arrest your way out problems”. Similarly you cannot police your way out of what essentially is a political and social problem. And it is bloody time the Spanish political class and institutions realised this.

“Spikes” y femicidios

Leyendo estos últimos días la prensa española me ha llamado bastante la atención las reacciones a las cifras sobre víctimas mortales de violencia doméstica en los últimos dos meses.

La prensa ha dedicado varios artículos al respecto. En El Diario se nos dice que estas cifras “fulmina los peores datos y convierte el inicio de año en el más sangriento en violencia de género de la última década”. En la misma línea El Mundo anunciando un estudio sobre el caso explica que estas iniciativas “se han puesto sobre la mesa después de que, en sólo 53 días de año, se superara el límite de homicidios sobre mujeres desde que éstos se contabilizan en nuestro país, en 2003, un año antes de que se aprobara la ley orgánica contra la violencia de género. 2017 es ya el peor arranque de año en lo que a lucha contra el machismo se refiere.” El País aqui nos ofrece esta grafico comparando los meses de entre Enero y Febrero desde que se inició la serie en el 2003 he incide en la misma idea. Lo que posiblemente ha generado esta reacción ha sido la proximidad temporal de los últimos incidentes.

Todo esto puede parecer muy noticiable. ¿Pero es la situación tan mala como se describe? ¿Estamos siendo testigos de una tendencia que se sale del patrón histórico? Habría que empezar diciendo que una muerte es ya demasiadas muertes. Y que no trato de trivializar aquí el dolor y sufrimiento que se esconde tras las estadísticas. Pero como científicos sociales también tenemos la responsabilidad de presentar los datos como son.

Si en vez de presentar solo los meses de Enero y Febrero, como hace El País, atendemos a toda la serie temporal, podremos ver que hay mucho ruido en la misma (¡afortunadamente!), y que los datos que tenemos para el 2017, entran dentro de la variación “normal” que se observa en la serie.

Si descomponemos la serie temporal en los distintos elementos que la componen (la tendencia, el efecto de temporadas, y el ruido) veremos que la tendencia (“trend”) a este plazo aun esta en la zona baja. Al que no entienda estas figuras les recomiendo este articulo periodistico al respecto.

Si a esto le añadimos que tenemos una de las tasas más bajas de la Unión Europea, todo ello ayuda a contextualizar lo que está ocurriendo. Como digo, una mujer muerta ya es demasiadas muertes, pero seamos también conscientes de la realidad empírica a la hora de generar debates públicos. En los tiempos que corren (ehem, Trump), la hipérbole no es necesaria y es particularmente importante ser fieles a los datos. Por otro lado, ahora que el periodismo de datos esta tan de modas uno espera estándares más rigurosos a la hora trabajar este tipo de información.

Por lo demás coincido con mi querido colega Andres Pueyo que aunque evidentemente las respuestas a este fenómeno son muy mejorables, tenemos también que reconocer que existen límites a la posibilidad real de reducir mucho más estos niveles. Lo contrario es vender una ficción y hacer política del dolor de las víctimas.

 

Igualdad de género y criminología, una imagen que vale mil palabras (y si encima nos ponemos a comparar escotes…)

¿Un master en el Reino Unido?

Muchas veces me han preguntado colegas y alumnos consejos sobre donde hacer un postgrado en criminología. Normalmente no he dudado mucho con mi respuesta. Si es para hacer un doctorado, sin lugar a dudas el sitio es los Estados Unidos, donde no solamente suele haber mejor financiación, sino donde los programas de doctorados son más completos, aprendes más de método, y suele haber más oportunidades de adquirir experiencia investigadora en proyectos de calado que se puedan estar desarrollando en el departamento en cuestión. Lo de la Universidad en concreto ya depende más de los intereses en cuanto tema de cada uno.

Si es para hacer un master las diferencias con lo que se ofrece en el Reino Unido son menos pronunciadas. Y es difícil también obtener financiación en Estados Unidos solamente para hacer un master. Aunque generalmente el componente metodológico suele ser más contundente en Estados Unidos e irte allí, si te va bien, te puede abrir las puertas a un doctorado (en fin, esa fue mi historia personal).

Recientemente, no obstante, el gobierno de Inglaterra (las competencias educativas corresponden a cada una de las nacionalidades británicas) ha creado un nuevo esquema de financiación para estudios de master que hace la oferta británica (y si, aunque suene raro, los beneficios afectan a masters ofrecidos en cualquier parte del Reino Unido) más atractiva a los estudiantes de la Unión Europea. En el último Spending Review, la actualización de los presupuestos que se suele aprobar en otoño, el ministro de economía, George Osborne, aprobó la creación de unos préstamos para estudiantes interesados en cursar masters en el Reino Unido.

Tradicionalmente el inglés que quisiera hacer un master se lo tenía que pagar de su bolsillo (el 70 y pico por ciento de ellos se lo pagaba así) o aspirar a las limitadas y muy competitivas becas. Siempre podías pedir un préstamo al banco, pero con un tipo de interés y condiciones de repago como los de cualquier crédito. El nuevo sistema es muy generoso. Sus características principales son las siguientes:

• Se puede pedir hasta £10,000 a gastar en matricula y/o mantenimiento. En una universidad del Russell Group las tasas para un master oscilan en torno a las £7,000. El nuestro en Manchester, por ejemplo, está a £7,700. En las universidades de segunda el promedio esta alrededor de las £5,000.
• Solo te lo van a dar, evidentemente, si has sido admitido en un master y los pagos empiezan (en tres plazos) el día que comienza el curso.
• Lo pueden pedir los ingleses que residan en Inglaterra o los ciudadanos europeos que residan en la Unión (tres años antes de comenzar los estudios de master).
• Se puede utilizar para financiar un master en cualquier parte del Reino Unido.
• El tipo de interés es del 3% sobre el Retail Price Index, una medida de inflacion (que en fin es más generoso que un préstamo normal)
• Solo empiezas a pagar cuando tu sueldo anual supera las £21,000 brutas. Y solo en proporción al exceso sobre esa cantidad salarial. Por ejemplo, si ganas £25,000 libras, las cantidades de repago mensual se computan sobre £4,000 (vendría a ser unas £30 al mes).
• Si en algún momento tus condiciones salariales mejoran o empeoran se tendría en cuenta. Por ejemplo, si te quedas en el paro o tu salario baja de las £21,000 brutas, dejarías de pagar hasta que tus condiciones volvieran a las condiciones que dan lugar a pago.
• A los 30 años expira la necesidad de devolver el préstamo, con independencia de lo que llegues pagado.
• Solamente puedes pedirlo si no has hecho ya un masters sea donde sea.

Los detalles del programa aún están siendo finalizados, pero está previsto que la plataforma informática para solicitar estos préstamos se ponga en funcionamiento a principios del verano. La solicitud de plaza en masters para el próximo curso está abierta ya en todas las universidades. Quien esté interesado en más detalles debería consultar la página de internet de la compañía que ofrece estos préstamos. A lo largo de los próximos meses publicaran más información, de momento el sitio donde podéis encontrar más publicación es en la parte del website dedicado a personal de universidades (más que en la sección de alumnos).

Curiosamente esto coincide con cambios también en nuestro programa de master. Cambios tan recientes que ni siquiera están todavía anunciados en nuestra página de internet. Pero, a no ser que surja algún imprevisto de última hora, nuestro MRes on Criminology va a tener una especialización en Quantitative Criminology que ofreceremos a partir del próximo curso académico en colaboración con el Departamento de Estadística Social. En resumen, lo que esto significa es que la formación metodológica asociada al mismo no va a tener nada que envidiarle a un master norteamericano. Si alguien está interesado no dudéis en poneros en contacto conmigo.

No to austerity

Sometimes one has to take a clear stand. The Tory party has been pushing an austerity agenda in the UK for the last few years and promises to continue in the same line for the foreseeable future. This policy agenda has had a massive impact on everything that as a criminologist I care about: cuts to legal aid that reduce access to justice; the privatisation of the Probation service (an institution that has inspired so many across the world); cuts to prison budgets that have resulted in the significant worsening of conditions in prison settings; and reductions in policing budgets that will fundamentally change what policing forces can do to prevent and respond to crime.

Most of this we know is driven by ideology, not by insights from economics. Despite what mainstream media projects, the economic orthodoxy does not support this kind of policies. And it is generally agreed among economists that they have contributed to slower growth post-recession. We also know we’re not all on it together, as numerous very rigorous studies have shown, and that the continuation of these policies will likely make things worse.

Universities in the UK have seen policies to facilitate privatisation of the sector and we witnessed the ramping up of the tuition fee system,  measures that will mean more debt for poorest students, and the creation of an unsustainable funding regime. Yet those tuitions fees, the removal of the caps for recruitment, and the partial protection of research funding means that Universities have been partially insulated in comparison with other public sectors. But this level of insulation is about to change as the current government sets its eyes on the reform of the current research funding regime.

There is a lot of talk about impact and social responsibility agendas in academia, as well as about the notion of public criminology. At Manchester we take pride in addressing global inequalities. Well, as far as I am concerned, that includes publicly telling this government: “enough.” It is for these reasons that this Sunday morning I will be joining the march called for TUC to protest against these policies. If you are around the Manchester area, please feel free to join me, my family, and those thousands of people that will be doing the same. UCU and the local branch UMUCU will be meeting across the St. Peter Chaplaincy in Oxford Road, just between the School of Computer Science and the Blackwell’s library at midday. The full program of activities is available here.  Just remember if you bring toddlers, to have a good explanation for all those pig masks!

Predicting the future offender (Part 2)

For popular demand and motivated by yet a new journalistic account of developments on predictive policing (that I got to know through the very prolific tweeter criminologist @ManneGerell), I am presenting a slightly adapted presentation from my last blog entry. So here we go…

In the last few years, we have seen an increasing interest in computational criminology. American criminologist Richard Berk has been one of the most prolific authors in this area. His wok in particular has consisted in applying algorithms and scientific practices developed in the machine learning community for improving the predictive accuracy of risk assessment tools used in criminal justice. Berk has tried to make the case that using some of the most advanced algorithms (such as random forests) we can reduce the classification error of these tools.

This type of “promise” has found an appropriate niche in our cultural context. In the West we have always keen to accept the idea of progress through technological developments. The use of predictive analytics in policing is perhaps one of the most recent chapters in this history. As I discussed in a previous entry, there’s an increasing interest among private companies to develop applications that would make them good money (out of increasingly poorer police forces) by developing predictive applications for the police. Sometimes, the marketing and publicity is a bit over the top (see here and here) and the evidence base for these applications is still developing (see the RAND report on the matter).

Debates around predictive policing for the most part have focused on applications at the area level, as a solution to prospectively identify hot spots of crime. But progressively the field is moving towards applications at the individual level (as noted in the NYT story noted above). In my last entry, I also discussed a particular example, VIOGEN (a tool used by the Spanish police in intimate partner violence cases). Equally, we are beginning to see how predictive analytics are starting to play a more important role not only in the policing field, but also even in the sentencing field (the very controversial “evidence-based sentencing”). These applications represent a nontrivial innovation. In sum:

1. Although it is true that risk assessment and efforts at predicting the future have a long history in criminal justice, particularly in the context of probation and correctional practice (which are not exempt from controversy: see here, here or here);
2. Technological, cultural and economic developments are significantly expanding their field of action, and this, in turn, is generating a greater scrutiny and debate.

This expansion is generating all sorts of responses. In the recent annual meeting of the European Society of Criminology in Porto there were at least two panels devoted to these issues. Adam Edwards, from Cardiff University and linked to the COSMOS project (a good example of these developments), classifies reactions in three categories: enthusiasts (see for example the TED talk by Anne Milgram); critics (see for example the paper by Sonjia Starr on evidence-based sentencing), and sceptics (Adam included).

I tend to side with the sceptics. Like Berk I think we can learn a lot from the machine learning community. My own current ESRC funded work in collaboration with computer scientists is using predictive analytics to help police better classify domestic abuse cases. Indeed, my favourite paper at ASC last year was Cynthia Rudin’s work on understanding patterns of repeats offending using really smart algorithms (BTW  I highly recommend her just started MOOC on data science in the edX platform). But at the same time we need to be cognizant of the problems and dangers that uncritical application of these tools may bring about.

First, because as the Danes say, it is very difficult to make predictions, particularly predictions about the future. This is not to say we should not try, but (a) we still have a very long way ahead of us and (b) at present these predictions need to be complemented by human judgement.  Why? The meta-analysis of Seena Fazel and colleagues (2012) not long ago concluded that “after 30 years of development, the view that violence, sexual, or criminal risk can be predicted in most cases is not evidence based. This message is important for the general public, media, and some administrations who may have unrealistic expectations of risk prediction” and that for criminal justice applications “risk assessment tools in their current form can only be used to roughly classify individuals at the group level, and not to safely determine criminal prognosis in an individual case”.  We should not ignore pronouncements of this nature.

Second, because there is a real danger of discriminatory algorithms. This is something that the mathematical and computer science community is increasingly more concerned with. Anne Milgram in her response to a critical article from the New York Times about some of these problems showed an unjustified naivety.  To say that the particular tool that they developed was not discriminatory “because it does not take into account variables such as race” is to show very little understanding of how machine learning works. This is very well explained by Moritz Hard: “a learning algorithm, is designed to pick up statistical patterns in training data. If the training data reflect existing social biases against a minority, the algorithm is likely to incorporate these biases. This can lead to less advantageous decisions for members of these minority groups. Some might object that the classifiers couldn’t possibly be biased if nothing in the feature space speaks of  the protected attributed, e.g., race. This argument is invalid. After all, the whole appeal of machine learning is that we can infer absent attributes from those that are present. Race and gender, for example, are typically redundantly encoded in any sufficiently rich feature space whether they are explicitly present or not.” (see as well Barocas y Selbts, 2015).

Let’s think of an example. We know a good predictor of future behaviour is past behaviour. In criminal justice, we don’t really have direct measures of past criminal behaviour. However, we have indirect measures such as measures of previous police or other criminal justice interventions (e.g., arrests, convictions, etc.). So one could use these indirect measures as proxies in our feature space to develop a prediction. The thing is these measures also incorporate the biases of the criminal justice system, that tends to discriminate against certain ethnic groups, residents in certain communities, the unemployed, etc. Let’s not forget, critically, that the way we evaluate these models is by looking at how well they predict a particular outcome: a new crime. And since we don’t have direct measures of crime, we also rely on proxies such as a new call for service, a new arrest, etc (which will also incorporate the biases of the criminal justice system).

The scientific and legal community, as I said, is increasingly concerned with these issues. If you are, you should have your ears open for the next conference on “Fairness, Accountability and Transparency in Machine Learning”, an excellent forum for discussing this sort of topics from a very technical angle. These are complex problems and as Barocas and Selbst (2015) argue   “addressing the sources of this unintentional discrimination and remedying the corresponding deficiencies in the law will be difficult technically, difficult legally, and difficult politically” and “there are a number of practical limits to what can be accomplished computationally.” It will be very interesting to see how the criminological community engages in these debates in forthcoming years.

Predecir el futuro (Parte Segunda): las promesas y peligros de la evaluación de riesgos

En los últimos años, coincidiendo con el hype sobre big data y predictive analytics, se habla mucho de criminológica computacional o de los algoritmos. El profesor norteamericano Richard Berk ha sido uno de los más claros proponentes de este tipo de enfoques. En su trabajo esto ha consistido en la aplicación de algoritmos y prácticas científicas desarrolladas en el campo del aprendizaje de máquinas para tratar de mejorar la predicción de los instrumentos de evaluación de riesgo que se emplean en el contexto de la justicia penal. Como apuntaba en una entrada anterior, la idea de predictive policing ha ido ganando terreno en el contexto anglosajón y, me consta que los Mossos están colaborando con el departamento de matemáticas de la UdG para tratar de desarrollar este tipo de modelos en el contexto catalán. Berk está convencido que el uso de técnicas avanzadas desarrolladas por estadísticos e informáticos (i.e., en particular random forests, que no tengo ni idea de cómo se traduce correctamente al castellano: ¿bosques aleatorios?) pueden reducir el error de clasificación de estos instrumentos.

Este tipo de promesas ha encontrado un nicho adecuado para su proliferación en el actual contexto cultural. En fin, en Occidente siempre hemos sido unos vendidos a la idea del progreso a mano de la ciencia. Dentro del tema de predictive policing, como ya apuntaba en una entrada anterior, hay empresas privadas que se han dado cuenta de que aquí hay dinero y con muy poco pudor (ver aquí, o aquí) están promoviendo particulares modelos que no son nada baratos. Se está generando toda una industria con intereses financieros considerables que condicionan la crítica a estos modelos, al margen que la evidencia sobre su valor aún es muy incipiente, como destacaba un informe de la RAND Corporation hace un par de años.

Predictive policing hasta el momento ha estado centrado en predicciones a nivel de área. Pero progresivamente se está empezando a desplazar hacia el territorio de las predicciones individuales. En la entrada anterior precisamente planteamos un ejemplo concreto de ello al hablar de VIOGEN. De igual manera, también vemos como la predicción empieza a jugar un papel más determinante no solamente a nivel policial, sino incluso en la fase de determinación de la pena (el muy controvertido “evidence-based sentencing”) – lo cual representa una transformación frente al pasado nada trivial. Resumiendo un poco: (1) aunque es cierto que la predicción en el campo de justicia penal tiene una muy larga historia sobre todo en el campo penitenciario (no exenta de controversia técnica o inspirada en enfoques de justicia); (2) desarrollos tecnológicos, culturales y económicos están expandiendo su campo de acción lo que está generando un mayor escrutinio y debate sobre estas prácticas.

Esta expansión está generando todo tipo de respuestas. En el reciente congreso de la Sociedad Europea de Criminología en Oporto hubo al menos un par de mesas en las que se discutían estos desarrollos. Adam Edwards, de la Universidad de Cardiff y colaborador en el proyecto COSMOS (que intentan usar datos de twitter para este tipo de propósitos), clasifica las reacciones en tres categorías: la de los entusiastas (ver por ejemplo la charla TED de Anne Milgram), la de los críticos (ver el paper de Sonjia Starr), y la de los escépticos (entre los que se cuenta el propio Edwards). En España, mi muy estimado colega y una de las autoridades nacionales en evaluación de riesgo, el Profesor Antonio Andres Pueyo, entraba a describir y valorar alguno de estos desarrollos en un blog reciente en un tono generalmente positivo que se hace eco del PSA-Court desarrollado por la fundación que tiene como vice-presidente a la entusiasta Anne Milgram, asi como de otros instrumentos empleados en contextos diversos.

Yo soy de los que ve el vaso medio vacío. De los escépticos. Creo que, para mi evidentemente, es importante tratar de mejorar las decisiones que se toman en el ámbito penal y que puede haber espacio para el uso de modelos predictivos en este contexto. Pero creo que tenemos que andarnos con mucho ojo al respecto, por una serie de razones.

Primero, porque como dicen los daneses es “difícil hacer predicciones, sobre todo predicciones sobre el futuro”. Esto no quiere decir que sea imposible, pero simplemente reconocer que a día de hoy nos queda mucho recorrido por delante. El meta análisis de Seena Fazel y sus colegas (2012) concluía que “after 30 years of development, the view that violence, sexual, or criminal risk can be predicted in most cases is not evidence based. This message is important for the general public, media, and some administrations who may have unrealistic expectations of risk prediction”  y que, para fines penales, “risk assessment tools in their current form can only be used to roughly classify individuals at the group level, and not to safely determine criminal prognosis in an individual case”. Uno puede o no compartir esta conclusión. Pero cuanto menos hay que reconocer que el debate existe y deberíamos ponerlo al frente de cualquier propuesta.

Segundo, porque realmente existen problemas de algoritmos discriminatorios y esto es algo sobre lo que la comunidad matemática e informática está cada vez más concienciada a medida que las técnicas desarrolladas en el campo de aprendizaje de máquinas se emplean en contextos como el penal. Anne Milgram en su respuesta a un artículo del New York Times sobre estos problemas mostraba una candidez injustificada. Decir que el instrumento que ellos investigaron no discrimina “porque no toma en consideración variables como raza” es no entender cómo funcionan las técnicas de aprendizaje de máquinas. Esto lo explica muy bien Moritz Hardt: “a learning algorithm is designed to pick up statistical patterns in training data. If the training data reflect existing social biases against a minority, the algorithm is likely to incorporate these biases. This can lead to less advantageous decisions for members of these minority groups. Some might object that the classifier couldn’t possibly be biased if nothing in the feature space speaks of the protected attributed, e.g., race. This argument is invalid. After all, the whole appeal of machine learning is that we can infer absent attributes from those that are present. Race and gender, for example, are typically redundantly encoded in any sufficiently rich feature space whether they are explicitly present or not.” (ver también el reciente artículo de Barocas y Selbts, 2015).

Pensemos en un ejemplo. A menudo se dice que un buen predictor de la conducta futura es la conducta pasada. En justicia penal no tenemos medidas “objetivas” de conducta pasada, pero podemos tener “proxies” como detenciones o intervenciones penales ejecutadas contra un determinado sujeto. Estas proxies si pueden ser empleadas en nuestros modelos. Sin embargo, estas proxies no solamente miden conducta pasada, también miden los sesgos del sistema de justicia penal, que no suele detener o procesar por igual a blancos y negros, inmigrantes y nacionales, etc. Incorporar estas proxies, por tanto, también incorpora en el modelo el sesgo del sistema de justicia penal. No nos olvidemos, por otra parte, que la medida que generalmente se utiliza para validar modelos predictivos (lo que vamos a predecir) en el ámbito de la justicia penal son… err… datos de las justicia penal sobre nuevos delitos (que no suele detener o procesar por igual a blancos y negros, inmigrantes y nacionales, etc).

La comunidad científica y jurídica está tratando de trabajar sobre estos problemas. Las conferencias sobre “Fairness, Accountability and Transparency in Machine Learning”, que solamente llevan dos años funcionando, se han convertido en uno de los foros en los que se discute este tipo de cuestiones. Pero como digo, tenemos que andarnos con ojo y ser muy conscientes de los problemas que este tipo de modelos traen consigo. Como Barocas y Selbst (2015) plantean “addressing the sources of this unintentional discrimination and remedying the corresponding deficiencies in the law will be difficult technically, difficult legally, and difficult politically” y “there are a number of practical limits to what can be accomplished computationally.”

De lo que no cabe duda es que estamos en un momento histórico en el que realmente, dada la magnitud de los retos, es fascinante trabajar sobre este tipo de temas, tanto en el lado más técnico, como en el lado más político y jurídico.

Predecir el futuro (Parte Primera): la reforma de VioGen

Recientemente se anunciaba que el Ministerio de Interior planifica la sustitución de VioGen por un nuevo instrumento de valoración policial del riesgo de violencia de género. Posiblemente esto no es sino una respuesta a la crisis de turno (al haberse destacado un número elevado de homicidios en el que el riesgo pronosticado fue bajo). En la actualidad lidero un proyecto financiado por el Economic and Social Research Council para investigar los instrumentos empleados en el Reino Unido (DASH) y tratar de construir un modelo que clasifique mejor que el actual, con lo cual este tipo de noticias me interesa particularmente.

El uso de este tipo de instrumentos por parte de la policía se desarrolló inicialmente en Estados Unidos, como una forma de gestionar el mayor volumen de casos que resultaron de la criminalización de este tipo de situaciones y también como un mecanismo para tratar de desarrollar una respuesta más individualizada.  España, a diferencia de lo que ocurre en muchos otros países generalmente considerados más desarrollados, tiene la fortuna de contar con un sistema de implantación nacional construido sobre una herramienta informática de uso común entre los profesionales de la justicia penal que responden a este fenómeno.  Este modelo ha servido de inspiración a otros países de nuestro entorno cultural.

Desgraciadamente no todo lo que se puede escribir sobre VioGen puede tener el mismo carácter laudatorio. Existen una serie de aspectos sobre el mismo y, fundamentalmente, sobre su desarrollo que resultan más cuestionables. El primero es la opacidad y falta de transparencia ligada a su construcción y evaluación científica. Existe una amplia bibliografía científica sobre los instrumentos empleados fuera de España. Eso permite a la comunidad científica, esos puñeteros escépticos organizados, ponderar sus limitaciones y plantear posibles vías para su mejora. En un contexto en el que cada vez somos más conscientes de la necesidad de replicación científica y que ningún estudio por sí mismo puede convertirse en la respuesta definitiva, la transparencia sobre métodos y resultados es fundamental (y mucho más democrático). Evidence based policy no significa simplemente colaborar con la Universidad. Evidence based policy significa permitir que la base científica de las políticas sea objeto del examen de la comunidad científica. Eso no se puede hacer con las puertas cerradas.

Lo muy poquito que se encuentra en el dominio público sobre la base científica de VioGen se centran en una presentación de power point elaborada por colegas de la Universidad Autónoma de Madrid y una tesis doctoral elaborada por Jorge Zurita Bayona. Hilton y sus colegas (2004) han criticado como en Norte América una buena parte de la investigación sobre estos instrumentos ha utilizado métodos más orientados a la construcción de test psicológicos que al desarrollo y evaluación de modelos predictivos. Y lo poco que hay en España de literatura gris sobre VioGen, aunque ofrece datos interesantes, también da la sensación de que en España hemos pecado de lo mismo. Ninguno de estos estudios ofrece respuestas inequívocas a dos cuestiones fundamentales en relación con VioGen.

En primer lugar, a día de hoy, y por más que he buscado, rebuscado, y preguntado a personas relevantes, aún no he conseguido averiguar cuál es el error de clasificación que resulta cuando se aplica VioGen. Cualquier predicción genera falsos positivos y falsos negativos. Es absolutamente fundamental conocer, por tanto, el error de clasificación de un instrumento cuya función esencial es clasificar a las víctimas en distintos niveles de riesgo. Sin embargo, a día de hoy ese error de clasificación (si es que ha sido estimado y tengo mis serias dudas dado el silencio generalizado a mis preguntas) no se encuentra en el dominio público. Y, francamente, el error de clasificación de los instrumentos que han sido evaluados fuera de nuestras fronteras no es como para tirar cohetes, ni los métodos empleados para producir dichas estimaciones, como decía Hilton y sus colegas, han sido siempre los más apropiados.

A día de hoy, tampoco existe nada publicado sobre la praxis de la aplicación de este instrumento. Los ítems que conforman el instrumento son los suficientemente ambiguos como para generar entendimientos variados, los atributos de los agentes de policía que tienen que desarrollar estos instrumentos también varían, y todo lo que sabemos de la literatura comparada en estos temas es que estos factores pueden condicionar de forma muy notable la calidad de las evaluaciones que se realizan y, por tanto, también del error de clasificación. En España, a diferencia de lo que ocurre en el Reino Unido, no existen organismos con la función de fiscalizar la labor policial por medio de auditorías de su labor. La última gran auditoria sobre estas cuestiones en el Reino Unido destacó problemas serios en la forma en que DASH, el instrumento utilizado en el Reino Unido, es aplicado por la policía. El College of Policing está trabajando en estas cuestiones en la actualidad. Dudo mucho que en España la aplicación sea tal que no existan problemas en su aplicación y, sin embargo, no sabemos nada al respecto.

Espero que la reforma del instrumento que promete el Ministerio de Interior se desarrolle de forma un tanto más transparente. Sin embargo, de momento lo único que sabemos es que se planea utilizar un instrumento con más predictores. Esto no es ni mucho menos garantía de mejor clasificación. Un instrumento con más “predictores” no nos da mejor clasificación, nos da un instrumento con más predictores. Cantidad no es equivalente a calidad. En predicción, en ciencia en líneas generales, buscamos soluciones parsimoniosas.  Como Einstein decía “everything should made as simple as possible, but not simpler” o J.H. Holland “model building is the art of selecting those aspects of a process that are relevant to the question being asked” (el énfasis es mío). De hecho, no es descabellado pensar que más predictores pueden degradar la calidad del instrumento, no solo por una cuestión matemática, sino porque en definitiva estamos dándole más trabajo al agente que lo cumplimenta y, en la medida que la información sobre los factores de riesgo procede fundamentalmente de la víctima, estamos haciendo el encuentro entre agente y víctima más gravoso e intrusivo para la víctima. La experiencia británica sugiera que no deberíamos tener demasiada fe en obtener respuestas demasiado fiables en estos contextos. ¿Le abriría usted su vida al primer agente de policía que se planta en su casa? Todo esto tiene el potencial efecto de incrementar el error de medición de los factores de riesgo que a su vez tiene el consabido efecto, ampliamente discutido en la literatura estadística y de aprendizaje de máquinas, de degradar las predicciones resultantes. De hecho, esta es mi hipótesis fundamental para explicar lo mal que predicen los instrumentos empleados en el Reino Unido.

A quien le interese el tema, no le vendría mal leer la reciente entrada escrita por mi querido colega el Profesor Antonio Andres Pueyo en su blog sobre la prevención de la violencia legal de género.

Smart cities, smart policing?

I’m just back from lovely Barcelona where I was presenting a paper in a conference on smart cities organised by the UOC. It was a well organised event with a number of really interesting presentations. I learned indeed a lot. Daniel Quercia presented some truly amazing work on mapping familiarity of people with different parts of cities, perceptions of areas, and his work on smell maps (pointers here, here, here, and here). Maybe the ggplot2 graphics/maps had already biased me. Wim Vanobberghen talked about more bottom up approaches to smart cities and the notion of city labs. And Prof. Bert-Jaap Koops talked about privacy and data protection as a zombie and discussed a number of helpful avenues for re-thinking our ideas about these issues in today’s uber-connected society.

I presented a paper on smart cities and smart policing. You can find it here. The whole thesis is that for the most part policing has helped to shape and perpetuate our understanding of smart cities from a top down approach. This vision of smart cities emphasises a very technocratic vision “that is dictated by business potential, commercial logic and efficiency thinking” and it is “closely related to the technologically deterministic idea of a “control room” for the city”. In contrast more bottom up approaches emphasise the idea of the empowered individual.

The idea that integrated data sharing and analytical technology would help the police to do a better job is something anybody that has observed the transformation of police practice in the world of GIS can certainly testify to. GIS technology has certainly played a big role here in terms of how police communicates with the public (think the police.uk website), has managed performance (think CompStat and the target culture that dominated policing during the Labour years in the UK), and has informed analysis of and responses to crime problems (think hot spots policing). These applications, however, have not been in my humble opinion sufficiently critical or self-reflective.

I have several concerns in this regard. First, ok we know the data is problematic. Donald Campbell and Goodhart could have told you so. Yet we (even very smart people) tend to use it as if it is not. Recording has become so dodgy that UK Statistics Authority de-registered police data as national statistics and a parliamentary enquiry had to be launched. HMIC also looked into it (I can hear now my Spanish readers/colleagues weeping at the level of auditing and rigour that these enquiries and steps suggest). Critically, we have a limited understanding of the systematic part of bias on recording practices, which mean it is difficult to adjust for it in any model. To this we need to add the fact that we have a limited understanding of how spatio-temporal attributes affect reporting practices, certainly in the UK. The international literature suggest that there are neighbourhood factors that come into play here. So the noise is systematic. Therefore, we need to do better. We need more work on this, both in terms of understanding these factors, but critically in terms of thinking on how we can then use this knowledge to adjust our maps and local estimates. This has implications for communication to the public and crime analysis, but also for evaluation of strategies. We need to move away from hot spots evaluations that rely exclusively or primarily in just crime data.

Regarding communication specifically, I still think presenting crime maps to the public is a double edge sword. You could say this can be empowering and consistent with a more bottoms up approach to policing. And yes I’m all up for open data and transparency. Hell, I can be a pain about it. Ask Pepe Cid about my insistence to develop policies for SEIC requiring authors to deposit their data in open repositories. But we don’t live in a world of black and white. First, let’s remember the data are dodgy to start with and the general public is not being sufficiently informed in how this is the case when the data is presented to them. I also agree with Alex Singleton and Chris Brundson on the issue of spurious precision. At the very least, the maps should come with stronger health warnings NOT ON THE SMALL PRINT. Why do you have to click on “Use the Data” (you got to be a nerd to do that) and process … words of text before you are provided (a rather technical for the average Joe and Jane) of the process of locational anonyimisation? It is true I find the maps helpful for teaching purposes and to persuade students that Chris Grayling has no f*****g clue when he compares Moss Side with Baltimore in the 90s (i.e., a bad year in Moss Side is a good weekend in Baltimore and it is the bars in the city centre you need to avoid if you want to escape a bruising). Indeed, when I was buying a house, I did check the maps. I can be a bit hypocritical but not stupid. And yet, and yet… These maps will more or less correctly identify some areas as problematic. Do we really want to make that very clear to everybody with internet connection? I don’t know. There’s a literature on the impact of crime on house prices, insurance, and community reputations preventing investment and contributing to stigmatise their local residents. Ok, you don’t need the public crime maps for this. But they possibly don’t help either. Maruna talk about how in the process of desistance offenders engage in redemption scripts that in some ways recount their personal history. Would this be possible if you tattoo in their forehead what they have done in the past? I think that at the very least we need to be asking these questions rather than assume that just because there may be some benefits to publicise crime maps we should go down that route. When we were doing our ethnographic work on gangs, many of the regeneration agencies we encounter were adamant that in their areas they didn’t have gangs (they did). But there’s a reason why they put forward that vision. Their job is to regenerate areas and this kind of characterisations are not terribly helpful in the process. Let’s also not forget these maps help to reinforce a particularly narrow and skewed vision of what crime is all about (you won’t see in police uk a map of fraud or insider trading) and what the police mission is all about (chasing crime: contrast this with Jerry’s presentation, start around minute 12). Although, of course, we cannot map what matters, if we don’t really measure what matters.

Critically, I’m not clear how these models and uses can be made compatible with a more bottom-up, participatory and democratic understanding of smart cities (and by that extension of policing). I think the future is concerning. The increasing availability of new surveillance “sensors” raises important questions about privacy. The shift from trying to detect hotspots to predicting individual offending (particularly within a policing context, in corrections and probation this is far from new) raises equally concerning questions. And this is not just a US thing. The MET, at the very least, explored similar technologies (check the presentation from Muz) in the context of gang crime with the help of Accenture. It is not only civil libertarians that are concerned with these applications of data mining techniques. Machine learning and data scientists are also increasingly aware of the implications of their models and have initiated an ongoing debate about fairness and transparency of algorithms used for decision making on areas that matter to citizens. Initiatives such as data justice are worth keeping an eye on. There is money to be made by selling predictive modelling to the police. And some are taking an unashamedly aggressive and partly misleading approach to the branding and marketing of their products. There is indeed potential to be explored. But is essential we take a more critical and reflective approach and not be seduced by the sirens of technological progress. The history of policing is full of errors that resulted in skewed priorities associated with the adoption of new technologies. Let’s learnt from the past. Let’s experiment. But let’s not rush to put “solutions” into production and let’s think about not only whether these solutions “work” but also whether they are fair and just.

Alice Goffman “On the Run”

La SEIC tuvo la gracia de poner mi blog en el último boletín de la misma, con lo cual ahora no me queda otra que actualizarlo. Comencé con el blog pensando que, en fin, nunca podría llegar a alcanzar las cotas de gente como Andrew Gelman (a entrada por día), pero que por lo menos me daría para escribir una entrada al mes. Varios semestres más tardes la realidad de las demandas de la vida académica me han dado otra perspectiva. A pesar de ello, intentare darle un poco de más vidilla al blog en los próximos meses.

Y rápidamente comenzar con traer aquí el debate que se ha generado sobre el último libro de Alice Goffman. Esta academica norteamericana publicó un libro “On the run”, su primer libro, que tuvo una recepción critica muy buena. Esta, por ejemplo, es la revisión de Tim Newburn. Sin embargo, más recientemente se ha generado un auténtico revuelo sobre este trabajo y a Alice no han dejado de crecerle los enanos. Desde algunos sectores, su trabajo fue muy criticado.

Esta última semana leía, vía twitter, un par de artículos en la prensa norteamericana (New York magazine and The Huffington Post) sobre el caso que van un poco más allá del análisis superficial y un poco persecutorio que se ha generado. Estos dos artículos están muy bien como material de clase para discutir distintos aspectos sobre la investigación etnográfica (i.e., aspectos éticos, fact-checking, etc.), particularmente cuando se hace para investigar aspectos relacionados con la delincuencia.  En un contexto en el que ideas sobre reproducibilidad se plantean como solución, al menos parcial, al problema del fraude en la investigación cuantitativa, también plantea cuestiones sobre como adoptar este tipo de prácticas en el caso de la investigación cualitativa.

Aún no he tenido tiempo para leer el libro, pero ciertamente es uno de los que intentare llevarme en mi bolsa de playa. Esta es una TED talk de Alice, por si se os apetece una tapita. And yes, she is the daughter of Ervin.