Una forma de detectar sesgos

Octubre 2015

Esto sorprenderá a mucha gente, pero en algunos casos es posible detectar sesgos en un proceso de selección sin saber nada sobre el grupo de solicitantes. Lo cual es emocionante porque, entre otras cosas, significa que terceros pueden usar esta técnica para detectar sesgos, ya sea que quienes seleccionan quieran o no.

Puedes usar esta técnica siempre que (a) tengas al menos una muestra aleatoria de los solicitantes que fueron seleccionados, (b) su desempeño posterior sea medido, y (c) los grupos de solicitantes que estás comparando tengan una distribución de habilidades aproximadamente igual.

¿Cómo funciona? Piensa en lo que significa estar sesgado. Lo que significa que un proceso de selección esté sesgado contra solicitantes del tipo x es que les resulta más difícil pasar. Lo que significa que los solicitantes del tipo x deben ser mejores para ser seleccionados que los solicitantes que no son del tipo x. [1] Lo que significa que los solicitantes del tipo x que logran pasar el proceso de selección superarán a otros solicitantes exitosos. Y si se mide el desempeño de todos los solicitantes exitosos, sabrás si lo hacen.

Por supuesto, la prueba que uses para medir el desempeño debe ser válida. Y en particular, no debe ser invalidada por el sesgo que intentas medir. Pero hay algunos dominios donde el desempeño puede ser medido, y en esos la detección de sesgos es sencilla. ¿Quieres saber si el proceso de selección estuvo sesgado contra algún tipo de solicitante? Comprueba si superan a los demás. Esto no es solo una heurística para detectar sesgos. Es lo que significa el sesgo.

Por ejemplo, muchos sospechan que las firmas de capital de riesgo están sesgadas contra las fundadoras. Esto sería fácil de detectar: entre sus empresas de cartera, ¿las startups con fundadoras superan a las que no las tienen? Hace un par de meses, una firma de VC (casi con certeza involuntariamente) publicó un estudio que mostraba este tipo de sesgo. First Round Capital descubrió que entre sus empresas de cartera, las startups con fundadoras superaron a las que no las tenían en un 63%. [2]

La razón por la que comencé diciendo que esta técnica sorprendería a mucha gente es que rara vez vemos análisis de este tipo. Estoy seguro de que sorprenderá a First Round que hayan realizado uno. Dudo que alguien allí se diera cuenta de que al limitar su muestra a su propia cartera, estaban produciendo un estudio no de tendencias de startups, sino de sus propios sesgos al seleccionar empresas.

Predigo que veremos esta técnica usarse más en el futuro. La información necesaria para realizar tales estudios está cada vez más disponible. Los datos sobre quién solicita cosas suelen ser custodiados celosamente por las organizaciones que los seleccionan, pero hoy en día los datos sobre quién es seleccionado a menudo están públicamente disponibles para cualquiera que se tome la molestia de agregarlos.

Notas

[1] Esta técnica no funcionaría si el proceso de selección buscara cosas diferentes en distintos tipos de solicitantes; por ejemplo, si un empleador contratara hombres basándose en su habilidad pero a mujeres basándose en su apariencia.

[2] Como señala Paul Buchheit, First Round excluyó su inversión más exitosa, Uber, del estudio. Y si bien tiene sentido excluir valores atípicos de algunos tipos de estudios, los estudios de rendimiento en inversión de startups, que se basan en dar con valores atípicos, no son uno de ellos.

Gracias a Sam Altman, Jessica Livingston y Geoff Ralston por leer borradores de esto.