Une Méthode pour Détecter les Préjugés

Octobre 2015

Cela surprendra beaucoup de gens, mais dans certains cas, il est possible de détecter des préjugés dans un processus de sélection sans rien savoir sur le pool de candidats. Ce qui est excitant, car entre autres, cela signifie que des tiers peuvent utiliser cette technique pour détecter des préjugés, que ceux qui font la sélection le veuillent ou non.

Vous pouvez utiliser cette technique chaque fois que (a) vous avez au moins un échantillon aléatoire des candidats sélectionnés, (b) leur performance ultérieure est mesurée, et (c) les groupes de candidats que vous comparez ont une distribution de capacité à peu près égale.

Comment cela fonctionne-t-il ? Pensez à ce que signifie être biaisé. Ce que signifie pour un processus de sélection d'être biaisé contre les candidats de type x, c'est qu'il est plus difficile pour eux de passer. Ce qui signifie que les candidats de type x doivent être meilleurs pour être sélectionnés que les candidats qui ne sont pas de type x. [1] Ce qui signifie que les candidats de type x qui réussissent à passer le processus de sélection surpasseront les autres candidats retenus. Et si la performance de tous les candidats retenus est mesurée, vous saurez s'ils le font.

Bien sûr, le test que vous utilisez pour mesurer la performance doit être valide. Et en particulier, il ne doit pas être invalidé par le biais que vous essayez de mesurer. Mais il existe certains domaines où la performance peut être mesurée, et dans ceux-là, détecter les préjugés est simple. Vous voulez savoir si le processus de sélection était biaisé contre un certain type de candidat ? Vérifiez s'ils surpassent les autres. Ce n'est pas juste une heuristique pour détecter les préjugés. C'est ce que signifie le biais.

Par exemple, beaucoup soupçonnent que les firmes de capital-risque sont biaisées contre les fondatrices. Ce serait facile à détecter : parmi leurs sociétés en portefeuille, les startups avec des fondatrices surpassent-elles celles sans ? Il y a quelques mois, une firme de VC (presque certainement sans le vouloir) a publié une étude montrant un biais de ce type. First Round Capital a trouvé que parmi ses sociétés en portefeuille, les startups avec des fondatrices surpassaient celles sans de 63%. [2]

La raison pour laquelle j'ai commencé en disant que cette technique surprendrait beaucoup de gens est que nous voyons si rarement des analyses de ce type. Je suis sûr que cela surprendra First Round d'avoir réalisé une telle analyse. Je doute que quiconque là-bas ait réalisé qu'en limitant leur échantillon à leur propre portefeuille, ils produisaient une étude non pas sur les tendances des startups mais sur leurs propres préjugés lors de la sélection des entreprises.

Je prédis que nous verrons cette technique utilisée plus à l'avenir. Les informations nécessaires pour mener de telles études sont de plus en plus disponibles. Les données sur qui postule sont généralement jalousement gardées par les organisations qui les sélectionnent, mais aujourd'hui, les données sur qui est sélectionné sont souvent publiquement disponibles pour quiconque prend la peine de les agréger.

Notes

[1] Cette technique ne fonctionnerait pas si le processus de sélection recherchait des choses différentes selon les types de candidats - par exemple, si un employeur embauchait des hommes en fonction de leur capacité mais des femmes en fonction de leur apparence.

[2] Comme le souligne Paul Buchheit, First Round a exclu leur investissement le plus réussi, Uber, de l'étude. Et s'il est logique d'exclure les valeurs aberrantes de certains types d'études, les études sur les retours de l'investissement en startups, qui consistent précisément à atteindre ces valeurs aberrantes, n'en font pas partie.

Remerciements à Sam Altman, Jessica Livingston et Geoff Ralston pour avoir lu les brouillons de ceci.