一种检测偏见的方法

2015年10月

很多人会对此感到惊讶，但在某些情况下，即使你对申请者的情况一无所知，也可以检测出选拔过程中的偏见。这令人兴奋，因为这意味着第三方可以使用这种技术来检测偏见，无论选拔者是否愿意。

当以下条件满足时，你可以使用这种技术：（a）你至少拥有被选中的申请者的随机样本；（b）他们的后续表现被衡量；以及（c）你所比较的申请者群体在能力上的分布大致相等。

它是如何运作的？想想有偏见意味着什么。选拔过程对x类型的申请者有偏见意味着他们更难通过。这意味着x类型的申请者必须比非x类型的申请者更优秀才能被选中。[1] 这意味着通过选拔过程的x类型的申请者将比其他成功的申请者表现更好。如果所有成功申请者的表现都被衡量，你就会知道他们是否表现更好。

当然，你用来衡量表现的测试必须是有效的。特别是，它不能因为你试图衡量的偏见而失效。但在某些领域，表现是可以衡量的，在这些领域，检测偏见是很直接的。想知道选拔过程是否对某种类型的申请者有偏见吗？检查他们是否比其他人表现更好。这不仅仅是检测偏见的一种启发式方法。这就是偏见的含义。

例如，许多人怀疑风险投资公司对女性创始人存在偏见。这很容易检测：在他们的投资组合公司中，拥有女性创始人的创业公司是否比没有女性创始人的创业公司表现更好？几个月前，一家风险投资公司（几乎可以肯定不是故意的）发布了一项研究，显示了这种类型的偏见。First Round Capital发现，在其投资组合公司中，拥有女性创始人的创业公司比没有女性创始人的创业公司表现超出 63%。[2]

我一开始说这项技术会让很多人感到惊讶的原因是，我们很少看到这种类型的分析。我相信First Round会对他们进行了这样的分析感到惊讶。我怀疑那里有人意识到，通过将他们的样本限制在他们自己的投资组合中，他们所做的研究不是创业趋势，而是他们在选择公司时的偏见。

我预测未来我们会看到这种技术被更多地使用。进行此类研究所需的信息越来越容易获得。关于谁申请的信息通常被选拔他们的组织严密保守，但如今，关于谁被选中的数据通常可以公开提供给任何愿意费心收集它的人。

注释

[1] 如果选拔过程对不同类型的申请者寻找不同的东西，这种技术将不起作用——例如，如果雇主根据男性的能力雇用他们，但根据女性的外貌雇用她们。

[2] 正如Paul Buchheit指出的那样，First Round将他们最成功的投资，Uber，排除在了研究之外。虽然将异常值排除在某些类型的研究之外是有道理的，但对创业投资回报的研究，而创业投资回报完全是关于击中异常值，不属于其中之一。

感谢 Sam Altman, Jessica Livingston, 和 Geoff Ralston 阅读了草稿。