バイアスを検出する方法

2015年10月

これは多くの人にとって驚きでしょうが、場合によっては、応募者のプールについて何も知らなくても、選択プロセスにおけるバイアスを検出できることがあります。これは興奮することです。なぜなら、他のことの中でも、選択を行う人々が望むかどうかに関係なく、第三者がこの技術を使用してバイアスを検出できることを意味するからです。

この技術は、(a)選択された応募者の少なくともランダムなサンプルがあり、(b)その後のパフォーマンスが測定され、(c)比較している応募者のグループが能力の分布においてほぼ同等である場合に使用できます。

どのように機能するのでしょうか?バイアスがあるとはどういうことかを考えてみてください。タイプxの応募者に対して選択プロセスがバイアスを持っているということは、彼らが通過するのがより難しいことを意味します。つまり、タイプxの応募者は、タイプxでない応募者よりも優れている必要があるということです。[1] つまり、選択プロセスを通過したタイプxの応募者は、他の成功した応募者よりも優れたパフォーマンスを発揮するでしょう。そして、すべての成功した応募者のパフォーマンスが測定されれば、彼らがそうするかどうかがわかります。

もちろん、パフォーマンスを測定するために使用するテストは有効なものでなければなりません。特に、測定しようとしているバイアスによって無効にされてはいけません。しかし、パフォーマンスが測定できる分野もあり、そのような分野ではバイアスの検出は簡単です。選択プロセスが特定のタイプの応募者に対してバイアスを持っているかどうかを知りたいですか?彼らが他の応募者よりも優れたパフォーマンスを発揮するかどうかを確認してください。これはバイアスを検出するためのヒューリスティックではありません。これがバイアスの意味です。

例えば、多くの人がベンチャーキャピタル企業が女性の創業者に対してバイアスを持っていると疑っています。これは簡単に検出できます:彼らのポートフォリオ企業の中で、女性の創業者がいるスタートアップは、そうでないものよりも優れたパフォーマンスを発揮していますか?数ヶ月前、あるVC企業(ほぼ確実に意図せずに)このタイプのバイアスを示す研究を発表しました。First Round Capitalは、そのポートフォリオ企業の中で、女性の創業者がいるスタートアップが、そうでないものよりも63%優れたパフォーマンスを発揮していることを発見しました。[2]

私がこの技術が多くの人にとって驚きであると言い始めた理由は、このタイプの分析が非常に稀に見られるからです。First Roundが自分たちで一つを行ったことは、彼らにとって驚きであると確信しています。彼らのサンプルを自分のポートフォリオに限定することで、スタートアップの傾向ではなく、会社を選択する際の自分たちのバイアスについての研究を生み出していたことを、誰も気づかなかったと思います。

私は、この技術が将来より多く使用されるようになると予測しています。このような研究を行うために必要な情報はますます利用可能になっています。何かに応募する人々に関するデータは、通常、それらを選択する組織によって厳重に保護されていますが、今日では、選択された人々に関するデータは、それを集約する手間をかける人なら誰でも公開されていることがよくあります。

注記

[1] この技術は、選択プロセスが異なるタイプの応募者から異なるものを探す場合、例えば、雇用主が男性を能力に基づいて採用し、女性を外見に基づいて採用する場合には機能しません。

[2] Paul Buchheitが指摘しているように、First Roundは彼らの最も成功した投資であるUberを研究から除外しました。そして、いくつかのタイプの研究から外れ値を除外することは理にかなっていますが、スタートアップ投資からのリターンに関する研究は、外れ値を打つことについてのすべてであるため、その一つではありません。

感謝 Sam Altman、Jessica Livingston、Geoff Ralstonに、この草稿を読んでくれたことに感謝します。