防止種族、性別或?qū)€(gè)人的不公平待遇一直是文明社會(huì)長(zhǎng)期關(guān)注的問(wèn)題。然而，檢測(cè)由決策引起的這種歧視，無(wú)論對(duì)于人類(lèi)決策者還是自動(dòng)化人工智能系統(tǒng)都帶來(lái)了挑戰(zhàn)性。尤其人工智能系統(tǒng)的廣泛運(yùn)用在警務(wù)、消費(fèi)金融、高等教育和商業(yè)領(lǐng)域上的決策自動(dòng)化，也進(jìn)一步提升了挑戰(zhàn)的難度。

例如：如果一家公司在歷史上從未雇傭過(guò)一名女性從事某一類(lèi)工作，那么接受過(guò)該歷史數(shù)據(jù)訓(xùn)練的人工智能系統(tǒng)就不會(huì)推薦女性從事新工作。機(jī)器學(xué)習(xí)算法本身沒(méi)有任何問(wèn)題，其只是根據(jù)某些理想的特征確定好的求職者。但由于它是根據(jù)歷史的、有偏見(jiàn)的數(shù)據(jù)進(jìn)行培訓(xùn)，因此有可能提出不公平的建議。

因此賓州大學(xué)和哥倫比亞大學(xué)的研究人員創(chuàng)建了一種用于檢測(cè)不公平歧視的新型人工智能工具，透過(guò)分析美國(guó)成人收入數(shù)據(jù)，發(fā)現(xiàn)了基于性別的工資歧視的證據(jù)，在每年工資超過(guò)5萬(wàn)美元的女性的機(jī)率僅為男性的三分之一。這表示雇主應(yīng)該糾正工資中的性別偏見(jiàn)。此方法除了可防止性別歧視外，也可用于防止種族歧視。

隨著數(shù)據(jù)驅(qū)動(dòng)的人工智能系統(tǒng)越來(lái)越多地被企業(yè)應(yīng)用于消費(fèi)者定位廣告、警察機(jī)關(guān)如何監(jiān)控個(gè)人或團(tuán)體的犯罪活動(dòng)、銀行如何決定誰(shuí)獲得貸款、雇主決定雇用誰(shuí)、以及大學(xué)如何決定誰(shuí)被錄取或獲得獎(jiǎng)學(xué)金資助，皆需要確保這些系統(tǒng)不會(huì)成為歧視工具、平等障礙和對(duì)社會(huì)公義的威脅和不公平的來(lái)源。此項(xiàng)研究獲得美國(guó)國(guó)家衛(wèi)生研究院和國(guó)家科學(xué)基金會(huì)的支持。