美国国立卫生研究院发现使用匿名提案来测试偏见比看起来更难

美国国立卫生研究院发现使用匿名提案来测试偏见比看起来更难

美国国立卫生研究院正试图在一项探索资助审查中的种族偏见的实验中掩盖申请人的身份。

派脆客Lee / Flickr( )
美国国立卫生研究院发现使用匿名提案来测试偏见比看起来更难

试图测试评论者是否对申请美国国立卫生研究院(NIH)拨款的黑人有偏见,这一努力被证明比预期更难实施。

得出的结论是, 。 这一令人不安的发现促使美国国立卫生研究院以增加同时向内心寻找其自夸的拨款制度可能存在的偏见。

美国国立卫生研究院的审查过程始于少数外部科学家对提案的初步评估。 这些提案包含许多关于申请人的信息以及提出的想法。 但今年晚些时候,将要求一组新的审稿人对先前提交的1200份提案进行评级,这些提案已被剥夺所有个人标识符,包括姓名,机构,他们接受过培训的人员,甚至是他们的合作者。

这项新的练习, 是如此敏感,以至于美国国立卫生研究院正在承包工作,以避免在结果中出现利益冲突。 在保留已清除所有标识符的赠款提案质量方面也存在技术挑战。

美国国立卫生研究院马里兰州贝塞斯达科学评论中心负责人理查德·纳姆穆拉(Richard Nakamura)表示,“这需要很长时间,因为事实证明它比我想象的要困难得多”。 “我们希望保持对科学的理解,但要做到这一点,我们必须添加一些虚拟代码和其他信息,以帮助审阅者了解所提议的内容,而不会泄露有关个人申请人的任何内容。”例如,NIH甚至决定地理参考是禁止的。

一个沉重的电梯

研究同行评审过程内部工作的一些研究人员质疑结果是否真正提供了任何有用的信息来弥补种族差异。

“我认为匿名化不会起作用,但这是人们想到的第一件事,”威斯康星大学麦迪逊分校老年病学教授兼女性健康研究中心主任莫莉卡恩斯说。 卡内斯领导的团队通过重新创建研究部分来激发同行评审的动力。 在他们的调查结果中,审查拨款建议的模糊标准和其他评审员的评论可能会影响评估小组对拟议研究的评估。 她说,这些变化也可能导致偏见,尽管该组织没有专门研究种族因素。

卡纳斯是美国国立卫生研究院(NIH)咨询机构的成员,Nakamura上周向计划的研究报告说,他也推测,如果不了解谁将进行研究,评论者将不会感到舒服。 “科学家们无情地需要进行分类,”她指出。 “所以我怀疑他们不会轻易放松,直到他们对申请人有更多了解。 即使他们没有别的东西可以继续下去,他们也可能谷歌在提案中描述的科学,以寻找它来自何处的线索。“

科学家利用这些信息来帮助他们评估研究人员的成功机会,卡尔内斯中心的博士后伊丽莎白·皮尔补充道。 “这就是审稿人一直在运作的方式,任何改变都需要进行范式转换。”

该研究将比较400名黑人和白人申请人,与研究主题,性别,学位,机构类型和原始分数相匹配。 将随机选择另外400名白人申请人。 该池包括最终获得资助的提案和被拒绝的提案。 这些提案最初是在2014 - 15年提交的,但没有一项仍在积极考虑之中。

该研究将由位于马里兰州罗克维尔的少数民族小公司Social Solutions International(SSI)完成。 SSI希望在今年夏天进行初步研究,然后在秋季开始全力以赴。

Nakamura决定专注于NIH正常审核流程的第一步,其中选择审核的每个申请都由三位审核人员批评并分配初步评分。 他指出,对2011年数据的分析发现,黑人和白人申请人之间的差异“完全归因于他们较低的初步分数。”他指出,该分析发现,在每个申请的第二步讨论中没有任何偏见。在研究部分 - 也不是在最终阶段,该提案获得相关NIH研究所或中心的咨询机构的资助。

在实验中,每位新评审员将评估六至八个匿名提案。 然后将这些结果与原始评论者给出的相同提案的分数进行比较,以确定是否存在根据种族的差异。

NIH官员还将研究匿名化是否会影响当前按性别,职业阶段或机构类型划分的分数。 Nakamura说,亚裔美国人和西班牙裔科学家的申请被排除在外,因为2011年的研究发现,他们的表现仅略微差于白人。

担心设计

即便如此,Carnes的团队认为在第二阶段存在充分的偏见机会。 该中心计算科学主任Anna Kaatz表示,当成员对特定提案的质量存在分歧时会出现一个问题。 确保讨论 - 他们的论文称之为“得分校准谈话” - 可以导致小组认为消除少数人的观点。

第二个潜在的问题是用申请人的特征代替提案的质量。 “像'这些家伙已发表在” 自然科学细胞 “中的评论,所以他们必须知道自己在做什么,'可以歧视一个有着好主意但缺乏合适血统的人,”卡特兹说。

关于这些微妙但强大的偏见如何影响决策的工作已经做了很多工作,Carnes说,他希望NIH能够利用它来培训审稿人和专业人员。 Nakamura说,他欢迎任何关于发现偏见的信息,并补充说他没有看到任何专门针对同行评审过程中的种族差异的研究。

尽管她担心,卡内斯赞赏美国国立卫生研究院采取她称之为重要的第一步。 “我认为美国国立卫生研究院愿意为自己的流程发光,这很棒,”她说。 “这是正确的做法,而且还需要做。”