It’s got an entry in the Urban Dictionary, been discussed on Last Week Tonight with John Oliver, scored a wink from Cards Against Humanity, and now it’s been featured in a clue on the TV game show Jeopardy. Metascience nerds rejoice! The term p-hacking has gone mainstream.

从研究结果可以多种方式进行分析,并且对黑客以的做法,即是指选择分析的研究人员能产生令人愉悦的结果。该 p refers to the p-value, a ridiculously complicated 本质上的实体如何令人惊讶的一个研究结果,如果你正在寻找的效果会的统计指标是不存在的。

你在测试假设对高血压药片和血压你发现确实降在剂量服药的人。 p值是,你会发现血压降低一样大,至少你测量的,即使药物是一个废物,没有工作的可能性。 0.05手段的p值只起了那情景的5%的机会。按照惯例,小于0.05研究者的p值给出了许可地说,药物生产的血压“统计学上显著”减少。

一般期刊宁愿发布统计显著的效果,所以激励科学家方法可以选择在0.05以下产生它们的p值解析和分析数据。这是对黑客。

“这是一个伟大的名字 - 短,甜,回味无穷,和有趣的只是一点点,”里贾纳Nuzzo,一个自由科学作家,在美国统计协会通信统计高级顾问说。

Courtesy of Cards Against Humanity 

对黑客作为一个术语开始使用了心理学和科学的某些其他领域正在经历一种生存危机的。是开创性的发现 failing to replicate. Absurd results (ESP is real!) were passing peer review at well-respected academic journals. Efforts were underway to test the literature for false positives and the results weren’t looking good 500 Internal Server Error

Internal Server Error

The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application.

URI Simonsohn心理学家约瑟夫·西蒙斯,和雷夫·纳尔逊优雅表现在什么现在是一个经典论文的问题。 “False-Positive Psychology“在现场发表于2011年,采用公认的方法来显示,听甲壳虫乐队的歌曲的行为:”当我是六十四“可能需要一年半落别人的年龄。这一切在发布会上,一组研究人员正在讨论的一些研究结果他们发现很难相信开始了晚餐。之后,Simonsohn,西蒙斯,和Nelson,看看它会决定如何容易不可能反向工程具有小于0.05的p值的结果。 “我们开始集思广益,如果我们要展示的效果是不正确的,你会如何运行一项研究,以获取无伪装任何结果?” Simonsohn告诉我的。

Advertisement

他们通过利用他们所谓的“自由度研究员”这个小决定让科学家,因为他们正在设计一个研究,收集和分析数据产生他们的荒谬结论。这些选择包括像哪个观测来衡量,哪些变量来比较,哪个因素综合起来,并检查哪些。除非研究人员通过对致力于方法论和分析计划提前 preregistering a study, they are, in practice, free to make (or even change) these calls as they go.

这个问题,作为甲壳虫乐队的歌曲实验表明,是摆弄周围的这一种使研究人员能够操纵他们的学习条件,直到他们得到了答案,他们希望,在成年当量的孩子在沉睡党在显灵板扶乩板施加压力,直到它阐述了他们正在寻找的话。

一年之后,球队Wents公众随着ESTA现象的新的和更好的名字。在2012年心理学会议,Simonsohn给了我在其中使用的术语对黑客首次会谈。

“We needed a shorter word to describe [this set of behaviors], and p-dash-something 似乎是有意义的,“西蒙斯说。 “P-黑客肯定不是‘自由度研究员的’因为你可以使用它作为一个名词或形容词一个更好的词。”

The phrase made its formal debut in a paper 发表于2014年的球队,写了他们“对黑客可以让得到大多数研究者的研究来揭示真正无关的变量之间的关系显著。”

他们不是第一个确定什么可以去错了当科学家利用自由度研究员,而是通过压印术语对黑客,Simonsohn,西蒙斯和尼尔森给了一个语言研究者谈论它。 “我们的首要目标是让我们更容易地介绍我们的工作。这是雄心勃勃的目标,将使它更容易为其他人互相交谈的话题,“尼尔森说。 “大众接受的术语已经超过了我们原来的野心。”

“这是辉煌的营销,”布赖恩·诺塞克,开放的科学中心的创始人之一说。术语对黑客汇集行为方法论的星座很早就认识到不可取的,为它们分配一个名称,并确定它们的后果,我补充道。随着长期信贷诺塞克帮助研究人员“组织与思考他们的行为如何影响他们的证据的质量。”

通过交谈关于重复性心理学领域,也描述对黑客和相关问题受到关注的清晰途径传播较广。哥伦比亚大学的统计学家安德鲁·盖尔曼曾用这个词来形容的选择的阵列可以从研究人员说,当他们正在着手研究分析,选择“小径分岔的花园”。数据挖掘,出海捕鱼和数据疏浚是其它的描述已被应用于对黑客的行为。

Photograph: Jeopardy Productions, Inc. 
Advertisement

Gelman and his colleague Eric Loken didn’t care for these alternatives. In 2013, they wrote 他们“后悔术语钓鱼‘和’对黑客‘(甚至’研究员自由度)的传播,”因为他们创造了“误导性暗示,研究人员自觉地尝试在单一数据许多不同的分析集“的”小径分岔后花园“,另一方面,更贴切地描述了研究人员是如何迷失在所有进入数据分析的决定,甚至没有意识到他们已经误入歧途这一点。

“人们说对黑客和这听起来像一个人的欺骗,”吉尔曼说。 “这是另一面的人不知道他们作弊,因此他们不认为自己做错了什么。但即使你不作弊,它仍然是一个道德错误misanalyze数据上的后果的问题“。

西蒙斯是同情这种批评。 “我们可能没想到,有足够的了解这个词的内涵”,这意味着黑客的意图,”,“我说。 “这听起来比我们它想变得更糟。”我和他的同事们已经很明确的对黑客不一定是一个邪恶的努力,而是人之一,而他们自己,他们已经犯了。其核心是对黑客实际上是关于准备确认偏置人倾向寻求和优先找到证据,确认我们愿意相信的东西,而视而不见到事情可能违背我们的首选真理。

在“黑客”的一部分使它听起来像是某种不道德的行为,这是没有帮助的,西蒙斯说。 “在权力的人不明白,对黑客在没有反对保障措施的必然性。他们认为有些东西是对黑客这个邪恶的人做的。并且,由于我们不是邪恶的,我们不必对此担心“但西蒙斯说,对黑客是一个人的默认。”那这件事情,每个人都会做,我继续当我不要做'牛逼预注册我的学业。“如果没有保障的地方,我都有记录的,这几乎是不可能避免的。

不过,有一些无可争议的吸引力关于术语对黑客。 “那你不能说一个人得到了他们的数据和花园式的 - 分岔 - 径处理它,”尼尔森补充说。 “我们希望把它做成一个动作的术语。”

SUBSCRIBE
Subscribe to WIRED and stay smart with more of your favorite Ideas writers.

这个词的起源对黑客可以更容易通过harkening的事实谈论这种现象跨越领域,这是一个问题,一些研究人员卫生组织 doing 在他们的工作。即使它是由心理学家开发的,正在使用的人很快就谈到医学,营养学,生物学或遗传学术语对黑客,尼尔森说。 “每一种领域都有自己的版本,并且他们喜欢,太好了。现在我们有一个词来形容无论是我们的semilegitimate统计做法版本“。

在对黑客这个事实,现在已经蔓延出科学界和流行文化可能表明在科学的公众理解的一个分水岭,并逐渐认识到,不能总是在信以为真的研究。但很难确切地知道这个词语是在大明白了。

它甚至有可能对黑客的普及已经变成了科学过程变成其自身的漫画,加强有害思想的创造性的科学方法。 “我不想为理念,对黑客归结为类似”你可以说,统计任何你想要的“,或者更糟糕,那就是科学家都是骗子”,“Nuzzo称,科普作家。 “因为无论这些事情是真实的。”

在一个完美的世界,更广泛的公众会理解,对黑客是指一些糟糕的趋势没有习惯或者懒得研究人员特别,但一个是无处不在。对砍我们都在一定程度上,每次我们开始理解我们周围的世界的证据。如果这里有一个外卖,那就是 science is hard—and sometimes our human foibles make it even harder.


More Great WIRED Stories