प्रत्येक श्रेणी के लिए अलग प्रतिकृतिता संकट विज्ञान में - अज्ञात "झूठी सकारात्मक" हैं यहां तक ​​कि हमारे शीर्ष शोध पत्रिकाओं में व्यापक.

एक झूठी सकारात्मक एक दावा है कि असर तब होता है जब वास्तविकता में ऐसा नहीं होता है। कोई भी नहीं जानता कि प्रकाशित कागजात के अनुपात में ऐसे गलत या अतिरंजित परिणाम होते हैं, लेकिन ये हैं संकेत है कि अनुपात छोटा नहीं है.

महामारी चिकित्सक जॉन आईओनिडीस ने 2005 में एक प्रसिद्ध पत्र में इस घटना के लिए सबसे अच्छा स्पष्टीकरण दिया, "क्यों सबसे अधिक प्रकाशित शोध परिणाम झूठे हैं"। Ioannidis के कई गलत परिणामों के लिए दिया कारणों में से एक को "p हैकिंग "है, जो कि दबाव से उत्पन्न होता है, शोधकर्ताओं को सांख्यिकीय महत्व हासिल करना लगता है।

सांख्यिकीय महत्व क्या है?

आंकड़ों से निष्कर्ष निकालने के लिए, शोधकर्ता आमतौर पर पर निर्भर होते हैं महत्व परीक्षण। सरल शब्दों में, इसका अर्थ "p मान "है, जो हमारे जैसे परिणामों की संभावना है अगर वास्तव में कोई प्रभाव नहीं है अगर p मूल्य पर्याप्त रूप से छोटा है, परिणाम को सांख्यिकीय रूप से महत्वपूर्ण बताया जाता है

परंपरागत रूप से, एक p महत्व के लिए मान। XNUM से कम का मानदंड है। यदि आप रिपोर्ट करते हैं तो p<.05, पाठकों को यह विश्वास होने की संभावना है कि आपने वास्तविक प्रभाव पाया है। शायद, हालांकि, वास्तव में कोई प्रभाव नहीं है और आपने एक झूठी सकारात्मक रिपोर्ट की है।

कई पत्रिकाओं केवल उन अध्ययनों को प्रकाशित करेंगे जो एक या एक से अधिक सांख्यिकीय महत्वपूर्ण प्रभावों की रिपोर्ट कर सकते हैं। स्नातक छात्र जल्दी से सीखते हैं कि पौराणिक कथाओं को प्राप्त करना p

प्राप्त करने के लिए यह दबाव pपी हैकिंग

का आकर्षण p हैकिंग

उदाहरण देकर स्पष्ट करने के लिए p हैकिंग, यहां एक काल्पनिक उदाहरण है

ब्रूस ने हाल ही में एक पीएचडी पूरा कर लिया है और अपने क्षेत्र में शीर्ष शोध टीमों में से एक में शामिल होने के लिए प्रतिष्ठित अनुदान अर्जित किया है। उनका पहला प्रयोग अच्छी तरह से काम नहीं करता है, लेकिन ब्रूस जल्दी से प्रक्रियाओं को परिष्कृत करता है और दूसरा अध्ययन चलाता है। यह और अधिक आशाजनक दिखता है, लेकिन फिर भी एक नहीं देता p XXX से कम का मान।

विश्वास है कि वह कुछ पर है, ब्रूस अधिक डेटा इकट्ठा करता है वह कुछ परिणामों को छोड़ने का फैसला करता है, जो स्पष्ट तरीके से देखा जाता है।

फिर उन्होंने देखा कि उनके एक उपाय स्पष्ट चित्र देता है, इसलिए वह इस पर ध्यान केंद्रित करता है। कुछ और tweaks और ब्रूस अंततः एक थोड़ा आश्चर्य की बात है लेकिन वास्तव में दिलचस्प प्रभाव है कि प्राप्त की पहचान p

ब्रूस ने उस प्रभाव को खोजने के लिए इतनी मेहनत की थी कि वह जानता था कहीं छिप रहा था वह भी हिट करने के लिए दबाव महसूस कर रहा था p

केवल एक कैच है: वास्तव में कोई प्रभाव नहीं था सांख्यिकीय रूप से महत्वपूर्ण परिणाम के बावजूद, ब्रूस ने एक गलत सकारात्मक प्रकाशित किया है।

ब्रूस ने महसूस किया कि वह अपने वैज्ञानिक अंतर्दृष्टि का इस्तेमाल करके छिपी हुई प्रभाव को प्रकट करता है क्योंकि उन्होंने अपना अध्ययन शुरू करने के बाद कई कदम उठाए:

• उन्होंने आगे डेटा एकत्र किया।
• उसने कुछ डेटा छोड़ा जो बेपरवाह हो गया।
• उन्होंने अपने कुछ उपायों को छोड़ दिया और सबसे अधिक आशाजनक पर ध्यान केंद्रित किया।
• उन्होंने डेटा का थोड़ा अलग विश्लेषण किया और कुछ और बदलाव किए।

परेशानी यह है कि ये सभी विकल्प बनाये गये थे बाद डेटा देखकर ब्रूस, अनजाने, चेरीपिकिंग कर सकता है - चयन और tweaking जब तक वह मायावी प्राप्त नहीं pp

सांख्यिकीविदों का कहना है: यदि आप पर्याप्त डेटा को यातना देते हैं, तो वे कबूल करेंगे। आंकड़ों को देखने के बाद किए गए विकल्प और बदलाव, संदिग्ध अनुसंधान प्रथाओं हैं। इनका प्रयोग करना, जानबूझकर या नहीं, सही सांख्यिकीय परिणाम प्राप्त करना है p हैकिंग, जो एक महत्वपूर्ण कारण है कि प्रकाशित, सांख्यिकीय रूप से महत्वपूर्ण परिणाम झूठी सकारात्मक हो सकते हैं।

प्रकाशित परिणामों का अनुपात क्या गलत है?

यह एक अच्छा सवाल है, और एक फाइनैंशियल ट्रिपी एक है। कोई भी जवाब नहीं जानता, जो अलग-अलग शोध क्षेत्रों में अलग होने की संभावना है।

सामाजिक और संज्ञानात्मक मनोविज्ञान के लिए प्रश्न का उत्तर देने के लिए एक बड़ी और प्रभावशाली प्रयास 2015 में प्रकाशित हुआ था। सेंटर फॉर ओपन साइंस में ब्रायन नोसेक और उनके सहयोगियों ने नेतृत्व किया प्रतिकृति परियोजना: मनोविज्ञान (आरपी: पी) दुनिया भर के 100 अनुसंधान समूहों में प्रत्येक ने 100 प्रकाशित परिणामों में से एक का सावधानीपूर्वक प्रतिकृति किया था। कुल मिलाकर, मोटे तौर पर 40 को अच्छी तरह से दोहराया गया, जबकि लगभग 60 मामलों में प्रतिकृति अध्ययन छोटे या बहुत छोटे प्रभाव प्राप्त करते थे

100 आरपी: पी प्रतिकृति अध्ययन ने मूल अध्ययनों द्वारा रिपोर्ट किए गए प्रभावों के औसत आधे आकार के प्रभावों की रिपोर्ट की। सावधानी से बनाए गए प्रतिकृति संभवतया संभवतः तुलना में अधिक सटीक अनुमान दे रहे हैं p मूल अध्ययन काट दिया है, इसलिए हम यह निष्कर्ष निकाल सकते हैं कि मूल अध्ययन ने वास्तविक प्रभावों का अनुमान लगाया है, औसतन, दो का कारक। यह खतरनाक है!

कैसे बचें p हैकिंग

से बचने के लिए सबसे अच्छा तरीका p हैकिंग किसी भी चयन या tweaks डेटा देखने के बाद से बचने के लिए है। दूसरे शब्दों में, संदिग्ध अनुसंधान प्रथाओं से बचें। ज्यादातर मामलों में, ऐसा करने का सबसे अच्छा तरीका उपयोग करना है preregistration.

पूर्व-पंजीयन के लिए आवश्यक है कि आप पहले से एक विस्तृत शोध योजना तैयार कर सकें, जिसमें डेटा पर लागू होने वाले सांख्यिकीय विश्लेषण भी शामिल है। इसके बाद आप योजना की तारीख तय करते हैं, तिथि स्टाम्प के साथ ओपन साइंस फ्रेमवर्क या कुछ अन्य ऑनलाइन रजिस्ट्री।

फिर अध्ययन को पूरा करें, योजना के अनुसार डेटा का विश्लेषण करें, और परिणामों की रिपोर्ट करें, चाहे वे हों पाठक पूर्ववाही योजना की जांच कर सकते हैं और इस प्रकार आश्वस्त रहें कि विश्लेषण पहले से निर्दिष्ट किया गया था, और नहीं p हैक कर लिया। Preregistration कई शोधकर्ताओं के लिए एक चुनौतीपूर्ण नया विचार है, लेकिन भविष्य की संभावना होने की संभावना है।

इसके बजाय अनुमान p मानों

करने के लिए प्रलोभन p हैक पर निर्भर के बड़े नुकसानों में से एक है p मान। एक और यह है कि pबजाय एक प्रभाव कहने की तरह या यह नहीं करता है

लेकिन दुनिया काले और सफेद नहीं है ग्रे के कई रंगों को पहचानने के लिए यह प्रयोग करने में बेहतर है अनुमान बजाय p मान। आकलन के साथ उद्देश्य एक प्रभाव के आकार का अनुमान लगाने वाला है - जो छोटा या बड़ा हो सकता है, शून्य या नकारात्मक भी हो सकता है आकलन के संदर्भ में, एक झूठा सकारात्मक परिणाम एक अनुमान है जो एक प्रभाव के वास्तविक मूल्य से बड़ा या बहुत बड़ा है।

चलो चिकित्सा के प्रभाव पर एक काल्पनिक अध्ययन लेते हैं। अध्ययन, उदाहरण के लिए, अनुमान है कि चिकित्सा ने औसतन, चिंता में एक 7-point कमी की है। मान लीजिए कि हम अपने डेटा से गणना करते हैं विश्वास अंतराल - हमारे सर्वश्रेष्ठ अनुमान के दोनों ओर अनिश्चितता की एक सीमा - [4, 10] की। यह हमें बताता है कि वास्तव में चिंता के पैमाने पर लगभग 7 अंक के भीतर, 3 का हमारा अनुमान सबसे अधिक संभावना है - चिकित्सा के वास्तविक औसत लाभ।

दूसरे शब्दों में, आत्मविश्वास अंतराल इंगित करता है कि हमारा अनुमान कितना सटीक है। इस तरह के एक अनुमान के बारे में जानने और इसका आत्मविश्वास अंतराल किसी भी तुलना में अधिक जानकारीपूर्ण है p मूल्य.

मैं "नया आंकड़े" में से एक के रूप में आकलन का उल्लेख करता हूं तकनीकें स्वयं नई नहीं हैं, लेकिन इन्हें डेटा से निष्कर्ष निकालने के मुख्य मार्ग के रूप में उपयोग करने से कई शोधकर्ता नए होंगे और एक बड़ा कदम आगे होगा। इससे भी विकृतियों से बचने में मदद मिलेगी p हैकिंग।

के बारे में लेखक

ज्योफ कमिंग, एमेरिटस प्रोफेसर, ला ट्रोब यूनिवर्सिटी

यह आलेख मूलतः पर प्रकाशित हुआ था वार्तालाप। को पढ़िए मूल लेख.

संबंधित पुस्तकें:

at इनरसेल्फ मार्केट और अमेज़न