Ғылыми тәжірибелердің шамамен 50%-ы қайталанбайтын болып шықты

2024 Автор: Seth Attwood | [email protected]. Соңғы өзгертілген: 2023-12-16 16:10

Кездейсоқ жаңалықтар мен ақпараттар ағынында мен Nature Scientific Reports журналындағы мақалаға тап болдым. Онда 1500 ғалымның ғылыми зерттеу нәтижелерінің қайталану мүмкіндігі туралы сауалнамасының деректері ұсынылған. Егер бұрын бұл мәселе биологиялық және медициналық зерттеулер үшін қойылса, онда бір жағынан түсінікті (жалған корреляция, зерттелетін жүйелердің жалпы күрделілігі, кейде тіпті ғылыми бағдарламалық қамтамасыз ету айыпталады), екінші жағынан, оның феноменологиялық мәні бар. сипаты (мысалы, тышқандар әртүрлі жыныстағы ғалымдармен әртүрлі әрекет етеді (1 және 2)).

Дегенмен, бәрі тегіс және бар емес Көбірек физика және техника, химия, экология сияқты жаратылыстану ғылымдары. Бұл пәндер ең бақыланатын жағдайларда жүргізілген «мүлдем» қайталанатын эксперименттерге негізделген сияқты көрінеді, өкінішке орай, таңқаларлық - сөздің барлық мағынасында - сауалнама нәтижесі: 70% дейін зерттеушілер кездесті Қайталанбайтын ғалымдардың басқа топтары ғана алған тәжірибелер мен нәтижелер, БІРАҚ және жарияланған ғылыми еңбектердің авторлары/бірлескен авторлары!

Әр құмыра өз батпағын мақтай ма?

Респонденттердің 52%-ы ғылымдағы қайталану дағдарысын көрсетсе де, 31%-дан азы жарияланған деректерді түбегейлі қате деп санайды және олардың көпшілігі жарияланған жұмысқа әлі де сенетінін көрсетті.

Әрине, сіз тек осы сауалнама негізінде ғана барлық ғылымды бұзбауыңыз керек: респонденттердің жартысы әлі де биологиялық пәндермен бір немесе басқа түрде байланысты ғалымдар болды. Авторлар атап өткендей, физика мен химияда қайталану деңгейі мен алынған нәтижелерге сенімділік әлдеқайда жоғары (төмендегі графикті қараңыз), бірақ бәрібір 100% емес. Бірақ медицинада бәрі басқалармен салыстырғанда өте нашар.

Ойыма бір әзіл келеді:

Англияның Бристоль университетінің биологиялық психологы Маркус Мунафо ғылыми деректердің қайталану мүмкіндігіне бұрыннан қызығушылық танытып келеді. Студенттік күндерін еске алып:

Бірде мен әдебиеттен маған қарапайым болып көрінген экспериментті қайталауға тырыстым, бірақ мен оны жасай алмадым. Менде сенім дағдарысы болды, бірақ кейін менің тәжірибем соншалықты сирек емес екенін түсіндім.

Ендік пен бойлық тереңдігі мәселесі

Өзіңізді ғалым екеніңізді елестетіңіз. Сіз қызықты мақаланы кездестірдіңіз, бірақ нәтижелерді/тәжірибелерді зертханада шығару мүмкін емес. Бұл туралы түпнұсқа мақаланың авторларына жазып, кеңес сұрап, нақтылайтын сұрақтар қою қисынды. Сауалнамаға сәйкес, 20%-дан аз Мұны өздерінің ғылыми мансабында жасаған!

Зерттеу авторлары, мүмкін, мұндай байланыстар мен әңгімелер ғалымдардың өздері үшін тым қиын, өйткені олар белгілі бір мәселелерде олардың дәрменсіздігі мен сәйкессіздігін көрсетеді немесе ағымдағы жобаның тым көп бөлшектерін ашады.

Сонымен қатар, ғалымдардың абсолютті аз бөлігі редакторлар мен рецензенттер тарапынан қарсылыққа тап бола отырып, қайталанбайтын нәтижелерді жоққа шығаруға тырысты. талап етті бастапқы зерттеулермен салыстыру. Ғылыми нәтижелердің қайталанбайтындығы туралы хабарлау мүмкіндігі шамамен 50% болатыны таңқаларлық емес пе?

Мүмкін, ең болмағанда зертханада қайталану сынамасын жүргізу керек шығар? Ең өкініштісі, респонденттердің үштен бірі тіпті ЕШҚАШАН және қайталану үшін деректерді тексеру әдістерін жасау туралы ойлаған жоқ. Тек 40% осындай әдіс-тәсілдерді жүйелі түрде қолданатынын көрсетті.

Тағы бір мысал, Ұлыбританиядан келген биохимигі өзінің аты-жөнін жария еткісі келмеген, оның зертханалық жобасы үшін жұмысты қайталау, қайта шығару әрекеттері жұмысқа жаңа ештеңе бермей немесе қоспай, уақыт пен материалдық шығындарды екі есеге арттыратынын айтады. Қосымша тексерулер тек инновациялық жобалар мен әдеттен тыс нәтижелер үшін жүргізіледі.

Және, әрине, шетелдік әріптестерді азаптай бастаған мәңгілік орыс сұрақтары: кім кінәлі және не істеу керек?

Кім кінәлі?

Жұмыстың авторлары нәтижелердің қайталануының үш негізгі проблемасын анықтады:

• Жұмысты уақытында басып шығару үшін басшылардың қысымы
• селективті есеп беру (шамасы, бұл бүкіл суретті «бұзатын» кейбір деректерді басып тастауды білдіреді)
• Деректерді талдаудың жеткіліксіздігі (соның ішінде статистикалық)

Не істеу?

Сауалнамаға қатысқан 1500-ден астам маманның 1000-нан астамы деректерді жинау мен өңдеуде статистиканы жақсартуды, бастықтардың бақылау сапасын арттыруды және эксперименттерді неғұрлым қатаң жоспарлауды жақтады.

Қорытынды және кейбір жеке тәжірибе

Біріншіден, тіпті мен үшін, ғалым ретінде, нәтижелердің белгілі бір дәрежеде қайталанбайтындығына үйренгеніммен, нәтиже керемет. Бұл әсіресе американдық/еуропалық профессорлар түріндегі үшінші тарап «аудиті» жоқ қытайлар мен үнділер орындаған жұмыстарда айқын көрінеді. Мәселенің танылғаны және оның шешімін (лар) ойластырғаны жақсы. Жақында болған жанжалға байланысты мен орыс ғылымы туралы әдептілікпен үндемеймін, бірақ көбісі өз жұмысын адал атқарып жүр.

Екіншіден, мақалада ғылыми көрсеткіштердің және рецензияланатын ғылыми журналдардың зерттеу нәтижелерінің қайталанбайтындығы мәселесінің пайда болуы мен дамуындағы рөлі ескерілмейді (дәлірек айтсақ, қарастырылмайды). Жарияланымдар жылдамдығы мен жиілігіне ұмтылу (оқу, дәйексөз индекстерін арттыру) сапасы күрт төмендейді және нәтижелерді қосымша тексеруге уақыт жоқ.

Олар айтқандай, барлық кейіпкерлер ойдан шығарылған, бірақ нақты оқиғаларға негізделген. Әйтеуір бір студенттің мақалаға шолу жасау мүмкіндігі болды, өйткені мақалаларды мұқият оқып шығуға кез келген профессордың уақыты мен күші бола бермейді, сондықтан 2-3-4 студент пен дәрігердің пікірі жинақталып, солардан шолу жасалады. Шолу жазылды, ол мақалада сипатталған әдіске сәйкес нәтижелердің қайталанбайтындығын көрсетті. Бұл профессорға анық көрсетілді. Бірақ «әріптестермен» қарым-қатынасты бұзбау үшін - олар бәрінде жетістікке жетеді - шолу «түзетілді». Ал мұндай мақалалар 2-3 жарияланады.

Бұл тұйық шеңбер болып шығады. Ғалым мақаланы журналдың редакторына жібереді, онда ол « қалаған «Ал, негізінен,» қажетсіз »Рецензенттер, яғни, шын мәнінде, авторлар ұжымына оң көзқараспен қарайтындарды ғана қалдырады. Олар жұмысты қарастырады, бірақ олар «түсініктемелерде сөйлей» алмайды және екі жамандықтың кішісін таңдауға тырысады - міне, жауап беру қажет сұрақтардың тізімі, содан кейін біз мақаланы жариялаймыз.

Табиғаттың редакторы осыдан бір ай бұрын айтқан тағы бір мысал - Гразельдің күн батареялары. Ғылыми қоғамдастықта осы тақырыпқа деген үлкен қызығушылықтың арқасында (олар әлі күнге дейін Табиғатта мақаланы қалайды!), Редакторлар көптеген параметрлерді көрсету, жабдықты калибрлеу, сертификаттар беру қажет болатын арнайы сауалнама жасауға мәжбүр болды., т.б. тиімділік панельдерін өлшеу әдісі кейбір жалпы принциптер мен стандарттарға сәйкес келетінін растау үшін.

ЖӘНЕ, Үшіншіден, сіз тағы да бәрін және бәрін жеңетін ғажайып вакцина туралы естігенде, юбкадағы жұмыс орындары, жаңа батареялар немесе ГМО-ның қауіптері/пайдалары немесе смартфондардың сәулеленуі туралы жаңа оқиға, әсіресе оны журналистиканың сары жазушылары насихаттаса, содан кейін түсіністікпен қарап, қорытынды жасауға асықпаңыз. Нәтижелерді ғалымдардың басқа топтарының растауын, массив пен деректер үлгілерінің жинақталуын күтіңіз.

PS: Мақала асығыс аударылған және жазылған, барлық қателер мен қателіктер туралы жергілікті желіге жазыңыз.