Затраты на «невоспроизводимые» (бессмысленные) биологические исследования составляют 28 млрд. в год

Исследование рассчитывает стоимость невоспроизводимых биомедицинских исследований в Соединенных Штатах.

Monya Baker

Ученые в Соединенных Штатах тратят ежегодно $28 млрд. на базовые биомедицинские исследования, результаты которых не могут быть использованы. Такой вывод сделан в исследовании, опубликованном 9 июня в журнале PLoS Biology, в котором попытались выявить причины и издержки невоспроизводимости.

Джон Иоаннидис, эпидемиолог Стэнфордского университета в Калифорнии, который изучает научную обоснованность исследований, заявил, что исследования обязательно наводят на информацию о проблеме, но, тем не менее, должны приниматься с долей сомнения, учитывая, что их оценки носят большую неопределенность.

В то же время, Лен Фридман, ведущий автор исследования и руководитель некоммерческого глобального биологического Института стандартов в Вашингтоне, говорит о том, что труд в любом случае должен оплачиваться, даже если с его помощью не удалось определить масштаб проблемы. «Очевидно, что существует огромное количество неэффективных исследований, и это попытка привлечь внимание к данной проблеме», — говорит Фридман, научная группа которого стремится развивать лучшие методики для биологических экспериментов.

Корни проблемы
Фридман и его коллеги использовали термин «невоспроизводимость» в широком смысле — как любые ошибки или упущения, которые предотвращают попытки воспроизводить экспериментальные выводы. Исследователи стремились определить значение четырех источников «невоспроизводимости», выявляемых на ранних стадиях проводимых экспериментов: формат исследования; лабораторные протоколы; биологические реактивы и контрольные материалы; анализ данных и отчетность.

Однако команда не исследовала результаты каких-либо индивидуальных работ и то, насколько они были воспроизводимыми. Вместо этого, исследователи проанализировали существующие факторы, которые способствуют невоспроизводимости, и, используя эти данные, оценили общий уровень воспроизводимости, взвесив относительное влияние различных факторов.

Иайн Кокберн, экономист из Бостонского университета в штате Массачусетс и соавтор отчета, говорит о том, что исследование зависело от качества и количества имеющихся данных. Например, признание материалов некачественными основывалось на частотности неправильного определения колоний клеток. В других случаях команда делала выводы на основе отчетов по клинической работе.

В целом команда обнаружила, что некачественные материалы внесли наибольший вклад в проблему воспроизводимости (36%), далее следуют формат исследования (28%) и анализ данных (26%). Команда оценивает общий уровень невоспроизводимости как 53%, но предупреждает, что истинное значение может находиться где угодно между 18% и 89%. Все это приводит к потенциальным экономическим затратам вследствие бесполезных медицинских исследований в размере от $10 млрд. до $50 млрд. в год.

«Сами четыре категории — состоятельны, но оценки хромают», — говорит Иоаннидис. «Я бы придал значительно больший вес анализу данных и отчетности».

В дальнейшем исследование ограничивается тем, что четыре изучаемых фактора являются взаимозависимыми, — говорит Мелисса Гендель, ученый Орегонского университета здоровья и науки в Портленде. Например, материалы исследований и методы контроля, используемые для их оценки, являются частью лабораторных протоколов, соответственно, формат исследования влияет на анализ данных.

В поисках решения
Опасения по поводу воспроизводимости результатов в биомедицинских исследованиях возросли в последние десятилетия, отчасти в ответ на проведенное в 2005 году исследование по Иоаннидису, которое осветили научные журналы, с предубеждением против броских, громких публикаций о положительных результатах исследований. Также исследователи фармацевтических компаний сообщили, что их попытки повторить выводы из рецензируемых работ терпят неудачу в более чем 75% случаев.

Несколько институтов предпринимают шаги для решения проблемы. В ноябре, например, американские национальные институты здравоохранения США призвали журналы принять рекомендации, направленные на повышение воспроизводимости исследований (Издательская группа Nature является одним из многих научных издательств, которые сделали это).

Основные затраты из-за невоспроизводимости связаны не с изначально ошибочным исследованием, а с последующей работой, проделанной впустую, которую оно порождает, — говорит Ли Эллис, биолог по раковым заболеваниям из Университета Техаса онкологического Центра д.м.н. Андерсона в Хьюстоне. Ученые могут терять время, двигаясь по ложному следу, что тормозит открытие новых методов лечения.

Фридман надеется, что его последняя работа поможет убедить ученых, что такие маленькие шаги, как лучшее документирование протоколов и применение сертифицированных реагентов, может привести к большим успехам в воспроизводимости исследований. «Цель его работы не в том, чтобы заставить паниковать: "О господи, мы смыли $20 млрд. в унитаз», а скорее: "Здесь есть возможность повышения эффективности, чтобы не тратить деньги впустую"».

Материал подготовила А. Далинская

Комментарии