Наукометрические подходы к анализу результатов научно-исследовательской деятельности
СтатьиОпубликовано в журнале
Кардиоваскулярная терапия и профилактика, 2012; 11(2): 90-95
Оганов Р. Г., Трущелёв С. А.*
ФГУ Государственный научно-исследовательский центр профилактической медицины. Москва, Россия
В статье обсуждается значение научной медицинской информации и индикаторов ее влияния (публикационная активность исследователя, цитируемость, импакт-фактор, индекс Хирша и др.). Отмечены источники формирования соответствующих индикаторов.
Ключевые слова: медицинская информация, наука, факторы влияния, медицина, кардиология.
Scientometric approaches to the analysis of research results
Oganov R. G., Trushchelev S. A.*
State Research Centre for Preventive Medicine. Moscow, Russia
Key words: Medical information, science, impact factors, medicine, cardiology.
Cardiovascular Therapy and Prevention, 2012; 11(2): 90-95
Растущая социальная значимость науки обусловливает пристальное внимание ко всем факторам, от которых зависит ее развитие, и среди них состояние системы учета результатов научно-исследовательской деятельности. Это та область, вне которой эффективное управление современной наукой невозможно.
В некоторых передовых, экономически развитых странах реализуются программы оценки научно-исследовательской деятельности, включающие в качестве одной из составляющих количественные показатели результатов работы организаций. Британская программа Research Assessment Exercise оценивает результативность национальных университетов с 4-летней периодичностью. На основе рейтинга университетам предоставляется финансирование [1]. Австралийское правительство реализует программу Research Quality Framework [2]. На основе мета-анализа данных университетских репозиториев и индикаторов Thomson Scientific оценивается продуктивность организаций, научных лабораторий и отдельных ученых.
В Российской Федерации (РФ) также разрабатываются системы учета результатов научно-исследовательской деятельности. В Федеральном законе № 127-ФЗ от 23.08.96 г. "О науке и государственной научно-технической политике" определены основные цели государственной научно-технической политики: развитие, рациональное размещение и эффективное использование научно-технического потенциала, увеличение вклада науки и техники в экономику государства, реализацию важнейших социальных задач, обеспечение прогрессивных структурных преобразований в области материального производства, повышение его эффективности и конкурентоспособности продукции, улучшение экологической обстановки и защиты информационных ресурсов государства, укрепление обороноспособности государства и безопасности личности, общества и государства, упрочение взаимосвязи науки и образования. Постановлением Правительства РФ от 8 апреля 2009 г. № 312 "Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения" утверждены Правила оценки результативности деятельности научных организаций. На основе предложенных показателей научные организации будут отнесены к одной из следующих категорий: 1-я категория — научные организации — лидеры; 2-я категория — стабильные научные организации, демонстрирующие удовлетворительную результативность; 3-я категория — научные организации, утратившие научный профиль и перспективы развития.
В связи с внедрением количественных подходов к оценке эффективности деятельности научных коллективов, качества научной продукции и выделенных на ее осуществление ресурсов и средств активно разрабатываются наукометрические системы [3]. Для наукометрического анализа, объектом которого выступает научная область или научно-исследовательское направление, предпочтительно использовать результаты анализа информационного потока научной продукции (журнальные публикации, патенты, диссертации, зарегистрированные технологии и др.). Журнальные статьи, как наиболее массовый вид публикаций, представляют большой интерес для анализа масштабов, структуры и источников развития исследований. Патент — разновидность научно-технической литературы, которая, с одной стороны, имеет интеллектуальную ценность, а с другой — позволяет определять появление новых технологических возможностей в той или иной области. Диссертация отражает этап квалификационного роста и суммарный вклад конкретного ученого. По совокупности диссертаций, выполненных в научном коллективе, можно оценивать развитие научной школы, как неформального творческого коллектива. Это важно при оценке кадрового потенциала науки.
Важной методической проблемой мониторинга документопотока является обеспечение высокого качества инструментария (процесс измерения, статистическая обработка результатов и их адекватная интерпретация). Информация, полученная в процессе исследования, должна быть обработана, структурирована и сформирована в виде баз данных. В мировом документопотоке научной информации наиболее известны два мощных наукометрических инструмента — Web of Science и Scopus. Первый — продукт Института научной информации США индексирует > 8700 периодических изданий, второй — продукт компании Elsevier мониторит более 15 тыс. действующих журналов. В обеих базах данных явно доминируют публикации на английском языке. Этот аспект не устраивает многих ученых и менеджеров науки, поэтому в разных странах и регионах разработаны свои системы наукометрии (Евросоюз, Россия, Китай, Япония и т. д.).
В России с 2005г активно развивается российский индекс научного цитирования (РИНЦ) — национальная информационно-аналитическая система предназначеная не только для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но и является мощным инструментом, позволяющим оценить результативность и эффективность деятельности научно-исследовательских организаций, ученых, определить уровень научных журналов и т. д. Ожидают, что этот инструмент уже в ближайшем будущем предоставит возможность объективного сравнения отечественных журналов с лучшими зарубежными изданиями.
РИНЦ функционирует на базе "Научной электронной библиотеки" (elibrary.ru) — крупнейшего российского информационного портала в области науки, технологии, медицины и образования. В ее базе данных по состоянию на 02.03.2012 число наименований журналов составило 31 498, из них российских — 7011, а по тематике "Медицина и здравоохранение" — 1017. В этой библиотеке общее число журнальных публикаций составляет 15 412 070, а общее число пристатейных ссылок — 102 099 351. Такой ресурс позволяет привязывать ссылки не только к российским, но и зарубежным источникам.
Изучение документопотока дает возможность обнаружить тенденции и определить темп развития конкретного научного направления, выявить наиболее эффективные научные коллективы [3-5].
С этими процессами тесно связана проблема совершенствования качества научного продукта. Некоторые эксперты по проблемам методологии науки отмечают, что современные исследования сильно подвержены случайным и систематическим ошибкам, имеют погрешности научного обоснования [6, 7]. Вред, приносимый ошибками такого рода, очевиден особенно в медицине: исследователь заявляет о "статистически достоверном" эффекте лечения, редактор помещает статью в журнал, а врач, неспособный критически оценить публикацию, применяет неэффективный метод лечения. В конце этой цепи находится больной, который и расплачивается за все, неоправданно рискуя и не получая действительно эффективного лечения. Не следует сбрасывать со счетов ущерб от самого факта проведения бессмысленных исследований. Деньги и подопытные животные приносятся в жертву науке, больные рискуют ради сбора ошибочно интерпретируемых данных [8].
Из этого следует, что качество научной медицинской информации (НМИ) — важнейшая потребительская характеристика — совокупность свойств, отражающих степень пригодности конкретной информации об объектах и их взаимосвязях для достижения целей, стоящих перед пользователем [9]. Качественную характеристику НМИ определяют такие свойства как актуальность, точность, достоверность, верифицируемость, репрезентативность, содержательность, достаточность, устойчивость, своевременность, доступность. НМИ составляют сведения из научных и профессиональных публикаций, отражающих адекватно современному состоянию медицинской науки и практики объективные закономерности развития областей и направлений медицины, здравоохранения, смежных фундаментальных и прикладных научных дисциплин.
Количество источников НМИ быстро растет, удваиваясь каждые 5-7 лет. Ежегодно в мире издается > 35 тыс. книг по медицине и здравоохранению, в т. ч. в РФ по разделу "Медицинская и спортивная литература" в 2008 г. вышло 6934 наименования брошюр и книг общим тиражом 32,1 млн экземпляров [10]. Фонд Центральной научной медицинской библиотеки (http: //www.scsml.rssi.ru) насчитывает 3 млн экземпляров отечественной и зарубежной медицинской литературы, в т. ч. научных трудов, переводов, диссертаций и их авторефератов, депонированных рукописей и т. д.
Количество медико-биологических журналов в современном обществе огромно и достигает нескольких десятков тысяч. Одновременно со стремительно увеличивающимся потоком медицинских публикаций возникают проблемы, среди которых особенно ощущаются затруднения в поиске информации и недопотребление ее, а также языковые и терминологические трудности вследствие расширения медицинской лексики и др. Необходимость изучения и решения указанных проблем привела к появлению специальной дисциплины — медицинской информатики, осуществляющей анализ и выработку новых технологий научно-информационной деятельности в отрасли на основе использования достижений информатики — науки, изучающей общие свойства и структуру научной информации, а также процессы ее создания, переработки и передачи.
Научно обоснованная медицинская информация необходима для принятия решений на любом из уровней управления здравоохранением и медицинской наукой. Однако, относительно недавно информацию стали рассматривать как общий и ценный ресурс, который необходимо планировать, регулировать, финансировать и возобновлять [11, 12]. В связи с этим в последнее время все чаще обращаются к изучению документопотока научной продукции на основе параметрических критериев. Разработаны показатели активности, воздействия и оперативности, индексы Прайса, Хирша, импакт-факторы, индикаторы результативности научной деятельности и др. Рассмотрим некоторые из них.
Показатель публикационной активности
Количественный анализ публикационной активности — самый простой и естественный подход к определению научного вклада. Это один из достоверных и наглядных индикаторов продуктивности ученого, научной
организации, отрасли науки. Он лежит в основе большинства формализованных систем оценки продуктивности научных кадров. Опубликованный научный труд (журнальная статья, книга и т. д.) помимо информационно-индикативной функции (оповещение научного сообщества о результатах научного поиска) закрепляет интеллектуальные права исследователя и отражает его отношение к труду предшественников посредством цитирования их работ. Опубликованные результаты научного поиска превращаются в частичку всемирного объема знаний.
Некоторые науковеды отмечают, что многие публикации остаются невостребованными [13, 14]. Среди причин невостребованности можно выделить сильное рассредоточение НМИ по увеличивающемуся числу изданий. В РФ по разделу "Кардиология" издаются > 20 научных журналов, ежегодно выпускаются > 10 сборников материалов научных конференций, а также множество руководств, монографий, учебников и др. Наконец, многие многопрофильные научные журналы имеют рубрику по кардиологии.
В преодолении этой проблемы крупные издательства и библиотечные фонды создают собственные базы данных и поисковые системы. Среди отечественных информационных ресурсов известны и наиболее популярны "Российская государственная библиотека" (http://www. rsl.ru), "Центральная научная медицинская библиотека Первого Московского государственного медицинского университета им. И.М. Сеченова" (http://www.scsml.rssi. ru), "Научная электронная библиотека" (http: //www. elibrary.ru), "Всероссийский институт научной и технической информации РАН" (http: //www.viniti.ru). Эти фонды входят в число организаций, в которые направляется обязательный экземпляр каждого вышедшего издания. Среди зарубежных библиотечных фондов отметим крупный специализированный информационный ресурс в области медицины "The U.S. National Library of Medicine" (http://www.ncbi.nlm.nih.gov/pubmed). Отмеченные информационные ресурсы позволяют заинтересованному лицу при удаленном доступе в режиме реального времени провести поиск по интересующей теме, автору, дате или периоду времени, ключевым словам и другим признакам. При этом часто предоставляется не только аннотация, но и открытый доступ к публикации. В этих же базах данных можно произвести библиографический поиск собственных научных трудов и убедится в их наличии и возможности визуализации.
Чтобы обеспечить наилучшую видимость своих научных сообщений врач-исследователь должен выработать стиль "публикационного поведения". При этом надо ориентироваться на специализированные журналы с высоким фактором влияния [15].
Индекс цитирования
Индекс цитирования (ИЦ) — принятая в научном сообществе мера значимости деятельности ученого. Величина ИЦ определяется количеством ссылок в других источниках. Библиографическая ссылка на источник — важная этико-правовая норма в сфере науки. Ссылки можно рассматривать как показатель научной коммуникации. Считается, что это объективный показатель, поскольку его невозможно "организовать" [14]. Статистика научного цитирования позволяет определить закономерности формирования науки, темпы развития научных школ, вероятные места "прорыва" в науке. Низкий коэффициент цитируемости журнала, ученого, научного коллектива свидетельствует об их малой значимости в научной среде. Высокая цитируемость статей обычно указывает на их полезность, однако низкий показатель цитируемости не отожествляет их малую ценность.
В области кардиоваскулярной патологии наиболее цитируемая статья Libby P, Ridker PM, Maseri A "Inflammation and atherosclerosis", вышедшая в журнале "Circulation" 2002. На это научное сообщение установлено 6117 ссылок. Статья находится в свободном доступе (circ.ahajournals.org/cgi/reprint/105/9/1135.pdf), и с ней можно ознакомиться.
Давность и структура ссылок на научные работы — информативные наукометрические показатели. Ссылки на новые работы характерны для молодых и быстро развивающихся научных направлений, а ориентация на архивные источники свидетельствует не только о существовании старых и нерешенных проблем, но иногда и об отставании исследовательских направлений.
Ссылки не только фиксируют связь той или иной работы со статьями предшественников, но и в неявной форме указывают на место и роль цитируемого автора в научном сообществе. Частота цитирования сильно коррелирует с известностью автора сообщения, наличием у него научных премий, поэтому частое цитирование можно считать признаком важности исследователя [15].
Показатель количества ссылок на публикации сотрудников (цитируемость) свидетельствует об авторитетности и важности коммуникаций внутри научной организации, взаимном научном интересе, развитии и устойчивости научной школы.
Индекс влияния издания
Индекс влияния издания (импакт-фактор, ИФ) — численный показатель важности научного журнала. Впервые этот показатель стали использовать в 1873 г. при анализе цитируемости юридической литературы. С 1960-х годов этот ИФ ежегодно рассчитывают по разным наукам в Институте научной информации (Institute for Scientific Information, ISI) и публикуют в "Journal Citation Report" (Thomson Scientific, USA).
В последнее время руководители и эксперты в области науки все чаще (в т. ч. и в РФ) обращаются к ИФ, определяя уровень журналов, качество статей, опубликованных в них, а также оценивая уровень конкурсных заявок на финансовую поддержу исследователей. Установлено, что ИФ журнала зависит от области исследований и его типа. Из года в год он может заметно меняться, опускаясь до предельно низких значений (например, при изменении названия журнала). Тем не менее, общепризнано, что ИФ — один из важных критериев, по которому можно сопоставлять уровень научных исследований в близких областях знаний. В 2009 г. наибольший ИФ среди медицинских периодических изданий был у "New England Journal of Medicine" (http://www.nejm. org) и составил 47,05.
Расчет ИФ основан на 3-летнем периоде. Например, ИФ журнала в 2011 г. (ИФ2011) —определяют по его деятельности в 2010 г. и вычисляют следующим образом: ИФ2011 = A/B, где A — число цитирований статей, опубликованных в этом журнале в 2008-2009 гг. и в течение 2010 года мониторируемых в определенной совокупности журналов; B — число статей, опубликованных в этом журнале в 2008-2009 гг. Из методики расчета следует, что ИФ издания тем выше, чем чаще авторы ссылаются на свежие публикации. Журналы с высоким ИФ обычноимеют жесткую и многоступенчатую систему отбора и рецензирования научных рукописей.
Расчет ИФ может осуществлять только крупный библиотечный фонд. В 2008 г. Институт научной информации производил мониторинг > 8400 журналов (в т. ч. по медицине — 2343) из 60 стран. В 2009 г. в Web of Science было включено 108 российских журналов, что составило 1,35 % от совокупности мониторируемых журналов и 3,6 % от всех журналов, выходящих в РФ. Эти факты заставляют задуматься о репрезентативности получаемых данных, т. к. подавляющая часть отечественных научных публикаций остается "невидимой". Причины этого явления как объективные, так и субъективные: языковый барьер, труднодоступность журналов, национальные особенности цитирования, локальная обособленность некоторых направлений науки и др.
Со сходными проблемами сталкиваются и в других неанглоязычных странах. В Web of Science представлено только 30 из 4 тыс. научных журналов, выходящих в Китае, т. е. < 1 %. Для решения проблемы объективной количественной оценки научных результатов в Китае еще в 1989г был создан собственный ИЦ Chinese Science Citation Index, охватывающий > 1 тыс. ведущих национальных журналов. Аналогичные проекты имеются в Японии (Citation Database for Japanese Papers), Тайване (Taiwan Humanities Citation Index) и Европе (Euro-Factor).
Практическое значение ИФ состоит в том, что он отражает вероятность цитирования материала, опубликованного в этом журнале. Например, если один автор опубликовал в 2009г только одну статью в журнале "Journal ofthe American College of Cardiology" (ИФ2009 = 12,535), то ожидаемое число ссылок ("отклик") на это сообщение будет 12-13. Если другой автор опубликовал в этом же году 10 статей, но в нескольких журналах со средним ИФ2009 = 0,25, то ожидаемый "отклик" составит 2-3 ссылки на все публикации. Таким образом, ИФ имеет численное выражение и его можно использовать для выявления воздействия ученого на научное сообщество, а также для сравнения его продуктивности с другими. Показатель научной продуктивности исследователя Индекс Хирша (ИХ, H-index) — показатель научной продуктивности исследователя, основанный на соотношении количества его публикаций и их цитирования. ИХ объективен при сравнении показателей деятельности ученых, работающих в одной области исследований. ИХ коррелирует с продолжительностью активной научной деятельности исследователя в годах. В видущих западных университетах считается, что ИХ > 10 баллов может быть одним из определяющих факторов в принятии решения о предоставлении исследователю карьерного и финансового приоритета в крупной исследовательской организации или университете.
ИХ является количественной характеристикой продуктивности ученого за весь период научной деятельности; он представлен в реферативных базах данных Scopus и Web of Science. Этот индекс можно также получить от крупных поставщиков информационных услуг и университетов: "Google" (http: //code.google.com/p/ citationsgadget/), "Lille University of Science and Technology" (http: //interaction.lille.inria.fr/~roussel/projects/ scholarindex/index.cgi), РИНЦ (http: //elibrary.ru). Используя доступ через "Google", было установлено, что авторы выше указанной статьи имеют очень высокие показатели ИХ: Libby P. — 146, Ridker P.M. — 119, MaseriA. — 85.
Следовательно, эти авторы — научные лидеры, существенно влияющие на формирование знания в научном сообществе.
К достоинствам ИХ относят то, что он отсеивает "случайных" соавторов; этот показатель высокий у тех авторов, которые имеют большое количество публикаций, и многие из них часто цитируются. Установлено, что ИХ будет одинаково низким как у автора одной сверхпопулярной статьи, так и у автора множества работ, процитированных не более одного раза. Однако этот индикатор может дать неверную оценку значимости исследователя. В частности, короткая карьера ученого приводит к недооценке его работ.
При обращении к общедоступным базам данных в Интернете следует учитывать, что данные этих сервисов могут быть неполными. У российских исследователей величина ИХ часто бывает занижена из-за особенностей транскрипции и перевода их фамилий и названий журналов.
Индекс оперативности
В наукометрии важно знать, насколько быстро распространяются в научном сообществе сведения о результатах научных исследований. Это отражает индекс оперативности (ИО). Его вычисляют как отношение числа полученных журналом в определенном году цитат к суммарному числу статей, вышедших за данный год в журнале [16]. По данным Web of Science [17], в 2006г было установлено, что в области медицины и здравоохранения 938 из 1835 публикаций оперативно отображались только в 10 % журналах с высокими ИФ. Это означает, что более половины документов публикуются в журналах высокого качества.
Из формулы расчета ИО также следует, что часто выпускаемые журналы могут иметь преимущество по этому показателю, потому что у статьи, опубликованной в начале года, есть больше шансов быть процитированной в этом же году. У многих журналов, которые издаются нечасто или в конце года, ИО низкий.
Показатель, отражающий быстроту цитирования Известность статьи в научном мире отражает показатель быстроты ее цитирования. Расчет этого индекса производят по формуле: IS=m/m*, где m — количество ссылок на литературу, изданную не более 5 лет назад; m* — количество ссылок на литературу, изданную не более года. Этот показатель можно использовать для изучения активности объекта (исследователя, издания и др.) на переднем крае науки.
Индекс Прайса
Индекс Прайса (ИП, IP) [18] вычисляют по формуле: IP = m/n, где m — количество ссылок на литературу, изданную < 5 лет; n — количество ссылок на литературу, изданную > 5 лет (архивную литературу). По этому показателю можно оценивать влияние журнала, научно-исследовательской организации, отдельного ученого (и даже отдельной страны) на фронт научных разработок. Изучение статистических данных показало, что ИП повсем типам наук составляет ~ 50 %. Низкий ИП указывает на особый тип исследований, при котором ученый усваивает сначала все известное по данному вопросу, потом дает усвоенному "созреть" в своем разуме и, наконец, извлекает из него новое решение.
Индекс самоцитирования
Индекс самоцитирования (ИСЦ) равен отношению числа ссылок в публикациях журнала на тот же самый журнал к общему числу цитирований, которые были произведены из этого журнала [16]. Иными словами, ИСЦ — это доля ссылок на журнал во всех сделанных цитированиях. Считается, что высокий ИСЦ свидетельствует о замкнутости и изолированности дисциплины, в которой специализируется издание [4]. Обнаружена закономерность: журналы с высоким ИСЦ — малоцити-руемые издания [16].
В научном сообществе отношение к цитированию собственных работ неоднозначное (чаще негативное). Встречаются публикации, когда пристатейный список литературы состоит преимущественно из перечисления трудов автора. Однако в научном мире принято при использовании научных данных, фактов и идей ссылаться на других авторов, используя систему библиографического описания источника, а результаты своих изысканий — доказывать статистически. Если автору необходимо отметить, что научное сообщение стало продолжением ранее опубликованного материала или показать какую-то другую связь, то следует прибегать к иным способам индикации собственных работ без включения ссылки в список литературы. Считается, что самоцитирование может существенно исказить общую картину описываемого явления.
Индекс долголетия научной информации Востребованность научной информации, продолжительность ее влияния отражает индекс полужизни публикации. Этот параметр то же основан на системе цитат-анализа. По числу ссылок можно определить, как быстро изменяется цитируемость, например, в 2 раза (период полужизни). Эта закономерность — аналог периода полураспада радиоактивных элементов — показатель, отражающий быстроту обновления знания, интенсивность прогресса. Для биомедицинской литературы он равен 3 годам (в основном за счет "короткоживущей" биологической литературы), в физике — 4,6 года, в математике — 10,5 года [15].
Показатель результативности научной деятельности
Показатель результативности научной деятельности (ПРНД) — комплексный индикатор оценки деятельности научных работников, определяемый на основе учета результатов их работы за предыдущие 2 года. Разработан в Российской академии наук. Введен приказом Минобрнауки России, Минздравсоцразвития России,
РАН от 03 ноября 2006г № 273 "Об утверждении видов, порядка и условий применения стимулирующих выплат, обеспечивающих повышение ПРНД научных работников и руководителей научных учреждений и научных работников научных центров Российской академии наук" (http: //www.edu.ru/db-mon/mo/Data/d_06/prm273-2.htm). Показатель рассчитывают по формуле:
ПРНД=kG+pM+rU+hD+sK+bP+gR,
где G — публикации в журналах; M — монографии; U — учебники; D — доклады на конференциях; K — научно-образовательные курсы; P — патенты; R — научное руководство; k, p, r, h, s, b, g — весовые коэффициенты, которые можно найти в приложении 2 к упомянутому выше приказу.
Заключение
Современный наукометрический подход позволяет составить общее представление о результатах научно-исследовательской деятельности в отрасли науки, научном коллективе, а также об использовании этих результатов в научном сообществе. Существенную помощь в этом оказывает Российский индекс научного цитирования (РИНЦ). Дальнейшее развитие средств электронного документооборота, систем анализа и визуализации потока научной продукции, расширение номенклатуры единиц учета, введение комплексных показателей будет способствовать объективизации оценки научно-исследовательской деятельности и профессионального влияния.
Практическое значение индикаторов состоит в том, что потребители НМИ (организаторы здравоохранения, менеджеры медицинской науки, практикующие врачи, научные работники и др.) вполне могут делать свой выбор, ориентируясь на наукометрические показатели изданий, т. к. журналы с высоким ИФ имеют жесткую систему отбора публикаций, выпускают высококачественную продукцию. По сравнению с зарубежными научными журналами, специализирующимися в области кардиологии, у отечественных изданий показатели ИФ ниже. В связи с этим издателям и редакторам в развитии качества своих научных журналов также необходимо опираться на наукометрические параметры. Современный подход к планированию издательской деятельности предполагает непрерывный процесс оценки уровня продукции и использование лучших достижений других организаций.
Литература
1. RAE Manager's Report April 2009. http: //www.rae.ac.uk/pubs/2009/ manager/manager. pdf.
2. Research Quality Framework: Assessing the quality and impact of research in Australia. 2006: URL: http: //www.dest.gov.au/NR/rdonlyres/EC11695D-B59D-4879-A84D-87004AA22FD2/14099/rqf_quality_metrics.pdf.
3. Markusova V.A. Who and how to measure science? Journal of Higher Education 2002; 12: 42-46. Russian (Маркусова В.А. Кто и как измеряет науку? Вест высшей школы 2002; 12: 42-6).
4. Price D.S. Trends in scientific communication. Communication in modern science: a collection of articles. M., 1976: 94. Russian (Прайс Д. С. Тенденции в развитии научной коммуникации. Коммуникация в современной науке: сб. статей. М. 1976; 94 с).
5. Rousseau R. Journal Evaluation: Technical and Practical Issues Library Trends 2002; 50(3): 418-39.
6. Bashchinskiy S.E. The quality of Russian scientific publications, which devoted to the curative and preventive interventions. International Journal of Medical Practice 2005; 1: 32-36. Rusian (Бащинский С.Е. Качество российских научных публикаций, посвященных лечебным и профилактическим вмешательствам. Междунар ж мед практики 2005; 1: 32-6).
7. Kudrina V.G. Assessment of the quality of research in the management of medical science. Abstract of doctoral thesis Medical Sciences. M., 1993: 4-5. Russian (Кудрина В.Г. Оценка качества исследований в управлении медицинской наукой. Автореф дис докт мед наук. Москва 1993.).
8. Glants S. Medical and Biological Statistics. M.: Praktika, 1998: 24-25. Russian. (Гланц С. Медико-биологическая статистика: Пер. с англ. М.: Практика 1998; 24-5).
9. Fomin V. N. Qualimetry. Quality management. Certification. Moscow: Os'-89, 2005: 384. Russian (Фомин В. Н. Квалиметрия. Управление качеством. Сертификация. М.: Ось-89 2005; 384 с).
10. Statistical indicators 2008 / Russian Book Chamber. 2009. bookchamber.ru/content/stat/stat_2008.html. Russian (Статистические показатели 2008 / Российская книжная палата. 2009: URL: http: //www.bookchamber.ru/content/stat/stat_2008.html).
11. Kaygorodova T.V. Scientific and information support for decision making in medicine and healthcare. Social Aspects of Health 2009; 12(4): 17. Russian (Кайгородова Т.В. Научно-информационное обеспечение принятия решений в медицине и здравоохранении. Соц аспекты здор насел 2009; 12(4): 17).
12. Bordons M., Fernandez M. T., Gomez I. Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country. Scientometrics 2002; 53 (2): 195-206.
13. Alferov A.A. Scientific and information. V: Karpov M.M., redaktor. Science and scientific creativity (collected scientific papers). Rostov-on-Don: Rostov University Pabl.; 1981: 5-22. Russian (Алферов А.А. Ученый и информация. В: Карпов М.М., редактор. Наука и научное творчество (сборник научных трудов). Ростов-на-Дону: Изд-во Ростовского ун-та 1981; 5-22).
14. Zorin N.A. Scientometrics in Medicine. International Journal of Medical Practice 2006; 5: 18-36. Russian (Зорин Н.А. Наукометрия в медицине. Междунар ж мед практики 2006; 5: 18-36).
15. Vlasov V.V. Significance of scientific publication in professional journals. Korsakov Journal of Neurology and Psychiatry 2010; 7: 86-89. Russian (Власов В.В. Значение научных публикаций в специализированных журналах. Ж неврол психиат 2010; 7: 86-9).
16. Pislyakov V.V. Evaluation of scientific knowledge based on citation indexes. Sociological Journal 2007;1:128-140. Russian (Писляков В.В. Методы оценки научного знания по показателям цитирования. Социолог ж 2007; 1: 128-140).
17. Bibliometric Analysis for the U.S. Environmental Protection Agency/Office of Research and Development's Human Health Research Program. 2006. http: //www.epa.gov/hhrp/files/human_health_bibliometric_analysis.pdf.
18. Price D.S. Quotas of citations in the exact and inexact science, technology and non-science. Problems of Philosophy 1971; 3: 149-155. Russian (Прайс Д.С. Квоты цитирования в точных и неточных науках, технике и ненауке. Вопр филос 1971; 3: 149-55).
