gpntbНаучные и технические библиотекиScientific and Technical Libraries1027-36892686-8601Russian National Public Library for Science and Technology10.33186/1027-3689-2021-11-25-40gpntb-859Research ArticleБИБЛИОТЕКОВЕДЕНИЕ. ДОКУМЕНТОВЕДЕНИЕLIBRARY STUDIES. DOCUMENTOLOGYДоказательная функция систематических обзоров научной литературы: эпистемологические основы и их методические следствияEvidentiary function of systematic reviews of scientific literature: Epistemological foundations and methodological derivativesБабичН. С.BabichN. S.

Бабич Николай Сергеевич – канд. социол. наук, старший научный сотрудник

Москва

Nikolay S. Babich – Cand. Sc. (Sociology), Senior Researcher

Moscow

sociolog@mail.ruИнститут социологии Федерального научно-исследовательского социологического центра РАНРоссияInstitute of Sociology, Federal Research Sociological Center of the Russian Academy of SciencesRussian Federation2021301220210112540Copyright © Бабич Н.С., 20212021Бабич Н.С.Babich N.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntb.gpntb.ru/jour/article/view/859

Проанализированы неявные эпистемологические допущения, лежащие в основе современной практики систематических обзоров научной литературы, но обычно не рассматриваемые и не проблематизируемые. Показаны основания формирования образа научной коммуникации как репрезентативного, чётко очерченного и достаточно легко поддающегося анализу отражения эффективного процесса поиска и распространения истины, приближение к которой характеризуется повышением уровня согласия исследователей. Обобщение именно такой коммуникации обладает доказательной силой и может служить для аргументации позиций в научной дискуссии. Но для сохранения доказательной силы при проведении обобщающего анализа требуется выполнение ряда условий, обеспечивающих адекватную конвертацию, «перенос» выводов, встречающихся в публикациях, в выводы систематического обзора. Необходимые элементы методики систематических обзоров, обеспечивающие корректность переноса, включают в себя: постановку задачи получения квантифицированных результатов; критерии отбора, обеспечивающие взаимно-однозначное соответствие между моделью исследуемого процесса научного поиска и совокупностью публикаций; репрезентативное наблюдение релевантных публикаций и формулирование выводов с учётом сравнительной доказательной силы исследований и достигнутого уровня согласия. Соответствие систематических обзоров этим методическим требованиям превращает их в мощный инструмент доказательства в социальных науках, биологии и медицине.

The author analyzes implicit epistemological assumptions of the modern systematic reviews of scientific literatures that usually are left unconsidered or problematized. The foundations for building the image of scientific communication as representative, clearly cut and easily analyzed reflection of efficient search for and spread of truth which approaching is characterized by increased explorers’ consent. Generalization of this communication brings the evidential effect to advance argument in scientific discussions. However, a series of conditions for adequate conversion and «migration» of published conclusions into the conclusions of systematic review has to be provided to preserve evidential effect in summarizing analysis. The essential components of systematic reviewing methodology comprise: setting the task of obtaining quantified results; selection criteria for unambiguous correspondence between the model of process under scientific investigation and totality of publications; representative observation of relevant publications and making conclusions based on comparative evidential effect of research and consent level achieved. The systematic reviews compliant with the above requirements make them a powerful instrument of evidence in the social sciences, biology and medicine.

систематический обзорфункции наукинаука как социальная системаанализ научных публикацийдоказательстваsystematic reviewscience functionsscience as a social systemanalysis of scientific publicationevidenceReferencesЛаврик О. Л., Калюжная Т. А., Плешакова М. А. Систематический обзор как вид обзорно-аналитических продуктов / О. Л. Лаврик, Т. А. Калюжная, М. А. Плешакова // Библиосфера. – 2019. – № 2. – С. 33–51.Lavrik O. L., Kalyuzhnaya T. A., Pleshakova M. A. Sistematicheskiy obzor kak vid obzorno-analiticheskih produktov / O. L. Lavrik, T. A. Kalyuzhnaya, M. A. Pleshakova // Bibliosfera. – 2019. – № 2. – S. 33–51.Лаврик О. Л., Калюжная Т. А., Плешакова М. А. Информационно-аналитические продукты в научных библиотеках для информационного обеспечения НИР / О. Л. Лаврик, Т. А. Калюжная, М. А. Плешакова // Вестн. Том. гос. ун-та. Культурология и искусствоведение. – 2018. – № 4. – С. 186–201.Lavrik O. L., Kalyuzhnaya T. A., Pleshakova M. A. Informatsionno-analiticheskie produkty v nauchnyh bibliotekah dlya informatsionnogo obespecheniya NIR / O. L. Lavrik, T. A. Kalyuzhnaya, M. A. Pleshakova // Vestn. Tom. gos. un-ta. Kulturologiya i iskusstvovedenie. – 2018. – № 4. – S. 186–201.Власов В. В. Осторожно: человек! Систематический обзор как средство от опасных вмешательств / В. В. Власов // Человек. – 2005. – № 3. – С. 121–129.Vlasov V. V. Ostorozhno: chelovek! Sistematicheskiy obzor kak sredstvo ot opasnyh vmeshatelstv / V. V. Vlasov // Chelovek. – 2005. – № 3. – S. 121–129.Marsh K. The role of review and synthesis methods in decision models / K. Marsh // Evidence-based decisions and economics: health care, social welfare, education and criminal justice. – Oxford : Wiley-Blackwell, 2010. – P. 8–22.Marsh K. The role of review and synthesis methods in decision models / K. Marsh // Evidence-based decisions and economics: health care, social welfare, education and criminal justice. – Oxford : Wiley-Blackwell, 2010. – P. 8–22.Khan K., Kunz R., Kleijnen J., Antes G. Systematic reviews to support evidencebased medicine / K. Khan, R. Kunz, J. Kleijnen, G. Antes. – London : CRC press, 2011. – 224 p.Khan K., Kunz R., Kleijnen J., Antes G. Systematic reviews to support evidencebased medicine / K. Khan, R. Kunz, J. Kleijnen, G. Antes. – London : CRC press, 2011. – 224 p.Shemilt I., Mugford M., Vale L., Marsh K., Donaldson C., Drummond M. Evidence synthesis, economics and public policy / I. Shemilt, M. Mugford, L. Vale, K. Marsh, C. Donaldson, M. Drummond // Research synthesis methods. – 2010. – № 2. – P. 126–135. – doi: 10.1002/jrsm.14.Shemilt I., Mugford M., Vale L., Marsh K., Donaldson C., Drummond M. Evidence synthesis, economics and public policy / I. Shemilt, M. Mugford, L. Vale, K. Marsh, C. Donaldson, M. Drummond // Research synthesis methods. – 2010. – № 2. – P. 126–135. – doi: 10.1002/jrsm.14.Pawson R. Evidence-based policy: a realist perspective / R. Pawson. – London : Sage, 2006. – 208 p.Pawson R. Evidence-based policy: a realist perspective / R. Pawson. – London : Sage, 2006. – 208 p.Tranfield D., Denyer D., Smart P. Towards a methodology for developing evidence‐informed management knowledge by means of systematic review / D. Tranfield, D. Denyer D., P. Smart // British journal of management. – 2003. – № 3. – P. 207–222. – doi: 10.1111/1467-8551.00375.Tranfield D., Denyer D., Smart P. Towards a methodology for developing evidence‐informed management knowledge by means of systematic review / D. Tranfield, D. Denyer D., P. Smart // British journal of management. – 2003. – № 3. – P. 207–222. – doi: 10.1111/1467-8551.00375.Baba V. V., Hakem Zadeh F. Toward a theory of evidence based decision making / V. V. Baba, F. Hakem Zadeh // Management decision. – 2012. – № 5. – P. 832–867. – doi: 10.1108/00251741211227546.Baba V. V., Hakem Zadeh F. Toward a theory of evidence based decision making / V. V. Baba, F. Hakem Zadeh // Management decision. – 2012. – № 5. – P. 832–867. – doi: 10.1108/00251741211227546.Briner R. B., Denyer D. Systematic review and evidence synthesis as a practice and scholarship t ool / R. B. Briner, D. Denyer // Oxford handbook of evidence-based management. – Oxford : Oxford University Press, 2012. – P. 112–129.Briner R. B., Denyer D. Systematic review and evidence synthesis as a practice and scholarship tool / R. B. Briner, D. Denyer // Oxford handbook of evidence-based management. – Oxford : Oxford University Press, 2012. – P. 112–129.Petrosino A., Lavenberg J. Systematic reviews and meta-analyses: Best evidence on what works for criminal justice decision makers / A. Petrosino, J. Lavenberg // Western criminology review. – 2007. – № 1. – P. 1–15.Petrosino A., Lavenberg J. Systematic reviews and meta-analyses: Best evidence on what works for criminal justice decision makers / A. Petrosino, J. Lavenberg // Western criminology review. – 2007. – № 1. – P. 1–15.Lösel F. Evidence comes by replication, but needs differentiation: the reproducibility issue in science and its relevance for criminology / F. Lösel // Journal of experimental criminology. – 2018. – № 3. – P. 257–278. – doi: 10.1007/S11292-017-9297-Z.Lösel F. Evidence comes by replication, but needs differentiation: the reproducibility issue in science and its relevance for criminology / F. Lösel // Journal of experimental criminology. – 2018. – № 3. – P. 257–278. – doi: 10.1007/S11292-017-9297-Z.Neyroud P. Systematic reviews: «Better evidence for a better world» / P. Neyroud // Evidence based policing: An introduction. – Bristol : Policy press, 2019. – P. 103–116.Neyroud P. Systematic reviews: «Better evidence for a better world» / P. Neyroud // Evidence based policing: An introduction. – Bristol : Policy press, 2019. – P. 103–116.Rubin A. Practitioner's guide to using research for evidence-based practice / A. Rubin. – Hoboken : John Wiley & Sons, 2008. – 388 p.Rubin A. Practitioner's guide to using research for evidence-based practice / A. Rubin. – Hoboken : John Wiley & Sons, 2008. – 388 p.Hoffmann T., Bennett S., Del Mar C. Evidence-based practice across the health professions / T. Hoffmann, S. Bennett, C. Del Mar. – Sydney : Elsevier, 2010. – 470 p.Hoffmann T., Bennett S., Del Mar C. Evidence-based practice across the health professions / T. Hoffmann, S. Bennett, C. Del Mar. – Sydney : Elsevier, 2010. – 470 p.Mudford O. C., McNaill R., Walton L., Phillips K. J. Rationale and standards of evidence in evidence – based practice / O. C. Mudford, R. McNaill, L. Walton, K. J. Phillips // Handbook of evidence – based practice in clinical psychology. – Vol. 1. – Hoboken : John Wiley & Sons, 2012. – P. 3–26.Mudford O. C., McNaill R., Walton L., Phillips K. J. Rationale and standards of evidence in evidence‐based practice / O. C. Mudford, R. McNaill, L. W alton, K. J. Phillips // Handbook of evidence‐based practice in clinical psychology. – Vol. 1. – Hoboken : John Wiley & Sons, 2012. – P. 3–26.Movsisyan A., Dennis J., Rehfuess E., Grant, S., Montgomery P. Rating the quality of a body of evidence on the effectiveness of health and social interventions: A systematic review and mapping of evidence domains / A. Movsisyan, J. Dennis, E. Rehfuess, S. Grant, P. Montgomery // Research synthesis methods. – 2018. – № 2. – P. 224–242. – doi: 10.1002/jrsm.1290.Movsisyan A., Dennis J., Rehfuess E., Grant, S., Montgomery P. Rating the quality of a body of evidence on the effectiveness of health and social interventions: A systematic review and mapping of evidence domains / A. Movsisyan, J. Dennis, E. Rehfuess, S. Grant, P. Montgomery // Research synthesis methods. – 2018. – № 2. – P. 224–242. – doi: 10.1002/jrsm.1290.Glasziou P., Irwig L., Bain C., Colditz G. Systematic reviews in health care: A practical guide / P. Glasziou, L. Irwig, C. Bain, G. Colditz. – Cambridge : Cambridge University Press, 2001. – 148 p. – doi: 10.1017/CBO9780511543500.Glasziou P., Irwig L., Bain C., Colditz G. Systematic reviews in health care: A practical guide / P. Glasziou, L. Irwig, C. Bain, G. Colditz. – Cambridge : Cambridge University Press, 2001. – 148 p. – doi: 10.1017/CBO9780511543500.Torgerson C. Systematic reviews / C. Torgerson. – L. : Continuum, 2003. – 114 p.Torgerson C. Systematic reviews / C. Torgerson. – L. : Continuum, 2003. – 114 p.Petticrew M., Roberts H. Systematic reviews in the social sciences: a practical guide / M. Petticrew, H. Roberts. – Oxford : Blackwell, 2006. – 336 p.Petticrew M., Roberts H. Systematic reviews in the social sciences: a practical guide / M. Petticrew, H. Roberts. – Oxford : Blackwell, 2006. – 336 p.Hammersley M. On «systematic» reviews of research literatures: a «narrative» response to Evans & Benefield / M. Hammersley // British educational research journal. – 2001. – № 5. – P. 543–554. – doi: 10.1080/01411920120095726.Hammersley M. On «systematic» reviews of research literatures: a «narrative» response to Evans & Benefield / M. Hammersley // British educational research journal. – 2001. – № 5. – P. 543–554. – doi: 10.1080/01411920120095726.Olshansky A., Peaslee R. M., Landrum A. R. Flat-Smacked! Converting to flat eartherism / A. Olshansky, R. M. Peaslee, A. R. Landrum // Journal of media and religion. – 2020. – № 2. – P. 46–59. – doi: 10.1080/15348423.2020.1774257.Olshansky A., Peaslee R. M., Landrum A. R. Flat-Smacked! Converting to flat eartherism / A. Olshansky, R. M. Peaslee, A. R. Landrum // Journal of media and religion. – 2020. – № 2. – P. 46–59. – doi: 10.1080/15348423.2020.1774257.Clark M. A., Domingo N. G. G., Colgan K., Thakrar S. K., Tilman D., Lynch J., Azevedo I. L., Hill J. D. Global food system emissions could preclude achieving the 1.5 and 2 C climate change targets / M. A. Clark, N. G. G. Domingo, K. Colgan, S. K. Thakrar, D. Tilman, J. Lynch, I. L. Azevedo, J. D. Hill // Science. – 2020. – № 6517. – P. 705–708. – doi: 10.1126/science.aba7357.Clark M. A., Domingo N. G. G., Colgan K., Thakrar S. K., Tilman D., Lynch J., Azevedo I. L., Hill J. D. Global food system emissions could preclude achieving the 1.5 and 2 °C climate change targets / M. A. Clark, N. G. G. Domingo, K. Colgan, S. K. Thakrar, D. Tilman, J. Lynch, I. L. Azevedo, J. D. Hill // Science. – 2020. – № 6517. – P. 705–708. – doi: 10.1126/science.aba7357.Lesnikowski A., Ford J., Biesbroek R., Berrang-Ford L., Maillet M., Araos M., Austin S. E. What does the Paris Agreement mean for adaptation? / A. Lesnikowski, J. Ford, R. Biesbroek, L. Berrang-Ford, M. Maillet, M. Araos, S. E. Austin // Climate policy. – 2017. – № 7. – P. 825–831. – doi: 10.1080/14693062.2016.1248889.Lesnikowski A., Ford J., Biesbroek R., Berrang-Ford L., Maillet M., Araos M., Austin S. E. What does the Paris Agreement mean for adaptation? / A. Lesnikowski, J. Ford, R. Biesbroek, L. Berrang-Ford, M. Maillet, M. Araos, S. E. Austin // Climate policy. – 2017. – № 7. – P. 825–831. – doi: 10.1080/14693062.2016.1248889.Prothero D. R. Reality check: how science deniers threaten our future / D. R. Prothero. – Indianapolis : Indiana University Press, 2013. – 392 p.Prothero D. R. Reality check: how science deniers threaten our future / D. R. Prothero. – Indianapolis : Indiana University Press, 2013. – 392 p.Parker S., Racz M. Affective and effective truths: Rhetoric, normativity and critical management studies / S. Parker, M. Racz // Organization. 2020. – № 3. – P. 454–465. – doi: 10.1177/1350508419855717.Parker S., Racz M. Affective and effective truths: Rhetoric, normativity and critical management studies / S. Parker, M. Racz // Organization. 2020. – № 3. – P. 454–465. – doi: 10.1177/1350508419855717.Tol R. S. J. Quantifying the consensus on anthropogenic global warming in the literature: A re-analysis / R. S. J. Tol // Energy Policy. – 2014. – Vol. 73. – P. 701–705. – doi: 10.1016/j.enpol.2014.04.045.Tol R. S. J. Quantifying the consensus on anthropogenic global warming in the literature: A re-analysis / R. S. J. Tol // Energy Policy. – 2014. – Vol. 73. – P. 701–705. – doi: 10.1016/j.enpol.2014.04.045.Ollier C. Lysenkoism and global warming / C. Ollier // Energy & environment. – 2009. – № 1. – P. 197–200. – doi: 10.1260/095830509787689259.Ollier C. Lysenkoism and global warming / C. Ollier // Energy & environment. – 2009. – № 1. – P. 197–200. – doi: 10.1260/095830509787689259.Cook J., Nuccitelli D., Green S. A., Richardson M., Winkler B., Painting R., Way R., Jacobs P., Skuce A. Quantifying the consensus on anthropogenic global warming in the scientific l iterature / J. Cook, D . N uccitelli, S . A. G reen, M . R ichardson, B. Winkler, R. Painting, R. Way, P. Jacobs, A. Skuce // Environmental research letters. – 2013. – № 2. – URL: https://iopscience.iop.org/article/10.1088/1748-9326/8/2/024024.Cook J., Nuccitelli D., Green S. A., Richardson M., Winkler B., Painting R., Way R., Jacobs P., Skuce A. Quantifying the consensus on anthropogenic global warming in the scientific l iterature / J. Cook, D . N uccitelli, S . A. G reen, M . R ichardson, B. Winkler, R . Painting, R. Way, P. Jacobs, A. Skuce // Environmental research letters. – 2013. – № 2. – URL: https://iopscience.iop.org/article/10.1088/1748-9326/8/2/024024.Мертон Р. К. Социальная теория и социальная структура / Р. К. Мертон. – Москва : АСТ, 2006. – 873 с.Merton R. K. Sotsialnaya teoriya i sotsialnaya struktura / R. K. Merton. – Moskva : AST, 2006. – 873 s.Bronson D. E., Davis T. S. Finding and evaluating evidence: systematic reviews and evidence-based practice / D. E. Bronson, T. S. Davis. – Oxford : Oxford University Press, 2012. – 112 p.Bronson D. E., Davis T. S. Finding and evaluating evidence: systematic reviews and evidence-based practice / D. E. Bronson, T. S. Davis. – Oxford : Oxford University Press, 2012. – 112 p.Booth A., Sutton A., Papaioannou D. Systematic approaches to a successful literature review / A. Booth, A. Sutton, D. Papaioannou. – Los Angeles : Sage, 2016. – 288 p.Booth A., Sutton A., Papaioannou D. Systematic approaches to a successful literature review / A. Booth, A. Sutton, D. Papaioannou. – Los Angeles : Sage, 2016. – 288 p.Астахова Л. В. Трансформация деятельности научных библиотек в контексте концепции библиографии как системы свёрнутого знания / Л. В. Астахова // Науч. и техн. б-ки. – 2020. – №. 1. – С. 45–59.Astahova L. V. Transformatsiya deyatelnosti nauchnyh bibliotek v kontekste kontseptsii bibliografii kak sistemy svernutogo znaniya / L. V. Astahova // Nauch. itehn. b-ki. – 2020. – №. 1. – S. 45–59.Берка К. Измерения: понятия, теории, проблемы / К. Берка. – Москва : Прогресс, 1987. – 320 с.Berka K. Izmereniya: ponyatiya, teorii, problemy / K. Berka. – Moskva : Progress, 1987. – 320 s.Berlin J. A., Ghersi D. Preventing publication bias: registries and prospective metaanalysis / J. A. Berlin, D. Ghersi // Publication bias in meta-analysis: prevention, assessment and adjustments. – Hoboken : Wiley, 2005. – P. 35–49. – doi: 10.1002/0470870168.ch3.Berlin J. A., Ghersi D. Preventing publication bias: registries and prospective metaanalysis / J. A. Berlin, D. Ghersi // Publication bias in meta-analysis: prevention, assessment and adjustments. – Hoboken : Wiley, 2005. – P. 35–49. – doi: 10.1002/0470870168.ch3.Моисеев С. П., Мальцева Д. В. Отбор источников для систематического обзора литературы: сравнение экспертного и алгоритмического п одходов / С . П . М оисеев, Д. В. Мальцева // Социология: методология, методы, математическое моделирование. – 2018. – № 47. – С. 7–43.Moiseev S. P., Maltseva D. V. Otbor istochnikov dlya sistematicheskogo obzora literatury: sravnenie ekspertnogo i algoritmicheskogo podhodov / S. P. Moiseev, D. V. Maltseva // Sotsiologiya: metodologiya, metody, matematicheskoe modelirovanie. – 2018. – № 47. – S. 7–43.Hedges L. V., Olkin I. Vote-counting methods in research synthesis / L. V. Hedges, I. Olkin // Psychological bulletin. – 1980. – № 2. – P. 359–369.Hedges L. V., Olkin I. Vote-counting methods in research synthesis / L. V. Hedges, I. Olkin // Psychological bulletin. – 1980. – № 2. – P. 359–369.

The authors declare that there are no conflicts of interest present.