ICrESAI-IMeCI: instrumentos para elegir y evaluar artículos científicos para la investigación y la práctica basada en evidencia

Abstract

Objetivo: el incremento en la producción de conocimiento representa para los científicos una preocupación, dado que diariamente se enfrentan a la decisión de elegir la literatura de mayor mérito científico para respaldar la toma de decisiones para la investigación y la práctica. La presente investigación tiene por objeto construir dos instrumentos registrados4, con propiedades psicométricas, validez facial y validez de contenido. Materiales y métodos: para el Instrumento de Criterios de Elegibilidad de los Artículos de Investigación para el Metaanálisis (ICrESAI) se proponen los criterios que se deben evaluar para determinar cuáles artículos de investigación deben ser elegibles para una revisión sistemática (RS) o metaanálisis (MA); así mismo, se calculó la fiabilidad interevaluador. El segundo es el Instrumento de Criterios para Evaluar el Mérito Científico de los Artículos Seleccionados para el Metaanálisis (IMeCI), el cual propone criterios que se deben evaluar para calificar el mérito científico y la calidad metodológica de los artículos seleccionados para adelantar una RS. Los cálculos para validez facial y de contenido se hicieron con tres investigadores expertos en metodología de la investigación y en medición. La validez de contenido se calculó con el Índice de Lawshe Modificado (Tristán-López, 2008), y la fiabilidad intercodificador se midió para variables cualitativas con el Índice de Kappa de Cohen. Resultados: el instrumento ICrESAI obtuvo un índice de validez de contenido (CVI) de 1,0. Para el instrumento IMeCI, el CVI fue de 0,75. En el instrumento ICrESAI los valores para el índice de fiabilidad o concordancia intercodificador estuvieron entre 0,547 y 0,973, considerados buenos de acuerdo con la interpretación propuesta por Cohen. Conclusiones: los dos instrumentos generados cuentan con validez (CVI y Lawshe) para realizar la selección y evaluación del mérito científico de las piezas de investigación. Estas dos herramientas son útiles en el estudio de cualquier área temática y al orientar el uso de la información para la toma de decisiones en la investigación y la práctica basada en evidencia.

Objective: The increase in the production of scientific knowledge is of concern to scientists, who must decide daily on selecting literature of utmost scientific merit to support decision- making on research and practice The purpose of this study is to construct two registered instruments5 with psychometric properties, face validity and content validity. Materials and Methods: The Research Article Eligibility Criteria Instrument (ICrESAI) proposes standards to be assessed to determine which research papers should be eligible for a systematic review (SR) or meta-analysis (MA). Inter-reevaluator reliability was calculated as well. The second instrument involves Criteria for Evaluating the Scientific Merit of Articles Selected for Meta-analysis (IMeCI) , which proposes standards to be evaluated to rate the scientific merit and methodological quality of the articles selected for a SR. The estimates for face and content validity were made with three researchers who are experts in research methodology and measurement. Content validity was calculated using the Modified Lawshe Index (Tristán -López, 2008) and inter-codifier reliability was measured for qualitative variables using Cohen’s Kappa Index. Results: The ICrESAI instrument obtained a content validity index (CVI) of 1.0 . The CVI for the IMeCI instrument was 0.75. With the ICrESAI instru- ment, the values for the inter-codifier reliability or concordance index were between 0.547 and 0.973, which is considered good according to the interpretation proposed by Cohen. Conclusions: Both instruments are valid (CVI and Lawshe) for selecting and evaluating the scientific merit of research articles. These two tools are useful to the study of any subject area and to guide the use of information for decision-making in research and evidence-based practice.

Objetivos: o aumento na produção de conhecimento representa para os cientistas uma preocupação porque diariamente lidam com a decisão de escolher a literatura de maior mérito científico para respaldar a tomada de decisões para a pesquisa e prática. Esta pes- quisa tem por objetivo construir dois instrumentos registrados6, com propriedades psicométricas, validade facial e validez de conteúdo. Materiais e métodos: para o Instrumento de Critérios de Escolha dos Artigos de Pesquisa para a Meta-análise (IcresaI), propõem-se os critérios que se devem avaliar para determinar quais artigos de pesquisa devem ser eleitos para uma revisão sistemática (rs) ou meta- análise (ma); além disso, calculou-se a fiabilidade interavaliador. O segundo é o Instrumento de Critérios para Avaliar o Mérito Científico dos Artigos Selecionados para a Meta-análise (ImecI), o qual propõe critérios que se devem avaliar para qualificar o mérito científico e a qualidade metodológica dos artigos selecionados para realizar uma rs. Os cálculos para validade facial e de conteúdo foram feitos com três pesquisadores especialistas em metodologia da pesquisa e em medição. A validade de conteúdo foi calculada com o Índice de Lawshe Modificado (Tristán-López, 2008), e a fiabilidade intercodificador foi medida para variáveis qualitativas com o Índice de Kappa de Cohen. Resultados: o instrumento IcresaI obteve um índice de validade de conteúdo (cvI) de 1,0. Para o instrumento ImecI, o cvI foi de 0,75. No instrumento IcresaI os valores para o índice de fiabilidade ou concordância intercodificador estiveram entre 0,547 e 0,973, considerados bons de acordo com a interpretação proposta por Cohen. Conclusões: os dois instrumentos gerados possuem validade (cvI e Lawshe) para realizar a seleção e avaliação do mérito científico das peças da pesquisa. Estas duas ferramentas são úteis no estudo de qualquer área temática e na orientação do uso da informação para a tomada de decisões em pesquisa e prática baseada em evidência.