Nuestra Metodología

Una de las pruebas más importantes del valor de una encuesta es la “prueba del olfato”. Todos aprendimos esta prueba de nuestras madres. Las madres tienen un sentido del olfato muy desarrollado y podrían contar con un olorcillo cuando no nos habíamos bañado, habíamos estado alrededor de alguien que había estado fumando, y saber lo que habíamos estado comiendo. 

De la misma manera una investigación debe pasar la prueba del olfato. Tanto los resultados y cómo se realizó la investigación deben tener sentido y no insinuar ninguna tendencia cuando el lector obtiene un olorcillo. Desde el principio decidimos ser transparente sobre la metodología de este estudio. Así que en varias etapas a lo largo del camino, buscamos el asesoramiento de expertos para poner a prueba nuestro proceso. Proporcionar un proceso abierto no sólo se realiza para hacer un mejor estudio, sino que también deben permitir a los participantes y a usted, el lector, a tener confianza en el trabajo a través de cada fase. Tenga en cuenta: si alguien no le dice lo que sabe, usted podría preguntarse si realmente ellos saben. 

Este es el proceso que usamos para desarrollar y probar la investigación del instrumento de evaluación de la Iglesia Transformacional. 

Fase 1: Identificar las Iglesias para Tener un Conocimiento más Profundo

El primer paso de la investigación fue un estudio cuantitativo de las iglesias protestantes. Entre los primeros siete mil pastores que completaron la encuesta cuantitativa, sus iglesias eran de 123 denominaciones diferentes como se indica en nuestra muestra. Dentro de la encuesta teníamos una lista más corta para elegir, que demostró que el 6 por ciento de los participantes no eran parte de una denominación (o no tenían conexión o afinidad con ningún grupo de denominaciones, como por ejemplo las redes fundamentalistas independientes). El objetivo era establecer puntos de referencia de métricas clave, pero lo más importante fue identificar las mejores iglesias. Estas iglesias serían la fuente de conocimientos/ideas adicionales en la Fase 2. 

Una lista de llamadas fue elaborada al azar de una lista de todas las iglesias protestantes en los Estados Unidos de América. Hasta seis llamadas se hicieron a un número de teléfono del muestreo. Cada entrevista se llevó a cabo con el pastor principal, ministro o sacerdote de la iglesia llamada. Las llamadas se realizaron en ondas de mil entrevistas completas trabajando a través de una porción de la muestra en cada ola en forma sistemática con las cuotas de acuerdo al tamaño de la iglesia (tamaños de las iglesias eran proporcionales al tamaño normal de las iglesias de los Estados Unidos). Las llamadas fueron realizadas en un centro de llamadas profesional bajo supervisores con experiencia en este tipo de llamadas. 

Después de analizar las respuestas del estudio, se utilizaron los siguientes criterios para determinar las iglesias más eficaces entre las 4,006 iglesias que fueron entrevistadas en las cuatro primeras olas de la Fase 1. Para ayudar a las iglesias de reclutamiento seguir hacia la Fase 3, un total de siete mil pastores finalmente completaron las preguntas de la Fase 1. 

  • El pastor debe estar totalmente de acuerdo que “nuestra iglesia considera las Escrituras como la autoridad para nuestra iglesia y nuestras vidas”.
  • La iglesia debe haber crecido al menos un 10 por ciento comparando la asistencia en el culto actual de adoración con la asistencia en el culto de adoración en los cinco años anteriores.
  • Debido a la volatilidad de los números de crecimiento de la iglesia en las iglesias pequeñas (por ejemplo, una familia que viene o se va después, tiene un gran impacto en el crecimiento porcentual), la iglesia debe tener actualmente un mínimo de cincuenta en asistencia en el culto de adoración.
  • La iglesia no puede faltar más de una respuesta entre las diez preguntas de la encuesta.
  • La iglesia nos ha dado permiso para comunicarnos con ellos para poder hacer nuevas investigaciones sobre la salud de la iglesia.
  • El criterio que quedaba era una puntuación basada en las clasificaciones de cada una de las siguientes siete áreas:
      1. Porcentaje de crecimiento de la asistencia en el culto de adoración (actual vs. cinco años anteriores).
      2. Porcentaje de asistencia en el culto de adoración involucrada en algún pequeño grupo, la clase de la Escuela Dominical o un grupo similar
      3. Nuevos compromisos por cada participante (nuevos creyentes en Jesús como su Salvador personal a través de su iglesia en los últimos doce meses dividido por el promedio de asistencia actual al culto de adoración).
      4. Porcentaje de nuevos creyentes en Jesús, que también son activos en la vida de su iglesia (en los últimos doce meses).
      5. Porcentaje de adultos que asisten a su iglesia por lo menos una vez al mes que tienen responsabilidades regulares en su iglesia.
      6. Porcentaje de adultos que asisten a su iglesia por lo menos una vez al mes que están involucrados en los ministerios o los proyectos que ayudan a las personas de su comunidad que no están asociadas con su iglesia.
      7. Nivel de acuerdo con la afirmación: “Estamos constantemente escuchando reportes de vidas cambiadas en nuestra iglesia.”

Como usted puede ver, estábamos buscando la manera para poder cambiar la manera de hacer las medidas. No estábamos diciendo que cosas como la asistencia y las conversiones no importan – ¡si son! Pero no son las únicas cosas que importan. Durante demasiado tiempo nos hemos centrado únicamente en monedas, cuerpos y números. Queríamos ver vidas cambiadas, las iglesias en crecimiento y las comunidades siendo servidas. Por lo tanto, comenzamos con algunas métricas expandidas. 

Fase 2: Investigación Cualitativa para Obtener Ideas Más Profundas

Nos pusimos en contacto con las 298 iglesias con las mejores respuestas basadas en los criterios de la Fase 1 que también nos permitieron ponerse en contacto con ellas. Se solicitó entrevistar al pastor principal, en persona si era posible. Con mucha persistencia por los consultores de iglesia de LifeWay, más de 250 entrevistas se realizaron, ya que los consultores viajaron para reunirse con pastores y líderes de iglesias desde Maine hasta California, desde Washington hasta la Florida. 

La base de la entrevista fue un par de guías temáticas que el entrevistador utilizo para ayudar a cada pastor describir las actividades de su iglesia, por qué funciona y cómo sabe que es eficaz. Debido a la profundidad requerida en las entrevistas, las nueve áreas de asuntos generales se dividieron entre las dos guías temáticas. La mayoría de las entrevistas utilizaron sólo una guía, pero algunos pastores generosos fueron entrevistados utilizando las dos. 

Cada pastor se le dio la oportunidad de presentar aspectos adicionales del ministerio que consideraban vital para un ministerio eficaz. La información adicional proporciono un entendimiento más allá de las áreas generales de investigación que incluían la adoración, evangelismo, discipulado, grupos pequeños, la oración, la dirección, cómo las personas nuevas son conectadas, la calidad de vida dentro de una congregación, y el nivel de acoplamiento con un mundo perdido y herido. 

Los entrevistadores contratados por LifeWay para el proceso eran consultores de iglesias que tenían experiencia extensa en el ministerio. Para preparar cada consultor y para asegurar que cada entrevista se llevara a cabo de una manera consistente, dos sesiones de entrenamiento fueron proporcionadas para conducir las entrevistas. 

Cada entrevista fue grabada y transcrita. Cada consultor de iglesia completó un resumen inmediatamente después de la entrevista resaltando las cosas más importantes que escucharon. Hemos podido mejorar la calidad de la entrevista al compartir las transcripciones iniciales entre los consultores de la iglesia para que ellos escuchen a otros entrevistadores y para poder observar cuando se obtuvo información útil y cuando la información fue perdida. 

Las observaciones del entrevistador y el análisis de las transcripciones produjeron principios que condujeron a la fundación para el Lazo Transformacional y proporcionó muchos ejemplos prácticos que Ed Stetzer y Thom Rainer incluyeron en el libro de la Iglesia Transformacional.

Fase 3: Evaluación de la Iglesia en el Nivel del Laico

Principios que eran comunes entre el 10 por ciento de las Iglesias superiores se utilizaron para elaborar las preguntas para el instrumento de evaluación de la iglesia. Thom Rainer y Ed Stetzer y nuestro equipo de LifeWay Research (particularmente Scott McConnell y Lizette Beard) las estudiaron extensivamente. Las preguntas fueron revisadas por un panel de expertos que incluyen:

    • Alan Hirsch, director fundador del Forge Mission Training Network y autor de The Forgotten Ways y coautor de Untamed con su esposa Debra.
    • Chuck Lawless, decano de la Escuela de Misiones y Evangelismo Billy Graham en el Southern Baptist Theological Seminary, autor de Discipled Warriors.
    • Elmer Towns, cofundador de Liberty University, Autor de más de cien títulos incluidos en la Biblioteca del Congreso incluyendo, The Names of the Holy Spirit y 11 Innovations in the Local Church.
    • Bob Whitesel, profesor en Indiana Wesleyan University, consultor con Creative Church Consulting International y autor de Spiritual Waypoints y Inside the Organic Church.
    • Bill Easum, consultor principal de 21st Century Strategies y autor de A Second Resurrection y Go Big with Small Groups entre muchos otros libros.
    • Gary McIntosh, professor de Christian Ministry y Leadership en Talbot School of Theology y autor de trece libros incluyendo Here Today, There Tomorrow: Unleashing Your Church’s Potential y Beyond the First Visit: The Complete Guide to Connecting Guests to Your Church.
    • Eric Geiger, pastor ejecutivo de Christ Fellowship (Miami, Florida) y autor de Identity y coautor de Simple Church.
    • Dallas Anderson, facilitador nacional de evangelismo de Mission America Coalition y el director de los ministerios de proclamación para el Billy Graham Center. A cada uno se le pidió comentar, editar y añadir a la lista de preguntas.

Una amplia lista de preguntas fue elegida inicialmente – veinte preguntas para cada uno de los siete elementos del Lazo Transformacional – 140 preguntas en total. El largo estudio se utilizó para que el recorte de la encuesta fuera basada en criterios objetivos en lugar de las opiniones de unos cuantos. 

Un grupo de iglesias protestantes fueron invitadas para que el pastor y los miembros adultos de la iglesia utilizaran el instrumento de evaluación de la Iglesia Transformacional. 

Un análisis se realizó con 4,077 miembros que completaron la versión inicial de la encuesta. El análisis dio valides a las escalas (grupos de preguntas en cada elemento de la Iglesia Transformacional que tienen un modelo similar de respuestas). En cada uno de los elementos, personas de afuera constituyeron 1 por ciento o menos de los valores. 

El análisis de factores en la encuesta se realizó utilizando las preguntas para cada elemento de la Iglesia Transformacional. Usando Cronbach’s Alpha para cada factor demostró ser muy fiable con el más bajo siendo .826. Esta coherencia interna establece la fiabilidad de las preguntas del instrumento de evaluación. Las preguntas individuales que no tenían al menos de un 10 por ciento de los valores en cada mitad de la escala Likert fueron eliminadas al igual que las preguntas que no estaban cargadas con un factor en su sección. El conjunto final de 82 preguntas se convirtió en el instrumento de evaluación. 

Fase 4: Evaluación de la Iglesia y el Nivel de la Congregación

Iglesias Protestantes adicionales fueron seleccionadas al azar y fueron reclutadas para probar la validez del instrumento de evaluación final. De las 280 iglesias Protestantes que fueron seleccionadas al azar para esta prueba, 94 obtuvieron suficientes respuestas de sus asistentes para obtener resultados representativos de su iglesia con un nivel de confianza de + / -10 por ciento. Esto constituyó un 34 por ciento de éxito. 

Las 82 preguntas se volvieron a evaluar para su validez y fiabilidad con el propósito de asegurar la exactitud del método de la encuesta. Con un total de más de 9,000 respuestas de los asistentes de las iglesias para comparar con las 4,077 respuestas de la Fase 3, se observó que las distribuciones de frecuencia que poseían tenían diferencias insignificantes. La validez del método final fue apoyada por esta consistencia entre la Fase 3 y la Fase 4. 

Estimaciones de consistencia interna se llevaron a cabo para poner a prueba la fiabilidad del método de la encuesta. Cronbach’s alphas para la Fase 4 eran todas entre .87 y .94, y los coeficientes de Spearman-Brown para el estudio estaban todos entre .85 y .95. Estos resultados apoyan la fuerte fiabilidad interna para el método de la encuesta. Esto apoya efectivamente la fiabilidad y la validez de la forma final de la encuesta. Cada elemento de la Iglesia Transformacional poseía propiedades estadísticas para apoyar la creación de una “escala aditiva”. El análisis factorial apoyó la creación de dos escalas aditivas en el elemento comunitario. Como resultado, una suma aditiva se calculó para cada asistente a la iglesia que tomó la encuesta. Entonces, un valor medio se calculó para cada escala aditiva por cada congregación. Esto, en efecto, le asigno un valor en relación con el acuerdo que cada asistente de la iglesia tuvo con cada sección de preguntas en la encuesta. El nivel medio de ingresos, educación y edad de los asistentes de la iglesia también se calculó y se unió a los datos a nivel de los de la iglesia que fueron suministrados por el pastor con el fin de dar cuenta de los efectos demográficos en los análisis de regresión múltiple. 

Los resultados de las sumas de elementos de la porción de la Iglesia Transformacional fueron altamente correlacionados entre sí (por encima de 69). Esto confirma estadísticamente la convergencia de los elementos de la Iglesia Transformacional mencionadas en el capítulo 2 del libro de la Iglesia Transformacional. 

Análisis separados de las regresiones múltiples para cada suma revelaron que uno o más de los elementos de la Iglesia Transformacional son predictivos de cada uno de los siguientes resultados de la iglesia:

  • Crecimiento de asistencia al culto de adoración en 1 año
  • Crecimiento de asistencia al culto de adoración en 5 años
  • Nuevos creyentes comprometidos a Jesucristo por cada asistente de la iglesia
  • Invitados por cada asistente de la iglesia
  • El porcentaje de asistentes de la iglesia adultos con responsabilidades regulares
  • El porcentaje de asistentes de la iglesia adultos sirviendo en la comunidad fuera de la iglesia

Conclusión

Al final, estamos seguros de los principios que se descubrieron entre las iglesias eficaces. Estos elementos de las iglesias transformacionales se reunieron en un estudio fiable que va a medir consistentemente estos principios en diferentes iglesias. Las preguntas del Instrumento de Evaluación de las Iglesias Transformacionales (TCAT) han sido y siguen siendo rigurosamente probadas. El instrumento de evaluación elaborado por este estudio es válido internamente como externamente. Y, los principios accionables de la Iglesia Transformacional predicen los resultados deseables, como el crecimiento en la asistencia de la iglesia, creyentes comprometidos a Jesucristo y el servicio.