Ciencias Psicológicas, 18(2)
julio-diciembre 2024
10.22235/cp.v18i2.3671
Propiedades psicométricas e invarianza factorial de la Escala de Actitudes hacia el Cambio Climático en población chilena
Psychometric properties and factorial invariance of the Climate Change Attitude Survey in the Chilean population
Propriedades psicométricas e invariância fatorial da Escala de Atitudes em relação às Mudanças Climáticas na população chilena
José Sandoval-Díaz1, ORCID 0000-0001-7247-7113
Orlando Aedo Soto2, ORCID 0009-0007-9143-8452
Richard Cisternas Victoriano3, ORCID 0009-0001-9907-8742
1 Universidad del Bío Bío, Chile, jsandoval@ubiobio.cl
2 Universidad del Bío Bío, Chile
3 Universidad del Bío Bío, Chile
Resumen:
El objetivo de este estudio fue evaluar las propiedades psicométricas y la invarianza factorial de la Escala de Actitudes hacia el Cambio Climático (EACC). Diseñada con base en la Teoría de la Acción Planificada, la escala mide tanto las creencias como la intención de conducta hacia el cambio climático. El instrumento original consta de 15 ítems, con un formato de respuesta tipo Likert de cinco opciones. Se aplicó a una muestra no probabilística de 800 participantes chilenos. Después de su traducción y revisión, la escala mostró una adecuada validez de contenido. Un Análisis Factorial Confirmatorio (AFC) validó la idoneidad del instrumento, ajustado a 13 ítems, manteniendo su estructura original de dos factores. El análisis de invarianza factorial confirmó que la estructura bidimensional no se ve afectada por el género. Se encontraron evidencias de validez convergente y discriminante, así como una confiabilidad adecuada en ambas dimensiones. En conclusión, se respalda el uso de la versión en español de la CCAS en comunidades hispanohablantes, lo que fortalece la investigación sobre el cambio climático en la región desde una perspectiva psicosocial.
Palabras clave: actitud; cambio climático; validez; invarianza factorial; confiabilidad.
Abstract:
The aim of this study is to evaluate the psychometric properties and factorial invariance of the Climate Change Attitude Scale (CCAS). Based on Planned Behavior Theory, the scale measures both beliefs and behavioral intentions towards climate change. The original instrument consists of 15 items, using a five-point Likert response format. It was applied to a non-probabilistic sample of 800 Chilean participants. After translation and review, the scale demonstrated adequate content validity. A Confirmatory Factor Analysis (CFA) validated the instrument's suitability, which was adjusted to 13 items while maintaining its original two-factor structure. The invariance analysis confirmed that the bidimensional structure is not affected by gender. Evidence was found of convergent and discriminant validity, as well as adequate reliability in both dimensions. In conclusion, we support use of the Spanish version of the CCAS in Spanish-speaking communities, thus strengthening climate change research in the region from a psychosocial perspective.
Keywords: attitude; climate change; validity; factorial invariance; reliability.
Resumo:
O objetivo deste estudo foi avaliar as propriedades psicométricas e a invariância fatorial da Escala de Atitudes em relação às Mudanças Climáticas (EAMC). Baseada na Teoria da Ação Planejada, a escala mede tanto as crenças quanto as intenções comportamentais em relação às mudanças climáticas. O instrumento original possui 15 itens, com um formato de resposta tipo Likert de cinco opções. Foi aplicado a uma amostra não probabilística de 800 participantes chilenos. Após sua tradução e revisão, a escala demonstrou validade de conteúdo adequada. Uma Análise Fatorial Confirmatória (AFC) validou a adequação do instrumento, ajustado para 13 itens, mantendo sua estrutura original de dois fatores. A análise de invariância fatorial confirmou que a estrutura bidimensional não é influenciada pelo gênero. Foram encontradas evidências de validade convergente e discriminante, bem como uma confiabilidade adequada em ambas as dimensões. Em conclusão, respalda-se o uso da versão em espanhol da EAMC em comunidades de língua espanhola, fortalecendo a pesquisa sobre mudanças climáticas na região a partir de uma perspectiva psicossocial.
Palavras-chave: atitude; mudanças climáticas; validade; invariância fatorial; confiabilidade.
Recibido: 10/09/2023
Aceptado: 13/11/2024
De acuerdo con el informe de 2022 del Grupo II del Panel Intergubernamental sobre el Cambio Climático (IPCC), el cambio climático (CC) se erige como un riesgo considerable para el desarrollo humano. Ante este panorama, resulta crucial que las ciencias comportamentales enfoquen sus esfuerzos en analizar las actitudes, conductas y estilos de vida sostenibles (Corral-Verdugo, 2021).
En este contexto, las ciencias del comportamiento son fundamentales para desentrañar dos aspectos psicosociales clave relacionados con el afrontamiento del CC (Gifford, 2014; IPCC, 2022). Primero, las estrategias de mitigación destinadas a reducir su impacto, y segundo, los factores psicológicos que influyen en las capacidades de adaptación a eventos climáticos extremos (Nielsen et al., 2021; Sapiains & Ugarte, 2017a). Clayton (2019) subraya que para enfrentar el CC es crucial entender cómo las actitudes y las percepciones influyen en la adopción de comportamientos sostenibles. Además, señala que la psicología puede ayudar a superar las barreras cognitivas que impiden una percepción clara del problema y fomentar la resiliencia a través de la acción colectiva y cambios en los estilos de vida (Clayton, 2024).
En la literatura en español, la investigación psicológica sobre los factores sociocognitivos y disposicionales que influyen en las respuestas adaptativas al CC está en una fase temprana de desarrollo (Sandoval-Obando & Sandoval-Díaz, 2024; Sandoval-Díaz et al., 2024; Sapiains et al., 2024; Vidal Cobo et al., 2021). A pesar de su relevancia, sigue siendo un campo minoritario dentro de la psicología latinoamericana (Medina-Arboleda, 2022). Este desarrollo incipiente subraya la importancia de realizar estudios culturalmente pertinentes y adaptados al contexto regional (Adger, 2001; Grothmann & Patt, 2005).
Una de las principales prioridades es avanzar en el desarrollo y validación de escalas psicométricas adecuadas para medir las actitudes y comportamientos frente al CC. En América Latina, este proceso aún se encuentra en etapas iniciales (Corral-Verdugo, 2021; Medina-Arboleda & Páramo, 2024; Sapiains & Ugarte, 2017a; Sandoval-Díaz et al., 2021), lo que refleja la falta de instrumentos que capturen con precisión las particularidades del contexto regional. Este déficit coincide con los hallazgos de Forero et al. (2014), quienes indicaron que solo el 7.7 % de las investigaciones sociales en la región utilizan métodos cuantitativos. Este dato subraya la necesidad de fortalecer la rigurosidad metodológica en estudios futuros, especialmente en la validación de instrumentos que permitan medir con mayor precisión los factores sociocognitivos relacionados con la adaptación al CC.
La necesidad apremiante de adaptar y desarrollar instrumentos de investigación cultural y contextualmente pertinentes es especialmente evidente en el caso chileno, dado que el país es altamente vulnerable al CC. Aunque Chile ha sido identificado como uno de los países de América Latina con una avanzada percepción pública sobre la variabilidad climática (Azócar et al., 2021; Ministerio del Medio Ambiente de Chile (MMA), 2017), persiste una brecha en la literatura científica en cuanto a la identificación y caracterización de las dimensiones psicosociales que modulan las conductas de afrontamiento (MMA, 2018; Sapiains et al., 2021; Sapiains et al., 2024). En este contexto, es fundamental centrar la investigación en el constructo de las actitudes, ya que no solo ofrecen un marco para entender las valoraciones individuales hacia el entorno socioambiental, sino que también proporcionan indicadores sobre la disposición a realizar acciones proambientales (Hidalgo & Pisano, 2010; Masud et al., 2015; Sierra-Barón & Millán-Otero, 2024).
Actitudes hacia el cambio climático
El primer modelo, conocido como Influencia Normativa sobre el Altruismo (Schwartz, 1977), aplicado con frecuencia en investigaciones sobre comportamiento proambiental, plantea que los sentimientos de obligación y compromiso moral son factores cruciales que inciden en dicha conducta.
El segundo modelo, denominado Valor, Normas y Creencias hacia el Medio Ambiente (Stern et al., 1999), se basa en gran medida en el modelo anterior. Plantea que el comportamiento proambiental se deriva de una combinación de valores, creencias ambientales, conciencia, responsabilidad y normas personales o morales, siendo estas últimas especialmente determinantes.
El tercer modelo es la Teoría de Acción Planificada, desarrollada por Ajzen (1991). Según esta teoría, la intención de realizar una conducta específica está influenciada por tres componentes: i) actitudes, que son evaluaciones de la conducta objetivo; ii) norma subjetiva, relacionada con las expectativas y presiones del grupo social al que se pertenece; y iii) percepción de control, que se refiere a la creencia en la capacidad de llevar a cabo la conducta, basada en experiencias previas o posibles obstáculos. Ajzen (2002) argumenta que si las personas evalúan positivamente la conducta objetivo (actitud), tendrán una mayor intención o motivación para realizarla.
Según el modelo de Ajzen, las actitudes proambientales se componen de creencias, emociones e intenciones que influyen positivamente en la intención de adoptar comportamientos proambientales. A nivel de resultados, estas actitudes modulan el apoyo a políticas públicas (Swim et al., 2009), la percepción del riesgo y la autoeficacia (Hidalgo & Pisano, 2010), así como las estrategias de afrontamiento y la intención de mitigar el CC (Barrera-Hernández et al., 2021).
Escala de Actitudes hacia el Cambio Climático
Con base en una revisión exhaustiva de la literatura sobre las actitudes hacia el CC, Christensen y Knezek (2015) desarrollaron la Escala de Actitudes hacia el Cambio Climático (EACC, o CCAS por su sigla en inglés). Esta escala posee 15 ítems y se estructura en torno a dos dimensiones principales: creencias e intención de conducta. El estudio original contó con la participación de 1.576 individuos estadounidenses. Un análisis factorial exploratorio reveló una estructura de dos dimensiones que explicaba el 47.17 % de la varianza total. A través de un escalamiento multidimensional y el análisis de conglomerados jerárquicos, se confirmó la presencia de estas dos dimensiones en la escala. Los coeficientes de consistencia interna de alfa de Cronbach resultaron ser adecuados para ambas dimensiones: creencias (α = .87) e intención de conducta (α = .70).
Esta escala, basada en la Teoría de Acción Planificada de Ajzen (1991), ofrece un alto potencial para ser adaptada y validada psicométricamente en el contexto latinoamericano, con el fin de medir actitudes hacia el CC. Así, su adaptación podría constituir una base sólida para futuras investigaciones regionales en este ámbito.
El presente estudio
De acuerdo con lo mencionado, existen importantes brechas teóricas y metodológicas en la literatura latinoamericana sobre las dimensiones psicosociales del CC (Forero et al., 2014; Medina-Arboleda, 2022; Sandoval-Díaz et al., 2021; Sapiains & Ugarte, 2017b). Aunque recientemente se han logrado algunos avances empíricos, es esencial desarrollar instrumentos psicométricos adaptados específicamente a la realidad regional. Esto permitirá medir con precisión las actitudes y comportamientos relacionados con el CC. En este contexto, el análisis de invarianza de medida es esencial para asegurar que un instrumento mida de manera equivalente las actitudes hacia el CC en diferentes grupos, como hombres y mujeres (Hair et al., 2010). La invarianza de medida se evalúa a través de varios niveles para garantizar que las diferencias observadas entre los grupos reflejen variaciones reales en las actitudes y no sesgos en la medición.
Diversos estudios han sugerido que las mujeres tienden a mostrar mayores niveles de preocupación y percepción del riesgo climático (Leiserowitz et al., 2013; McCright & Dunlap, 2011; Sapiains et al., 2024). Sin embargo, los resultados sobre las diferencias de género son mixtos, lo que resalta la importancia de aplicar la invarianza de medida para asegurar que las diferencias detectadas reflejen verdaderas variaciones y no sean producto de limitaciones del instrumento.
El objetivo general del presente trabajo es analizar las propiedades psicométricas de la EACC en población chilena. Como objetivos específicos buscamos: a) evaluar la validez de contenido de la EACC a través de la revisión de expertos; b) analizar los estadísticos descriptivos de los ítems y sus índices de discriminación; c) confirmar la estructura factorial interna de la escala mediante un análisis factorial confirmatorio (AFC); d) realizar un análisis de invarianza de medida para verificar la equivalencia de la escala entre hombres y mujeres; e) evaluar la validez convergente y la validez discriminante; y f) estimar la confiabilidad de la escala.
Método
Este estudio se ajusta a un diseño instrumental o psicométrico (Ato et al., 2013) y tiene como objetivo principal analizar las propiedades psicométricas de la EACC en una muestra de población chilena.
Participantes
Se empleó un muestreo no probabilístico por disponibilidad, con la participación de 800 adultos chilenos. De estos, el 54.1 % eran mujeres. Las edades de los participantes variaron entre 18 y 71 años, con una media de 26.44 años y una desviación estándar de 9.78. En relación con el nivel educativo, el 1.4 % (11 personas) reportó tener estudios primarios, el 65.9 % (527 personas) estudios secundarios y el 32.8 % (262 personas) señaló contar con estudios superiores.
En cuanto a los ingresos económicos, el 52.5 % (420 personas) manifestó tener un ingreso igual o inferior al salario mínimo de Chile,[1] el 18.9 % (151 personas) igual o menor a dos salarios mínimos y el 28.6 % (229 personas) igual o superior a tres salarios mínimos.
EACC (Christensen & Knezek, 2015). Esta escala es autoadministrada y posee 15 ítems, con un formato de respuesta tipo Likert de cinco puntos, que varía desde (1) totalmente en desacuerdo hasta (5) totalmente de acuerdo. La escala se divide en dos dimensiones principales:
- Creencias: Los primeros nueve ítems evalúan las creencias de los participantes en relación con el CC (por ejemplo: “Yo creo que nuestro clima está cambiando”).
- Intención de conducta: Los seis ítems restantes exploran la intención de los participantes de actuar frente al CC (por ejemplo: “No podemos hacer nada para detener el cambio climático global”).
Procedimientos
Para garantizar la calidad y validez de las mediciones en este estudio, se siguieron las directrices establecidas por la International Test Commission (2017). En el proceso de adaptación de la escala del inglés al español, los autores del presente trabajo participaron inicialmente en la revisión y ajuste de la traducción. Posteriormente, se contó con un traductor profesional para asegurar una adaptación semántica precisa y culturalmente apropiada, conforme a los estándares de equivalencia funcional recomendados. No se realizaron cambios significativos en el ajuste lingüístico para garantizar que los ítems mantuvieran su significado original en el nuevo contexto idiomático y cultural.
Posteriormente, se llevó a cabo una revisión de contenido con la ayuda de jueces expertos. Estos evaluaron los ítems de la escala según cuatro criterios fundamentales (Escobar-Pérez & Cuervo-Martínez, 2008):
- Suficiencia: Los ítems deben ser suficientes para medir adecuadamente la dimensión que representan.
- Claridad: Los ítems deben ser fácilmente comprensibles, tanto en su estructura gramatical como en su significado.
- Coherencia: Los ítems deben estar lógicamente relacionados con la dimensión que se pretende medir.
- Relevancia: Los ítems deben ser esenciales y, por lo tanto, incluidos en la escala.
Cada uno de estos criterios fue evaluado en una escala de cuatro niveles: i) no cumple, ii) bajo nivel, iii) moderado y iv) alto nivel. Además, se añadieron observaciones cualitativas para enriquecer la evaluación de los ítems, siguiendo las recomendaciones de Cassepp-Borges et al. (2010).
Para este proceso evaluativo se contó con la colaboración de diez jueces expertos con formación posgradual y al menos cinco años de experiencia en docencia e investigación en el ámbito socioambiental (Tabla 1). De estos jueces, nueve eran hombres y una era mujer. Siete de ellos habían obtenido o estaban cursando un doctorado, mientras que los tres restantes poseían un título de magíster. Es crucial destacar que estos jueces no formaban parte del equipo de investigación y participaron de manera voluntaria y gratuita en el estudio.
Tabla 1: Características de los jueces evaluadores del contenido de la EACC
Con base en los criterios y evaluaciones previas, se realizó un estudio piloto de la escala adaptada con una muestra de 30 estudiantes universitarios chilenos. El objetivo de este piloto fue evaluar la aplicabilidad y viabilidad de la escala. Como resultado, se hicieron ajustes en las instrucciones, el formato de aplicación y el tiempo estimado para completar la escala, llegando así a su versión definitiva.
La aplicación de esta versión final se efectuó entre agosto y octubre de 2020, con una duración promedio de 20 minutos por participante. Los datos se recopilaron mediante formularios de Google, administrados por estudiantes universitarios previamente capacitados. Dadas las restricciones de movilidad impuestas por la pandemia de covid-19, los participantes fueron reclutados a través de redes sociales digitales. Los participantes dieron su consentimiento para participar en el estudio mediante la firma virtual de un formulario de consentimiento informado y no recibieron compensación alguna por su participación.
Consideraciones éticas
Este estudio forma parte del proyecto de investigación FOVI/ANID 230212 y ha recibido la aprobación del Comité de Ética de la Universidad Bío Bío. Se han seguido rigurosamente los principios éticos establecidos en la Declaración de Helsinki para asegurar la confidencialidad y privacidad de todos los participantes. Antes de su participación se informó a los individuos acerca de los objetivos, procedimientos, posibles riesgos y beneficios asociados con el estudio. Se tomaron todas las precauciones necesarias para proteger el bienestar de los participantes y para asegurar que el estudio cumpla con los estándares éticos pertinentes.
Análisis de datos
Validez de contenido. Se analizó mediante el coeficiente de Kappa multirater marginal-libre de Randolph (2005), calculado mediante la fórmula de variación de Gwet (2010), a través de una calculadora en línea de Kappa (Randolph, 2008). Los valores del coeficiente oscilan entre 0 y 1 y se interpretan según los siguientes rangos de fuerza de concordancia: (a) .00 = pobre, (b) .10 – .20 = leve, (c) .21 – .40 = aceptable, (d) .41 – .60 = moderada, (e) .61 – .80 = considerable, y (f) .81 – 1.0 = casi perfecta (Landis & Koch, 1977).
Estadísticos descriptivos. Se examinaron los ítems a través del cálculo de estadísticos descriptivos univariados e índices de discriminación. Se utilizaron las correlaciones ítem-total corregidas y el índice multivariado de Mardia (Hair et al., 2010; Mardia, 1970; Tabachnick & Fidell, 2013).
AFC. Se empleó el Método de Estimación de Mínimos Cuadrados Ponderados Ajustado a la Media y la Varianza (WLSMV por su sigla en inglés), recomendado para variables ordinales (Brown, 2015). La bondad de ajuste del modelo se evaluó utilizando varios índices: Chi-cuadrado (χ²), Índice de Ajuste Comparativo (CFI > .95), Índice de Tucker-Lewis (TLI > .95), Error Cuadrático Medio de Aproximación (RMSEA < .06) y Residuo Cuadrático Medio Estandarizado (SRMR < .08), siguiendo las directrices de Hu y Bentler (1999). El análisis se realizó con el software R y la versión 0.6-9 del paquete lavaan (Rosseel et al., 2018).
Invarianza Factorial de Medición. La literatura actual en validación psicométrica enfatiza la necesidad de demostrar que el modelo de medida es independiente de las características de la muestra (Hair et al., 2010). Respecto de la influencia de la variable género en las actitudes hacia el CC, los hallazgos son mixtos (Beiser-McGrath & Huber, 2018; Zelezny et al., 2002). Para evaluar la invarianza, se adoptó un enfoque progresivo que comenzó con la invarianza configural, seguida de la métrica, la fuerte y, finalmente, la estricta, utilizando un análisis factorial confirmatorio multigrupo (Byrne, 2008; Chen, 2007). Se evaluaron las diferencias entre los modelos mediante las variaciones de los índices CFI (ΔCFI) y RMSEA (ΔRMSEA). Se considera que hay invarianza fuerte cuando ΔCFI ≤ 0.01 y ΔRMSEA ≤ 0.015 (Cheung & Rensvold, 2002).
Validez convergente y discriminante. Para la validez convergente, se espera que las cargas factoriales estandarizadas sean significativas y ≥ 0.50 (Bagozzi et al., 1991; Hair et al., 2010). En cuanto a la validez discriminante, se debe verificar que la raíz cuadrada de la medida de varianza extraída (√VME) sea mayor que el cuadrado de las correlaciones entre dimensiones (Fornell & Larcker, 1981).
Confiabilidad. La confiabilidad se evaluó mediante el coeficiente alfa ordinal, apropiado para matrices policóricas (Domínguez-Lara, 2018), y el coeficiente de confiabilidad compuesta (CR). Valores de alfa ordinal y CR superiores a .70 se consideran indicativos de una confiabilidad adecuada (Gadermann et al., 2012).
Resultados
Validez de contenido interjuez
Se llevaron a cabo tres tipos de análisis de concordancia entre jueces para evaluar la validez del contenido. Estos análisis se enfocaron en: a) las dimensiones de la escala de evaluación; b) la concordancia entre diferentes pares de jueces evaluadores; y c) los criterios de evaluación empleados en el estudio.
En primer lugar, se observó que las dos dimensiones evaluadas mostraron coeficientes de concordancia de Kappa que oscilaron entre niveles considerables y casi perfectos, como se detalla en la Tabla 2.
Tabla 2: Coeficiente de concordancia para cada dimensión de la escala
Nota: Fuerza de concordancia, interpretación según Landis y Koch (1977).
En segundo lugar, la concordancia de Kappa entre los pares de expertos evaluadores alcanzó niveles casi perfectos tanto en la dimensión relacionada con las creencias como en la dimensión de intención de comportamiento (ver detalle en Apéndice A).
En tercer lugar, los resultados mostraron niveles de concordancia que varían según los diferentes criterios de evaluación: se obtuvo una concordancia aceptable en el criterio de suficiencia, considerable en coherencia, y casi perfecta en los criterios de relevancia y claridad (Tabla 3).
Tabla 3: Coeficiente de Kappa en los cuatro ámbitos de evaluación
Estadísticos descriptivos
En primer lugar, cabe destacar que no se encontraron datos faltantes en el conjunto de datos examinado. En segundo lugar, de los 15 ítems evaluados, 11 superaron el umbral de ±2 en los valores de asimetría y curtosis univariada. Esta observación condujo a la potencial eliminación de los ítems 5 y 15, que mostraron valores de asimetría mayores a ±3, siguiendo los criterios de Tabachnick y Fidell (2013). En relación con el análisis de normalidad multivariada, el coeficiente de simetría se mantuvo dentro de los rangos aceptables; sin embargo, el coeficiente de curtosis no cumplió con las directrices establecidas por Mardia (1970). Esto indica la necesidad de utilizar estimadores y métodos de extracción robustos para el análisis factorial, conforme a las recomendaciones de Lloret-Segura et al. (2014). Finalmente, en cuanto a las correlaciones ítem-total, todas fueron positivas, tal como se muestra en la Tabla 4.
Tabla 4: Análisis exploratorio correspondiente a los ítems de la escala (n = 800)
Nota. K Mardia: 131.86, p = .00; ASY Mardia: 75.38, p = 1.00. ASY: coeficiente de asimetría; K: coeficiente de curtosis; rit: correlaciones ítem-escala total: K y ASY Mardia: coeficiente de curtosis y asimetría multivariada.
Análisis Factorial Confirmatorio
Inicialmente, se realizó un AFC con los 15 ítems originales y se obtuvo un ajuste insuficiente según los criterios de Hair et al. (2010). Los resultados fueron: χ²(89) = 728.100, p = .000; RMSEA = .095 (IC del 95 % = .088 – .101); TLI = .839; CFI = .864; y SRMR = .079. Por otro lado, los coeficientes de consistencia interna (α) fueron: α = .823 para la subescala de creencias y α = .711 para la subescala de intención, lo que sugiere una consistencia interna aceptable para creencias, pero marginal para intención.
Tras identificar los ítems 5 y 15 como problemáticos en la fase previa, se procedió a eliminarlos. El nuevo AFC mostró un mejor ajuste al modelo de dos factores: χ²(78) = 2719.209, p = .000; RMSEA = .046 (IC del 95 % = .039 – .053); TLI = .946; CFI = .955; y SRMR = .043 (Figura 1).
Figura 1: Resultados del AFC para la EACC (n = 800)
Se llevó a cabo un análisis de invarianza de medida para evaluar progresivamente la invarianza configural (M1), umbrales (M2) y cargas factoriales (M3), siguiendo a Wu y Estabrook (2016). Debido a la naturaleza ordinal de las variables, se utilizó el estimador robusto WLSMV (Brown, 2015). Los resultados del modelo base sin restricciones para ambos grupos (M1) se presentan en la Tabla 5 y muestran excelentes índices de ajuste (CFI = .947, RMSEA = .062, SRMR = .046). Este modelo sirvió como referencia para los modelos M2 y M3. En el modelo M2, que examina la invarianza de los umbrales, se observaron buenos índices de ajuste (CFI = .945, RMSEA = .060, SRMR = .056) y cambios mínimos en comparación con M1, lo que respalda la invarianza de los umbrales. El modelo M3, que evalúa la invarianza de las cargas factoriales, también mostró buenos índices de ajuste (CFI = .942, RMSEA = .060, SRMR = .057), con diferencias mínimas respecto de M1, lo que indica la invarianza de las cargas factoriales. Para evaluar la invarianza estructural, se estableció un modelo adicional (M4) con varianzas factoriales iguales entre los grupos. Los valores obtenidos (CFI = .934, RMSEA = .061, SRMR = .062) no superaron las diferencias mínimas recomendadas, lo que sugiere que se cumple la invarianza estructural. En resumen, los análisis de invarianza mostraron buenos ajustes en los modelos evaluados, respaldando la invarianza de medida a nivel configural, umbrales y cargas factoriales.
Tabla 5: Análisis de invarianza factorial de sexo para actitudes
Nota: M1: Configuracional; M2: Métrica; M3: Fuerte; M4: Estricta.
Evidencia de validez discriminante, convergente y consistencia interna
En cuanto a la validez convergente, los resultados presentados en la Tabla 6 indican que todos los ítems mostraron cargas factoriales estadísticamente significativas y superiores a .5. Sin embargo, es importante destacar que el valor del Average Variance Extracted (AVE) se encontró por debajo del mínimo recomendado en ambos factores. A pesar de esto, se observó que las raíces cuadradas de la medida de varianza extraída (√AVE) fueron mayores que las correlaciones entre dimensiones.
Además, los coeficientes de confiabilidad compuesta (CR) y el coeficiente alfa ordinal alcanzaron valores levemente mejores en comparación con la estructura original de 15 ítems (α = .823 para creencias y α = .711 para intención de conducta), lo que refuerza la consistencia interna de las dimensiones evaluadas (Tabla 6).
Tabla 6: Índices de validez y confiabilidad correspondientes a las dimensiones de actitudes hacia el cambio climático
Nota: Correlación entre el factor 1 y 2 (r = .486; R2 = 0.236)
Discusión
Los resultados iniciales muestran que la EACC, aplicada a adultos chilenos, presenta una estructura factorial bidimensional con 13 ítems, alineada con la versión original. Los ítems 5 y 15 fueron excluidos debido a su pobre ajuste en el modelo estructural (SEM), problemas en la normalidad multivariada y bajos valores de consistencia interna en comparación con la versión ajustada final. Estos hallazgos deben interpretarse con cautela, ya que la eliminación de estos ítems podría modificar la conceptualización teórica original del instrumento (Carretero-Dios & Pérez, 2005). A pesar de ello, los resultados continúan respaldando la validez teórica de las actitudes, particularmente en las dimensiones de creencias e intención de conducta, conforme a la teoría de Ajzen y Fishbein (1977) y otras investigaciones (Gifford, 2014; IPCC, 2018; Kollmuss & Agyeman, 2002; Maiteny, 2002).
El AFC evidenció un buen ajuste del modelo de 13 ítems, lo que refuerza la validez de la nueva estructura interna de la escala. Aunque se realizó un ajuste específico en el ítem 11, que pasó de la dimensión de intención a creencias, es importante continuar evaluando si este cambio mejora efectivamente la coherencia conceptual del modelo, dado que el ítem aborda aspectos cognitivos del conocimiento ambiental.
En relación con el análisis de invarianza, los resultados indicaron que la estructura de la escala y las cargas factoriales fueron consistentes entre hombres y mujeres. Esto sugiere que el instrumento mide de manera equivalente en ambos géneros, en línea con la literatura internacional (Beiser-McGrath & Huber, 2018), lo que respalda la validez de la escala en diferentes subgrupos.
Adicionalmente, se encontraron evidencias de validez convergente y discriminante. Aunque la varianza media extraída (AVE) fue ligeramente inferior al umbral recomendado, este hallazgo se ve compensado por el hecho de que las raíces cuadradas del AVE superaron las correlaciones entre los factores, lo que refuerza la validez discriminante del instrumento.
Finalmente, la escala demostró una fiabilidad adecuada en ambas dimensiones, con mejores valores que la versión original de 15 ítems. Esto confirma que la escala es una herramienta útil, precisa y confiable para medir actitudes hacia el CC.
Este estudio deja planteados varios aspectos para considerar en nuevas investigaciones. La revisión de la validez de contenido sugiere que, aunque la categoría de “suficiencia” alcanzó un valor aceptable, sería recomendable revisar más a fondo la cantidad y relevancia de los ítems en cada dimensión. Esto se vuelve especialmente importante tras la eliminación de los ítems 5 y 15, ya que puede haber afectado la cobertura completa de los constructos teóricos medidos por la escala. Este aspecto debe ser considerado en estudios posteriores para asegurar que la escala capture adecuadamente todas las facetas relevantes de las actitudes hacia el CC (Carretero-Dios & Pérez, 2005).
Desde un punto de vista metodológico, aunque la estructura obtenida es similar a la del modelo original (Christensen & Knezek, 2015), es crucial subrayar que se adoptaron diferentes decisiones estadísticas. En la investigación original se empleó el método de componentes principales para identificar “el número y composición de componentes necesarios para resumir las puntuaciones observadas en un conjunto grande de variables” (Lloret-Segura et al., 2014, p. 1153). En contraste, este estudio utilizó el análisis factorial, que “identifica el número y composición de los factores comunes necesarios para explicar la varianza común del conjunto de ítems analizados” (Lloret-Segura et al., 2014, p. 1152). Además, en lugar de utilizar el alfa de Cronbach, empleó coeficientes de confiabilidad compuesta y alfa ordinal, más apropiados para el análisis de variables categóricas ordinales de tipo Likert (Domínguez-Lara, 2018).
En cuanto a las limitaciones del estudio, es importante resaltar la posible falta de representatividad muestral, ya que el acceso a los participantes fue virtual, debido a las restricciones impuestas por el contexto pandémico. Esto podría haber reducido la heterogeneidad de la muestra. Futuras investigaciones deberían considerar la implementación de muestreos probabilísticos estratificados, que permitirían una mejor representación de la población ante el CC, incluyendo la variabilidad en aspectos relevantes como la territorialidad, diferenciando entre zonas urbanas y rurales (Peña-Garay & Sandoval-Díaz, 2024), y factores sociodemográficos como la edad y la tenencia de hijos (Sapiains et al., 2024). Otro aspecto a tener en cuenta es que la escala se aplicó en un único momento, lo que limita la evaluación de la fiabilidad temporal del instrumento y la obtención de información sobre la estabilidad del constructo a lo largo del tiempo. Finalmente, se recomienda la incorporación de mayores evidencias de validez, tales como la validez concurrente o predictiva, comparando las puntuaciones de la escala con otras variables relacionadas con las actitudes hacia el CC. Esto ayudaría a confirmar que el instrumento mide de manera efectiva lo que pretende y a establecer su relación con otras dimensiones relevantes, como la consciencia, la percepción de riesgo y el comportamiento proambiental.
En síntesis, los resultados de este estudio ofrecen un instrumento psicométrico adaptado y validado en español para evaluar las actitudes hacia el CC en adultos chilenos, lo que contribuye a disminuir la brecha psicométrica en la investigación latinoamericana (Forero et al., 2014; Reveco-Quiroz et al., 2022). La EACC, en su versión de 13 ítems, ha demostrado ser robusta, con evidencias adecuadas de validez de contenido, estructura interna e invarianza factorial según el género, lo que asegura su aplicabilidad en diferentes subgrupos poblacionales. Además, presenta niveles adecuados de fiabilidad, lo que la convierte en una herramienta útil para futuros estudios en el ámbito de las ciencias del comportamiento. En particular, es relevante para evaluar distintas dimensiones psicosociales del CC en el contexto latinoamericano (Clayton, 2019, 2024; Corral-Verdugo, 2021; Medina-Arboleda, 2022; Vidal Cobo et al., 2021), así como para examinar estrategias de mitigación y adaptación al CC (Barrera-Hernández et al., 2021; Sandoval-Díaz et al., 2023; Sapiains & Ugarte, 2017a; Sierra-Barón & Millán-Otero, 2024). A pesar de estos avances, es necesario continuar con estudios que profundicen en la estabilidad temporal y la validación con otras variables relacionadas con el CC, a fin de fortalecer su aplicabilidad en investigaciones futuras.
Referencias:
Adger, W. N. (2001). Scales of governance and environmental justice for adaptation and mitigation of climate change. Journal of International Development, 13(7), 921-931. https://doi.org/10.1002/jid.833
Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50, 179-211. https://doi.org/10.1016/0749-5978(91)90020-T
Ajzen, I. (2002). Perceived behavioral control, self-efficacy, locus of control, and the theory of planned behavior. Journal of Applied Social Psychology, 32(4), 665-683. https://doi.org/10.1111/j.1559-1816.2002.tb00236.x
Ajzen, I., & Fishbein, M. (1977). Attitude-behavior relations: A theoretical analysis and review of empirical research. Psychological Bulletin, 84(5), 888-918. https://doi.org/10.1037/0033-2909.84.5.888
Ato, M., López, J. J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Annals of Psychology, 29(3), 1038-1059. http://doi.org/10.6018/analesps.29.3.178511
Azócar, G., Billi, M., Calvo, R., Huneeus, N., Lagos, M., Sapiains, R., & Urquiza, A. (2021). Climate change perception, vulnerability, and readiness: inter-country variability and emerging patterns in Latin America. Journal of Environmental Studies and Sciences, 11(1), 23-36. https://doi.org/10.1007/s13412-020-00639-0
Bagozzi, R., Yi, Y., & Phillips, L. (1991). Assessing construct validity in organizational research. Administrative Science Quarterly, 36(3), 421-458. https://doi.org/10.2307/2393203
Barrera-Hernández, L. F., Corral-Verdugo, V., Echeverría-Castro, S. B., Sotelo-Castillo, M. A., & Ocaña-Zúñiga, J. (2021). Beliefs, perceived risk, obstacles and intention to act. An explanatory model for mitigation and coping behaviours regarding climate change. PsyEcology, 12(3), 1-19. https://doi.org/10.1080/21711976.2020.1827660
Beiser-McGrath, L. F., & Huber, R. A. (2018). Assessing the relative importance of psychological and demographic factors for predicting climate and environmental attitudes. Climatic Change, 149(3), 335-347. https://doi.org/10.1007/s10584-018-2260-9
Brown, T. A. (2015). Confirmatory factor analysis for applied research (2a ed.). Guilford Press.
Byrne, B. M. (2008). Testing for multigroup equivalence of a measuring instrument: A walk through the process. Psicothema, 20(4), 872-882. https://reunido.uniovi.es/index.php/PST/article/view/8744
Carretero-Dios, H., & Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5(3), 521-551. https://www.redalyc.org/pdf/337/33705307.pdf
Cassepp-Borges, V., Balbinotti, M., & Teodoro, M. (2010). Tradução e Validação de Conteúdo: Uma Proposta para Adaptação de Instrumentos. En L. Pasquali (Coord), Instrumentação psicológica: Fundamentos e Práticas (pp. 506-520). ArtMed.
Chen, F. F. (2007). Sensitivity of goodness of fit indices to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504. https://doi.org/10.1207/s15328007sem1203_7
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5
Christensen, R., & Knezek, G. (2015). The Climate Change Attitude Survey: Measuring middle school student beliefs and intentions to enact positive environmental change. International Journal of Environmental and Science Education, 10(5), 773-788. https://doi.org/10.12973/ijese.2015.276a
Clayton, S. (2019). Psicología y cambio climático. Papeles del psicólogo, 40(3), 167-173. https://doi.org/10.23923/pap.psicol2019.2902
Clayton, S. (2024). A social psychology of climate change: Progress and promise. The British Journal of Social Psychology, 63(4), 1535-1546. https://doi.org/10.1111/bjso.12749
Corral-Verdugo, V. (2021). Psychology of climate change. PsyEcology, 12(2), 254-282. https://doi.org/10.1080/21711976.2021.1901188
Domínguez-Lara, S. (2018). Fiabilidad y alfa ordinal. Actas Urológicas Españolas, 42(2), 140-141. https://doi.org/10.1016/j.acuro.2017.07.002
Escobar-Pérez, J., & Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6(1), 27-36. https://gc.scalahed.com/recursos/files/r161r/w25645w/Juicio_de_expertos_u4.pdf
Forero, E., Hernández, Y., & Zafra, C. (2014). Percepción latinoamericana de cambio climático: metodologías, herramientas y estrategias de adaptación en comunidades locales, una revisión. Revista U.D.C.A Actualidad y Divulgación Científica, 17(1), 73-85. https://doi.org/10.31910/rudca.v17.n1.2014.942
Fornell, C. D., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39-50. https://doi.org/10.2307/3151312
Gadermann, A. M., Guhn, M., & Zumbo, D. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research & Evaluation, 17(3), 1-13. https://doi.org/10.7275/n560-j767
Gifford, R. (2014). Environmental psychology matters. Annual Review of Psychology, 65(1), 541-579. https://doi.org/10.1146/annurev-psych-010213-115048
Grothmann, T., & Patt, A. (2005). Adaptive capacity and human cognition: the process of individual adaptation to climate change. Global Environmental Change, 15(3), 199-213. https://doi.org/10.1016/j.gloenvcha.2005.01.002
Gwet, K. L. (2010). Handbook of interrater reliability (2a ed.). Advanced Analytics.
Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (2010). Multivariate Data Analysis (7a ed.). Pearson-Prentice Hall.
Hidalgo, M. C., & Pisano, I. (2010). Determinants of risk perception and willingness to tackle climate change. A pilot study. PsyEcology, 1(1), 105-112. https://doi.org/10.1174/217119710790709595
Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
International Test Commission. (2017). The ITC Guidelines for Translating and Adapting Tests (2a ed.). http://www.InTestCom.org
Intergovernmental Panel on Climate Change. (2018). Global Warming of 1.5°C. An IPCC Special Report on the Impacts of Global Warming of 1.5°C Above Pre-Industrial Levels and Related Global Greenhouse Gas Emission Pathways, in the Context of Strengthening the Global Response to the Threat of Climate. https://www.ipcc.ch/site/assets/uploads/sites/2/2019/06/SR15_Full_Report_High_Res.pdf
Intergovernmental Panel on Climate Change. (2022). Climate Change 2022: Impacts, Adaptation, and Vulnerability. Contribution of Working Group II to the Sixth Assessment Report of the Intergovernmental Panel on Climate Change. Cambridge University Press. In Press. https://doi.org/10.1017/9781009325844
Kollmuss, A., & Agyeman, J. (2002). Mind the gap: why do people act environmentally and what are the barriers to pro-environmental behavior? Environmental Education Research, 8(3), 239-260. https://doi.org/10.1080/13504620220145401
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
Leiserowitz, A., Maibach, E., Roser-Renouf, C., Feinberg, G., & Rosenthal, S. (2013). Climate change in the American mind: Americans’ global warming beliefs and attitudes in April 2013. Yale University; George Mason University. http://dx.doi.org/10.2139/ssrn.2298705
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361
McCright, A. M., & Dunlap, R. E. (2011). Cool dudes: The denial of climate change among conservative white males in the United States. Global Environmental Change, 21(4), 1163-1172. https://doi.org/10.1016/j.gloenvcha.2011.06.003
Maiteny, P. T. (2002). Mind in the gap: Summary of research exploring "inner" influences on pro-sustainability learning and behaviour. Environmental Education Research, 8(3), 299-306. https://doi.org/10.1080/13504620220145447
Mardia, K. V. (1970). Measures of multivariate skewnees and kurtosis with applications. Biometrika, 57(3), 519-530. https://doi.org/10.2307/2334770
Masud, M. M., Akhtar, R., Afroz, R., Al-Amin, A. Q., & Kari, F. B. (2015). Pro-environmental behavior and public understanding of climate change. Mitigation and Adaptation Strategies for Global Change, 20(4), 591-600. https://doi.org/10.1007/s11027-013-9509-4
Medina-Arboleda, I. F. (2022). Revisiones sobre la crisis climática en la psicología latinoamericana. Acta Colombiana de Psicología, 25(1), 5-6. https://doi.org/10.14718/acp.2021.25.1.1
Medina-Arboleda, I. F., & Páramo, P. (2024). Declaraciones de asociaciones profesionales en Latinoamérica sobre el cambio climático. Acta Colombiana de Psicología, 27(2), I-X. https://doi.org/10.14718/ACP.2024.27.2.0
Ministerio del Medio Ambiente de Chile. (2017). Plan de Acción Nacional de Cambio Climático 2017-2022. https://mma.gob.cl/wp-content/uploads/2017/07/plan_nacional_climatico_2017_2.pdf
Ministerio del Medio Ambiente de Chile. (2018). Encuesta Nacional de Medio Ambiente y Cambio Climático 2018. Dirección de estudios sociales, Pontificia Universidad Católica de Chile.
Nielsen, K. S., Clayton, S., Stern, P. C., Dietz, T., Capstick, S., & Whitmarsh, L. (2021). How psychology can help limit climate change. American Psychologist, 76(1), 130-144. https://doi.org/10.1037/amp0000624
Peña-Garay, M, & Sandoval-Díaz, J. (2024). Representaciones sociales del cambio climático entre población urbana y rural de Chile. Revista de Psicología (Santiago), 33(1), 77-91. https://doi.org/10.5354/0719-0581.2024.71552
Randolph, J. J. (2005, octubre 14-15). Free-marginal multirater kappa: An alternative to Fleiss´ fixed-marginal multirater kappa (Artículo presentado en el simposio). Joensuu University Learning and Instruction Symposium, Joensuu, Finland.
Randolph, J. J. (2008). Online Kappa Calculator. http://justusrandolph.net/kappa/
Reveco-Quiroz, P., Sandoval-Díaz, J., & Alvares, D. (2022). Bayesian modeling for pro-environmental behavior data: sorting and selecting relevant variables. Stochastic Environmental Research and Risk Assessment: Research Journal, 36(11), 3961-3977. https://doi.org/10.1007/s00477-022-02240-z
Rosseel, Y., Oberski, D., Byrnes, J., Vanbrabant, L., Savalei, V., Merkle, E. & Chow, M. (2018). Package ‘lavaan’. https://cran.r-project.org/web/packages/lavaan/lavaan.pdf
Sandoval-Díaz, J., Díaz-Vargas, N., Flores-Jiménez, D., López-Salazar, C., & Bravo-Ferretti, C. (2024). Cambio climático y olas de calor sobre el bienestar subjetivo en jóvenes. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 22(1), 393-422. https://doi.org/10.11600/rlcsnj.22.1.5926
Sandoval-Díaz, J., Navarrete Muñoz, M., & Cuadra Martínez, D. (2023). Revisión sistemática sobre la capacidad de adaptación y resiliencia comunitaria ante desastres socionaturales en América Latina y el Caribe. Revista de Estudios Latinoamericanos sobre Reducción del Riesgo de Desastres REDER, 7(2), 187-203. https://doi.org/10.55467/reder.v7i2.132
Sandoval-Diaz, J., Neumann, P., & Rey, R. (2021). Adaptación y validación preliminar de la Escala teoría cultural de cosmovisiones ambientales en población chilena. CES Psicología, 14(1), 16-35. https://doi.org/10.21615/cesp.14.1.3
Sandoval-Obando, E., & Sandoval Díaz, J. (2024). Psicología de las emergencias y desastres: Aportes y desafíos para el afrontamiento del cambio climático en América Latina. Universidad Autónoma de Chile. https://doi.org/10.32457/yb43yt53
Sapiains, R., Azócar, G., Palomo-Vélez, G., Ugarte, A. M., & Aldunce, P. (2024). Climate change perceptions in Latin America: From regional consensus to sociodemographic differences. Population and Environment, 46(4), 1-22. https://doi.org/10.1007/s11111-024-00464-5
Sapiains, R., Azócar, G., Ugarte, A., & Romero Hernández, J. (2021). Chileans, climate change and the natural environment: An audience segmentation study. Convergencia Revista de Ciencias Sociales, 28, 1-32. https://doi.org/10.29101/crcs.v28i0.15794
Sapiains, R., & Ugarte, A. (2017a). Contribuciones de la Psicología al abordaje de la dimensión humana del cambio climático en Chile (Primera parte). Interdisciplinaria. Revista de Psicología y Ciencias Afines, 34(1), 91-105. https://doi.org/10.16888/interd.2017.34.1.6
Sapiains, R., & Ugarte, A. (2017b). Contribuciones de la Psicología al abordaje de la dimensión humana del cambio climático en Chile (Segunda parte). Interdisciplinaria. Revista de Psicología y Ciencias Afines, 34(2), 259-274. https://doi.org/10.16888/interd.2017.34.2.2
Schwartz, S. H. (1977). Normative influences on altruism. Advances in Experimental Social Psychology, 10, 221-279. https://doi.org/10.1016/S0065-2601(08)60358-5
Sierra-Barón, W., & Millán-Otero, K. L. (2024). ¿La psicología colombiana está afrontando el cambio climático? Reflexiones sobre los retos profesionales ante la urgencia mundial. Acta Colombiana de Psicología, 27(2), XVII-XXVII. https://doi.org/10.14718/ACP.2024.27.2.01
Stern, P., Dietz, T., Abel, T., Guagnano, G., & Kalof, L. (1999). A value-belief-norm theory of support for social movements: The case of environmentalism. Human Ecology Review, 6(2), 81-97. https://humanecologyreview.org/pastissues/her62/62sternetal.pdf
Swim, J., Clayton, S., Doherty, T., Gifford, R., Howard, G., Reser, J., Stern, P., & Weber, E. (2009). Psychology and global climate change: Addressing a multi-faceted phenomenon and set of challenges. A report by the American Psychological Association’s Task Force on the Interface between Psychology and Global Climate Change. American Psychological Association, 66, 241-250
Tabachnick, B., & Fidell, L. S. (2013). Using Multivariate Statistics (6a ed.). Pearson.
Vidal Cobo, J. M., Vidal Mojena, M. A., & Villanueva Salinas, M. L. (2021). Repercusión del cambio climático en la salud psicológica. Humanidades Médicas, 21(1), 259-273.
Wu, H., & Estabrook, R. (2016). Identification of confirmatory factor analysis models of different levels of invariance for ordered categorical outcomes. Psychometrika, 81(4), 1014-1045. https://doi.org/10.1007/s11336-016-9506-0
Zelezny, L. C., Chua, P. P., & Aldrich, C. (2002). Elaborating on gender differences in environmentalism. Journal of Social Issues, 56(3), 443-457. https://doi.org/10.1111/0022-4537.00177
Disponibilidad de datos: El conjunto de datos que apoya los resultados de este estudio no se encuentra disponible.
Cómo citar: Sandoval-Díaz, J., Aedo Soto, O., & Cisternas Victoriano, R. (2024). Propiedades psicométricas e invarianza factorial de la Escala de Actitudes hacia el Cambio Climático en población chilena. Ciencias Psicológicas, 18(2), e-3671. https://doi.org/10.22235/cp.v18i2.3671
Contribución de los autores (Taxonomía CRediT): 1. Conceptualización; 2. Curación de datos; 3. Análisis formal; 4. Adquisición de fondos; 5. Investigación; 6. Metodología; 7. Administración de proyecto; 8. Recursos; 9. Software; 10. Supervisión; 11. Validación; 12. Visualización; 13. Redacción: borrador original; 14. Redacción: revisión y edición.
J. S. D. ha contribuido en 1, 2, 3, 4, 5, 6, 8, 9, 13; O. A. S. en 1, 7, 10, 11, 12, 14; R. C. V. en 1, 7, 10, 11, 12, 14.
Editora científica responsable: Dra. Cecilia Cracco.
Apéndice A
Tabla A1: Coeficiente de concordancia por dimensión entre pares de jueces
Nota: * Número correspondiente a cada juez (juez 1, juez 2, juez 3, juez 4, juez 5, juez 6, juez 7, juez 8, juez 9, juez 10).
10.22235/cp.v18i2.3671
Original Articles
Psychometric properties and factorial invariance of the Climate Change Attitude Survey in the Chilean population
Propiedades psicométricas e invarianza factorial de la Escala de Actitudes hacia el Cambio Climático en población chilena
Propriedades psicométricas e invariância fatorial da Escala de Atitudes em relação às Mudanças Climáticas na população chilena
José Sandoval-Díaz1, ORCID 0000-0001-7247-7113
Orlando Aedo Soto2, ORCID 0009-0007-9143-8452
Richard Cisternas Victoriano3, ORCID 0009-0001-9907-8742
1 Universidad del Bío Bío, Chile, jsandoval@ubiobio.cl
2 Universidad del Bío Bío, Chile
3 Universidad del Bío Bío, Chile
Abstract:
The aim of this study is to evaluate the psychometric properties and factorial invariance of the Climate Change Attitude Scale (CCAS). Based on Planned Behavior Theory, the scale measures both beliefs and behavioral intentions towards climate change. The original instrument consists of 15 items, using a five-point Likert response format. It was applied to a non-probabilistic sample of 800 Chilean participants. After translation and review, the scale demonstrated adequate content validity. A Confirmatory Factor Analysis (CFA) validated the instrument's suitability, which was adjusted to 13 items while maintaining its original two-factor structure. The invariance analysis confirmed that the bidimensional structure is not affected by gender. Evidence was found of convergent and discriminant validity, as well as adequate reliability in both dimensions. In conclusion, we support use of the Spanish version of the CCAS in Spanish-speaking communities, thus strengthening climate change research in the region from a psychosocial perspective.
Keywords: attitude; climate change; validity; factorial invariance; reliability.
Resumen:
El objetivo de este estudio fue evaluar las propiedades psicométricas y la invarianza factorial de la Escala de Actitudes hacia el Cambio Climático (EACC). Diseñada con base en la Teoría de la Acción Planificada, la escala mide tanto las creencias como la intención de conducta hacia el cambio climático. El instrumento original consta de 15 ítems, con un formato de respuesta tipo Likert de cinco opciones. Se aplicó a una muestra no probabilística de 800 participantes chilenos. Después de su traducción y revisión, la escala mostró una adecuada validez de contenido. Un Análisis Factorial Confirmatorio (AFC) validó la idoneidad del instrumento, ajustado a 13 ítems, manteniendo su estructura original de dos factores. El análisis de invarianza factorial confirmó que la estructura bidimensional no se ve afectada por el género. Se encontraron evidencias de validez convergente y discriminante, así como una confiabilidad adecuada en ambas dimensiones. En conclusión, se respalda el uso de la versión en español de la CCAS en comunidades hispanohablantes, lo que fortalece la investigación sobre el cambio climático en la región desde una perspectiva psicosocial.
Palabras clave: actitud; cambio climático; validez; invarianza factorial; confiabilidad.
Resumo:
O objetivo deste estudo foi avaliar as propriedades psicométricas e a invariância fatorial da Escala de Atitudes em relação às Mudanças Climáticas (EAMC). Baseada na Teoria da Ação Planejada, a escala mede tanto as crenças quanto as intenções comportamentais em relação às mudanças climáticas. O instrumento original possui 15 itens, com um formato de resposta tipo Likert de cinco opções. Foi aplicado a uma amostra não probabilística de 800 participantes chilenos. Após sua tradução e revisão, a escala demonstrou validade de conteúdo adequada. Uma Análise Fatorial Confirmatória (AFC) validou a adequação do instrumento, ajustado para 13 itens, mantendo sua estrutura original de dois fatores. A análise de invariância fatorial confirmou que a estrutura bidimensional não é influenciada pelo gênero. Foram encontradas evidências de validade convergente e discriminante, bem como uma confiabilidade adequada em ambas as dimensões. Em conclusão, respalda-se o uso da versão em espanhol da EAMC em comunidades de língua espanhola, fortalecendo a pesquisa sobre mudanças climáticas na região a partir de uma perspectiva psicossocial.
Palavras-chave: atitude; mudanças climáticas; validade; invariância fatorial; confiabilidade.
Received: 10/09/2023
Accepted: 13/11/2024
According to the 2022 report by Group II of the Intergovernmental Panel on Climate Change (IPCC), climate change (CC) poses a significant risk to human development. Given this scenario, it is crucial that behavioral sciences focus their efforts on analyzing sustainable attitudes, behavior and lifestyles (Corral-Verdugo, 2021).
In this context, behavioral sciences are fundamental to unravelling two psychosocial aspects related to coping with CC (Gifford, 2014; IPCC, 2022). The first are the mitigation strategies aimed at reducing its impact and the second are the psychological factors influencing capacities to adapt to extreme weather events (Nielsen et al., 2021; Sapiains & Ugarte, 2017a). Clayton (2019) stresses that understanding how attitudes and perceptions influence the adoption of sustainable behavior is crucial to addressing CC. She also argues that psychology can help overcome cognitive barriers preventing a clear perception of the problem and foster resilience through collective action and lifestyle changes (Clayton, 2024).
Psychological research on socio-cognitive and dispositional factors that influence adaptive responses to CC is at an early stage in in the Latin American Literature (Sandoval-Obando & Sandoval-Díaz, 2024; Sandoval-Díaz et al., 2024; Sapiains et al., 2024; Vidal Cobo et al., 2021). Despite its importance, it remains a minority field within Latin American psychology (Medina-Arboleda, 2022). This incipient development underscores the importance of culturally relevant studies that are adapted to the regional context (Adger, 2001; Grothmann & Patt, 2005).
One of the main priorities is to make progress with the development and validation of appropriate psychometric surveys to measure attitudes and behavior toward CC. The process is still in the early stages in Latin America (Corral-Verdugo, 2021; Medina-Arboleda & Páramo, 2024; Sapiains & Ugarte, 2017a; Sandoval-Díaz et al., 2021), reflecting the lack of instruments that accurately capture the particularities of the regional context. This deficit coincides with the findings of Forero et al. (2014), who noted that just 7.7 % of social research in the region uses quantitative methods, which underscores the need to strengthen methodological rigor in future studies, especially in the validation of instruments that allow measuring the socio-cognitive factors related to adapting to CC more precisely.
The urgent need to adapt and develop culturally and contextually relevant research instruments is especially evident in the case of Chile, considering its high vulnerability to CC. Though Chile has been identified as among the Latin American countries with an advanced public perception of climate variability (Azócar et al., 2021; Chilean Ministry of the Environment (MMA), 2017), there is a persistent gap in the scientific literature regarding the identification and characterization of the psychosocial dimensions that modulate coping behavior (MMA, 2018; Sapiains et al., 2021; Sapiains et al., 2024). In this context, it is fundamental that research focus on attitude constructs, as they not only provide a framework for understanding individual assessments of the socio-environmental environment, but also provide indicators on the willingness to undertake actions in favor of the environment (Hidalgo & Pisano, 2010; Masud et al., 2015; Sierra-Barón & Millán-Otero, 2024).
Attitudes Toward Climate Change
There is abundant literature analyzing the relationship between attitudes and the intention of pro-environment behavior (Kollmuss & Agyeman, 2002; Maiteny, 2002). In the area of psycho-social studies on CC, three main explanatory models can be distinguished (Sapiains & Ugarte, 2017b).
The first model, known as Normative Influence on Altruism (Schwartz, 1977), is frequently applied in research on environmentalist behavior and argues that feelings of obligation and moral commitment are crucial factors influencing such behavior.
The second model, the Value-Belief-Norm theory of environmentalism (Stern et al., 1999), is largely based on the previous model. It suggests that environmentalist behavior derives from a combination of values, environmental beliefs, awareness, responsibility and personal or moral norms, with the latter being especially determinant.
The third model is Planned Action Theory, developed by Ajzen (1991), which holds that the intention of engaging in specific behavior is influenced by three components: i) attitudes, which are assessments of the objective behavior; (ii) subjective norms, related to the expectations and pressures of the social group one belongs to; and (iii) perception of control, which refers to the belief in the ability to engage in the behavior based on previous experiences or possible obstacles. Ajzen (2002) argues that people will have a greater intention or motivation to engage in objective behavior if they evaluate it positively (attitude).
According to Ajzen’s model, environmentalist attitudes are composed of beliefs, emotions and intentions that positively influence the intention to adopt environmentalist behavior. At the level of results, these attitudes modulate support for public policies (Swim et al., 2009), the perception and self-efficacy (Hidalgo & Pisano, 2010), coping strategies and the intention to mitigate CC (Barrera-Hernández et al., 2021).
Climate Change Attitude Survey (CCAS)
Christensen and Knezek (2015) developed the Climate Change Attitude Survey (CCAS) based on a comprehensive review of the literature on attitudes toward CC. The survey covers 15 items and is structured around two main dimensions: beliefs and behavioral intention. A total of 1,576 individuals in the United States participated in the original study. An exploratory factor analysis revealed a two-dimensional structure accounting for 47.17 % of total variance. The presence of these two dimensions on the scale was confirmed through multidimensional scaling and hierarchical cluster analysis. The Cronbach's alpha internal consistency coefficients were suitable for both dimensions: beliefs (α = .87) and behavioral intention (α = .70).
This scale, based on Ajzen's (1991) Planned Action Theory, offers significant potential for adaptation and psychometric validation in the Latin American context to measure attitudes toward CC. Thus, its adaptation could lay a solid foundation for future regional research in this area.
This Study
As mentioned above, there are significant theoretical and methodological gaps in the Latin American literature when it comes to the psycho-social dimensions of CC (Forero et al., 2014; Medina-Arboleda, 2022; Sandoval-Díaz et al., 2021; Sapiains & Ugarte, 2017b). Though there has been a certain amount of empirical progress recently, developing psychometric instruments specifically adapted to the regional reality is essential. This will allow attitudes and behavior toward CC to be measured accurately. In this context, measurement invariance analysis is essential to ensuring that an instrument measures attitudes toward CC in different groups, such as men and women, in an equivalent way (Hair et al., 2010). Measurement invariance is evaluated across several levels to ensure that the observed differences between groups reflect real variations in attitudes and not measurement biases.
Several studies have suggested that women tend to be more concerned and have a higher perception of climate risk (Leiserowitz et al., 2013; McCright & Dunlap, 2011; Sapiains et al., 2024). However, the results on gender differences are mixed, highlighting the importance of applying measurement invariance to ensure that the differences detected reflect real variations and that they are not the product of the instrument’s limitations.
The general objective of this work is to analyze the psychometric properties of the Climate Change Attitude Survey (CCAS) in the Chilean population. Its specific objectives are: a) to evaluate the validity of the CCAS’s content through expert review, b) to analyze the descriptive statistics of the items and their discrimination indexes, c) to confirm the internal factorial structure of the scale through a confirmatory factor analysis (CFA), d) to perform a measurement invariance analysis to verify the scale’s equivalence between men and women, e) to evaluate the convergent and discriminant validity and f) to estimate the scale’s reliability.
Method
This study falls within the scope of instrumental or psychometric design (Ato et al., 2013) and its main objective is to analyze the psychometric properties of the CCAS scale in a sample of the Chilean population.
Participants
Non-probabilistic availability sampling was used and 800 Chilean adults participated, of which 54.1 % were women. The participants’ age ranged between 18 and 71 years, with an average of 26.44 years and a standard deviation of 9.78. In terms of education, 1.4 % (11 people) declared having primary education, 65.9 % (527 people) declared having secondary education and 32.8 % (262 people) declared having higher education.
Regarding economic income, 52.5 % (420 people) declared having an income equal to or less than the Chilean minimum wage,[2] 18.9 % 151 people) declared having an income equal to or less than two minimum wages and 28.6 % (229) declared having an income equal to or greater than three minimum wages.
Instruments
Climate Change Attitude Survey (Christensen & Knezek, 2015). The survey is self-administered and has 15 items, with a five-point Likert response format that varies from (1) totally disagree to (5) totally agree. It is divided into two main dimensions:
- Beliefs: The first nine items evaluate participants’ beliefs regarding CC (e.g., “I think our climate is changing”).
- Behavioral intent: The remaining six items explore participants’ intention to act on CC (e.g., “We can’t do anything to stop global climate change”).
Procedures
The guidelines established by the International Test Commission (2017) were followed to ensure the quality and validity of the measurements in this study. In the process of adapting the survey from English to Spanish, this work’s authors initially participated in the translation’s review and adjustment. A professional translator was subsequently engaged to ensure a precise and culturally appropriate semantic adaptation in accordance with the recommended functional equivalence. No significant changes were made to the linguistic adjustment, ensuring that the items retained their original meaning in the new idiomatic and cultural context.
The content was then reviewed with the help of expert judges, evaluated the survey items according to four fundamental criteria (Escobar-Pérez & Cuervo-Martínez, 2008):
- Sufficiency: The items must suffice to adequately measure the dimensions they represent.
- Clarity: The items must be easily understandable, both in their grammatical structure as well as their meaning.
-Consistency: The items must be logically related to the dimensions one aims to measure.
-Relevance: The items must be essential and, therefore, included in the survey.
Each of these criteria was evaluated on a four-level scale: i) non-compliant, ii) low level, iii) moderate and iv) high level. In addition, qualitative observations were added to enrich the items’ evaluation, following the recommendations of Cassepp-Borges et al. (2010).
For this evaluation process, 10 expert judges with postgraduate training and at least five years of teaching and research experience in the socio-environmental field collaborated. Nine of these judges were men and one was a woman. Seven of them had PhDs or were candidates for one, while the remaining three had master's degrees. It is crucial to note that these judges were not part of the research team and that they participated in the study voluntarily and free of charge.
Table 1: Characteristics of the judges evaluating the Survey contents
Based on the criteria and previous evaluations, a pilot study of the adapted survey was implemented with a sample of 30 Chilean university students. The purpose of this pilot was to evaluate the survey's applicability and viability. As a result, adjustments were made to the instructions, the application format and the estimated time to complete the survey, thus reaching its final version.
This final version of the survey was implemented between August and October 2020, with an average duration of 20 minutes per participant. The data was collected using Google Forms, managed by previously trained university students. Due to mobility restrictions imposed by the COVID-19 pandemic, participants were recruited through digital social networks. They gave their consent to participate in the study by virtually signing an informed consent form and received no compensation for doing so.
Ethical Considerations
This study is part of the research project FOVI/ANID 230212 and was approved by the Universidad del Bio Bio Ethics Committee. The ethical principles set out in the Helsinki Declaration were rigorously followed to ensure the participants’ confidentiality and privacy. Prior to participating, individuals were informed of the objectives, procedures, potential risks and benefits associated with the study. All necessary precautions were taken to protect participants’ well-being and to ensure that the study meets the relevant ethical standards.
Data Analysis
Content Validity. This was analyzed using Randolph's (2005) marginal-free multirater and calculated using the Gwet (2010) variation formula and an online Kappa calculator (Randolph, 2008). The coefficient values vary from 0 to 1 and are interpreted according to the following agreement force ranges: (a) .00 = poor, (b) .10 – .20 = slight, (c) .21 – .40 = fair, (d) .41 – .60 = moderate, (e) .61 – .80 = substantial, and (f) .81 – 1.0 = almost perfect (Landis & Koch, 1977).
Descriptive Statistics. Items were examined through the calculation of univariate descriptive statistics and discrimination indexes. Corrected item-total correlations and the Mardia multivariate index were used (Hair et al., 2010; Mardia, 1970; Tabachnick & Fidell, 2013).
Confirmatory Factor Analysis (CFA). The Weighted Least Squares Means and Variance Adjusted (WLSMV) method, recommended for ordinal variables (Brown, 2015), was used. The model's goodness of fit was assessed using several indexes: Chi-squared (χ²), Comparative Fit Index (CFI > .95), Tucker-Lewis Index (TLI > .95), Root Mean Square Error of Approximation (RMSEA < .06) and Standardized Root Mean Squared Residual (SRMR < .08), following the guidelines of Hu and Bentler (1999). The analysis was carried out using R software and version 0.6-9 of the “lavaan” package (Rosseel et al., 2018).
Factorial Invariance of Measurement. Current literature on psychometric validation stresses the need to demonstrate that the measurement model is independent of the sample characteristics (Hair et al., 2010). Findings are mixed when it comes to the gender variable’s influence on attitudes toward CC (Beiser-McGrath & Huber, 2018; Zelezny et al., 2002). A progressive approach was adopted to evaluate invariance, which began with configural invariance and followed by metric, force and, lastly, strict invariance using multigroup confirmatory factor analysis (Byrne, 2008; Chen, 2007). The differences between models were evaluated using the variations in the CFI (ΔCFI) and RMSEA (ΔRMSEA) indexes. Invariance is considered strong when ΔCFI ≤ 0 and ΔRMSEA ≤ 0.015 (Cheung & Rensvold, 2002).
Convergent and discriminant validity. For convergent validity, standardized factor loadings are expected to be significant and ≥ 0.50 (Bagozzi et al., 1991; Hair et al., 2010). Regarding discriminant validity, it must be verified that the square root of the extracted variance measurement (√VME) is higher than the square of the correlations between dimensions (Fornell & Larcker, 1981).
Reliability. Reliability was evaluated using the ordinal alpha coefficient, appropriate for polychoric matrices (Domínguez-Lara, 2018), and the composite reliability (CR) coefficient. Ordinal alpha and CR values of over .70 are considered to indicate adequate reliability (Gadermann et al., 2012).
Results
Interjudge Content Validity
Three types of agreement analysis between judges were carried out to evaluate the content validity. These analyses focused on: a) the dimensions of the evaluation scale, b) the agreement between different pairs of evaluating judges and c) the evaluation criteria used in the study.
First, it was observed that the two dimensions evaluated showed Kappa agreement coefficients ranging between substantial and almost perfect, as detailed in Table 2.
Table 2: Agreement coefficient for each scale dimension of the scale
Note: Force of agreement, interpretation according to Landis and Koch (1977).
Second, the Kappa agreement between pairs of expert evaluators was almost perfect in both the dimension related to beliefs as well as the behavioral intention dimension (see details in Appendix A).
Third, the results showed agreement levels that vary according to the different evaluation criteria: agreement was fair in the sufficiency criterion, substantial in consistency and almost perfect in the relevance and clarity criteria. These data are detailed in Table 3.
Table 3: Kappa coefficient in the four areas evaluated
Lastly, the expert panel's observations in the qualitative area led to the decision to preserve all items in the instrument. In addition, satisfaction was expressed regarding its administration format and length.
Descriptive Statistics
First, it should be noted that no data were found to be missing in the data set reviewed. Second, 11 of the 15 items evaluated surpassed the threshold of ±2 in the values of asymmetry and univariate kurtosis. This observation led to the potential elimination of items 5 and 15, which showed asymmetry values greater than ±3, in line with the criteria of Tabachnick and Fidell (2013). In relation to the multivariate normality analysis, the symmetry coefficient remained within acceptable ranges, but the kurtosis coefficient did not comply with the guidelines established by Mardia (1970). This indicates the need to use robust estimators and extraction methods for the factor analysis, as per the recommendations of Lloret-Segura et al. (2014). Lastly, all item-total correlations were positive, as shown in Table 4.
Table 4: Exploratory analysis corresponding to the survey’s items (n = 800)
Note: Mardia K: 131.86, p = .00. Mardia ASY: 75.38, p = 1.00. ASY: asymmetry coefficient; K: kurtosis coefficient; rit: total item-scale correlations: Mardia K and As: Kurtosis coefficient and multivariate asymmetry.
Confirmatory Factor Analysis
A CFA was initially carried out with the 15 original items, with an insufficient fit obtained according to the criteria of Hair et al. (2010). The results were: χ²(89) = 728.100, p = .000; RMSEA = .095 (IC of 95 % = .088 – .101); TLI = .839; CFI = .864; and SRMR = .079. On the other hand, the internal consistency coefficients (α) were: α = .823 for the belief subscale and α = .711 for the intention subscale, suggesting an acceptable internal consistency for beliefs, but marginal for intention.
Items 5 and 15 were eliminated after being identified as problematic in the previous phase. The new CFA showed a better fit with the two-factor model: χ²(78) = 2719.209, p = .000; RMSEA = .046 (IC of 95 % = .039 – .053); TLI = .946; CFI = .955; and SRMR = .043 (Figure 1).
Figure 1: CFA results for the CCAS scale (n = 800)
A measurement invariance analysis was carried out to progressively evaluate configural invariance (M1), thresholds (M2) and factor loadings (M3), according to Wu and Estabrook (2016). Due to the ordinal nature of the variables, the robust estimator WLSMV estimator was used (Brown, 2015). The results of the unrestricted base model for both groups (M1) are presented in Table 5, showing excellent fit rates (CFI = .947, RMSEA = .062, SRMR = .046). This model served as a reference for the M2 and M3 models. In the M2 model, which examines threshold invariance, good fit rates (CFI = .945, RMSEA = .060, SRMR = .056) and minimal changes compared to M1 were observed, supporting threshold invariance. The M3 model, which evaluated the invariance of factor loadings, also displayed good fit rates (CFI = .942, RMSEA = .060, SRMR = .057) with minimal differences compared to M1, indicating the invariance of factor loadings. To assess structural invariance, an additional model (M4) was established with equal factor variances between groups. The values obtained (CFI = .934, RMSEA = .061, SRMR = .062) did not exceed the recommended minimum differences, suggesting that structural invariance is complied with. In sum, invariance analyses revealed good fits with the models evaluated, supporting the measurement invariance at the configural, threshold and factor loading levels.
Table 5: Factorial invariance analysis by sex for attitudes
Note: M1: Configurational; M2: Metric; M3: Strong; M4: Strict.
Evidence of Discriminant, Convergent Validity and Internal Consistency
Regarding convergent validity, the results presented in Table 6 indicate that all items showed statistically significant factor loadings of over .5. However, it is important to note that the AVE (Average Variance Extracted) value was lower than the recommended minimum in both factors. Despite this, the square roots of the extracted variance measurement (√VME) were shown to be higher than the correlations between dimensions.
In addition, the composite reliability (CR) coefficients and ordinal alpha coefficient registered slightly better values compared to the original 15-item structure (α = .823 for beliefs and α = .711 for behavioral intention), which reinforces the internal consistency of the evaluated dimensions (see Table 6).
Table 6: Validity and reliability indices corresponding to the dimensions of attitudes toward climate change
Note: Correlation between factors 1 and 2 (r = .486; R2 = 0.236).
Discussion
The initial results show that the Climate Change Attitude Survey applied to Chilean adults has a bidimensional factor structure with 13 items aligned with the original version. Items 5 and 15 were excluded due to their poor fit in the structural model (SEM), problems with multivariate normality and low internal consistency compared to the final adjusted version. These findings should be interpreted with caution, since the removal of these items could modify the instrument's original theoretical conceptualization (Carretero-Dios & Pérez, 2005). Nevertheless, the results continue to back the theoretical validity of attitudes, particularly in the dimensions of beliefs and behavioral intention, according to Ajzen and Fishbein’s (1977) theory and other research (Gifford, 2014; IPCC, 2018; Kollmuss & Agyeman, 2002; Maiteny, 2002).
The CFA showed a good fit for the 13-item model, which reinforces the validity of the survey's new internal structure. Though a specific adjustment was made in item 11, which was moved from the “Intention” dimension to “Beliefs", it is important to continue evaluating whether this change effectively improves the model's conceptual coherence, considering that the item addresses cognitive aspects of environmental knowledge.
Regarding the invariance analysis, the results indicated that the survey structure and factor loadings were consistent between men and women. This suggests that the instrument measures both genders equivalently, in line with the international literature (Beiser-McGrath & Huber, 2018), which supports the survey's validity in different subgroups.
In addition, evidence of convergent and discriminant validity was found. Though the average extracted variance (AVE) was slightly lower than the recommended threshold, this finding is offset by the fact that the square roots of AVE exceeded the correlations between factors, reinforcing the instrument's discriminant validity.
Lastly, the survey showed adequate reliability in both dimensions, with better values than the original 15-item version. This confirms that the survey is a useful, accurate and reliable tool for measuring attitudes toward CC.
This study brings up several aspects to be considered in new research. The content validity review suggests that while the “sufficiency” category registered an acceptable value, it would be advisable to review the number and relevance of items in each dimension more thoroughly. This becomes especially important after the removal of items 5 and 15, as it may have affected the full coverage of the theoretical constructs that the survey measures. This aspect should be considered in subsequent studies to ensure that the survey appropriately captures all relevant facets of attitudes toward CC (Carretero-Dios & Pérez, 2005).
From a methodological perspective, while the structure obtained is similar to that of the original model (Christensen & Knezek, 2015), it is crucial to stress that different statistical decisions were made. In the original research, the principal component method was used to identify "the number and composition of components needed to summarize the scores observed in a large set of variables" (Lloret-Segura et al., 2014, p. 1,153). In contrast, this study used Factor Analysis, which “identifies the number and composition of the common factors needed to explain the shared variance of the set of items analyzed" (Lloret-Segura et al., 2014, p. 1,152). Furthermore, instead of using Cronbach's alpha, this study used composite reliability coefficients and ordinal alpha, more appropriate for the analysis of ordinal Likert-type variables (Domínguez-Lara, 2018).
Regarding the study's limitations, it is important to highlight the possible lack of sample representativeness, as participants’ access was virtual due to the restrictions imposed by the pandemic. This may have reduced the sample's heterogeneity. Future research should consider the implementation of stratified probabilistic sampling, which would allow improved representation of the population regarding CC, including variability in relevant aspects such as territoriality, differentiating between urban and rural areas (Peña-Garay & Sandoval-Díaz, 2024), in addition to sociodemographic factors such as age and having children (Sapiains et al., 2024). Another aspect to bear in mind is that the survey was applied in a single moment, which limits evaluation of the instrument's temporal reliability and obtaining information on the construct's stability over time. Lastly, the incorporation of greater evidence of validity is recommended, such as concurrent or predictive validity, comparing the scores on the scale with other variables related to attitudes toward CC. This would help confirm that the instrument effectively measures what it intends to and establish its relationship with other relevant dimensions, such as awareness, risk perception and environmentalist behavior.
In sum, this study's results offer a psychometric instrument that has been adapted and validated in Spanish to evaluate attitudes toward CC among Chilean adults, contributing to narrowing the psychometric gap in Latin American research (Forero et al., 2014; Reveco-Quiroz et al., 2022). The CCAS scale, in its 13-item version, has proven to be robust with adequate evidence of content validity, internal structure and factor invariance by gender, which ensures its applicability in different population subgroups. It also has adequate reliability levels, making it a useful tool for future studies in the field of behavioral sciences. In particular, it is relevant for evaluating different psychosocial dimensions of CC in the Latin American context (Clayton, 2019, 2024; Corral-Verdugo, 2021; Medina-Arboleda, 2022; Vidal Cobo et al., 2021), as well examining CC mitigation and adaptation strategies (Barrera-Hernández et al., 2021; Sandoval-Díaz et al., 2023; Sapiains & Ugarte, 2017; Sierra-Barón & Millán-Otero, 2024). Despite this progress, there is a need to continue with studies that delve into temporal stability and validation with other CC-related variables to strengthen its applicability in future research.
References:
Adger, W. N. (2001). Scales of governance and environmental justice for adaptation and mitigation of climate change. Journal of International Development, 13(7), 921-931. https://doi.org/10.1002/jid.833
Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50, 179-211. https://doi.org/10.1016/0749-5978(91)90020-T
Ajzen, I. (2002). Perceived behavioral control, self-efficacy, locus of control, and the theory of planned behavior. Journal of Applied Social Psychology, 32(4), 665-683. https://doi.org/10.1111/j.1559-1816.2002.tb00236.x
Ajzen, I., & Fishbein, M. (1977). Attitude-behavior relations: A theoretical analysis and review of empirical research. Psychological Bulletin, 84(5), 888-918. https://doi.org/10.1037/0033-2909.84.5.888
Ato, M., López, J. J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Annals of Psychology, 29(3), 1038-1059. http://doi.org/10.6018/analesps.29.3.178511
Azócar, G., Billi, M., Calvo, R., Huneeus, N., Lagos, M., Sapiains, R., & Urquiza, A. (2021). Climate change perception, vulnerability, and readiness: inter-country variability and emerging patterns in Latin America. Journal of Environmental Studies and Sciences, 11(1), 23-36. https://doi.org/10.1007/s13412-020-00639-0
Bagozzi, R., Yi, Y., & Phillips, L. (1991). Assessing construct validity in organizational research. Administrative Science Quarterly, 36(3), 421-458. https://doi.org/10.2307/2393203
Barrera-Hernández, L. F., Corral-Verdugo, V., Echeverría-Castro, S. B., Sotelo-Castillo, M. A., & Ocaña-Zúñiga, J. (2021). Beliefs, perceived risk, obstacles and intention to act. An explanatory model for mitigation and coping behaviours regarding climate change. PsyEcology, 12(3), 1-19. https://doi.org/10.1080/21711976.2020.1827660
Beiser-McGrath, L. F., & Huber, R. A. (2018). Assessing the relative importance of psychological and demographic factors for predicting climate and environmental attitudes. Climatic Change, 149(3), 335-347. https://doi.org/10.1007/s10584-018-2260-9
Brown, T. A. (2015). Confirmatory factor analysis for applied research (2nd ed.). Guilford Press.
Byrne, B. M. (2008). Testing for multigroup equivalence of a measuring instrument: A walk through the process. Psicothema, 20(4), 872-882. https://reunido.uniovi.es/index.php/PST/article/view/8744
Carretero-Dios, H., & Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5(3), 521-551. https://www.redalyc.org/pdf/337/33705307.pdf
Cassepp-Borges, V., Balbinotti, M., & Teodoro, M. (2010). Tradução e Validação de Conteúdo: Uma Proposta para Adaptação de Instrumentos. In L. Pasquali (Coord), Instrumentação psicológica: Fundamentos e Práticas (pp. 506-520). ArtMed.
Chen, F. F. (2007). Sensitivity of goodness of fit indices to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504. https://doi.org/10.1207/s15328007sem1203_7
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5
Christensen, R., & Knezek, G. (2015). The Climate Change Attitude Survey: Measuring middle school student beliefs and intentions to enact positive environmental change. International Journal of Environmental and Science Education, 10(5), 773-788. https://doi.org/10.12973/ijese.2015.276a
Clayton, S. (2019). Psicología y cambio climático. Papeles del psicólogo, 40(3), 167-173. https://doi.org/10.23923/pap.psicol2019.2902
Clayton, S. (2024). A social psychology of climate change: Progress and promise. The British Journal of Social Psychology, 63(4), 1535-1546. https://doi.org/10.1111/bjso.12749
Corral-Verdugo, V. (2021). Psychology of climate change. PsyEcology, 12(2), 254-282. https://doi.org/10.1080/21711976.2021.1901188
Domínguez-Lara, S. (2018). Fiabilidad y alfa ordinal. Actas Urológicas Españolas, 42(2), 140-141. https://doi.org/10.1016/j.acuro.2017.07.002
Escobar-Pérez, J., & Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6(1), 27-36. https://gc.scalahed.com/recursos/files/r161r/w25645w/Juicio_de_expertos_u4.pdf
Forero, E., Hernández, Y., & Zafra, C. (2014). Percepción latinoamericana de cambio climático: metodologías, herramientas y estrategias de adaptación en comunidades locales, una revisión. Revista U.D.C.A Actualidad y Divulgación Científica, 17(1), 73-85. https://doi.org/10.31910/rudca.v17.n1.2014.942
Fornell, C. D., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39-50. https://doi.org/10.2307/3151312
Gadermann, A. M., Guhn, M., & Zumbo, D. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research & Evaluation, 17(3), 1-13. https://doi.org/10.7275/n560-j767
Gifford, R. (2014). Environmental psychology matters. Annual Review of Psychology, 65(1), 541-579. https://doi.org/10.1146/annurev-psych-010213-115048
Grothmann, T., & Patt, A. (2005). Adaptive capacity and human cognition: the process of individual adaptation to climate change. Global Environmental Change, 15(3), 199-213. https://doi.org/10.1016/j.gloenvcha.2005.01.002
Gwet, K. L. (2010). Handbook of interrater reliability (2nd ed.). Advanced Analytics.
Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (2010). Multivariate Data Analysis (7th ed.). Pearson-Prentice Hall.
Hidalgo, M. C., & Pisano, I. (2010). Determinants of risk perception and willingness to tackle climate change. A pilot study. PsyEcology, 1(1), 105-112. https://doi.org/10.1174/217119710790709595
Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
International Test Commission. (2017). The ITC Guidelines for Translating and Adapting Tests (2nd ed.). http://www.InTestCom.org
Intergovernmental Panel on Climate Change. (2018). Global Warming of 1.5°C. An IPCC Special Report on the Impacts of Global Warming of 1.5°C Above Pre-Industrial Levels and Related Global Greenhouse Gas Emission Pathways, in the Context of Strengthening the Global Response to the Threat of Climate. https://www.ipcc.ch/site/assets/uploads/sites/2/2019/06/SR15_Full_Report_High_Res.pdf
Intergovernmental Panel on Climate Change. (2022). Climate Change 2022: Impacts, Adaptation, and Vulnerability. Contribution of Working Group II to the Sixth Assessment Report of the Intergovernmental Panel on Climate Change. Cambridge University Press. In Press. https://doi.org/10.1017/9781009325844
Kollmuss, A., & Agyeman, J. (2002). Mind the gap: why do people act environmentally and what are the barriers to pro-environmental behavior? Environmental Education Research, 8(3), 239-260. https://doi.org/10.1080/13504620220145401
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
Leiserowitz, A., Maibach, E., Roser-Renouf, C., Feinberg, G., & Rosenthal, S. (2013). Climate change in the American mind: Americans’ global warming beliefs and attitudes in April 2013. Yale University; George Mason University. http://dx.doi.org/10.2139/ssrn.2298705
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361
McCright, A. M., & Dunlap, R. E. (2011). Cool dudes: The denial of climate change among conservative white males in the United States. Global Environmental Change, 21(4), 1163-1172. https://doi.org/10.1016/j.gloenvcha.2011.06.003
Maiteny, P. T. (2002). Mind in the gap: Summary of research exploring "inner" influences on pro-sustainability learning and behaviour. Environmental Education Research, 8(3), 299-306. https://doi.org/10.1080/13504620220145447
Mardia, K. V. (1970). Measures of multivariate skewnees and kurtosis with applications. Biometrika, 57(3), 519-530. https://doi.org/10.2307/2334770
Masud, M. M., Akhtar, R., Afroz, R., Al-Amin, A. Q., & Kari, F. B. (2015). Pro-environmental behavior and public understanding of climate change. Mitigation and Adaptation Strategies for Global Change, 20(4), 591-600. https://doi.org/10.1007/s11027-013-9509-4
Medina-Arboleda, I. F. (2022). Revisiones sobre la crisis climática en la psicología latinoamericana. Acta Colombiana de Psicología, 25(1), 5-6. https://doi.org/10.14718/acp.2021.25.1.1
Medina-Arboleda, I. F., & Páramo, P. (2024). Declaraciones de asociaciones profesionales en Latinoamérica sobre el cambio climático. Acta Colombiana de Psicología, 27(2), I-X. https://doi.org/10.14718/ACP.2024.27.2.0
Ministerio del Medio Ambiente de Chile. (2017). Plan de Acción Nacional de Cambio Climático 2017-2022. https://mma.gob.cl/wp-content/uploads/2017/07/plan_nacional_climatico_2017_2.pdf
Ministerio del Medio Ambiente de Chile. (2018). Encuesta Nacional de Medio Ambiente y Cambio Climático 2018. Dirección de estudios sociales, Pontificia Universidad Católica de Chile.
Nielsen, K. S., Clayton, S., Stern, P. C., Dietz, T., Capstick, S., & Whitmarsh, L. (2021). How psychology can help limit climate change. American Psychologist, 76(1), 130-144. https://doi.org/10.1037/amp0000624
Peña-Garay, M, & Sandoval-Díaz, J. (2024). Representaciones sociales del cambio climático entre población urbana y rural de Chile. Revista de Psicología (Santiago), 33(1), 77-91. https://doi.org/10.5354/0719-0581.2024.71552
Randolph, J. J. (2005, octubre 14-15). Free-marginal multirater kappa: An alternative to Fleiss´ fixed-marginal multirater kappa (Article presented). Joensuu University Learning and Instruction Symposium, Joensuu, Finland.
Randolph, J. J. (2008). Online Kappa Calculator. http://justusrandolph.net/kappa/
Reveco-Quiroz, P., Sandoval-Díaz, J., & Alvares, D. (2022). Bayesian modeling for pro-environmental behavior data: sorting and selecting relevant variables. Stochastic Environmental Research and Risk Assessment: Research Journal, 36(11), 3961-3977. https://doi.org/10.1007/s00477-022-02240-z
Rosseel, Y., Oberski, D., Byrnes, J., Vanbrabant, L., Savalei, V., Merkle, E. & Chow, M. (2018). Package ‘lavaan’. https://cran.r-project.org/web/packages/lavaan/lavaan.pdf
Sandoval-Díaz, J., Díaz-Vargas, N., Flores-Jiménez, D., López-Salazar, C., & Bravo-Ferretti, C. (2024). Cambio climático y olas de calor sobre el bienestar subjetivo en jóvenes. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 22(1), 393-422. https://doi.org/10.11600/rlcsnj.22.1.5926
Sandoval-Díaz, J., Navarrete Muñoz, M., & Cuadra Martínez, D. (2023). Revisión sistemática sobre la capacidad de adaptación y resiliencia comunitaria ante desastres socionaturales en América Latina y el Caribe. Revista de Estudios Latinoamericanos sobre Reducción del Riesgo de Desastres REDER, 7(2), 187-203. https://doi.org/10.55467/reder.v7i2.132
Sandoval-Diaz, J., Neumann, P., & Rey, R. (2021). Adaptación y validación preliminar de la Escala teoría cultural de cosmovisiones ambientales en población chilena. CES Psicología, 14(1), 16-35. https://doi.org/10.21615/cesp.14.1.3
Sandoval-Obando, E., & Sandoval Díaz, J. (2024). Psicología de las emergencias y desastres: Aportes y desafíos para el afrontamiento del cambio climático en América Latina. Universidad Autónoma de Chile. https://doi.org/10.32457/yb43yt53
Sapiains, R., Azócar, G., Palomo-Vélez, G., Ugarte, A. M., & Aldunce, P. (2024). Climate change perceptions in Latin America: From regional consensus to sociodemographic differences. Population and Environment, 46(4), 1-22. https://doi.org/10.1007/s11111-024-00464-5
Sapiains, R., Azócar, G., Ugarte, A., & Romero Hernández, J. (2021). Chileans, climate change and the natural environment: An audience segmentation study. Convergencia Revista de Ciencias Sociales, 28, 1-32. https://doi.org/10.29101/crcs.v28i0.15794
Sapiains, R., & Ugarte, A. (2017a). Contribuciones de la Psicología al abordaje de la dimensión humana del cambio climático en Chile (Primera parte). Interdisciplinaria. Revista de Psicología y Ciencias Afines, 34(1), 91-105. https://doi.org/10.16888/interd.2017.34.1.6
Sapiains, R., & Ugarte, A. (2017b). Contribuciones de la Psicología al abordaje de la dimensión humana del cambio climático en Chile (Segunda parte). Interdisciplinaria. Revista de Psicología y Ciencias Afines, 34(2), 259-274. https://doi.org/10.16888/interd.2017.34.2.2
Schwartz, S. H. (1977). Normative influences on altruism. Advances in Experimental Social Psychology, 10, 221-279. https://doi.org/10.1016/S0065-2601(08)60358-5
Sierra-Barón, W., & Millán-Otero, K. L. (2024). ¿La psicología colombiana está afrontando el cambio climático? Reflexiones sobre los retos profesionales ante la urgencia mundial. Acta Colombiana de Psicología, 27(2), XVII-XXVII. https://doi.org/10.14718/ACP.2024.27.2.01
Stern, P., Dietz, T., Abel, T., Guagnano, G., & Kalof, L. (1999). A value-belief-norm theory of support for social movements: The case of environmentalism. Human Ecology Review, 6(2), 81-97. https://humanecologyreview.org/pastissues/her62/62sternetal.pdf
Swim, J., Clayton, S., Doherty, T., Gifford, R., Howard, G., Reser, J., Stern, P., & Weber, E. (2009). Psychology and global climate change: Addressing a multi-faceted phenomenon and set of challenges. A report by the American Psychological Association’s Task Force on the Interface between Psychology and Global Climate Change. American Psychological Association, 66, 241-250
Tabachnick, B., & Fidell, L. S. (2013). Using Multivariate Statistics (6nd ed.). Pearson.
Vidal Cobo, J. M., Vidal Mojena, M. A., & Villanueva Salinas, M. L. (2021). Repercusión del cambio climático en la salud psicológica. Humanidades Médicas, 21(1), 259-273.
Wu, H., & Estabrook, R. (2016). Identification of confirmatory factor analysis models of different levels of invariance for ordered categorical outcomes. Psychometrika, 81(4), 1014-1045. https://doi.org/10.1007/s11336-016-9506-0
Zelezny, L. C., Chua, P. P., & Aldrich, C. (2002). Elaborating on gender differences in environmentalism. Journal of Social Issues, 56(3), 443-457. https://doi.org/10.1111/0022-4537.00177
Data availability: The dataset supporting the results of this study is not available.
How to cite: Sandoval-Díaz, J., Aedo Soto, O., & Cisternas Victoriano, R. (2024). Psychometric properties and factorial invariance of the Climate Change Attitude Survey in the Chilean population. Ciencias Psicológicas, 18(2), e-3671. https://doi.org/10.22235/cp.v18i2.3671
Authors’ contribution (CRediT Taxonomy): 1. Conceptualization; 2. Data curation; 3. Formal Analysis; 4. Funding acquisition; 5. Investigation; 6. Methodology; 7. Project administration; 8. Resources; 9. Software; 10. Supervision; 11. Validation; 12. Visualization; 13. Writing: original draft; 14. Writing: review & editing.
J. S. D. has contributed in 1, 2, 3, 4, 5, 6, 8, 9, 13; O. A. S. in 1, 7, 10, 11, 12, 14; R. C. V. in 1, 7, 10, 11, 12, 14.
Scientific editor in-charge: Dr. Cecilia Cracco.
Appendix A
Table A1: Agreement coefficient by dimension between pairs of judges
Note: *Number corresponding to each judge (Judge 1, Judge 2, Judge 3, Judge 4, Judge 5, judge 6, judge 7, judge 8, judge 9, judge 10).