10.22235/cp.v17i2.2706

Propriedades psicométricas dos instrumentos de mensuração de agency: uma revisão sistemática

Psychometric properties of agency measuring instruments: a systematic review

Propiedades psicométricas de los instrumentos de medición de la agencia: una revisión sistemática

Maria Julia Pegoraro Gai¹, ORCID 0000-0002-8481-1112

Roberto Moraes Cruz², ORCID 0000-0003-4671-3498

João Nuno Ribeiro Viseu³, ORCID 0000-0002-9817-7300

Synara Sepúlveda Sales⁴, ORCID 0000-0002-7792-4952

Cyntia Nunes⁵, ORCID 0000-0002-9150-2254

¹Universidade Federal de Santa Catarina, Brasil, mariajuliagai@hotmail.com

² Universidade Federal de Santa Catarina, Brasil

³ Universidade de Évora, Portugal

⁴ Universidade Federal de Santa Catarina, Brasil

⁵ Universidade Federal de Santa Catarina, Brasil

Resumo:

A capacidade de agência, relacionada à percepção de protagonismo na tomada de decisões sobre a própria vida, já apresenta um histórico de investigações a partir de estudos empíricos, mas ainda existem indefinições conceituais e de mensuração do fenômeno, em que são observadas simplificações e generalizações do construto. Tendo isso em vista, o objetivo desta revisão sistemática da literatura é analisar as propriedades psicométricas de instrumentos de mensuração da agência pessoal. Executou-se uma revisão sistemática de literatura com buscas em seis bases de dados brasileiras e internacionais de publicações até 2020. Dos 55 documentos analisados, identificaram-se 23 instrumentos com essa proposta. Observaram-se fragilidades no tocante à robustez das propriedades psicométricas apresentadas, já que a maior parte se limita à validade de estrutura interna. As validades convergente e divergente são pouco exploradas. Não foi identificado um instrumento de mensuração da agência com validade estatística para o contexto brasileiro, pois encontrou-se apenas um instrumento com validação semântica. O desenvolvimento de um instrumento adaptado para o contexto brasileiro é a principal recomendação para estudos futuros.

Palavras-chave: agência; agência pessoal; propriedades psicométricas; instrumentos de mensuração.

Abstract:

Agency capacity, related to the perception of protagonism on making decisions about one's own life, currently presents a previous record of investigations based on empirical studies, but there is still a lack of definition around the concept and the measurement of the phenomenon, considering the simplifications and generalizations observed. With that in mind, the goal of this systematic literature review is to analyze the psychometric properties of instruments for measuring personal agency. A systematic literature review was carried out with searches in six Brazilian and international databases on publications from up to 2020. We identified 23 instruments with this proposal, from the 55 documents analyzed. There were fragilities regarding the robustness of the presented psychometric properties, since most of them are limited to the internal structure validity. The convergent and divergent validities are little explored. An agency measurement instrument with statistical validation for the Brazilian context was not identified, only one instrument with semantic validation was found. The development of an instrument adapted to the Brazilian context is the main recommendation for future studies.

Keywords: agency; personal agency; psychometric properties; measurement instruments.

Resumen:

La capacidad de agencia, relacionada con la percepción de protagonismo en la toma de decisiones sobre la propia vida, presenta un historial de investigaciones basadas en estudios empíricos, pero aún existen incertidumbres conceptuales y de medición del fenómeno en las que se hacen simplificaciones y generalizaciones del concepto. Teniendo esto en cuenta, el objetivo de esta revisión sistemática de la literatura es analizar las propiedades psicométricas de los instrumentos de medición de la agencia personal. Se realizó una revisión bibliográfica sistemática con búsquedas en seis bases de datos brasileñas e internacionales hasta 2020. De los 55 documentos analizados, se identificaron 23 instrumentos con esta propuesta. Se observaron debilidades en cuanto a la robustez de las propiedades psicométricas presentadas, ya que la mayoría se limita a la validez de la estructura interna. La validez convergente y divergente son poco exploradas. No se identificó un instrumento de medición de agencia que tenga validez estadística para el contexto brasileño, ya que solo se encontró un instrumento con validación semántica. El desarrollo de un instrumento adaptado al contexto brasileño es la principal recomendación para futuros estudios.

Palabras clave: agencia; agencia personal; propiedades psicométricas; instrumentos de medida.

Recebido: 13/10/2021

Aceito: 21/06/2023

A capacidade de fazer escolhas, definir objetivos e agir de acordo com essas decisões são características da capacidade de agência. Nesse processo, a possibilidade de ter alternativas se configura como fator fundamental para que a deliberação sobre a própria volição seja realizada com mais abertura. Se trata de um fenômeno que envolve aspectos relacionados à motivação, significado e propósito, que acabam influenciando nessa percepção de “poder interno” (Kabeer, 1999, p. 438). Esse recurso tem implicações para além do âmbito pessoal, já que acaba causando impactos a nível social e econômico (Cauce & Gordon, 2012). A agência humana é decorrente das influências externas, fatores pessoais e motivação para o comportamento, que se auto influenciam e são causadores uns dos outros de maneira recíproca e interativa (Bandura, 1989, 2018).

Essa capacidade de protagonismo na tomada de decisões sobre a própria vida já apresenta um histórico de investigações a partir de estudos empíricos, mas ainda existem indefinições sobre a conceitualização e na mensuração do fenômeno. Para auxiliar no delineamento desse processo, a revisão da literatura sobre o assunto com enfoque nas técnicas de investigação proporciona avanços nos estudos futuros, visto que as informações já descobertas são importantes para evitar equívocos já observados anteriormente. Um exemplo que ilustra essa necessidade de entendimento sobre o construto e técnicas de medição é o próprio uso de escalas de autoeficácia para medir agência. Sabe-se que se trata de uma dimensão relacionada, mas que não contempla a capacidade agêntica como um todo (Alkire, 2005).

Landes e Settersten Jr. (2019) ampliam a percepção de agência com relação à influência dos relacionamentos interpessoais nessa capacidade e criticaram a falta de reconhecimento desse aspecto na literatura, ainda que esteja englobada na conceitualização de Bandura como parte dos influenciadores externos. Os autores apontaram que a agência humana é dependente dos aspectos relacionais e propuseram que a conceitualização e mensuração da agência requerem a consideração de que as vidas das pessoas são interligadas. Desse modo, para que a agência se estabeleça, não é necessária essa noção de total independência.

Por conta dessa dificuldade na delimitação teórica, os aspectos metodológicos das pesquisas também são impactados, em que se observa simplificações e generalizações sobre o construto. Em muitas pesquisas são utilizados instrumentos que propõem mensurar agência, mas que na verdade se referem a fenômenos relacionados ou fatores da agência, como autoeficácia, autodeterminação, locus de controle, mas que não abrangem todos os aspectos necessários (Pick et al., 2007), como por exemplo na pesquisa de Vidrine et al. (2009), que utilizou uma escala de Escala de Autoeficácia e um questionário para avaliar as expectativas de regulação afetiva; as pesquisas de Friestad e Skog Hansen (2010) e Graff (2016), que utilizaram uma escala de autoeficácia geral; e também a pesquisa brasileira de Dressler et al. (2019) que utiliza como medida de senso de agência pessoal uma combinação de escalas de locus de controle e tolerância à frustração.

Nos casos em que se deseja mensurar agência voltada a um contexto específico, outros fatores relacionados podem ser acrescentados de acordo com a necessidade, mas a multidimensionalidade do fenômeno deve ser assegurada, independentemente da estratégia escolhida para a mensuração (Cauce & Gordon, 2012). Logo, fica evidenciada a necessidade de construção do fenômeno que se quer mensurar, como já indicavam Lautamo et al. (2020) ao desenvolver um instrumento para mensuração da agência. Nesse processo, a verificação das propriedades psicométricas de tais ferramentas torna-se fundamental para a verificação da qualidade dos instrumentos e para compreender como foram desenvolvidos esses instrumentos. A relevância desse tipo de revisão de literatura que enfoca nos instrumentos de medida se dá por possibilitar a escolha do instrumento mais indicado para pesquisas posteriores a partir de evidências científicas (Mokkink et al., 2016).

A partir disso, o objetivo desta revisão sistemática da literatura é analisar as propriedades psicométricas de instrumentos de mensuração da agência pessoal. Cabe mencionar que não foram identificadas revisões sistemáticas na literatura revisada que atendessem ao objetivo proposto, caracterizando-se uma lacuna nas pesquisas sobre o assunto. Tal avanço é importante para a verificação e análise dos instrumentos existentes para mensuração da agência para embasar a construção de novas medidas do construto.

Materiais e Método

Revisões sistemáticas de literatura possibilitam contrapor, analisar e sintetizar os achados contidos na literatura com rigor metodológico. Mais especificamente, esta pesquisa se trata de uma revisão sistemática com foco psicométrico, uma vez que viabiliza a análise das propriedades psicométricas de instrumentos, em que é possível examinar índices de confiabilidade e validade (Munn et al., 2018). Nessa pesquisa são analisados os instrumentos de medida de um único construto, a agência pessoal. Utilizou-se o protocolo para revisão sistemática com base no PRISMA, com etapas que contemplam a identificação, triagem, elegibilidade e inclusão dos documentos (Page et al., 2021).

Na etapa de busca e identificação do corpus da pesquisa, as bases de dados elencadas foram a Scopus, Web of Science, PsycINFO, Medline, SciELO e IndexPsi, sendo as quatro primeiras bases internacionais e as duas últimas nacionais. Realizaram-se as buscas em 21 outubro de 2020, atualizadas em 14 de fevereiro de 2021 por duas revisoras que utilizaram a estratégia: (“sense of agency” OR “human agency” OR “judgment of agency” OR “agency judgment” OR “personal agency” OR “types of agency” OR “forms of agency” OR “perceived agency” OR “feelings of agency”) AND (measur* OR assessment OR validity OR evaluation OR inventory OR scale OR “measures of agency” OR instrument), pesquisada em títulos, resumos e palavras-chave, com exceção da SciELO, a qual a busca foi realizada apenas no título e resumo devido à limitação da plataforma de busca. Nas duas bases nacionais incluíram-se os mesmos termos nos idiomas português e espanhol.

Como filtros de busca, limitaram-se os resultados a documentos em português, inglês e español, com exceção da PsycINFO, em que não foi possível incluir o filtro de idioma. Além das bases de dados, buscaram-se outros documentos para anexar ao corpus de pesquisa a partir das referências dos artigos já encontrados. Finalizada essa etapa, fez-se o download dos bancos de dados e iniciou-se a etapa de triagem. Removeram-se os dados duplicados e iniciou-se a análise da elegibilidade por meio da leitura dos resumos por duas revisoras independentes, que consideraram os seguintes critérios de inclusão: a) abordar o conceito de agência a partir da perspectiva cognitiva e comportamental; b) estudos quantitativos ou mistos; c) mencionar instrumentos psicométricos que mensuram a agência pessoal; d) estar no idioma português, inglês ou espanhol e disponível para acesso online.

A última etapa de coleta de dados refere-se à extração dos dados dos documentos, em que se buscou informações sobre os instrumentos utilizados, dimensionalidade, número de itens, população e amostra e propriedades psicométricas. Na análise dos dados utilizou-se a lista de verificação COSMIN (Consensus-based Standards for the selection of health status Measurement Instruments), ferramenta que auxilia na avaliação da qualidade metodológica em pesquisas acerca das propriedades de medição dos instrumentos (Mokkink et al., 2010). Para esse estudo apenas utilizaram-se os itens referentes à identificação das propriedades de medidas, que são: consistência interna, confiabilidade, erro de medição, validade de conteúdo, validade de estrutura interna, teste de hipóteses, validade transcultural, validade de critério e capacidade de resposta, acrescidas da verificação da validade convergente, divergente e de construto.

Resultados

Diversas escalas se propõem a mensurar a agência como um fator de outros construtos, mas são poucos os instrumentos específicos para medição desse fenômeno. Dos 3.451 documentos identificados, após realização da organização e filtragem da base de dados, apenas 377 resumos passaram para a etapa de leitura na íntegra para analisar sua adequação ao objetivo da pesquisa com base na leitura dos resumos considerando os critérios de inclusão. Desses, 17 não puderam ser verificados, pois não estavam disponibilizados na versão completa; 141 documentos foram identificados com propostas de mensuração da agência pessoal, no entanto, em apenas 42 utilizou-se instrumentos com a finalidade específica de mensurar esse construto de maneira geral.

Por meio das referências desses documentos, identificaram-se outros 15 que tratavam do desenvolvimento de medidas psicométricas de agência. Desses, incluíram-se apenas 13 porque dois não foram encontrados disponíveis, totalizando 55 documentos selecionados. O fluxograma da coleta de dados e delimitação do corpus de pesquisa está ilustrado na Figura 1.

Figura 1: Fluxograma da coleta de dados e delimitação do corpus de pesquisa

Fonte: Elaborado pela autora com base no PRISMA (Page et al., 2021).

Entre os 55 documentos que utilizam ferramentas que atendem aos critérios de inclusão para a pesquisa, identificaram-se um total de 23 instrumentos que se propõem a mensurar agência pessoal. Alguns desses documentos referem-se à construção ou adaptação e validação de instrumentos, enquanto outros aplicam essas ferramentas em suas pesquisas. As ferramentas identificadas estão descritas na Tabela 1, que contém informações sobre suas dimensões, itens, amostra da pesquisa e propriedades psicométricas.

Tabela 1: Instrumentos de mensuração de agência pessoal e suas propriedades psicométricas

Com base na Tabela 1, observa-se que dos 23 instrumentos analisados, 21 apresentam análise da consistência interna e confiabilidade. Desses, 20 utilizaram o alfa de Cronbach, que é um dos procedimentos mais utilizados para mensurar a consistência interna ou fidedignidade de um instrumento (Zanon & Hauck Filho, 2015). O critério de validade mais utilizado por esse grupo de instrumentos é a validade de estrutura interna (ou validade fatorial, interna e de construto), mensurada em quinze instrumentos de diferentes maneiras. Esse tipo de validade indica se as respostas obtidas pelo instrumento são internamente consistentes no tocante às distintas partes que compõem a ferramenta (International Test Commission, 2014; Pasquali, 2007). O teste de hipóteses, que se refere à verificação do aceite ou rejeição das hipóteses iniciais formuladas pelos pesquisadores, foi identificado em oito instrumentos. Essa propriedade de medida é fundamental para a obtenção da validade de construto (Souza et al., 2017).

A validade convergente foi identificada em seis instrumentos e possibilita a verificação de que os indicadores de diferentes fenômenos possuem relação significativa, em que ambos apresentam alta variância em comum (Hair Jr. et al., 2019). Pode ser obtida correlacionando instrumentos que mensuram um fenômeno semelhante, em que se espera uma alta correlação entre os fatores. No caso da validade divergente, somente quatro instrumentos apresentaram análises que apresentam evidências desse tipo de validade, que é observada por meio do uso da medida de um construto contraposto ou em direção oposta do que aquele que se está investigando (Polit, 2015). Além da validade divergente, a validade de conteúdo foi mencionada em quatro instrumentos. Sua importância se dá por possibilitar uma definição quanto à natureza do fenômeno que se pretende mensurar e proporcionar informações importantes a respeito da validade de construto (Vianna, 1983).

O erro de medição é apontado por quatro instrumentos, sendo que dois destes indicam o erro padrão identificado a EAPI e a PAS. Esse dado pode ser identificado por meio da observação da variação nos escores obtidos entre as aplicações de um instrumento em um mesmo participante, que tem como causa a variação dos escores de erro. Desse modo, se refere ao desvio padrão dos escores de erro (Primi, 2012). O erro da medida é indicado pelo erro padrão da medida. Tal dado indica que medida verdadeira referente a um atributo está localizada entre o valor médio das medidas realizadas e um erro padrão para mais e para menos (Pasquali, 2003).

Quatro instrumentos foram identificados apresentando validade de critério. Esse tipo de validade pode ser preditiva –possibilita identificar em que medida o instrumento consegue predizer comportamentos futuros com base na avaliação em determinado momento- ou de critério -os pesquisadores comparam os resultados obtidos por meio da escala com os resultados de outra escala a respeito do mesmo construto considerada “padrão ouro” (Pacico & Hutz, 2015; Polit, 2015). A validade transcultural foi verificada em apenas dois instrumentos e foi realizada de maneira parcial em outros quatro, já que nem todos apresentam todas as etapas indicadas por Beaton et al. (2000). As informações referentes às propriedades de medidas verificadas nos 23 instrumentos identificados estão sintetizadas na Tabela 2.

Tabela 2: Síntese das propriedades de medidas dos instrumentos de mensuração da agencia

Nota: * Processo realizado parcialmente ou de forma incompleta.

Por meio da síntese proposta pela Tabela 2 cabe observar que nenhum instrumento demonstrou a capacidade de resposta do instrumento. Também é possível constatar que nem todas as ferramentas apresentaram diferentes tipos de validade, sendo que cinco instrumentos apresentam delineamentos conceituais e estatísticos pouco aprofundados, tais elementos não foram encontrados nos documentos que apresentam seu desenvolvimento ou não estavam disponibilizados.

Discussão

Os instrumentos identificados são analisados a partir de três prismas: a) perspectivas teóricas e historicidade dos instrumentos; b) propriedades psicométricas e; c) população e amostra dos estudos que desenvolveram os instrumentos e idiomas que estão disponibilizados.

Perspectivas teóricas e historicidade dos instrumentos

Diferentes perspectivas teóricas a respeito dos estudos sobre agência podem ser observadas por meio dos instrumentos de mensuração do construto a partir do referencial teórico que os embasa e se reflete na dimensionalidade das escalas. Os primeiros instrumentos identificados estão alinhados com a perspectiva teórica que relaciona sexo, gênero e a influência na agência e comunalidade, que tem como base a ideia de representação de papéis sociais de homens e mulheres e os estereótipos associados. A partir dessa compreensão, o senso de agência está associado ao masculino, com características de determinação, individualismo, ação, competência, ambição, dominância, objetividade, por exemplo. Já o senso de comunalidade direciona-se ao feminino, contemplando o cuidado, coletivismo, moralidade, interdependência e investimento parental, por exemplo (Abele et al., 2008). Nove instrumentos identificados estão alinhados a essa perspectiva: o PAQ, EPAQ, GEPAQ, IAT, GRI-14, AC, ACJ, AC e ASMS.

A outra perspectiva teórica observada nos instrumentos está associada ao modelo de causação recíproca triádica e processos metacognitivos. Este modelo parte do pressuposto de que os fatores ambientais, fatores pessoais e motivação para ação e comportamento exercem influência entre si na capacidade de agência. A metacognição tem papel fundamental nesse processo, em que os principais recursos são a intencionalidade, premeditação, autorreatividade e autorreflexão (Bandura, 2001, 2018). Quatorze instrumentos estão associados a esta perspectiva: o BIF, APAB, CAMI, Multi-CAM, MAPS, MAPS-20, PIAS, EAPI, PAS, ESAGE, AHA, AQ, PAB e ATPA-22.

Mesmo com quatorze instrumentos desenvolvidos, que consideram dimensionalidades distintas relacionadas ao modelo de causação recíproca triádica e processos metacognitivos, não se identificou nenhum instrumento que contemple todos os fatores de agência identificados por Gai et al. (no prelo). Os autores propõem uma dimensionalidade ampliada da agência pessoal a partir da perspectiva banduriana, que incluem: intencionalidade, premeditação, autorreatividade, autorreflexão, autoeficácia e controle interno. Esse modelo contempla os processos metacognitivos indicados por Bandura (2001), assim como a autoeficácia (Bandura, 1989) e o controle interno proposto por Rotter (1966). Isso demonstra uma possível limitação no tocante ao embasamento teórico na construção desses instrumentos, que se reflete na dimensionalidade das escalas.

Em relação à distribuição temporal do desenvolvimento dessas escalas, observaram-se movimentações distintas quanto ao desenvolvimento de instrumentos de diferentes perspectivas teóricas (Figura 2).

Figura 2: Distribuição do desenvolvimento das escalas de cada perspectiva teórica por ano

Com base na Figura 2 observa-se que os instrumentos que se referem à agência e comunalidade e estereótipos de gênero são mais antigos e preconizam o ferramental para mensuração do construto. No entanto, possuem menor constância quanto ao desenvolvimento de novas escalas, visto que após a escala de 1981 apenas foram identificados novos instrumentos a partir de 2006 e nenhuma nova ferramenta desde 2015. Em contrapartida, mesmo com o primeiro instrumento relacionado a essa perspectiva datar o ano de 1989, a linha teórica que associa a agência e o modelo de causação recíproca triádica e os processos metacognitivos apresenta maior constância no desenvolvimento de novos instrumentos.

A razão do decréscimo do uso de instrumentos associados à noção de agência e estereótipos de gênero pode estar associada a desmistificação dessa estereotipia, especialmente por estarem relacionados a prejuízos no desenvolvimento e maturação emocional, levando ao sofrimento psíquico (Jesus et al., 2020). A influência dos relacionamentos interpessoais na percepção de agência é ampliada por Landes e Settersten Jr. (2019) que criticam a falta de reconhecimento desse aspecto na literatura, ainda que esteja englobada na conceitualização de Bandura como parte dos influenciadores externos. Os autores compreendem que a agência humana é dependente dos aspectos relacionais e propõem que a conceitualização e mensuração da agência requerem a consideração de que as vidas das pessoas estão interligadas, sendo equivocada a percepção de total “independência”, o que contraria a noção de antagonismo entre agência e comunalidade.

Propriedades psicométricas dos instrumentos

Com base na análise das propriedades psicométricas dos instrumentos selecionados, o uso da teoria clássica dos testes foi identificado na análise de todas as ferramentas que apresentavam esses dados, com nenhuma verificação do uso da Teoria de Resposta ao Item. Dentre essas propriedades observadas, o uso predominante do alfa de Cronbach nos instrumentos confirma a preferência para analisar a consistência interna ou fidedignidade (Zanon & Hauck Filho, 2015). Os instrumentos identificados possuem o valor de alfa entre .61 e .95, ou seja, a maioria apresenta valores aceitáveis (Hair Jr. et al., 2019).

Nos critérios de validade, a verificação das evidências de validade de estrutura interna foi a mais atendida nos instrumentos, especialmente com uso de análises fatoriais exploratórias e confirmatórias. Os outros tipos de validade mais observados, ainda que em menor número, são a validade convergente —em seis instrumentos— e a validade divergente —em quatro instrumentos—. Ao considerar o número inferior de ferramentas que executaram esse processo, é possível corroborar a afirmação de Henderson (2002) a respeito da dificuldade na identificação de instrumentos de medidas bem validados para executar a verificação desses dois tipos de validação. Essa dificuldade também pode estar relacionada com a falta de clareza conceitual sobre a agency para que sejam estabelecidos os construtos que apresentam características análogas ou antagônicas.

A validade transcultural foi verificada em apenas um instrumento —a adaptação da Stereotypical Masculinity Scale de Bem (1974)— realizada por Besta et al. (2015). No entanto, essa informação não representa um indício de que essa etapa não foi contemplada nos artigos por falha metodológica, visto que a maioria se trata de desenvolvimento dos instrumentos e não de adaptações transculturais. Nos casos dos instrumentos de Runge et al. (1981) e de Fontes et al. (2010), a validação transcultural não foi executada de maneira completa, visto que apenas foram realizadas as primeiras etapas desse processo, limitadas a validação semântica com tradução e retrotradução dos instrumentos. As etapas para uma adaptação transcultural completa se referem a tradução, síntese das traduções, retrotradução, sínteses das retrotraduções, comitê de especialistas e pré-teste (Beaton et al., 2000). Ainda que não tenha sido mencionado o processo de validação transcultural, três instrumentos foram construídos em diferentes idiomas: a AC, CAMI e Multi-CAM. No entanto, não apresentam as propriedades psicométricas dessas diferentes versões.

No tocante às propriedades psicométricas, ao analisar os aspectos metodológicos desse grupo de instrumentos, observou-se que nem todos apresentaram diferentes tipos de evidências de validade, o que indica pouca robustez das análises propostas, especialmente porque muitos apresentam análises estatísticas pouco aprofundadas. Salienta-se a ausência de linguagem clara acerca das propriedades de medida utilizadas para análise dos instrumentos, as quais não são escritas de maneira objetiva em todos os casos, o que pode dificultar o entendimento da qualidade dos instrumentos para leitores que não tenham tanta proximidade com os termos e testes estatísticos.

População, amostra e idioma dos instrumentos

Os instrumentos identificados se destinam a diferentes grupos populacionais, em que se observou uma distribuição da amostra dos estudos que inclui: crianças e adolescentes, jovens e estudantes, adultos (sem especificações) e profissionais. Quanto aos testes indicados para crianças e adolescentes, apenas identificou-se dois: o CAMI e o Multi-CAM. As amostras de jovens e estudantes foram encontradas em nove estudos que se propuseram a desenvolver os instrumentos. O direcionamento para esse grupo pode estar associado à importância da agência para decisões relacionadas à carreira e à inserção no mundo do trabalho. Isso também se justifica nos casos das amostras com adultos, identificadas em dez estudos, e com profissionais, observadas em dois estudos. Esses dados reforçam a importância de mensuração da agência especialmente pelas implicações do fenômeno na percepção sobre carreira (Chen & Hong, 2020) e nas respostas de modo proativo às situações que envolvem o âmbito educacional e profissional (Betz, 1987).

Quanto ao idioma dos instrumentos, dos 23 identificados, 19 estão disponíveis em inglês e apenas 7 estão em outros idiomas. O segundo idioma com maior número de escalas é o alemão, com três instrumentos (GEPAQ, CAMI e Multi-CAM), seguido do polonês, com dois instrumentos (SMS e AC). Em russo também estão dois instrumentos (CAMI e Multi-CAM). Os idiomas que apresentaram apenas um instrumento para mensuração de agência são o português (EAPI), espanhol (ESAGE), japonês (CAMI), francês (AC) e o italiano (AC). A existência do mesmo instrumento em diferentes idiomas torna possível o uso dessa medida em uma extensão territorial maior, viabilizando estudos comparativos entre diferentes países e culturas.

Conclusão

A partir da execução dessa revisão sistemática da literatura em que se buscou analisar as propriedades psicométricas de instrumentos de mensuração da agência pessoal, identificaram-se 23 instrumentos que se propõem a mensurar a agência pessoal de maneira específica. Dos 55 documentos analisados, alguns se destinam especificamente à construção ou adaptação e validação desses instrumentos, enquanto outros apresentavam pesquisas empíricas com uso dessas ferramentas.

Observaram-se dois grupos de instrumentos com base no aporte teórico que os embasa, identificados na literatura mencionada e nos fatores que compõem as escalas. Os primeiros instrumentos estão baseados na percepção de agência e comunalidade, pautados em estereótipos de gênero. A segunda vertente de instrumentos tem alinhamento com o modelo de causação recíproca triádica e processos metacognitivos, que contempla o maior número de ferramentas. Não foram identificados instrumentos que contemplem de maneira concomitante a dimensionalidade ampliada de agency proposta por Gai et al. (no prelo), que são: intencionalidade, premeditação, autorreatividade, autorreflexão, autoeficácia e controle interno, o que enfatiza a necessidade de construção de novos instrumentos.

Há fragilidades no tocante à robustez das propriedades psicométricas dos instrumentos, já que a maior parte se limita a apresentação de evidências de validade de estrutura interna. As validades convergentes e divergentes são pouco exploradas, o que pode se dar em função da dificuldade em identificar instrumentos que possibilitem essa verificação ou pela falta de clareza conceitual sobre agency para que seja possível estabelecer esses critérios. Não foram identificados instrumentos que visem a mensuração da agência com validade estatística para o português, tampouco no contexto brasileiro. O único instrumento adaptado para esse idioma apresentou somente validação semântica o Agency Beliefs (Smith et al., 2000) adaptado por Fontes et al. (2010).

A partir desse dado, observa-se que o desenvolvimento de um instrumento adaptado para o contexto brasileiro é a principal recomendação de estudos a partir dessa revisão sistemática. A inexistência de um instrumento que atenda aos critérios de validade dificulta os avanços da literatura sobre agency no país. A construção de um instrumento que contemple a dimensionalidade ampliada de agency proposta por Gai et al. (no prelo) possibilita o preenchimento dessa lacuna teórica. Tal instrumento pode ser uma opção para uso por pesquisadores que já estudam o tema e acabam por utilizar instrumentos de medida de construtos relacionados, como o caso da pesquisa de Dressler et al. (2019).

Dentre as limitações do estudo, mesmo com o rastreio em seis bases de dados, ainda é possível que outros instrumentos não tenham sido contemplados, em vista da dificuldade de abarcar a totalidade dos estudos disponíveis e também por não terem sido considerados os documentos da literatura cinzenta. Além disso, os documentos foram pesquisados até o ano de 2020 e alguns dos documentos que desenvolveram instrumentos não puderam ser acessados, o que limitou a descrição do desenvolvimento da ferramenta e suas propriedades psicométricas. Como sugestões para estudos futuros, salienta-se a indicação de desenvolvimento de pesquisas em outros idiomas além do inglês, pois dos 23 instrumentos estudados, somente seis não estavam nesse idioma. Isso pode ser uma das possíveis justificativas para o pequeno número de estudos sobre a capacidade de agency na América Latina, incluindo o Brasil.

Referencias:

Abele, A. E., Uchronski, M., Suitner, C., & Wojciszke, B. (2008). Towards an operationalization of the fundamental dimensions of agency and communion: Trait content ratings in five countries considering valence and frequency of word occurrence. European Journal of Social Psychology, 38(7), 1202-1217. https://doi.org/10.1002/ejsp.575

Alkire, S. (2005). Subjective quantitative studies of human agency. Social Indicators Research, 74(1), 217-260. https://doi.org/10.1007/s11205-005-6525-0

Baker, C. W., Little, T. D., & Brownell, K. D. (2003). Predicting adolescent eating and activity behaviors: the role of social norms and personal agency. Health Psychology, 22(2), 189. https://doi.org/10.1037/0278-6133.22.2.189

Bandura, A. (1989). Human agency in social cognitive theory. American Psychologist, 44(9), 1175. https://doi.org/10.1037/0003-066X.44.9.1175

Bandura, A. (2001). Social cognitive theory: An agentic perspective. Annual review of psychology, 52(1), 1-26. https://doi.org/10.1146/annurev.psych.52.1.1

Bandura, A. (2018). Toward a psychology of human agency: Pathways and reflections. Perspectives on Psychological Science, 13(2), 130-136. https://doi.org/10.1177/1745691617699280

Beaton, D. E., Bombardier, C., Guillemin, F., & Ferraz, M. B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25(24), 3186-3191. https://doi.org/10.1097/00007632-200012150-00014

Bem, S. L. (1974). The measurement of psychological androgyny. Journal of Consulting and Clinical Psychology, 42(2), 155-162. https://doi.org/10.1037/h0036215

Besta, T., Mattingly, B., & Błażek, M. (2015). When membership gives strength to act: Inclusion of the group into the self and feeling of personal agency. The Journal of Social Psychology, 156(1), 56-73. https://doi.org/10.1080/00224545.2015.1053838

Betz, N. E. (1987). Use of discriminant analysis in counseling psychology research. Journal of Counseling Psychology, 34(4), 393-403. https://doi.org/10.1037/0022-0167.34.4.393

Bosak, J., Sczesny, S., & Eagly, A. H. (2008). Communion and agency judgments of women and men as a function of role information and response format. European Journal of Social Psychology, 38(7), 1148-1155. https://doi.org/10.1002/ejsp.538

Campbell, W. K., Bosson, J. K., Goheen, T. W., Lakey, C. E., & Kernis, M. H. (2007). Do narcissists dislike themselves ‘deep down inside?’ Psychological Science, 18(3), 227-229. http://dx.doi.org/10.1111/j.1467-9280.2007.01880.x

Cauce, A. M. & Gordon, E. W. (2012). Toward the measurement of human agency and the disposition to express it. Gordon commission on the future of educational assessment, Princeton, Educational Testing Service. https://www.ets.org/Media/Research/pdf/cauce_gordon_measurement_human_agency.pdf

Chen, C. P. & Hong, J. W. L. (2020). The Career Human Agency Theory. Journal of Counseling & Development, 99(2), 193-199. https://doi.org/10.1002/jcad.12313

Côté, I. M., Darling, E. S., & Brown, C. J. (2016). Interactions among ecosystem stressors and their importance in conservation. Proceedings of the Royal Society B: Biological Sciences, 283(1824), 20152592. https://doi.org/10.1098/rspb.2015.2592

Côté, J. (1997). An empirical test of the identity capital model. Journal of Adolescence, 20(5), 577-597. https://doi.org/10.1006/jado.1997.0111

Dressler, W. W., Balieiro, M. C., & dos Santos, J. E. (2019). Agência, consonância cultural e sintomas depressivos: um exemplo brasileiro. Ethos, 47(2), 148-167. https://doi.org/10.1111/etho.12238

Fontes, A. P., Neri, A. L., & Yassuda, M. S. (2010). Enfrentamento de estresse no trabalho: relações entre idade, experiência, autoeficácia e agência. Psicologia: Ciência e Profissão, 30(3), 620-633. https://doi.org/10.1590/S1414-98932010000300013

Ford, M. E. & Chase, C. (1991). Manual: Assessment of Personal Agency Beliefs. Stanford University.

Friestad, C. & Skog Hansen, I. L. (2010). Gender differences in inmates’ anticipated desistance. European Journal of Criminology, 7(4), 285-298. https://doi.org/10.1177/1477370810363375

Gai, M. J. P., Viseu, J. N. R., Cruz, R. M., & Kaczam, F. (no prelo). Perspectivas teóricas dos estudos sobre agency: uma revisão integrativa. Estudos de Psicologia.

Graff, M. (2016). Cognitive and affective aspects of personality and academic procrastination: The role of personal agency, flow, & executive function. (Tese de doutorado, City University of New York). https://academicworks.cuny.edu/cgi/viewcontent.cgi?article=2489&context=gc_etds

Hair Jr., J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate Data Analysis (8^a ed.). Cengage.

Henderson, S. J. (2002). The correlates of inventor motivation, creativity and achievement. (Tese de doutorado, Stanford University). Stanford University ProQuest. https://www.proquest.com/docview/305543449?pq-origsite=gscholar&fromopenview=true

International Test Commission. (2014). ITC guidelines on quality control in scoring, test analysis, and reporting of test scores. International Journal of Testing, 14(3), 195-217. https://doi.org/10.1080/15305058.2014.918040

Jesus, C. A., Preto, L. A., Ferreira, B. F., & Vicente, M. F. K. (2020). Estereótipos de gênero e seus impactos na psique humana. Revista Científica Sophia, 1(1), 70-87.

Kabeer, N. (1999). Resources, agency, achievements: Reflections on the measurement of women’s empowerment. Development and Change, 30(3), 435-464. https://doi.org/10.1111/1467-7660.00125

Landes, S. D. & Settersten Jr, R. A. (2019). The inseparability of human agency and linked lives. Advances in Life Course Research, 42, 100306. https://doi.org/10.1016/j.alcr.2019.100306

Lautamo, T., Paltamaa, J., Moilanen, J., & Malinen, K. (2020). Psychometric properties of the Assessment Tool for Perceived Agency (ATPA-22): utility for the rehabilitation of young adults not in education, employment or training (NEETs). Scandinavian Journal of Occupational Therapy, 28(2) 97-109. https://doi.org/10.1080/11038128.2020.1782983

Lawson, K. M. & Lips, H. M. (2014). The role of self‐perceived agency and job attainability in women's impressions of successful women in masculine occupations. Journal of Applied Social Psychology, 44(6), 433-441. https://doi.org/10.1111/jasp.12236

Lee, B., Porfeli, E. J., & Hirschi, A. (2016). Between-and within-person level motivational precursors associated with career exploration. Journal of Vocational Behavior, 92, 125-134. https://doi.org/10.1016/j.jvb.2015.11.009

Little, T. D. & Wanner, B. (1997). The Multi-CAM: A multidimensional instrument to assess children’s action-control motives, beliefs, and behaviors (Materialien aus der Bildungsforschung Nr. 59). Max Planck Institute for Human Development and Education.

Little, T. D., Oettingen, G., & Baltes, P. B. (1995). The revised Control, Agency, and Means-ends Interview (CAMI): A multicultural validity assessment using mean and covariance (MACS) analyses (Materialen aus der Bildungsforschung, 49). Max Planck Institute for Human Development and Education.

Lundquist, S. (2015). Impact of gender, perception of being overweight and fat acceptance on personal agency: Establishing additional validity and reliability for the personal agency questionnaire. Alliant International University.

Mokkink, L. B., Prinsen, C. A. C., Bouter, L. M., Vet, H. C. W. de, & Terwee, C. B. (2016). The COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) and how to select an outcome measurement instrument. Brazilian Journal of Physical Therapy, 20(2), 105-113. https://doi.org/10.1590/bjpt-rbf.2014.0143

Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Quality of Life Research, 19(4), 539-549. https://doi.org/10.1007/s11136-010-9606-8

Munn, Z., Peters, M. D., Stern, C., Tufanaru, C., McArthur, A., & Aromataris, E. (2018). Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach. BMC medical research methodology, 18(1), 1-7. https://doi.org/10.1186/s12874-018-0611-x

Pacico, J. C. & Hutz, C. S. (2015). Validade. Em C. Hutz, C., Bandeira, D.R., & Trentini, C.M. (Orgs.), Psicometria (pp. 71-84). Artmed.

Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., … Moher, D. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(n71). https://doi.org/10.1136/bmj.n71

Pasquali, L. (2003). Teoria da medida. Em L. Pasquali (2017). Psicometria: teoria dos testes na psicologia e na educação (pp. 23-51). Vozes.

Pasquali, L. (2007). Validade dos testes psicológicos: será possível reencontrar o caminho? Psicologia: teoria e pesquisa, 23(spe), 99-107. https://doi.org/10.1186/s12874-018-0611-x

Pick, S., Sirkin, J., Ortega, I., Osorio, P., Martínez, R., Xocolotzin, U., & Givaudan, M. (2007). Escala para medir Agencia Personal y Empoderamiento (ESAGE). Interamerican Journal of Psychology, 41(3), 295-304.

Polit, D. F. (2015). Assessing measurement in health: Beyond reliability and validity. International Journal of Nursing Studies, 52(11), 1746-1753. https://doi.org/10.1016/j.ijnurstu.2015.07.002

Primi, R. (2012). Psicometria: fundamentos matemáticos da Teoria Clássica dos Testes. Avaliação Psicológica, 11(2), 297-307.

Rotter, J. B. (1966). Generalized expectancies for internal versus external control of reinforcement. Psychological Monographs: General and Applied, 80(1), 1-28. https://doi.org/10.1037/h0092976

Rouse, K. A. G. & Austin, J. T. (2002). The relationship of gender and academic performance to motivation: Within-ethnic-group variations. The Urban Review, 34(4), 293-316. https://doi.org/10.1023/a:1021392000533

Runge, T. E., Frey, D., Gollwitzer, P. M., Helmreich, R. L., & Spence, J. T. (1981). Masculine (instrumental) and feminine (expressive) traits: A comparison between students in the United States and West Germany. Journal of Cross-Cultural Psychology, 12, 142-162. https://doi.org/10.1177/0022022181122002

Smith, G. C., Kohn, S. J., Savage-Stevens, S. E., Finch, J. J., Ingate, R., & Lim, Y.-O. (2000). The effects of interpersonal and personal agency on perceived control and psychological well-being in adulthood. The Gerontologist, 40(4), 458-468. https://doi.org/10.1093/geront/40.4.458

Smith, G. C., Savage-Stevens, S., Kohn, S. J., Ingate, R., Finch, J., & Moon, Y. L. (1999). Creation and validation of scales measuring agency beliefs in adulthood. Paper presented at the Annual Meeting of the American Psychological Association, Boston, MA.

Souza, A. C. D., Alexandre, N. M. C., & Guirardello, E. D. B. (2017). Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Serviços de Saúde, 26(3), 649-659. https://doi.org/10.5123/S1679-49742017000300022

Spence, J. T. & Helmreich, R. (1978). Masculinity and femininity: Their psychological dimensions, correlates, and antecedents. University of Texas Press.

Spence, J. T., Helmreich, R. L., & Holahan, C. K. (1979). Negative and positive components of psychological masculinity and femininity and their relationships to self-reports of neurotic and acting-out behaviors. Journal of Personality and Social Psychology, 37(10), 1673-1682. https://doi.org/10.1037/0022-3514.37.10.1673

Vallacher, R. R. & Wegner, D. M. (1989). Levels of personal agency: Individual variation in action identification. Personality Processes and Individual Differences, 57(4), 660-671. https://doi.org/10.1037/0022-3514.57.4.660

Vianna, H. M. (1983). Validade de construto em testes educacionais. Educação e Seleção, (8), 35-44.

Vidrine, J. I., Businelle, M. S., Cinciripini, P., Li, Y., Marcus, M. T., Waters, A. J., Reitzel, L. R., & Wetter, D. W. (2009). Associations of mindfulness with nicotine dependence, withdrawal, and agency. Substance Abuse, 30(4), 318-327. https://doi.org/10.1080/08897070903252973

Weaver, J. B. & Sargent, S. L. (2007). Gender role inventory. Em R. A. Reynolds, R. Woods, & J. B. Baker (Eds.), Handbook of Research on Electronic Surveys and Measurements (pp. 367-370). Idea Group Reference/IGA Global.

Wojciszke, B. & Szlendak, M. A. (2010). Skale do pomiaru orientacji sprawczej i wspólnotowej. Psychologia Społeczna, 5(1), 57-70.

Yoon, H. J. (2011). The development and validation of the assessment of human agency employing Albert Bandura’s human agency theory. (Tese de doutorado, The Pennsylvania State University). The Pennsylvania State University. https://www.proquest.com/docview/902174568?pq-origsite=gscholar&fromopenview=true

Zanon, C. & Hauck Filho, N. H. (2015). Fidedignidade. Em C. Hutz, C., Bandeira, D.R., & Trentini, C.M. (Orgs.), Psicometria (pp. 85-96). Artmed.

Como citar: Gai, M. J. P., Cruz, R. M., Viseu, J. N. R., Sales, S. S., & Nunes, C. (2023). Propriedades psicométricas dos instrumentos de mensuração de agency: uma revisão sistemática. Ciencias Psicológicas, 17(2), e-2706. https://doi.org/10.22235/cp.v17i2.2706

Participação dos autores: a) Planejamento e concepção do trabalho; b) Coleta de dados; c) Análise e interpretação de dados; d) Redação do manuscrito; e) Revisão crítica do manuscrito.

M. J. P. G. contribuiu em a, b, c, d, e; R. M. C. em a, b, c, d, e; J. N. R. V. em c, d, e; S. S. S. em b, c, d; C. N. em b, c, d.

Editora científica responsável: Dra. Cecilia Cracco.

10.22235/cp.v17i2.2706

Original Articles

Psychometric properties of agency measuring instruments: a systematic review

Propriedades psicométricas dos instrumentos de mensuração de agency: uma revisão sistemática

Propiedades psicométricas de los instrumentos de medición de la agencia: una revisión sistemática

Maria Julia Pegoraro Gai¹, ORCID 0000-0002-8481-1112

Roberto Moraes Cruz², ORCID 0000-0003-4671-3498

João Nuno Ribeiro Viseu³, ORCID 0000-0002-9817-7300

Synara Sepúlveda Sales⁴, ORCID 0000-0002-7792-4952

Cyntia Nunes⁵, ORCID 0000-0002-9150-2254

¹Universidade Federal de Santa Catarina, Brazil, mariajuliagai@hotmail.com

² Universidade Federal de Santa Catarina, Brazil

³ Universidade de Évora, Portugal

⁴ Universidade Federal de Santa Catarina, Brazil

⁵ Universidade Federal de Santa Catarina, Brazil

Abstract:

Keywords: agency; personal agency; psychometric properties; measurement instruments.

Resumo:

Palavras-chave: agência; agência pessoal; propriedades psicométricas; instrumentos de mensuração.

Resumen:

Palabras clave: agencia; agencia personal; propiedades psicométricas; instrumentos de medida.

Received: 13/10/2021

Accepted: 21/06/2023

The ability to make choices, set goals, and act on those decisions are hallmarks of agency capacity. In this process, the possibility of having alternatives is configured as a fundamental factor for the deliberation on one's own volition to be carried out with more openness. Such a phenomenon involves aspects related to motivation, meaning and purpose, which end up influencing this perception of “internal power” (Kabeer, 1999, p.438). This resource has implications beyond the personal sphere, since it ends up causing impacts at a social and economic level (Cauce & Gordon, 2012). Human agency is attributed to external influences, personal factors and motivation for behavior, which influence and trigger one another in a reciprocal and interactive way (Bandura, 1989, 2018).

Record shows that such capacity for protagonism in making decisions about one's own life has been the object of previous investigations based on empirical studies, but there are still uncertainties about the conceptualization and measurement of the phenomenon. To assist in the design of this process, a review of the literature on the subject with a focus on research techniques provides room to advance in future studies, since the information discovered so far is important in order to avoid previously observed misconceptions. An example that illustrates this need for understanding regarding construct and measurement techniques is the very use of self-efficacy scales to measure agency. We know that it is a related dimension, but that it does not include the agency capacity as a whole (Alkire, 2005).

Landes and Settersten Jr. (2019) expand the perception of agency when it comes to the influence of interpersonal relationships on this capacity, and criticize the lack of recognition of this aspect in the literature, even though it is encompassed in Bandura's conceptualization as part of external influencers. The authors pointed out that human agency is dependent on relational aspects, and proposed that the conceptualization and measurement of agency require that we consider people's lives as interconnected. That way, in order for agency to be manifested, this notion of total independence is not necessary.

Due to this difficulty in the theoretical delimitation, the methodological aspects of the research are also impacted, and we can observe simplifications and generalizations regarding the construct. In several studies we can observe the use of instruments for the purpose of measuring agency, which in actuality refer to related phenomena or agency factors, such as self-efficacy, self-determination, locus of control, and which do not cover all the necessary aspects (Pick et al., 2007). Some examples are the study by Vidrine et al. (2009), which used a scale of self-efficacy scale and a questionnaire to assess expectations of affective regulation; the study by Friestad and Skog Hansen (2010) and Graff (2016), who used a general self-efficacy scale; as well as the Brazilian study by Dressler et al. (2019), which used as a measure of sense of personal agency a combination of scales of locus of control and tolerance of frustration.

In cases where the goal is to measure agency focused on a specific context, other related factors can be added according to the need, but the multidimensionality of the phenomenon must be ensured, regardless of the strategy chosen for measurement (Cauce & Gordon, 2012). Therefore, the need to construct the phenomenon to be measured is evidenced, as previously pointed out by Lautamo et al. (2020) when developing an instrument for measuring agency. In this process, verification of the psychometric properties of such tools becomes fundamental in order to assess the quality of the instruments and to understand how they were developed. The relevance of this type of literature review focusing on measurement instruments is in providing the means to choose the most suitable instrument for further research based on scientific evidence (Mokkink et al., 2016).

With that in mind, the objective of this systematic literature review is to analyze the psychometric properties of personal agency measurement instruments. It is worth mentioning that we identified no systematic reviews in the reviewed literature that met the proposed objective, characterizing a gap in research on the subject. Such progress is important for the verification and analysis of the agency's existing measurement instruments to support the construction of new construct measures.

Materials and method

A systematic literature review allows us to contrast, analyze and synthesize the findings contained in the literature with methodological rigor. More specifically, this research is a systematic review with a psychometric focus, seeing as it promotes the analysis of the psychometric properties of instruments, which makes it possible to examine reliability and validity indices (Munn et al., 2018). In this research we analyzed the measurement instruments of a single construct: personal agency. We used the protocol for systematic reviews based on PRISMA, with steps that include the identification, screening, eligibility and inclusion of documents (Page et al., 2021).

During the stage of search and identification of research corpus, the databases listed were Scopus, Web of Science, PsycINFO, Medline, SciELO and IndexPsi, the first four being international bases and the last two national. The searches were carried out on October 21, 2020, updated on February 14, 2021 by two reviewers who used the strategy: (“sense of agency” OR “human agency” OR “judgment of agency” OR “agency judgment” OR “personal agency” OR “types of agency” OR “forms of agency” OR “perceived agency” OR “feelings of agency”) AND (measur* OR assessment OR validity OR evaluation OR inventory OR scale OR “measures of agency” OR instrument)), searched in titles, abstracts and keywords with the exception of SciELO, in which we searched only by title and abstract due to the limitation of the search platform. The two national databases included the same terms in Portuguese and Spanish.

As search filters, we limited the results to documents in Portuguese, English and Spanish, with the exception of PsycINFO, where it was not possible to include the language filter. In addition to the databases, we used the references of the articles already found to seek other documents to attach to the research corpus. At the end of this stage, we downloaded the databases and the screening stage began. We removed duplicate data and two independent reviewers began eligibility analysis by reading the abstracts, considering the following inclusion criteria: a) approach the concept of agency from the cognitive and behavioral perspective; b) quantitative or mixed studies; c) mention of psychometric instruments that measure personal agency; d) be in Portuguese, English or Spanish and available for online access.

The last stage of data collection refers to the extraction of data from documents, seeking information about the instruments used, dimensionality, number of items, population and sample, and psychometric properties. During data analysis, we used the COSMIN checklist (Consensus-based Standards for the selection of health status Measurement Instruments), a tool that assists in evaluation of methodological quality in research on the measurement properties of instruments (Mokkink et al., 2010). For this study, we used only the items related to the identification of measurement properties, which are: internal consistency, reliability, measurement error, content validity, internal structure validity, hypothesis testing, cross-cultural validity, criterion validity and responsiveness, verification of convergent, divergent and construct validity.

Results

Several scales set out to measure agency as a factor of other constructs, but there are few specific instruments for measuring this phenomenon. Of the 3.451 documents identified, after organizing and filtering the database by reading the abstracts with the inclusion criteria in mind, only 377 abstracts were kept for the full reading stage to be analyzed as to their adequacy to the research objective. There were 17 of them which could not be verified, since they were not available in their full versions; we identified 141 documents with proposals for measuring personal agency, however, only 42 of them had instruments for the specific purpose of measuring this construct in general.

In the bibliographic references of these documents, we identified 15 other studies dealing with the development of psychometric measures of agency. Only 13 of them were included because two were not available, totaling 55 selected documents. The flowchart of data collection and delimitation of the research corpus is illustrated in Figure 1.

Figure 1: Flowchart of data collection and delimitation of the research corpus

Source: Elaborated by the author based on PRISMA (Page et al., 2021).

Among the 55 documents which use tools that meet the inclusion criteria for the research, we identified a total of 23 instruments intended to measure personal agency. Some of these documents refer to the construction or adaptation and validation of instruments, while others apply these tools in their research. The tools identified are described in Table 1, which contains information about their dimensions, items, research sample and psychometric properties.

Table 1: Instruments for measuring personal agency and its psychometric properties

Based on Table 1, we can observe that 21 of the 23 instruments analyzed provide analysis of internal consistency and reliability. In 20 of them Cronbach's alpha was used, which is one of the most used procedures to measure the internal consistency or reliability of an instrument (Zanon & Hauck Filho, 2015). The most widely used validity criterion for this group of instruments is the internal structure validity (or factorial, internal, and construct validity), measured on 15 instruments in different ways. This type of validity indicates whether the responses obtained by the instrument are internally consistent with respect to the different parts that make up the tool (International Test Commission, 2014; Pasquali, 2007). Hypothesis testing, which refers to verifying the acceptance or rejection of initial hypotheses formulated by researchers, was identified in eight instruments. This measurement property is fundamental for obtaining construct validity (Souza et al., 2017).

Convergent validity was identified in six instruments and makes it possible to verify that the indicators of different phenomena have a significant relationship, in which both have high variance in common (Hair Jr. et al., 2019). It can be obtained by correlating instruments that measure a similar phenomenon, in which a high correlation between the factors is expected. In the case of divergent validity, only four instruments provided analyzes that present evidence of this type of validity, which is observed through the use of the measure of a construct opposed or in the opposite direction than the one being investigated (Polit, 2015). In addition to divergent validity, content validity was mentioned in four instruments. Its importance is to enable a definition of the nature of the phenomenon to be measured and provide important information about the construct validity (Vianna, 1983).

The measurement error is indicated by four instruments, two of which indicate the identified standard error –the EAPI and the PAS. This data can be identified by observing the variation in the scores obtained between the applications of an instrument in the same participant, which is caused by the variation in error scores. Thus, it refers to the standard deviation of error scores (Primi, 2012). The measurement error is indicated by the standard measurement error. Such data indicates that the true measure referring to an attribute is located between the average value of the measurements performed and a standard error both up and down (Pasquali, 2003).

We found criterion validity in four instruments. This type of validity can be predictive –it makes it possible to identify to what extent the instrument is able to predict future behaviors based on the evaluation at a given time or criterion–; researchers compare the results obtained through the scale with the results of another scale regarding the same construct considered “gold standard” (Pacico & Hutz, 2015; Polit, 2015). Cross-cultural validity was verified in only two instruments and was partially performed in four others, since not all of them present all the steps indicated by Beaton et al. (2000). The information we found relating to the properties of measures in the 23 instruments identified are summarized in Table 2.

Table 2: Summary of the measurement properties of the instruments that measure agency

Note: * Process carried out partially or incompletely.

Through the synthesis proposed by Table 2, it should be noted that no instrument demonstrated the responsiveness of the instrument. It is also possible to verify that not all the tools presented different types of validity, and five instruments present conceptual and statistical designs that were not very deep. Such elements were not found in the documents that present their development or were not available.

Discussion

The identified instruments are analyzed from three prisms: a) theoretical perspectives and historicity of the instruments; b) psychometric properties and; c) population and sample of the studies which developed the instruments and languages that are available.

Theoretical perspectives and historicity of instruments

Different theoretical perspectives regarding studies on agency can be observed through the measurement instruments of the construct from the theoretical framework that supports them and are reflected in the dimensionality of the scales. The first instruments identified are aligned with the theoretical perspective that relates sex, gender and the influence on agency and communality, which is based on the idea of representation of social roles of men and women and the associated stereotypes. From this understanding, the sense of agency is associated with the masculine, with characteristics of determination, individualism, action, competence, ambition, dominance, and objectivity, for example. The sense of communality, on the other hand, is directed to the feminine, contemplating care, collectivism, morality, interdependence and parental investment, for example (Abele et al., 2008). We identified nine instruments in alignment with this perspective: PAQ, EPAQ, GEPAQ, IAT, GRI-14, AC, ACJ, AC and ASMS.

The other theoretical perspective observed in the instruments is associated with the triadic reciprocal causation model and metacognitive processes. This model assumes that environmental factors, personal factors, and motivation for action and behavior influence one other in agency capacity. Metacognition plays a fundamental role in this process, in which the main resources are intentionality, premeditation, self-reactivity and self-reflection (Bandura, 2001, 2018). Fourteen instruments are associated with this perspective: BIF, APAB, CAMI, Multi-CAM, MAPS, MAPS-20, PIAS, EAPI, PAS, ESAGE, AHA, AQ, PAB and ATPA-22.

Even with 14 instruments developed, which consider distinct dimensionalities related to the triadic reciprocal causation model and metacognitive processes, no instrument was identified that addresses all the agency factors identified by Gai et al. (in press). The authors propose an expanded dimensionality of personal agency from the bandurian perspective, which include: intentionality, premeditation, self-reactivity, self-reflection, self-efficacy and internal control. This model contemplates the metacognitive processes indicated by Bandura (2001), as well as self-efficacy (Bandura, 1989) and internal control proposed by Rotter (1966). This indication of a possible limitation regarding the theoretical basis in the construction of these instruments, which is reflected in the dimensionality of the scales.

Regarding the temporal distribution of the development of these scales, different movements were observed regarding the development of instruments from different theoretical perspectives (Figure 2).

Figure 2: Distribution of the development of the scales of each theoretical perspective by year

Based on Figure 2, we can observe that the instruments that refer to agency and commonality and gender stereotypes are older and recommend tooling for measuring the construct. However, they have less consistency regarding the development of new scales, since as after the 1981 scale new instruments were only identified in 2006, and we found no tools have been made since 2015. Conversely, even with the first instrument related to this perspective dating back to 1989, the theoretical line that associates agency and the triadic reciprocal causation model and the metacognitive processes presents greater consistency in the development of new instruments.

The reason for the decrease in the use of instruments associated with the notion of agency and gender stereotypes may be associated with the demystification of this stereotype, especially since they are related to impairments in emotional development and maturation, leading to psychological distress (Jesus et al., 2020). The influence of interpersonal relationships on the perception of agency is amplified by Landes and Settersten Jr. (2019), who criticize the lack of recognition of this aspect in the literature, even though it is encompassed in the conceptualization of Bandura as part of external influencers. The authors understand that human agency is dependent on relational aspects and propose that the conceptualization and measurement of agency require the consideration that people's lives are interconnected, and that the perception of total “independence” is flawed, contradicting the notion of antagonism between agency and communality.

Psychometric properties of instruments

Based on the analysis of the psychometric properties of the selected instruments, the use of Classical Test Theory was identified in the analysis of all tools that provided this data, and we found no use of Item Response Theory. Among these observed properties, the predominant use of Cronbach's alpha in the instruments confirms the preference to analyze internal consistency or reliability (Zanon & Hauck Filho, 2015). The instruments identified presented alpha values between .61 and .95. That is, most have acceptable values (Hair Jr. et al., 2019).

Regarding validity criteria, most instruments provided evidence of validity of internal structure, especially with the use of exploratory and confirmatory factor analysis. The other types of validity observed most often, although in smaller numbers, are convergent validity –in six instruments– and divergent validity –in four instruments–. When considering the lower number of tools that performed this process, it is possible to corroborate the statement of Henderson (2002) about the difficulty in identifying instruments of well-validated measures to perform the verification of these two types of validation. This difficulty may also be related to the lack of conceptual clarity about agency in order to establish the constructs that present analogous or antagonistic characteristics.

Cross-cultural validity was verified in only one instrument –the adaptation of Stereotypical Masculinity Scale, by Bem (1974)– performed by Besta et al. (2015). However, this information does not represent an indication that this stage was not contemplated in the articles due to methodological failure, since most of them are about the development of the instruments and not about cross-cultural adaptations. In the cases of the instruments of Runge et al. (1981) and De Fontes et al. (2010), cross-cultural validation was not complete, since only the first stages of this process were provided, limited to semantic validation with translation and back-translation of the instruments. The steps for a complete cross-cultural adaptation refer to translation, synthesis of translations, back-translation, synthesis of back-translations, expert committee and pre-test (Beaton et al., 2000). Although the cross-cultural validation process was not mentioned, three instruments were constructed in different languages: AC, CAMI and Multi-CAM. However, they do not present the psychometric properties of these different versions.

Regarding psychometric properties, when analyzing the methodological aspects of this group of instruments, we observed that not all of them provided different types of validity evidence, which indicates poor robustness of the proposed analyzes, especially considering that many have little in-depth statistical analyzes. It is noteworthy the absence of clear language about the measurement properties used for analysis of the instruments, which are not written objectively in all cases, and can hinder the understanding of the quality of the instruments for readers who are not so familiar with the statistical terms and tests.

Population, sample and language of the instruments

The instruments identified are aimed at different population groups, as observed in the distribution of the study sample, which included: children and adolescents, youth and students, adults (unspecified) and professionals. As for the tests indicated for children and adolescents, we found two: the CAMI and the Multi-CAM. Samples of students and young people were found in nine studies that set out to develop the instruments. Targeting this group may be associated with the importance of agency for decisions related to career and insertion in the work force. This is also justified in the cases of samples with adults, identified in ten studies, and with professionals, observed in two studies. These data reinforce the importance of measuring agency, especially due to the implications of the phenomenon in perceptions about career (Chen & Hong, 2020) and proactive responses to situations involving the educational and professional environment (Betz, 1987).

As for the language, 19 of the 23 instruments identified are available in English and only 7 exist in other languages. The second language with the largest number of scales is German, with three instruments (GEPAQ, CAMI and Multi-CAM), followed by Polish, with two instruments (SMS and AC). In Russian there are also two instruments (CAMI and Multi-CAM). The languages that presented only one instrument for agency measurement are Portuguese (EAPI), Spanish (ESAGE), Japanese (CAMI), French (AC) and Italian (AC). The existence of the same instrument in different languages makes it possible to use this measure in a larger territorial extension, enabling comparative studies between different countries and cultures.

Conclusion

From the execution of this systematic literature review in which we sought to analyze the psychometric properties of instruments for measuring personal agency, we identified 23 instruments that propose to measure personal agency in a specific way. Of the 55 documents analyzed, some are specifically aimed at the construction or adaptation and validation of these instruments, while others presented empirical research using these tools.

Two groups of instruments were observed based on the theoretical support that underpins them, identified in the aforementioned literature and the factors that make up the scales. The first instruments are based on the perception of agency and commonality, derived from gender stereotypes. The second strand of instruments is aligned with the triadic reciprocal causation model and metacognitive processes, which contemplate the greatest number of tools. We identified no instruments that concomitantly contemplate the expanded dimensionality of agency proposed by Gai et al. (in press): intentionality, premeditation, self-reactivity, self-reflection, self-efficacy and internal control, something that emphasizes the need to build new instruments.

There are weaknesses regarding the robustness of the psychometric properties of the instruments, since most are limited to the provision of validity evidence of internal structure. Convergent and divergent validities are little explored, which may be due to the difficulty in identifying instruments that enable this verification, or due to the lack of conceptual clarity about agency in order to establish these criteria. We identified no instruments for measuring agency with statistical validity for Portuguese, nor in the Brazilian context. The only instrument adapted for this language presented only semantic validation –the Agency Beliefs (Smith et al., 2000) adapted by Fontes et al. (2010).

From this data, we consider that the development of an instrument adapted to the Brazilian context is the main recommendation of studies from this systematic review. The lack of an instrument that meets the validity criteria hinders the advances in the literature on agency in the country. The construction of an instrument that contemplates the expanded dimensionality of agency proposed by Gai et al. (in press) would make it possible to fill this theoretical gap. Such an instrument can be an option for researchers who have been studying the subject and end up using instruments to measure related constructs, as in the case of the study by Dressler et al. (2019).

Among the limitations of this study, even with six databases being screened, it is still possible that other instruments were left out, due to the difficulty of covering all available studies and also because documents of gray literature were not considered. Additionally, we studied documents from up until the year 2020, and some of the documents that developed instruments could not be accessed, which limited the description of the development of the tool and its psychometric properties. As suggestions for future studies, it is worth recommending research development in languages other than English, since, out of the 23 instruments studied, only six were not in this language. This may be one of the possible justifications for the small number of studies about agency capacity in Latin America, including Brazil.

References: