10.22235/cp.v17i1.2581

Identificação por professores de alunos com dotação intelectual: construção de instrumento e evidências de validade de conteúdo

Identification by teachers of intellectual gifted students: construction of an instrument and evidence of content validity

Identificación por parte del profesorado de alumnos con dotación intelectual: construcción de un instrumento y evidencia de validez de contenido

Eliana Santos de Farias¹, ORCID 0000-0001-7715-7012

Tatiana de Cassia Nakano², ORCID 0000-0002-5720-8940

Solange Muglia Wechsler³, ORCID 0000-0002-9757-9113

¹Pontifícia Universidade Católica, Brasil, [email protected]

² Pontifícia Universidade Católica, Brasil

³ Pontifícia Universidade Católica, Brasil

Resumo:

O presente estudo relata o processo de construção de uma escala do tipo rastreio para sinais indicativos de dotação acadêmica (Escala para Nomeação de Dotação Intelectual: versão professor (ENDI-p)), bem como apresentar evidências de validade de conteúdo. A construção dos itens foi baseada nos dez domínios amplos do modelo teórico sobre inteligência conhecido como Cattell-Horn-Carroll (CHC): inteligência fluida, raciocínio matemático quantitativo, memória de curto prazo, armazenamento e recuperação em longo prazo, processamento visual, processamento auditivo, rapidez de processamento e execução, velocidade de reação e decisão, leitura e escrita; contendo, inicialmente, 80 itens. Tais itens foram avaliados por cinco juízes. Os resultados demonstraram que 21 itens (26,2 %) foram excluídos por não alcançarem valor de concordância igual ou maior do que 80 %. O coeficiente kappa entre os juízes foi adequado. A versão 2 da escala está pronta para ser utilizada em estudos futuros voltados à investigação das suas qualidades psicométricas.

Palavras-chave: inteligência; superdotação; superdotação acadêmica; talento.

Abstract:

The present study reports the construction process of a screening-type scale for evidence indicating academic giftedness (Scale for Nominating Intellectual Giftedness: teacher version (ENDI-p)), as well as presenting evidence of content validity. The construction of the items was based on the ten broad domains of the theoretical model of intelligence known as Cattell-Horn-Carroll (CHC): fluid intelligence, quantitative knowledge, short-term memory, long-term memory storage and retrieval, visual processing, auditory processing, processing and execution speed, reaction, and decision speed, reading and writing; initially containing 80 items. Such items were evaluated by five reviewers. The results showed that 21 items (26.2 %) were excluded once they did not reach an agreement value equal to or greater than 80 %. The kappa coefficient between judges was adequate. Version 2 of the scale is ready to be used in future studies which aim at investigating its psychometric qualities.

Keywords: intelligence; giftedness; academic giftedness; talent.

Resumen:

El presente estudio reporta el proceso de construcción de una escala tipo cribado para signos indicativos de dotación académica (Escala para Nomeação de Dotação Intelectual: versão professor (ENDI-p)), además de presentar evidencia de validez de contenido. La construcción de los ítems se basó en los diez amplios dominios del modelo teórico sobre inteligencia, conocido como Cattell-Horn-Carroll (CHC): inteligencia fluida, razonamiento matemático cuantitativo, memoria a corto plazo, almacenamiento y recuperación a largo plazo, procesamiento visual, procesamiento auditivo, velocidad de procesamiento y ejecución, velocidad de reacción y decisión, lectura y escritura; inicialmente con 80 ítems. Estos elementos fueron evaluados por cinco jueces. Los resultados mostraron que se excluyeron 21 ítems (26.2 %) por no alcanzar un valor de concordancia igual o superior al 80 %. El coeficiente kappa entre jueces fue adecuado. La versión 2 de la escala está lista para ser utilizada en futuros estudios destinados a investigar sus cualidades psicométricas.

Palabras clave: inteligencia; superdotación; superdotación académica; talento.

Recebido: 25/5/2021

Aceito: 22/2/2023

O interesse na compreensão das habilidades superiores apresentadas por pessoas com alta habilidade/superdotação (AH/SD) tem aumentado nas últimas décadas. No Brasil, país em que o presente estudo foi desenvolvido, a definição que embasa as políticas públicas afirma que pessoas com AH/SD, termo adotado no país, são aqueles que apresentam habilidades elevadas em uma ou mais áreas do desenvolvimento humano, tais como a intelectual, acadêmica, psicomotora, de liderança, criativa, além de representativo envolvimento com tarefas de seu interesse e motivação para aprendizagem (Brasil, 2012).

Essa concepção multidimensional do fenômeno tem guiado políticas públicas em diversos países (Li et al., 2009; Nakano & Oliveira, 2020). Atualmente, muitos programas voltados a esse público-alvo vão além da identificação por meio da inteligência, incluindo outros tipos de habilidades que podem se mostrar elevadas, de modo que o objetivo da identificação das altas habilidades/superdotação volta-se à compreensão do indivíduo e de suas necessidades especiais (Sternberg, 2023).

Diferentemente do que muitos ainda pensam, a identificação das AH/SD não visa a rotulação e tampouco a criação de um grupo privilegiado (Pocinho, 2009; Sabatella, 2008). Seu principal objetivo é fornecer informações sobre a pessoa, especialmente a identificação de seus pontos fortes e necessidades específicas, de modo que tal conhecimento possa ser usado para oportunizar a adaptação, valorização das forças e qualidades positivas da pessoa, assim como o fortalecimento dos recursos pessoais (Scorsolini-Comin & Santos, 2010), construção de um autoconceito positivo, motivação e estabilidade emocional (Chagas-Ferreira, 2014). Desse modo, as avaliações e possíveis intervenções podem favorecer um desenvolvimento social, emocional, acadêmico e psicológico mais saudável (Irueste et al., 2018).

Além desses aspectos, o conhecimento dos potenciais pode atuar como um fator protetivo em relação a possíveis desajustamentos, principalmente sociais e emocionais que podem ser decorrentes da ausência de identificação, sendo tais aspectos, usualmente apontados como fonte de vulnerabilidades e dificuldades emocionais nessa população (Piske, 2016; Prado & Fleith, 2016).

No entanto, apesar dos benefícios indicados, na prática, dificuldades relacionadas à identificação tem se mostrado um dos principais desafios na temática (Al-Hroub & El Khoury, 2018). Dentre os principais motivos, pode-se citar a ausência de instrumentos adequadamente validados para esse grupo de estudantes. Como consequência, a perda de talento, resultante das dificuldades de identificar os alunos que apresentam AH/SD não apenas priva a sociedade de contribuições potenciais que essas pessoas poderiam trazer, mas, também, limita as oportunidades desses alunos, prejudicando sua capacidade de alcançar realização pessoal e profissional (Nakano & Peixoto, 2023).

Considerando-se que a valorização dos potenciais varia de acordo com o contexto (Sternberg, 2023), o desenvolvimento ou adaptação de medidas para a avaliação das AH/SD deve ser feita para a população em que seu uso será conduzido. Nesse sentido, carência de medidas válidas para identificar tais indivíduos tem atuado de modo a impedir sua identificação (Barbosa et al., 2012). Tal lacuna evidencia a necessidade de que instrumentos sejam desenvolvidos especificamente para uso nessa população, de modo a contemplar a heterogeneidade de perfis e, os diferentes níveis de habilidades que pessoas com essa condição apresentam (Zaia & Nakano, 2020). Segundo as autoras, tal preocupação se mostra relevante se considerarmos que, comumente, essas pessoas facilmente podem atingir o nível máximo de pontuação que outros testes conseguem medir, devido ao fato de terem sido normatizados para a população regular, de modo que diferentes níveis de desempenho, localizados no topo das habilidades, não serão corretamente aferidos e diferenciados.

Além disso, a identificação da área em que esse potencial elevado se faz presente é essencial, especialmente ao constatar a diversidade de áreas em que a AH/SD pode se manifestar: intelectual, acadêmica ou escolar, produtivo-criativa, social, psicomotora, dentre outras (Mettrau & Reis, 2007). Dependendo da área em que a AH/SD se manifesta, diferentes comportamentos e habilidades podem se destacar.

Neste estudo enfoca-se a AH/SD do tipo intelectual, a qual se relaciona à presença de uma alta habilidade em relação à capacidade intelectual geral, marcada pela presença de características cognitivas como flexibilidade e fluência de pensamento, capacidade de pensamento abstrato para fazer associações e resolver problemas, produção ideativa, rapidez do pensamento, compreensão e memória elevada, capacidade verbal e raciocínio bem desenvolvido (Farias, 2012; Nakano, 2021). Envolve ainda a manifestação de potencial elevado em domínios relacionados a realizações intelectuais (Stricker et al., 2019). O processo de construção de uma escala para avaliar esse tipo de superdotação é relatado neste estudo.

As habilidades cognitivas elevadas estão presentes no modelo dos Três Anéis de Renzulli (Renzulli, 2016; Renzulli & Reis, 2018), que guia as políticas públicas brasileiras, como um dos três pilares que caracterizam a superdotação. A importância da inteligência enquanto uma característica pode ser verificada por meio do grande número de teorias e instrumentos voltados a esse construto (Wechsler et al., 2022). Dentre tais modelos, o Cattell-Horn-Carroll (CHC) tem se destacado, sendo reconhecido como o mais abrangente (Schneider & McGrew, 2018).

A avaliação de um potencial superior no domínio da inteligência se ampara na constatação de que este é um construto estável e importante preditor de resultados da vida como anos de escolaridade, comportamentos positivos relacionados à saúde, desempenho escolar, sucesso profissional e status socioeconômico, não se limitando a estes citados (Caemmerer et al., 2020). Segundo Heyder et al. (2018), o conhecimento sobre talentos intelectuais são os mais facilmente reconhecidos, inclusive pelos professores. Neste sentido, no processo de indicação para avaliação, tais profissionais assumem papel essencial, atuando como uma avaliação externa dos comportamentos associados à AH/SD (Pfeiffer & Blei, 2008). Destaca-se que, no Brasil, a maioria dos alunos que são atendidos em programas especiais é admitida por meio de indicações feitas por seus professores (Alencar et al., 2018; Farias, 2012; Farias & Wechsler, 2014/2018).

Embora entenda-se que esse tipo de AH/SD vem sendo valorizada desde os primeiros estudos na temática, ocasião em que tal fenômeno era compreendido como sinônimo exclusivo de alta inteligência, tal equívoco ainda se faz presente no senso comum (Tan et al., 2019). Identificada por meio de testes que avaliavam esse construto e, consequentemente, estimavam o quociente de inteligência (Sternberg & Kaufman, 2018), tal prática acabou por excluir muitos potenciais que não são adequadamente avaliados por esse tipo de instrumento, ou ainda pelas limitações das áreas em que estes avaliam. Outra dificuldade se ampara no fato de que os testes psicológicos se constituem como ferramentas de uso exclusivo do psicólogo, durante um processo de avaliação psicológica. O elevado tempo necessário para completar esse processo, bem como seu custo (Nakano, 2021) atua de modo a diminuir o número de identificações realizadas, resultando em uma subnotificação dos casos.

Uma possível solução envolve a consulta a professores, a qual apresenta, como principais vantagens, o baixo custo e redução de tempo para condução de uma primeira triagem dos casos potenciais. Esse profissional é capaz de avaliar a presença de comportamentos que “tipicamente” são apresentados por estudantes com AH/SD (Hertzog et al., 2018), de modo a ser consultado dentro de um processo de observação sistematizada dos estudantes (Cleveland, 2017). Neste sentido, as escalas de avaliação do professor têm sido utilizadas como um primeiro filtro dos alunos, de modo que, aqueles que forem indicados poderão ser encaminhados para uma avaliação mais completa (Nakano et al., 2016).

Reitera-se, com o parágrafo anterior, a importância da avaliação (como rastreio) feita pelo professor. Sem, com isso, desconhecer sua limitação. Se o professor avaliador não receber um treinamento a respeito sua participação neste rastreio pode ser enviesada e subjetiva. Entretanto, alicerçada na revisão de estudos, a credibilidade da participação desse profissional no processo de identificação de alunos superdotados tem sido ressaltada (Gagne, 1989; Guenther, 2006). Entretanto, apesar dessas limitações, a nomeação por parte dos professores tem servido, no contexto internacional, como importante ferramenta de rastreio para um melhor emprego e direcionamento de outros recursos voltados a esse público.

Dada a relevância de uma primeira identificação feita pelo professor, diferentes instrumentos podem ser encontrados no Brasil: a Triagem de Indicadores de Altas Habilidades/Superdotação (Nakano, 2021), a Escala de Identificação de Precocidade e Indicadores de AH/SD (Martins, 2020), Questionário para Identificação de Indicadores de AH/SD (Freitas & Pérez, 2012), Lista Base de Indicadores de Superdotação (Delou, 1987), Escala de Identificação de Dotação e Talento (Freitas et al., 2017), Guia de Observação Direta em Sala de Aula (Guenther, 2014). Além destes, o processo de adaptação de outros instrumentos internacionais também pode ser encontrado: Escala para Avaliação das Características Comportamentais dos Alunos com Habilidades Superiores de Renzulli (Rondini et al., 2022), Gifted Rating Scale (Nakano & Siqueira, 2012) e Escala Hope (Rondini et al., 2022).

A diferença entre os instrumentos citados e o aqui apresentado se ampara no fato de que, diferentemente dos demais, este se propõe a avaliar um tipo específico de AH/SD, de forma mais aprofundada e fazendo uso de diferentes áreas em que um alto potencial cognitivo pode se manifestar (Farias, 2012). Os demais, avaliam diferentes áreas, não sendo tão específico e cobrindo os comportamentos relacionados à superdotação intelectual de uma forma geral. Para diferenciar-se dos já existentes, os itens foram desenvolvidos com base nos 10 domínios amplos do modelo teórico sobre habilidades cognitivas conhecidas como Cattell-Horn-Carroll (CHC). Esse modelo consiste em uma nomenclatura padrão para discutir as habilidades cognitivas (McGill & Dombrowski, 2019), fornecendo uma taxonomia abrangente para as habilidades cognitivas atualmente conhecidas (McGrew, 2009), sendo amplamente reconhecido como um modelo que vai além da mensuração de um QI geral (McGrew et al., 2023).

O CHC constitui-se em um modelo hierárquico de inteligência, composto por três estratos (Figura 1). No primeiro deles estaria localizado um fator geral de inteligência, seguido por 10 fatores mais amplos e cerca de 60 fatores específicos, ligados às capacidades específicas avaliadas em testes de inteligência (Bryan & Mayer, 2020).

A escolha por esse modelo teórico como fundamento para a escala baseia-se na hipótese de que as habilidades cognitivas específicas que compõem a inteligência se mostram mais importantes do que a inteligência geral em si (Geisinger, 2019), sendo consideradas mais informativas do que o QI geral (Cormier et al., 2016). Além disso, a literatura tem demonstrado que o modelo CHC tem influenciado, nas últimas décadas, as teorias de inteligência, o desenvolvimento de testes para avaliação desse construto e as pesquisas na temática (McGrew, 2023).

Assim sendo, o presente estudo teve, como objetivo, relatar o processo de construção de uma escala de nomeação por professores de alunos com AH/SD do tipo intelectual, segundo o modelo teórico sobre inteligência conhecido como CHC. Mais especificamente, apresenta os resultados da busca pelas evidências de validade de conteúdo do instrumento.

Figura 1: Modelo CHC para inteligência (McGrew, 2009)

Método

Participantes

Cinco juízes avaliadores que cursavam um programa de pós-graduação em Psicologia, especificamente na área de avaliação psicológica e construção de instrumento e, que conheciam o modelo CHC de inteligência. Destes, quatro eram do sexo feminino, sendo dois doutores, dois doutorandos e um especialista.

Instrumento

Escala para Nomeação de Dotação Intelectual - versão professor (ENDI-p): Escala do tipo rastreio para identificação de alunos com AH/SD a ser respondida pelo professor (Farias, 2012). Trata-se de um instrumento construído para ajudar o professor no processo de identificação de AH/SD na área intelectual de seus alunos matriculados no ensino fundamental. A versão aqui utilizada apresenta 80 itens, organizados segundo os dez domínios da CHC, sendo que cada domínio possui oito itens (quatro negativos e quatro positivos), como seguem:

1.Inteligência fluida (Gf): itens positivos: 1, 12, 31, 53 e itens negativos: 3, 10, 47, 73. Exemplo de item: “Apresenta facilidade ao lidar com conceitos abstratos”.

2.Inteligência cristalizada (Gc): itens positivos: 13, 20, 48, 43 e itens negativos: 23, 76, 68, 41. Exemplo de item: “Apresenta facilidade em lidar com conteúdo de conhecimento geral”.

3.Raciocínio matemático quantitativo (Gq): itens positivos: 58, 59, 26, 37 e itens negativos: 61, 7, 77 e 28. Exemplo de item: “Prefere exercícios que envolvam números”.

4.Memória em curto prazo (Gsm): itens positivos: 19, 18, 17, 16 e itens negativos: 40, 2, 75, 55. Exemplo de item: “Consegue lembrar-se do que foi aprendido recentemente”.

5.Armazenamento e recuperação da memória de longo prazo (Glr): itens positivos: 46, 21, 66, 67 e itens negativos: 5, 70, 39, 71. Exemplo de item: “Lembra-se de acontecimentos passados com facilidade”.

6.Processamento visual (Gv): itens positivos: 57, 54, 49, 32, itens negativos: 2, 4, 72, 14. Exemplo de item: “Percebe os espaços de modo coerente”.

7.Processamento auditivo (Ga): itens positivos: 44, 56, 45, 27 e itens negativos: 51, 69, 50, 9. Exemplo de item: “Identifica sons (ritmo) com facilidade”.

8.Rapidez de processamento e execução (Gs): itens positivos: 22, 29, 78, 33 e itens negativos: 65, 30, 62, 35. Exemplo de item: “Demonstra rapidez em compreender os fatos simples”.

9.Velocidade de reação e decisão (Gt): itens positivos: 79, 64, 15, 74 e itens negativos: 8, 63, 24, 36. Exemplo de item: “Toma decisões rapidamente perante assuntos complexos”.

10.Leitura e escrita (Grw): itens positivos: 42, 80, 38, 34 e itens negativos: 60, 52, 11, 6. Exemplo de item: “Usa vocabulário elaborado em suas redações”.

Procedimentos

Inicialmente o projeto foi aprovado pelo comitê de ética em pesquisa (CAAE 0124.0.147.000-11). Os juízes receberam um formulário com explicação sobre o objetivo da pesquisa, a tarefa a ser desempenhada por cada juiz e a definição de cada um dos 10 domínios, para embasar sua avaliação. A tarefa envolvia ler os itens e julgar qual dos domínios da CHC o item representava. Os formulários utilizados neste processo podem ser acessados em Farias (2012).

A fim de impedir que os itens fossem agrupados conforme as áreas que avaliam, eles foram organizados de modo randômico em uma lista. Os professores foram orientados a responder a ENDI-p avaliando seus alunos (ensino fundamental), independentemente da idade que estes alunos apresentavam na ocasião.

Análise de dados

Uma planilha com os resultados de cada juiz foi elaborada. Inicialmente a porcentagem de concordância para cada item e, posteriormente, para cada dimensão, foi calculada. Para interpretação dos resultados, adotou-se o critério de concordância de, ao menos, 80% entre os juízes para indicar a adequação e pertinência do item (Pasquali, 2010).

Aqueles itens que obtiveram tal valor foram considerados adequados e selecionados para compor a versão 2 do instrumento. Os que ficaram abaixo dessa porcentagem foram excluídos. Uma terceira possibilidade envolvia a realocação do item em outra área, diferente daquela para o qual foi originalmente desenvolvido, caso houvesse concordância dos juízes (acima de 80%) em outra área.

Foram tomados, como critérios para a intepretação dos resultados, a porcentagem de concordância, os valores definidos por Landis e Koch (1977): concordância quase perfeita, 0,80 a 1; concordância substancial, 0,60 a 0,80; concordância moderada, 0,40 a 0,60; concordância regular, 0,20 a 0,40; concordância discreta, 0 a 0,20. No tocante ao coeficiente kappa, as recomendações de Fleiss et al. (2003) foram seguidas: acima de 0,75 = concordância excelente; entre 0,40 e 0,75 = concordância satisfatória; abaixo de 0,40 = concordância insatisfatória.

Resultados

Inicialmente a porcentagem de concordância entre juízes foi estimada. De modo geral, os resultados mostraram a adequação dos itens aos domínios que se propõem a medir, segundo avaliação dos juízes (73,75% dos itens). Outros 21 itens (26,25%) não alcançaram a porcentagem de concordância desejada.

Considerando-se cada área, os itens que não se mostraram consensuais pertenciam aos domínios: inteligência fluída (n = 5), inteligência cristalizada (n = 5), raciocínio matemático quantitativo (n = 1), memória de curto prazo (n = 4), armazenamento e recuperação de memória em longo prazo (n = 1), rapidez de processamento e execução (n = 2), velocidade de reação e decisão (n = 2) e leitura/escrita (n = 1). As dimensões processamento visual e processamento auditivo apresentaram adequação de todos os seus itens. Os resultados são apresentados na Tabela 1.

Tabela 1: Porcentagem de concordância entre juízes por área e ítem

Nota: Farias, 2012.

*Itens excluídos da escala.

**Itens que alcançaram concordância em outra dimensão.

Dois itens apresentaram concordância em outra dimensão, diferente da originalmente pensada. Foi o caso de dois itens: item 41 do domínio de inteligência cristalizada que foi realocado para o domínio inteligência fluida, item 2 do processamento visual que foi classificado como raciocínio matemático quantitativo. Tais itens foram realocados na dimensão indicada pelos juízes.

Deste modo, após a avaliação dos juízes, a segunda versão da escala ficou composta por 59 itens. Analisando-se os resultados de cada área, Gc com 2 itens (25% do número de itens iniciais), Glr, Gv e Grw com 7 itens cada (87,5%), Gf e Gsm com 4 itens (50%), Ga e Gq com 8 itens (100%), Gs e Gt com 6 itens cada (75%).

Em seguida, a estimativa do coeficiente Kappa foi conduzida, visando verificar a intensidade de concordância entre os avaliadores. Para isso o cruzamento entre as classificações feitas pelos juízes comparando-as com um “juiz ideal” (as dimensões originais dos itens) foi realizada. Estimou-se o número de itens classificados em cada um dos domínios, bem como o número e porcentagem de acerto nas classificações realizadas. Os resultados são apresentados na Tabela 2.

Tabela 2: Dimensão Teórica Verificada pelo Coeficiente Kappa

Nota: Inteligência fluida (Gf), Inteligência cristalizada (Gc), Raciocínio matemático quantitativo (Gq), Memória em curto prazo (Gsm), Armazenamento e recuperação da memória de longo prazo (Glr), Processamento visual (Gv), Processamento auditivo (Ga), Rapidez de processamento e execução (Gs), Velocidade de reação e decisão (Gt), Leitura e escrita (Grw).

Os resultados demonstraram que todos os juízes apresentaram concordância satisfatória de acordo com os valores estabelecidos pela literatura (Fleiss et al., 2003). Quatro juízes (juiz 2, 3, 4 e 5) obtiveram uma concordância considerada excelente, ao passo que o juiz 1 alcançou uma concordância considerada satisfatória. De modo geral, o juiz que apresentou maior porcentagem de acertos, considerando-se todas as áreas, foi o juiz 4, que apresentou concordância igual ou acima de 87,5% em oito das dez áreas. Por outro lado, o juiz que apresentou pior desempenho foi o juiz 1, cuja porcentagem de acerto foi superior a tal valor somente em duas áreas.

Se analisados separadamente, vê-se que em cada dimensão teve-se acerto acima de 87,5% no julgamento dos juízes foi raciocínio matemático quantitativo (cinco juízes) e processamento auditivo (cinco juízes). Por outro lado, as áreas de inteligência fluida (somente um juiz) e velocidade de reação e decisão (dois juízes) agrupavam os itens que tiveram menor porcentagem de acerto por parte dos juízes indicando, possivelmente, mais dúvidas.

Discussão

Após o processo de seleção do modelo teórico que embasaria os itens da escala para identificação de indicadores de AHSD acadêmica, tendo-se selecionado o modelo teórico mais completo e atual de inteligência, o modelo CHC, os itens da escala foram construídos. Neste sentido, foram criados, inicialmente, oito itens para cada uma das áreas que compõem as dimensões amplas do modelo.

Posteriormente, a busca por evidências de validade de construto da escala foi realizada, por meio de dois diferentes métodos: porcentagem de concordância (que julga a qualidade dos itens segundo especialistas) e coeficiente Kappa (que julga a qualificação dos juízes). A análise dos itens, por juízes especialistas na área de avaliação psicológica, inteligência ou construção de instrumento, indicou a adequação da maior parte deles (73,25%).

Essa etapa se mostrou fundamental para auxiliar as pesquisadoras na seleção dos itens que se mostraram adequadas, bem como a exclusão daqueles que, na avaliação dos juízes, não se mostraram claros, de modo que não alcançaram o valor de concordância esperado. Chama atenção o fato de que duas áreas, relacionadas ao processamento visual e auditivo, alcançaram concordância dos juízes em todos os seus itens, de modo a se pensar que tanto a definição apresentada para tais domínios, bem como os itens criados para representar tais habilidades cognitivas, parecem claros e adequados.

Outras quatro áreas perderam somente um item (raciocínio matemático quantitativo, processamento visual, armazenamento e recuperação de memória em longo prazo e leitura e escrita), de modo que se mostraram representadas nos itens que foram selecionados. Desse modo, continuaram apresentando um número adequado de itens no instrumento, de modo a sugerir dificuldades em itens específicos pertencentes a esses domínios.

Por outro lado, as áreas de inteligência fluída e cristalizada foram as que apresentaram maiores perdas restando apenas quatro e dois itens, respectivamente. A inteligência cristalizada é aquela capacidade que permite a resolução de problemas tendo como base o conhecimento adquirido e a experiência passada, ao passo que a inteligência fluída se refere à capacidade de resolver problemas novos, com base no pensamento abstrato e reconhecimento de padrões (Simpson-Kent et al., 2020). Interessantemente, convém destacar que tanto ambos os tipos de inteligência são os mais comumente avaliados nos modelos de inteligência e nos testes que medem tal construto, dada a ideia de que esses dois tipos podem ser considerados habilidades mais elementares da inteligência (Horn, 1972). Diante disso, esperava-se que fossem áreas que os juízes não enfrentariam dificuldades, apresentando melhor desempenho.

No entanto, no estudo aqui apresentado, foram as que alcançaram piores resultados, não correspondendo às expectativas, visto que os avaliadores tiveram maior dificuldade em julgar corretamente seus itens. Diante de tal situação torna-se necessário avaliar se o baixo índice de concordância em tais áreas ocorreu devido a dificuldades no conteúdo expresso pelos itens, pela inadequação da definição fornecida como base para o julgamento ou a ausência de domínio dos juízes sobre tais dimensões. Estudos futuros voltados à ampliação dos itens dessa área, melhor definição a ser oferecida ais juízes, como bem itens mais precisos poderão ajudar a ampliar o número de itens, a fim de igualar aos que foram selecionados nas demais dimensões. Somente a partir dessa revisão é que a escala poderá ter, de forma mais equilibrada, a avaliação dos dez domínios do modelo CHC que se propõe a seguir.

O processo de construção do instrumento para, posteriormente, ser utilizado pelo professor (que responderá sobre seus alunos matriculados no ensino fundamental) se faz importante, visto que, este profissional convive com o discente durante uma parte considerável do dia, em período / ano letivo. Justamente por isso, uma vez treinado, será capaz de observar (com base na ciência e, diminuindo o viés subjetivo) comportamentos dos alunos, indicando pontos fortes e fracos. Os pontos fortes, se entendidos como provável AH/SD podem ser desenvolvidos e refletir em desempenho de excelência, independentes da área. Já os pontos fracos também merecem receber atenção especial, vislumbrando contribuir com o desempenho geral da pessoa, de modo a embasar, também, adequações curriculares que possam ser feitas para melhorar o aprendizado daquele tipo de inteligência, e sua relação com a prática do dia a dia. Tal situação geralmente favorece o envolvimento e interesse dos alunos.

Considerações finais

O estudo consiste na apresentação da proposta de um novo instrumento para identificação de um tipo específico de AH/SD (do tipo intelectual), baseado no modelo mais amplo e reconhecido de inteligência, o modelo CHC. A escolha desse modelo como fundamentação teórica para a escala tem, como vantagem, a identificação de comportamentos relacionados a diferentes tipos de inteligência, cujos potenciais podem se mostrar elevados, de modo a caracterizar uma possível superdotação.

É importante ressaltar que os resultados aqui apresentados se constituem em um estudo inicial de investigação das qualidades psicométricas do instrumento em desenvolvimento, limitando-se à investigação das evidências de validade de construto. Mais especificamente, possibilitou investigar a clareza, representatividade e relevância dos itens desenvolvidos para uma escala de triagem de AH/SD, a ser respondida pelo professor sobre seus alunos no ensino fundamental.

A fim de buscar refinamento para a ENDI-p, outros estudos voltados à investigação das suas qualidades psicométricas são necessários, podendo-se citar outras fontes de evidências de validade (por meio da estrutura interna, análise de itens ou relação com variáveis externas), bem como da sua precisão.

Apesar dos resultados favoráveis aqui apresentados, algumas limitações do estudo podem ser citadas. Dentre elas, a redução importante no número de itens voltados à avaliação da inteligência fluida e cristalizada, de modo que novos itens para avaliar essas áreas precisarão ser criados. Tal ação pode envolver a reformulação dos itens que foram excluídos, a redação de novos itens, melhoria na definição da área e, posteriormente, a condução de novo estudo com outros juízes especialistas na área de inteligência. No entanto, é importante ressaltar que os itens pertencentes à outras oito dimensões apresentaram resultados adequados, de modo a motivar os pesquisadores na continuidade dos estudos com a escala.

Referências:

Alencar, E. M. L. S., Fleith, D. S., & Carneiro, L. B. (2018). Gifted education in Brazil: historical background, current practices, and research trends. Em B. Wallace, D. A. Sisk, & J. Senior (Eds.), The sage handbook of gifted and talented education (pp. 432-445). Sage Publications.

Al-Hroub, A. & El Khoury, S. (2018). Definitions and conceptions of giftedness around the world. In S. El Khoury, & A. Al-Hroub (Eds.), Gifted education in lebanese schools (pp. 9-38). Springer. https://doi.org/10.1007/978-3-319-78592-9_2

Barbosa, A. J. G., Schelini, P. W., & Almeida, L. C. (2012). Medidas de dotação e talento: produção científica em psicologia (2006-2011). Em A. A. A. Boruchovitch & E. Nascimento (Eds.), Avaliação psicológica nos contextos educativo e psicossocial (pp. 33-52). Casa do Psicólogo.

Brasil. (2012). Políticas Públicas para Alta Habilidade/ Superdotação. Senado.

Bryan, V. M. & Mayer, J. D. (2020). A meta-analysis of the correlations among broad intelligences: understanding their relations. Intelligence, 81, 101469. http://doi.org/10.1016/j.intelli2020.101469l

Caemmerer, J. M., Keith, T. Z., & Reynolds, M. R. (2020). Beyond individual intelligence tests: application of Cattell-Horn-Carroll theory. Intelligence, 79, 101433. http://doi.org/10.1016/j.intelli.2020.101433

Chagas, J. F. (2007). Conceituação e fatores individuais, familiares e culturais relacionados à altas habilidades. Em D. S. Fleith, & E. M. L. S. Alencar (Orgs.), Desenvolvimento de talentos e altas habilidades: Orientação a pais e professores (pp. 15-24). Artmed.

Chagas-Ferreira, J. F. (2014). Características socioemocionais do indivíduo talentoso e a importância do desenvolvimento de habilidades sociais. In A. M. R. Virgolim & E. Konkiewitz (Eds.), Altas habilidades/superdotação, inteligência e criatividade: Uma visão multidisciplinar (pp. 98-111). Papirus.

Cleveland, L. M. (2017). Examining the relationship between Gifted Behavior Rating Scores and student academic performance (Dissertação de doutorado). Concordia University.

Cormier, D. C., Bulut, O., McGrew, K. S., & Frison, J. (2016). The role of Cattell-Horn-Carrol (CHC) cognitive abilities in predicting writing achievement during the school-age years. Psychology in the Schools, 53(8), 787-803. https://doi.org/10.1002/pits21945

Delou, C. M. C. (1987). Identificação de superdotado: uma alternativa para sistematização da observação de professores em sala de aula (Dissertação de Mestrado). Universidade Estadual do Rio de Janeiro.

Farias, E. S. & Wechsler, S. M. (2018). Desafios na identificação de alunos intelectualmente dotados. Em A. M. R. Virgolim (Org.), Altas habilidades/superdotação, inteligência e criatividade: uma visão multidisciplinar (pp. 335-350). Papirus.

Farias, E. S. (2012). Dotação e Talento: da identificação às propostas de intervenção educacional. Em M. G. C. Tommasiello, A. J. Marin, S. G. Pimenta, L. M. de Carvalho & J. C. Fusari (Orgs.). Didáticas Práticas de Ensino na Realidade Escolar Contemporânea: constatações, análises e proposições (pp. 3303-3311). Junqueira & Marin.

Fleiss, J. L., Levin, B., & Paik, M. C. (2003). The measurement of interrater agreement. Em J. L. Fleiss, B. Levin, & M. C. Paik (Eds.), Statistical methods for rates and proportions (pp. 598-626). John Wiley & Sons Inc.

Freitas, M. F. R. L., Schelini, P. W., & Pérez, R. (2017). Escala de Identificação de Dotação e Talento: estrutura e consistência internas. Interação em Psicologia, 2(2), 114-122. http://doi.org/10.1590/1413-82712017220308

Freitas, S. N. & Pérez, S. G. P. B. (2012). Altas habilidades/superdotação: atendimento especializado. ABPEE.

Gagne, F. (1989). Peer nominations as a psychometric instrument: many questions asked but few answered. Gifted Child Quartely, 33(2), 53-58. https://doi.org/10.1177/001698628903300201

Geisinger, K. F. (2019) Empirical considerations on intelligence testing and models of intelligence: updates for educational measurement professionals. Applied Measurement in Education, 32(3), 193-197. https://doi.org/10.1080/08957347.2019.1619564

Guenther, Z. C. (2006). Dotação e talento: reconhecimento e identificação. Revista do Centro de Educação, 28, 195-208.

Guenther, Z. C. (2014). Identificação de alunos dotados e talentosos: metodologia CEDET: versão 2014. ASPAT.

Hertzog, N. B., Mun, R. U., Duruz, B., & Holliday, A. A. (2018). Identification of strengths and talents in young children. Em S. I. Pfeiffer (Ed.), APA Handbook of Giftedness and Talent (pp. 3018-316). APA.

Heyder, A., Bergold, S., & Steinmayr, R. (2018). Teacher’s knowledge about intellectual giftedness: a first look at levels and correlates. Psychology Learning & Teaching, 17(1), 27-44. https://doi.org/10.1177/1475725717725493

Horn, J. L. (1972). Intelligence: why it grows, why it declines. Em J. M. Hunt (Ed.), Human Intelligence (pp. 47-69). http://doi.org/10.4324.9780429337680

Irueste, P., Saco, A., & Nicolás, F. (2018). Dificultades socioemocionales reportadas por los padres y madres de niños y niñas dotados y talentosos, consultantes del Servicio de Neuropsicologia, Área Infantil, em Córdoba, Argentina. Em F. H. R. Piske, T. Stoltz, C. Costa-Lobo, A. Rocha & E. Vásquez-Justo (Eds.), Educação de superdotados e talentosos: emoção e criatividade (pp. 75- 88). Juruá.

Landis, J. R. & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-74. http://doi.org/10.2307/2529310

Li, H., Lee, D., Pfeiffer, S., Kamata, A., & Rosado, J. (2009). Measurement invariance for the gifted rating scales-school form across five cultural groups. School Psychology Quaterly, 24(3), 186-198. https://doi.org/10.1037/a0017382

Martins, B. A. (2020). Escala de Identificação de Precocidade e Indicadores de Altas Habilidades/Superdotação (EIPIAHS): um instrumento em construção. Revista Educação Especial, 33 (e73), 1-25. https://doi.org/10.5902/1984686X53154

McGill, R. J. & Dombrowski, S. C. (2019). Critically reflecting on the origins, evolution, and impact of the Cattell-Horn-Carroll (CHC) model. Applied Measurement in Education, 32(3), 216-231. https://doi/org/10.1080/08957347.2019.1619561

McGrew, K. S. (2009). CHC theory and the human cognitive abilities project: Standing on the shoulders of the giants of psychometric intelligence research. Intelligence, 37, 1-10. https://doi.org/10.1016/j.intell.2008.08.004

McGrew, K. S. (2023). Carroll’s Three-Stratum (3S) Cognitive Ability Theory at 30 Years: Impact, 3S-CHC Theory Clarification, Structural Replication, and Cognitive–Achievement Psychometric Network Analysis Extension. Intelligence, 11(2), 32. http://doi.org/10.3390/jinlligence11020032.

McGrew, K. S., Schneider, W. J., Decker, S. L., & Bulut, O. (2023). A psychometric network analysis of CHC intelligence measures: implications for research, theory, and interpretation of broad CHC scores “beyond g”. Journal of Intelligence, 11(1), 19. http://doi.org/10.3390/jinelligente11010019.

Mettrau, M. B. & Reis, H. M. M. S. (2007). Políticas públicas: altas habilidades/superdotação e a literatura especializada no contexto da educação especial/inclusiva. Ensaio: Avaliação em Políticas Públicas, 15(57), 489-509.

Nakano, T. C. & Oliveira, K. S. (2020). Triagem de indicadores de altas habilidades/superdotação: estrutura fatorial. Avaliação Psicológica, 18(4), 448-456. https://doi.org/10.15689/ap.2019.1804.18478.13

Nakano, T. C. & Peixoto, E. M. (2023). Item analysis of the Teacher’s Gifted Rating Screening Scale. Estudos de Psicologia (Campinas), 40, e200056. https://doi.org/10.1590/1982-0275202340e200056.

Nakano, T. C. & Siqueira, L. G. G. (2012). Validade de conteúdo da Gifted Rating Scale (versão escolar) para a população brasileira. Avaliação Psicológica, 11(1), 123-140.

Nakano, T. C. (2021). Triagem de indicadores de altas habilidades/superdotação: versão professor. Vetor.

Nakano, T. C., Campos, C. R., & Santos, M. V. (2016). Escala de avaliação de altas habilidades/superdotação - versão professor: validade de conteúdo. Estudos Interdisciplinares em Psicologia, 7(1). https://doi.org/10.5422/2236-6407.2016v7n1p103

Pasquali, L. (2010). Instrumentação psicológica: fundamentos e práticas. Artmed.

Pfeiffer, S. & Blei, S. (2008). Gifted identification beyond the IQ test: rating scales and other assessment procedures. Em S. Pfeiffer (Ed.), Handbook of giftedness in children: psychoeducational theory, research, and best practices (pp. 177-198). Springer.

Piske, F. H. R. (2016). Alunos com Altas Habilidades/Superdotação (Talent/Giftedness): Como chamaram-los? Em F. H. R. Piske, T. Stoltz, J. M. Machado, & S. Bahia (Orgs.), Altas Habilidades/Superdotação (Talent/Giftedness) e Criatividade: Identificação e Atendimento (pp. 249-260). Juruá.

Pocinho, M. (2009). Superdotação: conceitos e modelos de diagnóstico e intervenção psicoeducativa. Revista Brasileira de Educação Especial, 15(1), 3-14. https://doi.org/10.1590/S1413-65382009000100002

Prado, R. M. & Fleith, D. S. (2016). O papel das variáveis psicossociais no desenvolvimento do talento. Revista Amazônica, 18(2), 176-189.

Renzulli, J. S. & Reis, S. M. (2018). The three-ring conception of giftedness: a developmental approach for promoting creative productivity in young people. Em S. I. Pfeiffer, E. Shaunessy-Dedrick & M. Foley-Nicpon (Eds.), APA handbook of giftedness and talent (pp. 185–199). APA. https://doi.org/10.1037/0000038-012

Renzulli, J. S. (2016). The three-ring conception of giftedness: a developmental model for promoting creative productivity. Em S. M. Reis (Ed.), Reflections on gifted education: Critical works by Joseph S. Renzulli and colleagues (pp. 55-90). Prufrock Press.

Rondini, C. A., Pedro, K. M., & Nakano, T. C. (2022). Adaptação brasileira da hope: escala de rastreio de superdotação. Estudos em Avaliação Educacional, 33, (e08055). https://doi.org/10.18222/eae.v33.8055

Sabatella, M. L. P. (2008). Talento e superdotação: Problema ou solução? Ibpex.

Schneider, W. J. & McGrew, K. S. (2018). The Cattell–Horn–Carroll theory of intelligence. Em D. P. Flanagan, & E. M. McDonough (Eds.), Contemporary intellectual assessment (pp. 73-163). Guilford Press.

Scorsolini-Comin, F. & Santos, M. A. (2010). Psicologia positiva e os instrumentos de avaliação no contexto brasileiro. Psicologia: Reflexão e Crítica, 23(3). https://doi.org/10.1590/S0102-79722010000300004

Simpson-Kent, I. L., Furnhamm, D., Bathelt, J., Achterberg, J., & Borgeest, G. S. (2020). Neurocognitive reorganization between crystallized intelligence, fluid intelligence and white matter microstructure in two age-heterogeneous developmental cohorts. Developmental Cognitive Neuroscience, 41, 100743. http://doi.org/10.1016/j.dcn.2019.100743

Sternberg, R. J. & Kaufman S. B. (2018) Theories and conceptions of giftedness. Em S. I. Pfeiffer (Ed.), Handbook of giftedness in children (pp. 29-47). Springer. https://doi.org/10.1007/978-3-319-77004-8_3

Sternberg, R. J. (2023). Giftedness does not reside within a person: defining giftedness in society is a three-step process. Roeper Review, 45(1), 50-60. http://doi.org/10.1080/02783193.2022.2145400

Stricker, J., Buecker, S., Schneider, M., & Preckel, F. (2019). Intellectual giftedness and multidimensional perfectionism: a meta-analytic review. Educational Psychology Review, 32(2), 391-414. https://doi.org/10.1007/s10648-019-09504-1

Tan, D., Youth, M., Desmet, O. A., & Pereira, N. (2019). Middle school student’s beliefs about intelligence and giftedness. Journal of Advanced Academics, 30(1). https://doi.org/10.1177/1932202X18809360

Wechsler, S. M., Virgolim, A. M. R., Paludo, K. I., Dantas, I., Mota, S. P., & Minervino, C. A. M. (2022). Integrated assessment of children’s cognitive and creative abilities: psychometric studies. Psico-USF, 27(4), 721-734. http://doi.org/10.1590/1413-8271200270410

Zaia, P. & Nakano, T. C. (2020). Escala de Identificação das Altas Habilidades/Superdotação: evidências de validade de critério. Revista Iberoamericana de Diagnóstico y Evaluación e Avaliação Psicológica, 2(55), 31-41. https://doi.org/10.21865/RIDEP55.2.03

Como citar: Farias, E. S., Nakano, T. C., & Wechsler, S. M. (2023). Identificação por professores de alunos com dotação intelectual: construção de instrumento e evidências de validade de conteúdoCiencias Psicológicas, 17(1), e-2581. https://doi.org/10.22235/cp.v17i1.2581

Participação dos autores: Participação dos autores: a) Planejamento e concepção do trabalho; b) Coleta de dados; c) Análise e interpretação de dados; d) Redação do manuscrito; e) Revisão crítica do manuscrito.

E. S. F. contribuiu em a, b, c, d, e; T. C. N. em c, d, e; S. M. W. em a, c.

Editora científica responsável: Dra. Cecilia Cracco.

10.22235/cp.v17i1.2581

Original Articles

Identification by teachers of intellectual gifted students: construction of an instrument and evidence of content validity

Identificação por professores de alunos com dotação intelectual: construção de instrumento e evidências de validade de conteúdo

Identificación por parte del profesorado de alumnos con dotación intelectual: construcción de un instrumento y evidencia de validez de contenido

Eliana Santos de Farias¹, ORCID 0000-0001-7715-7012

Tatiana de Cassia Nakano², ORCID 0000-0002-5720-8940

Solange Muglia Wechsler³, ORCID 0000-0002-9757-9113

¹Pontifícia Universidade Católica, Brazil, [email protected]

² Pontifícia Universidade Católica, Brazil

³ Pontifícia Universidade Católica, Brazil

Abstract:

Keywords: intelligence; giftedness; academic giftedness; talent.

Resumo:

Palavras-chave: inteligência; superdotação; superdotação acadêmica; talento.

Resumen:

Palabras clave: inteligencia; superdotación; superdotación académica; talento.

Received: 25/5/2021

Accepted: 22/2/2023

The interest in understanding the superior abilities displayed by talented and gifted people has increased in recent decades. In Brazil, the country where the present study was developed, the definition that underpins public policies states that talented and gifted people, a term adopted in the country, are those who have high skills in one or more areas of human development, such as intellectual, academic, psychomotor, leadership, creativity, as well as representative involvement with tasks of interest and motivation for learning (Brasil, 2012).

This multidimensional conception of the phenomenon has guided public policies in several countries (Li et al., 2009; Nakano & Oliveira, 2020). Currently, many programs are driven to this target public to go beyond identification through intelligence, including other types of abilities that may prove to be high, so that the objective of identifying talent/giftedness is aimed at understanding the individual and one’s special needs (Sternberg, 2023).

Unlike what many still think, the identification of talent and giftedness does not target labeling nor the creation of a privileged group (Pocinho, 2009; Sabatella, 2008). Its main objective is to provide information about such population, especially the identification of their strengths and specific needs, so that the given knowledge can be used to provide opportunities for adaptation, appreciation of their strengths and positive qualities, as well as the strengthening of personal resources (Scorsolini-Comin & Santos, 2010), building a positive self-concept, motivation, and emotional stability (Chagas-Ferreira, 2014). In this fashion, assessments and possible interventions can favor a healthier social, emotional, academic, and psychological development (Irueste et al., 2018).

In addition to these aspects, knowledge of potentials can act as a protective factor in relation to possible maladjustments, mainly social and emotional ones, which may be due to lack of identification, and such aspects are usually identified as a source of vulnerabilities and emotional difficulties in this population (Piske, 2016; Prado & Fleith, 2016).

However, despite the benefits, in practice, difficulties related to identification have proven to be one of the main challenges of the theme (Al-Hroub & El Khoury, 2018). Among the main reasons, the absence of properly validated instruments for this group of students can be mentioned. Consequently, the loss of talent resulting from difficulties in identifying talented/gifted students not only deprives society of the potential contributions these people could make, as it also limits these students' opportunities, impairing their ability to achieve their personal and professional goals (Nakano & Peixoto, 2023).

Considering that the valuation of potentials varies according to the context (Sternberg, 2023), the development or adaptation of measures for the assessment of talent/giftedness must be carried out for the population in which they will be used. In this sense, the lack of valid measures to identify such individuals has acted to prevent their identification (Barbosa et al., 2012). Such gap highlights the need for instruments to be developed specifically for use in this population, to contemplate the heterogeneity of profiles and the different levels of skills presented by people with this condition (Zaia & Nakano, 2020). According to the authors, this concern is relevant if we consider that, commonly, these people can easily reach the maximum score level that other tests can measure, due to their widespread ness for the regular population, so that different levels of performance, located at the top of the skills, will not be correctly measured and differentiated.

Additionally, it is important to identify the areas in which this high potential is manifested, especially when observing the variety of ways in which talent/giftedness manifests itself: intellectual, academic, or school, productive-creative, social, psychomotor, among others (Chagas, 2007; Mettrau & Reis, 2007). Depending on the area in which talent/giftedness is manifested, different behaviors and skills can be evident.

This study focuses on the intellectual type of talent/giftedness, which is related to the presence of a high ability in relation to general intellectual capacity, marked by the presence of cognitive characteristics such as flexibility and fluency of thought, abstract thinking ability to make associations and solve problems, ideational production, speed of thought, superior understanding and memory, verbal ability and well-developed reasoning (Farias, 2012; Nakano, 2021). It also includes the manifestation of high potential in domains related to intellectual achievements (Stricker et al., 2019). The process of constructing a scale to assess this type of giftedness is reported in this study.

High cognitive abilities are present in Renzulli's Three Rings model (Renzulli, 2016; Renzulli & Reis, 2018), which guides Brazilian public policies, as one of the three pillars that characterize giftedness. The importance of intelligence as a characteristic can be verified through the large number of theories and instruments aimed at this construct (Wechsler et al., 2022). Among such models, the Cattell-Horn-Carroll model stood out, being recognized as the most comprehensive (Schneider & McGrew, 2018).

The assessment of superior potential in the field of intelligence is based on the observation that this is a stable construct and an important predictor of life outcomes such as years of schooling, positive behaviors related to health, school performance, professional success, and socioeconomic status, not limited to those cited here (Caemmerer et al., 2020). According to Heyder et al. (2018), knowledge about intellectual talents is the most easily recognized, including by teachers. In this sense, in the process of indication for evaluation, such professionals assume an essential role, acting as an external evaluation of the behaviors associated with talent/giftedness (Pfeiffer & Blei, 2008). Point out that, in Brazil, most students who attend special programs are admitted through referrals made by their professors (Alencar et.al., 2018; Farias, 2012; Farias & Wechsler, 2018).

Although it is understood that this type of talent/giftedness has been valued since the first studies on the subject, when this phenomenon was understood as an exclusive synonym of high intelligence, this misconception is still present in common sense (Tan et al., 2019). Identified through tests that evaluated this construct and, consequently, estimated the intelligence quotient (Sternberg & Kaufman, 2018), this practice ended up excluding many potentials that are not adequately evaluated by this type of instrument, or even by the limitations of the areas in which they evaluate. Another difficulty is supported by the fact that psychological tests are tools exclusively used by psychologists during a psychological assessment process. The high time required to complete this process, as well as its cost (Nakano, 2021) acts to reduce the number of identifications carried out, resulting in an underreporting of cases.

Consultation of teachers may be a possible solution since it has the advantage of reduced cost and shortening the screening time. This professional can assess the presence of behaviors that are “typically” presented by talented/gifted students (Hertzog et al., 2018), to be consulted within a process of systematic observation of students (Cleveland, 2017). The teacher evaluation scales have thus been used as a first filter for students, offering them a more comprehensive evaluation (Nakano et al., 2016).

The importance of teacher evaluation (such as screening) is reiterated. Without, therefore, ignoring its limitations. If the evaluating teacher does not receive training in this regard, his/her participation in this screening can be biased and subjective. However, based on study reviews, the credibility of these professionals’ participation in the process of identifying gifted students has been highlighted (Gagne, 1989; Guenther, 2006). However, despite these limitations, teachers' referrals have played an important role in screening and targeting other resources for this public in the international context.

Given the importance of a first identification made by the teacher, different instruments can be found in Brazil: Screening Of High Ability / Giftedness Indicators: Teacher Version (Nakano, 2021), The Precocity Identification Scale and Talent/Giftedness Indicators (Martins, 2020), Talent/Giftedness Indicator Identification Questionnaire (Freitas & Pérez, 2012), Base List of Indicators of Giftedness (Delou, 1987), Giftedness and Talent Identification Scale (Freitas et al., 2017), Guide for Direct Observation in the Classroom (Guenther, 2014). In addition to these, the adaptation process of other international instruments can also be found: Renzulli Scale for Assessing the Behavioral Characteristics of Talented Students (Rondini et al., 2022), Giftedness Rating Scale (Nakano & Siqueira, 2012) and the Hope Scale (Rondini et al., 2022).

The difference between the instruments and the one presented here is supported by the fact that, unlike the others, this one proposes to assess a specific type of talent/giftedness more deeply, thus making use of different areas in which a high intellectual potential can manifest (Farias, 2012). The others assess different areas, not being so specific and covering behaviors related to intellectual giftedness in general. To differentiate from the existing ones, the items were developed based on the 10 broad domains of the theoretical model of cognitive skills known as Cattell-Horn-Carroll (CHC). This model consists of a standard nomenclature for discussing cognitive skills (McGill & Dombrowski, 2019), providing a comprehensive taxonomy for currently known cognitive skills (McGrew, 2009), and it is widely recognized as a model that goes beyond measuring general IQ (McGrew et al., 2023).

The CHC constitutes a hierarchical model of intelligence, composed of three strata (Figure 1). In the first of them a general intelligence factor would be located, followed by 10 broader factors and about 60 specific factors, linked to the specific abilities evaluated in intelligence tests (Bryan & Mayer, 2020).

Figure 1: CHC model for intelligence (McGrew, 2009)

The choice for this theoretical model as the basis for the scale is grounded on the hypothesis that the specific cognitive skills which make up intelligence are more important than the general intelligence itself (Geisinger, 2019), being considered more informative than the General IQ (Cormier et al., 2016). In addition, the literature has shown that the CHC model has influenced, in recent decades, theories of intelligence, the development of tests to assess this construct and research on the subject (McGrew, 2023).

Therefore, the present study aimed to report the construction process of a naming scale by teachers of talented/gifted students of the intellectual kind, according to the theoretical model of intelligence known as CHC. More specifically, it presents the results of the search for evidence on the instrument content validity.

Method

Participants

Five evaluators who attended a graduate program in Psychology, specifically in psychological assessment and instrument construction areas, and who knew the CHC model of intelligence. Of these, four were female, two doctors, two doctoral students and one specialist.

Instrument

Intellectual Gifted Naming Scale: teacher version (ENDI-p). Screening-type scale for identifying talent/gifted students to be answered by the teacher (Farias, 2012). This is an instrument built to help teachers in the process of identifying talent/giftedness in the intellectual area of their students enrolled in elementary school. The version used here has 80 items, organized according to the ten CHC domains, each domain having eight items (four negative and four positive ones), as follows:

1. Fluid intelligence (Gf): positive items: 1, 12, 31, 53 and negative items: 3, 10, 47, 73. Example item: “Easily deals with abstract concepts”.

2. Crystallized intelligence (Gc): positive items: 13, 20, 48, 43 and negative items: 23, 76, 68, 41. Example item: “Easily deals with general knowledge content”.

3. Quantitative knowledge (Gq): positive items: 58, 59, 26, 37 and negative items: 61, 7, 77 and 28. Example item: “Prefers exercises involving numbers”.

4. Short-term memory (Gsm): positive items: 19, 18, 17, 16 and negative items: 40, 2, 75, 55. Example item: “Is able to remember what has been learned recently”.

5. Long-term memory storage and retrieval (Glr): positive items: 46, 21, 66, 67 and negative items: 5, 70, 39, 71. Example item: “Easily remembers past events”.

6. Visual processing (Gv): positive items: 57, 54, 49, 32, negative items: 2, 4, 72, 14. Example item: “Perceives spaces coherently”.

7. Auditory processing (Ga): positive items: 44, 56, 45, 27 and negative items: 51, 69, 50, 9. Example item: “Easily identifies sounds (rhythms)”.

8. Processing and execution speed (Gs): positive items: 22, 29, 78, 33 and negative items: 65, 30, 62, 35. Example item: “Demonstrates speed in understanding simple facts”.

9. Reaction and decision speed (Gt): positive items: 79, 64, 15, 74 and negative items: 8, 63, 24, 36. Example item: “Quickly makes decisions on complex issues”.

10. Reading and writing (Grw): positive items: 42, 80, 38, 34 and negative items: 60, 52, 11, 6. Example item: “Uses elaborate vocabulary in his essays”.

Proceedings

Initially, the project was approved by the research ethics committee (CAAE 0124.0.147.000-11). The reviewers received a form explaining the purpose of the research, the task to be performed by each reviewer and the definition of each of the 10 domains, to support their evaluation. The task involved reading the items and reviewing which of the CHC domains the item represented. The forms used in this process can be accessed at Farias (2012).

To prevent the items from being grouped according to the assessed areas, a list was randomly organized. Teachers were instructed to answer the ENDI-p by evaluating their students (elementary school), regardless of the age these students were at the time.

Data analysis

A spreadsheet with the results of each reviewer was prepared. Initially, the percentage of agreement for each item and later for each dimension was calculated. To interpret the results, the agreement criterion of at least 80 % among the reviewers was adopted to indicate the adequacy and pertinence of the item (Pasquali, 2010).

The items that obtained such a value were considered adequate and selected to compose version 2 of the instrument. Those below this percentage were excluded. A third possibility involved relocating the item to another area, different from the one for which it was originally developed in case the reviewers agreed (above 80 %).

As criteria for interpreting the results, the percentage of agreement, the values defined by Landis and Koch (1977): almost perfect agreement, .80 to 1; substantial agreement, .60 to .80; moderate agreement, .40 to .60; fair agreement, .20 to .40; discrete agreement, 0 to .20. Regarding the Kappa coefficient, the recommendations by Fleiss et al. (2003) were followed: above .75 = excellent agreement; between .40 and .75 = satisfactory agreement; below .40 = unsatisfactory agreement.

Results

Initially, the percentage of agreement between reviewers was estimated. In general, the results showed the adequacy of the items to the domains they are intended to measure, according to the reviewers' assessment (73.75 % of the items). Another 21 items (26.25 %) did not reach the desired agreement percentage.

Considering each area, the items that were not consensual belonged to the following domains: fluid intelligence (n = 5), crystallized intelligence (n = 5), quantitative knowledge (n = 1), short-term memory (n = 4), long-term memory storage and retrieval (n = 1), processing and execution speed (n = 2), reaction and decision speed (n = 2) and read/write speed (n = 1). The visual processing and auditory processing dimensions presented adequacy in all its items. The results are shown on Table 1.

Table 1: Agreement Percentage among Reviewers (Juiz) by area and item

Notes: Farias, 2012.
*Removed items.
**Items that reached an agreement in another dimension.

Two items showed agreement in other dimensions, different from the ones originally thought. This was the case for two items: item 41 of the crystallized intelligence domain, which was relocated to the fluid intelligence domain, item 2 of visual processing, which was classified as quantitative knowledge. Such items were reallocated to the dimension indicated by the reviewers.

Thus, after the reviewers' evaluation, the second version of the scale was composed of 59 items. Analyzing the results of each area, Gc with 2 items (25 % of the number of initial items), Glr, Gv and Grw with 7 items each (87.5 %), Gf and Gsm with 4 items (50 %), Ga and Gq with 8 items (100 %), Gs and Gt with 6 items each (75 %).

Then, the estimate of the Kappa coefficient was carried out, with the purpose of verifying the intensity of agreement between the evaluators. For this reason, the classifications made by the reviewers were crosschecked with an “ideal reviewer” (the original dimensions of the items). The number of items classified in each of the domains was estimated, as well as the number and the percentage of correct answers in the classifications. The results are shown on Table 2.

Table 2: Theoretical Dimension Verified by the Kappa Coefficient

Notes: Fluid intelligence (Gf), Crystallized intelligence (Gc), Quantitative knowledge (Gq), Short-term memory (Gsm), Long-term memory storage and retrieval (Glr), Visual processing (Gv), Auditory processing (Ga), Processing and execution speed (Gs), Reaction and decision speed (Gt), Reading and writing (Grw).

The results presented that all reviewers showed satisfactory agreement according to the values established in the literature (Fleiss et al., 2003). Four reviewers (reviewer 2, 3, 4 and 5) obtained agreements considered excellent, while reviewer 1 reached an agreement considered satisfactory. In general, the reviewer who presented the highest percentage of correct answers, considering all areas, was reviewer 4, who presented an agreement equal to or above 87.5 % in eight of the ten areas. On the other hand, the reviewer who presented the worst performance was reviewer 1, whose percentage of correct answers was higher only in two areas.

If analyzed separately, in each dimension there was a hit above 87.5 % in the judgment of the reviewers: quantitative knowledge (five reviewers) and auditory processing (five reviewers). On the other hand, the areas of fluid intelligence (only one reviewer) reaction and decision speed (two reviewers) grouped the items that had a lower percentage of correct answers by the reviewers, possibly indicating other doubts.

Discussion

After the selection process of the theoretical model that would support the scale items for identifying academic giftedness/talent indicators, having selected the most complete and current theoretical model of intelligence, the CHC model, the scale items were constructed. In this sense, eight items were initially created for each of the areas that make up the broad dimensions of the model.

Subsequently, the search for evidence to validate the scale construct was executed using two different methods: percentage of agreement (which reviews the quality of the items according to experts) and Kappa coefficient (which reviews the qualification of the reviewers). The analysis of the items, by expert reviewers in the psychological assessment, intelligence, or instrument construction areas, indicated the adequacy of most of them (73.25 %).

This step proved to be fundamental to help the researchers in the selection of items which proved to be adequate. It also helped them in the exclusion of those that, according to the reviewers' assessment, were not clear, thus not reaching the expected agreement value. The fact that two areas, related to visual and auditory processing, reached an agreement of the reviewers in all their items is noteworthy. This leads us to believe that both the definition presented for such domains, as well as the items created to represent such cognitive abilities, seem clear and adequate.

Another four areas lost only one item (quantitative knowledge, visual processing, long-term memory storage and retrieval, and reading and writing), so they were represented in the items that were selected. They continued to present an adequate number of items in the instrument, suggesting difficulties with specific items.

On the other hand, the areas of fluid and crystallized intelligence were the ones that presented the greatest losses, where only four and two items remained, respectively. Crystallized intelligence is that ability that allows solving problems based on acquired knowledge and past experience, while fluid intelligence refers to the ability to solve challenging problems based on abstract thinking and pattern recognition (Simpson-Kent et al., 2020). Interestingly, it should be noted that both types of intelligence are most commonly evaluated in intelligence models and in tests that measure such constructs, given the idea that these two types can be considered more elementary intelligence skills (Horn, 1972). Due to this fact, it was expected that these would be areas in which the reviewers would not face difficulties, presenting a better performance.

However, in the study presented here, they were the ones that achieved the poorest results. This was not in line with expectations, since the evaluators had more difficulty correctly reviewing their items. In face of this situation, it is necessary to assess whether the low level of agreement in such areas was due to difficulties in the content expressed by the items, the inadequacy of the definition provided as a basis for the review or the lack of mastery of the reviewers over such dimensions. Studying future items in this area, providing a better definition, and offering more precise items can help to expand the number of items to include even those selected in the other dimensions. Only after this review can the scale evenly assess the ten domains of the CHC model that it proposes to follow.

During the course of a school year / period, teachers spend a considerable amount of time with their students, so building a tool that they can later use is important. Precisely for this reason, once trained, they will be able to observe (based on science and thus, reduce subjective bias) student behavior, indicating strengths and weaknesses. Strengths, if understood as potential talent/giftedness, can be developed, and reflected in excellent performance, regardless of the area. Furthermore, weaknesses should be addressed, so that curricular adjustments can be made to improve children's learning of that type of intelligence, and the relationship between that intelligence and day-to-day practice. Such scenario generally favors the involvement and interest of students.

Final considerations

The study consists in presenting a proposal for a new instrument to identify a specific type of talent/giftedness (of the intellectual kind), based on a broader and more recognized model of intelligence, the CHC model. The choice of this model as a theoretical foundation for the scale has the advantage of identifying behaviors related to different types of intelligence, whose potentials may be proven to be high to the extent that a possible giftedness can be characterized.

It is important to emphasize that the results presented here constitute an initial investigation of the psychometric qualities of the instrument under development, limited to the investigation of evidence for the construct validity. More specifically, it enabled to investigate the clarity, representativeness and relevance of the items developed for a talent/giftedness screening scale, to be answered by teachers concerning their students in elementary school.

In order to seek refinement for the ENDI-p, other studies aimed at investigating its psychometric qualities are necessary, and other sources of evidence validity can be cited (through internal structure, item analysis or relationship with external variables), as well as its accuracy.

Despite the favorable results presented here, some limitations of the study can be mentioned. Among them, an important reduction in the number of items to assess fluid and crystallized intelligence, also, new items to assess these areas will need to be created. Such an action may involve reformulating the items that were excluded, writing new items, improving the definition of the area and, subsequently, conducting a new study with other expert reviewers in the field of intelligence. However, it is important to point out that the items belonging to the other eight dimensions showed adequate results, for the sake of motivating researchers to continue studies with the scale.

References:

Alencar, E. M. L. S., Fleith, D. S., & Carneiro, L. B. (2018). Gifted education in Brazil: historical background, current practices, and research trends. In B. Wallace, D. A. Sisk, & J. Senior (Eds.), The sage handbook of gifted and talented education (pp. 432-445). Sage Publications.

Barbosa, A. J. G., Schelini, P. W., & Almeida, L. C. (2012). Medidas de dotação e talento: produção científica em psicologia (2006-2011). In A. A. A. Boruchovitch & E. Nascimento (Eds.), Avaliação psicológica nos contextos educativo e psicossocial (pp. 33-52). Casa do Psicólogo.

Brasil. (2012). Políticas Públicas para Alta Habilidade/ Superdotação. Senado.

Chagas, J. F. (2007). Conceituação e fatores individuais, familiares e culturais relacionados à altas habilidades. In D. S. Fleith, & E. M. L. S. Alencar (Orgs.), Desenvolvimento de talentos e altas habilidades: Orientação a pais e professores (pp. 15-24). Artmed.

Cleveland, L. M. (2017). Examining the relationship between Gifted Behavior Rating Scores and student academic performance (Doctoral dissertation). Concordia University.

Delou, C. M. C. (1987). Identificação de superdotado: uma alternativa para sistematização da observação de professores em sala de aula (Master's Dissertation). Universidade Estadual do Rio de Janeiro.

Farias, E. S. & Wechsler, S. M. (2018). Desafios na identificação de alunos intelectualmente dotados. In A. M. R. Virgolim (Org.), Altas habilidades/superdotação, inteligência e criatividade: uma visão multidisciplinar (pp. 335-350). Papirus.

Farias, E. S. (2012). Dotação e Talento: da identificação às propostas de intervenção educacional. In M. G. C. Tommasiello, A. J. Marin, S. G. Pimenta, L. M. de Carvalho & J. C. Fusari (Orgs.). Didáticas Práticas de Ensino na Realidade Escolar Contemporânea: constatações, análises e proposições (pp. 3303-3311). Junqueira & Marin.

Fleiss, J. L., Levin, B., & Paik, M. C. (2003). The measurement of interrater agreement. In J. L. Fleiss, B. Levin, & M. C. Paik (Eds.), Statistical methods for rates and proportions (pp. 598-626). John Wiley & Sons Inc.

Freitas, S. N. & Pérez, S. G. P. B. (2012). Altas habilidades/superdotação: atendimento especializado. ABPEE.

Gagne, F. (1989). Peer nominations as a psychometric instrument: many questions asked but few answered. Gifted Child Quartely, 33(2), 53-58. https://doi.org/10.1177/001698628903300201

Guenther, Z. C. (2006). Dotação e talento: reconhecimento e identificação. Revista do Centro de Educação, 28, 195-208.

Guenther, Z. C. (2014). Identificação de alunos dotados e talentosos: metodologia CEDET: versão 2014. ASPAT.

Hertzog, N. B., Mun, R. U., Duruz, B., & Holliday, A. A. (2018). Identification of strengths and talents in young children. In S. I. Pfeiffer (Ed.), APA Handbook of Giftedness and Talent (pp. 3018-316). APA.

Horn, J. L. (1972). Intelligence: why it grows, why it declines. In J. M. Hunt (Ed.), Human Intelligence (pp. 47-69). http://doi.org/10.4324.9780429337680

Irueste, P., Saco, A., & Nicolás, F. (2018). Dificultades socioemocionales reportadas por los padres y madres de niños y niñas dotados y talentosos, consultantes del Servicio de Neuropsicologia, Área Infantil, em Córdoba, Argentina. In F. H. R. Piske, T. Stoltz, C. Costa-Lobo, A. Rocha & E. Vásquez-Justo (Eds.), Educação de superdotados e talentosos: emoção e criatividade (pp. 75- 88). Juruá.

Landis, J. R. & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-74. http://doi.org/10.2307/2529310

Nakano, T. C. & Peixoto, E. M. (2023). Item analysis of the Teacher’s Gifted Rating Screening Scale. Estudos de Psicologia (Campinas), 40, e200056. https://doi.org/10.1590/1982-0275202340e200056.

Nakano, T. C. & Siqueira, L. G. G. (2012). Validade de conteúdo da Gifted Rating Scale (versão escolar) para a população brasileira. Avaliação Psicológica, 11(1), 123-140.

Nakano, T. C. (2021). Triagem de indicadores de altas habilidades/superdotação: versão professor. Vetor.

Pasquali, L. (2010). Instrumentação psicológica: fundamentos e práticas. Artmed.

Pfeiffer, S. & Blei, S. (2008). Gifted identification beyond the IQ test: rating scales and other assessment procedures. In S. Pfeiffer (Ed.), Handbook of giftedness in children: psychoeducational theory, research, and best practices (pp. 177-198). Springer.

Piske, F. H. R. (2016). Alunos com Altas Habilidades/Superdotação (Talent/Giftedness): Como chamaram-los? In F. H. R. Piske, T. Stoltz, J. M. Machado, & S. Bahia (Orgs.), Altas Habilidades/Superdotação (Talent/Giftedness) e Criatividade: Identificação e Atendimento (pp. 249-260). Juruá.

Prado, R. M. & Fleith, D. S. (2016). O papel das variáveis psicossociais no desenvolvimento do talento. Revista Amazônica, 18(2), 176-189.

Renzulli, J. S. & Reis, S. M. (2018). The three-ring conception of giftedness: a developmental approach for promoting creative productivity in young people. In S. I. Pfeiffer, E. Shaunessy-Dedrick & M. Foley-Nicpon (Eds.), APA handbook of giftedness and talent (pp. 185–199). APA. https://doi.org/10.1037/0000038-012

Renzulli, J. S. (2016). The three-ring conception of giftedness: a developmental model for promoting creative productivity. In S. M. Reis (Ed.), Reflections on gifted education: Critical works by Joseph S. Renzulli and colleagues (pp. 55-90). Prufrock Press.

Sabatella, M. L. P. (2008). Talento e superdotação: Problema ou solução? Ibpex.

Schneider, W. J. & McGrew, K. S. (2018). The Cattell–Horn–Carroll theory of intelligence. In D. P. Flanagan, & E. M. McDonough (Eds.), Contemporary intellectual assessment (pp. 73-163). Guilford Press.

Sternberg, R. J. & Kaufman S. B. (2018) Theories and conceptions of giftedness. In S. I. Pfeiffer (Ed.), Handbook of giftedness in children (pp. 29-47). Springer. https://doi.org/10.1007/978-3-319-77004-8_3

How to cite: Farias, E. S., Nakano, T. C., & Wechsler, S. M. (2023). Identification by teachers of intellectual gifted students: construction of an instrument and evidence of content validity. Ciencias Psicológicas, 17(1), e-2581. https://doi.org/10.22235/cp.v17i1.2581

Authors’ participation: a) Conception and design of the work; b) Data acquisition; c) Analysis and interpretation of data; d) Writing of the manuscript; e) Critical review of the manuscript.

E. S. F. has contributed in a, b, c, d, e; T. C. N. in c, d, e; S. M. W. in a, c.

Scientific editor in-charge: Dra. Cecilia Cracco.