Sinalizadores de atividade de celular

Por Kyley McGeeney e Courtney Kennedy


Como os custos das entrevistas por telefone continuam a aumentar e os telefones celulares representam uma parcela cada vez maior das amostras da pesquisa, os pesquisadores estão explorando abordagens para tornar esses projetos mais econômicos. Um recente avanço nos estudos de discagem de dígitos aleatórios (RDD) por telefone1é a capacidade de identificar números de telefones celulares que não funcionam usando o que é conhecido como 'sinalizadores de atividade'. Os sinalizadores de atividade permitem que os pesquisadores removam da amostra os números de telefones celulares não úteis sinalizados antes de serem discados, ajudando assim a conter os custos crescentes das entrevistas.

Uma preocupação com o uso desses sinalizadores, no entanto, é que eles também podem sinalizar erroneamente números de celular elegíveis para remoção da amostra e, por sua vez, reduzir a taxa de cobertura da população da pesquisa. Essa redução na cobertura pode levar a distorções nas estimativas resultantes da pesquisa.

O Pew Research Center investigou recentemente o desempenho dessas sinalizações no caso do Centro, pesquisa RDD de quadro duplo de adultos dos EUA realizada no início de 2014. A principal descoberta é que embora tenha havido uma redução mensurável na taxa de cobertura da população, o efeito no as estimativas ponderadas eram pequenas.

Uma grande parte do número RDD do telefone celular não funciona

Pesquisadores de pesquisas por telefone estão muito interessados ​​em usar sinalizadores de atividade como uma ferramenta para combater os custos crescentes de coleta de dados. Um fator que aumenta o custo das entrevistas por telefone celular é a parcela substancial de números não úteis na amostra discada pelos entrevistadores. Isso resulta em perda de tempo do entrevistador. A incidência de números não úteis no quadro RDD de celular dos EUA foi de aproximadamente 38% em 2015, com base nos resultados das pesquisas do Pew Research Center.


Os fornecedores de amostra de pesquisa começaram a oferecer sinalizadores de atividade em 2012 como uma forma de aumentar a eficiência das entrevistas. A forma como o sinalizador é criado varia entre os fornecedores. Dependendo do fornecedor, o sinalizador reflete a atividade de chamada anterior de um determinado número ou um teste em tempo real do status do número como em serviço ou não. O Pew Research Center avaliou os dois tipos de sinalizador de atividade, anexando-os à amostra de celular retirada para uma pesquisa RDD nacional. Consistente com outras pesquisas,2os pesquisadores descobriram que o sinalizador baseado no teste em tempo real teve um desempenho melhor do que o sinalizador baseado na atividade de chamada anterior. A análise do relatório é baseada exclusivamente no sinalizador de teste em tempo real.



Sinalizadores de atividade levam à remoção de números de telefones celulares que não funcionam, mas também alguns que funcionam

Entre os 124.811 números de celular discados na pesquisa Pew Research Center de 2014 estudada aqui, cerca de seis em cada dez (62%) foram sinalizados como ativos, quase um terço (32%) foram sinalizados como inativos e o restante (6%) tinha status desconhecido.


Uma comparação dos sinalizadores de atividade com as disposições finais atribuídas pelos entrevistadores revela que, embora o sinalizador seja preciso para a maioria dos casos, existem falsos positivos (números sinalizados como ativos que são realmente não operacionais ou não residenciais) e falsos negativos (números sinalizados como inativos que estão realmente trabalhando e residenciais).

Entre os casos marcados como inativos, 15% estavam trabalhando e residindo (falsos negativos). Entre os casos marcados como ativos, 10 por cento foram considerados não funcionais ou não residenciais (falsos positivos).


Taxa de cobertura de projetos de amostra de telefone de quadro duplo reduzida

Os falsos positivos são basicamente inofensivos, exceto pela perda de eficiência. Os falsos negativos, entretanto, têm o potencial de reduzir a taxa de cobertura da pesquisa. Isso aumenta o risco de erro de não cobertura, que ocorre quando as pessoas que têm a chance de ser amostradas para uma pesquisa diferem daquelas que não têm chance de serem selecionadas, levando a um viés nas estimativas da pesquisa.

O Pew Research Center estima que 8% de todos os telefones celulares residenciais em funcionamento nos EUA são erroneamente sinalizados como inativos, o que é vários pontos acima do relatado em um estudo anterior.3Juntamente com o fato de que 91% dos adultos nos EUA possuem um telefone celular, o resultado é uma redução de 7 pontos percentuais na cobertura da amostra de adultos nos EUA. Para uma amostra nacional de celulares, isso reduz a taxa de cobertura líquida estimada de adultos nos EUA de cerca de 91% para 83%.4

Essas taxas líquidas são baseadas em estimativas dos Centros de Controle e Prevenção de Doenças de janeiro a junho de 2015 da National Health Interview Survey, de que 3% dos adultos não têm telefone e outros 6% têm telefone fixo, mas sem celular. Para pesquisas RDD nacionais de adultos, a inclusão de uma amostra de telefone fixo mitiga substancialmente a redução na cobertura da exclusão de números sinalizados inativos (de 97% de cobertura para 93%, em vez de 83%).

É possível evitar qualquer redução de cobertura usando os sinalizadores de atividade para subamostrar números inativos sinalizados em vez de excluí-los totalmente. Em outras palavras, apesar de serem marcados como inativos, os pesquisadores discariam 50% desses números e então ponderariam seus resultados para compensar a menor taxa de amostragem. A diminuição da precisão e o aumento do custo são duas desvantagens da subamostragem com esses sinalizadores - pelo menos em teoria. O ajuste de ponderação para corrigir a subamostragem pode aumentar a variação (refletida em um efeito de design aumentado5) e, assim, reduzir a precisão das estimativas da pesquisa. Além disso, a subamostragem envolve reter alguma fração dos números marcados como inativos na amostra, o que reduz a produtividade do entrevistador em relação à abordagem de exclusão. Considerando que o sinalizador de atividade custa atualmente 7 centavos por número para anexar, a economia de custo líquido pode ser marginal na melhor das hipóteses sob a abordagem de subamostragem.

Os entrevistados com números sinalizados de inativos tendem a ser mais jovens, menos educados e com maior diversidade racial

Os entrevistados com sinalização inativa são mais jovens, menos escolarizados e têm renda mais baixa do que os participantes com sinalização de atividade. Eles também são mais propensos a serem negros não hispânicos e menos propensos a estar registrados para votar ou casados ​​do que os respondentes com atividade sinalizada.


Todos esses grupos demográficos são considerados difíceis de alcançar nas pesquisas porque são menos propensos a responder. Normalmente, eles não são encontrados na amostra de respondentes resultante nos mesmos níveis em que são encontrados na população ou os pesquisadores se esforçam em termos de tempo ou custo para tê-los adequadamente representados. Excluir ou subamostrar casos inativos sinalizados da amostra significa reduzir os próprios entrevistados que os pesquisadores têm mais dificuldade em entrevistar.

Remover números inativos sinalizados geralmente não afeta as estimativas da pesquisa

Embora a exclusão de telefones celulares inativos sinalizados reduza a taxa de cobertura da pesquisa e exclua desproporcionalmente grupos demográficos de difícil alcance, não parece ter um efeito significativo sobre o viés, pelo menos para pesquisas de opinião pública. Adultos com celulares marcados erroneamente como inativos diferem sistematicamente em várias dimensões daqueles com celulares marcados como ativos, conforme descrito acima, mas eles constituem uma fração muito pequena da população para mover as estimativas de maneira significativa. Na pesquisa, 2% de todas as entrevistas de amostra de celular e 1% das entrevistas de amostra combinadas (telefone celular mais telefone fixo) foram com adultos alcançados em números marcados erroneamente como inativos usando o sinalizador de atividade.

Para avaliar se a exclusão ou subamostragem de telefones sinalizados-inativos teria alterado as estimativas do estudo, os pesquisadores criaram pesos experimentais simulando cada cenário. O peso simulando exclusão seguiu precisamente o protocolo de ponderação da pesquisa, mas descartou as 101 entrevistas com celulares inativos sinalizados. O peso que simula a subamostragem (a uma taxa de 50%) também seguiu o protocolo de ponderação da pesquisa, mas descartou uma metade aleatória das 101 entrevistas com telefones celulares inativos marcados e ponderou os casos na metade não descartada pelo inverso da subamostragem simulada taxa (1/50% = 2).

Para as 11 perguntas comuns da pesquisa de opinião analisadas, a estimativa ponderada que simula a exclusão ou subamostragem de telefones celulares inativos sinalizados foram virtualmente indistinguíveis das estimativas finais da pesquisa ponderada. A diferença média da estimativa final da pesquisa foi próxima de zero tanto na exclusão quanto nas simulações de subamostragem.

Embora as estimativas da amostra completa fossem basicamente imunes ao uso dos sinalizadores de atividade, não estava claro se esse resultado se manteria para subgrupos - particularmente subgrupos que são mais propensos a ter telefones celulares erroneamente sinalizados como inativos. Para testar isso, o Centro repetiu a análise para negros e adultos de 18 a 29 anos. Para estimativas baseadas em negros, a diferença média dos números da amostra completa subiu ligeiramente para 0,4 e 0,2 pontos percentuais nas simulações de exclusão e subamostragem, respectivamente.

Para estimativas baseadas em adultos de 18 a 29 anos, a diferença média dos números da amostra completa aumentou ligeiramente para 0,2 e 0,1 pontos percentuais nas simulações de exclusão e subamostragem, respectivamente. As conclusões gerais, no entanto, não mudaram. Para muitas pesquisas de opinião pública, incluindo a maioria dos trabalhos realizados pelo Pew Research Center, as diferenças dessa magnitude (ou seja, menos de meio ponto percentual) são muito pequenas para despertar sérias preocupações sobre preconceito.

Custo

Os designers da pesquisa podem excluir ou subamostra casos inativos sinalizados de suas amostras e, por sua vez, economizar dinheiro reduzindo a quantidade de tempo que os entrevistadores gastam discando manualmente números improdutivos. Uma equipe de pesquisadores6estimou que a exclusão dos números marcados como inativos reduziu a quantidade de horas de trabalho necessárias para entrevistas por telefone em até 20 por cento. Algumas empresas de pesquisa agora excluem rotineiramente números de telefones celulares inativos de suas amostras para aumentar a eficiência.

Com base nessa análise, o Pew Research Center decidiu renunciar ao uso de sinalizadores de atividade como prática padrão em sua pesquisa - não por preocupação com o viés (os pesquisadores descobriram muito pouco), mas por preocupação com a taxa de cobertura da população. Manter a maior taxa de cobertura possível sempre foi uma prioridade no trabalho do Centro. Por enquanto, os potenciais ganhos de eficiência não justificam a redução da taxa de cobertura em nossos estudos.