• Principal
  • Métodos
  • O que significam baixas taxas de resposta para pesquisas por telefone

O que significam baixas taxas de resposta para pesquisas por telefone

Por Scott Keeter, Nick Hatley, Courtney Kennedy e Arnold Lau


Um novo estudo do Pew Research Center sugere que, depois de décadas de declínio consistente, as taxas de resposta da pesquisa telefônica dos EUA estabilizaram nos últimos quatro anos. E, ao contrário da narrativa atual de que as pesquisas estão sitiadas, os dados mostram que o viés introduzido nos dados da pesquisa pelos níveis atuais de participação é limitado em escopo. Este relatório é o quarto de uma série de estudos do Centro que rastreiam o impacto de tais mudanças na resposta da pesquisa (ver estudos anteriores em 1997, 2003 e 2012.) Entre as principais conclusões:

Após décadas de declínio, as taxas de resposta para pesquisas por telefone como as conduzidas para o Pew Research Center se estabilizaram nos últimos anos em cerca de 9%1,2Embora a estabilização seja uma boa notícia para o setor, essas baixas taxas de resposta sinalizam o potencial de viés para se infiltrar nas pesquisas se as pessoas que participam consistentemente das pesquisas forem diferentes daquelas que não participam. Dito isso, o estudo atual e pesquisas anteriores sugerem que a taxa de resposta é um indicador não confiável de viés.

As estimativas de pesquisas por telefone para afiliação partidária, ideologia política e afiliação religiosa continuam a acompanhar as estimativas de pesquisas de alta taxa de resposta conduzidas pessoalmente, como a Pesquisa Social Geral.Isso fornece fortes evidências de que as decisões de participar de pesquisas por telefone não estão fortemente relacionadas a atitudes políticas, sociais ou religiosas. Portanto, mesmo com baixas taxas de resposta, pesquisas por telefone que incluem entrevistas via telefones fixosecelulares, e que são ajustados para corresponder ao perfil demográfico dos EUA, podem produzir estimativas precisas para atitudes políticas.


A análise dos respondentes da pesquisa por telefone versus os não respondentes sobre as variáveis ​​de um arquivo eleitoral nacional sugere que a participação na pesquisa não está fortemente ligada ao partidarismo.A afiliação a um determinado partido político não parece afetar a probabilidade de uma pessoa participar de pesquisas por telefone, embora aqueles que participam das pesquisas tendam a votar com mais frequência do que as pessoas com menor probabilidade de responder às pesquisas.



Não há sinal de um aumento no viés de não resposta desde 2012.Em 13 questões demográficas, de estilo de vida e de saúde que foram comparadas com referências de pesquisas federais de alta taxa de resposta, as estimativas das pesquisas por telefone são tão precisas, em média, em 2016 quanto eram em 2012. A diferença média (absoluta) entre o Centro as estimativas por telefone e as estimativas da pesquisa de referência foram de 2,7 pontos percentuais em 2016, em comparação com 2,8 pontos em 2012.


Em uma gama de variáveis ​​demográficas, as diferenças entre as amostras de telefone RDD e o perfil de todos os adultos nos EUA são relativamente pequenas, com a importante exceção do nível de escolaridade.Nos últimos anos, o aumento da proporção de entrevistas feitas com telefones celulares melhorou a representação de jovens adultos e hispânicos. Como muitas organizações de pesquisa, o Centro usa ponderação para corrigir desequilíbrios nas principais variáveis ​​demográficas (educação, gênero, raça / etnia, região, idade e mais).

As pesquisas por telefone exageram muito o engajamento cívico, provavelmente devido ao viés de não resposta.3Como foi estabelecido em trabalhos anteriores, as pessoas que respondem a pesquisas provavelmente são as mesmas pessoas que estão envolvidas na vida pública de sua comunidade - eles são associados. Felizmente para os pesquisadores, o engajamento cívico não está fortemente correlacionado com as atitudes políticas ou com a maioria das outras medidas que os pesquisadores tentam estudar com as pesquisas.


As pesquisas por telefone também exageram o engajamento político, mas em menor grau.Tanto o benchmarking quanto a análise do banco de dados de eleitores mostram que adultos politicamente engajados estão sobrerrepresentados nas pesquisas. A magnitude do viés no engajamento político tende a ser da casa de um dígito (por exemplo, as pesquisas por telefone exageram a proporção de adultos registrados para votar em cerca de 7 pontos percentuais), enquanto a magnitude do viés nas medidas cívicas está na casa dos dois dígitos (por exemplo, , as pesquisas por telefone exageram em cerca de 16 pontos a proporção de adultos que participaram de uma organização esportiva ou recreativa no ano passado.

A descoberta de que uma baixa taxa de resposta leva a um viés substancial em alguns tópicos (por exemplo, voluntariado), mas não em outros (por exemplo, partidarismo ou afiliação religiosa) ressalta a importância de ter pesquisas pessoais de alta taxa de resposta, o que torna esse conhecimento possível.Sem pesquisas como a Current Population Survey, a American Community Survey, a American National Election Survey e a General Social Survey, é significativamente mais difícil, senão impossível, para os pesquisadores determinarem onde existem ou não vieses nas pesquisas de opinião pública com baixa taxa de resposta.

À primeira vista, os resultados acima podem parecer voar em face da percepção de que as pesquisas fracassaram na eleição presidencial de 2016. De fato, houve alguns erros graves em estados críticos do Upper Midwest e essas pesquisas alimentaram a expectativa de que Hillary Clinton ganharia a presidência. Mas tal sinopse ignora o fato de que as pesquisas nacionais foram realmente bastante precisas. Coletivamente, eles indicaram que Clinton tinha uma vantagem nacional de cerca de 3 pontos percentuais e estavam basicamente corretos, pois ela acabou vencendo o voto popular por 2 pontos. Além disso, de acordo com um novo relatório, há motivos claros para que as pesquisas nacionais como grupo tenham se saído melhor do que as estaduais. Por exemplo, as pesquisas nacionais tinham muito mais probabilidade do que as estaduais de se ajustar ao nível de educação dos entrevistados em sua ponderação, o que se provou extremamente importante na eleição de 2016. Em suma, enquanto os erros de pesquisa contribuíram para a falsa expectativa de que Hillary Clinton ganharia a presidência, a votação em larga escala não foi quebrada em 2016 e os pesquisadores identificaram fatores que ajudam a explicar por que algumas pesquisas tiveram um desempenho melhor do que outras.

O estudo atual usa dois tipos de dados para avaliar a representatividade das pesquisas por telefone do Pew Research Center. A maioria dos resultados é baseada em uma comparação de estimativas de pesquisa com benchmarks amplamente aceitos de pesquisas conduzidas ou financiadas pelo governo que têm muito menos ausência de resposta do que pesquisas por telefone padrão. Ao todo, um total de 29 medidas de referência foram comparadas com perguntas idênticas (ou quase idênticas) feitas em pesquisas por telefone conduzidas pelo Pew Research Center.


Uma segunda fonte de dados é um banco de dados nacional de adultos que inclui informações sobre o registro eleitoral, participação e partidarismo na grande maioria das famílias dos EUA. Este conjunto de dados específico4faz parte de uma classe de produtos comerciais conhecidos como arquivos eleitorais que são amplamente usados ​​por campanhas e outros para contatar eleitores e aproveitar o fato de que os estados são obrigados a manter listas com os nomes, informações de contato e histórico de participação de residentes qualificados para votar . Esses dados do arquivo de eleitores foram comparados com a amostra de telefone usada em uma pesquisa do Pew Research Center de 2016 para fornecer informações sobre um grupo que de outra forma seria difícil de examinar: aqueles que optaram por não responder à pesquisa por telefone. Isso foi conseguido pegando os 40.182 números de telefone operacionais chamados para uma pesquisa do Pew Research Center e usando esses números para corresponder às informações de voto das pessoas, já que muitas pessoas têm seus números de telefone listados em seus registros de registro. Desta forma, os respondentes e não respondentes da pesquisa foram comparados em várias medidas políticas para ver se e onde eles diferem.

Um último ponto que vale a pena enfatizar é que as pesquisas por telefone com entrevistadores ao vivo agora representam uma parte minoritária de todas as pesquisas realizadas nos EUA. As pesquisas online e automatizadas (Resposta de voz interativa), ou combinações das duas, são coletivamente mais comuns do que as pesquisas por telefone com entrevistadores ao vivo e tendem a ter taxas de resposta significativamente mais baixas. Isso significa que as descobertas apresentadas neste relatório referem-se a apenas uma parte do panorama geral das pesquisas, embora seja uma parte importante. Pesquisas com metodologias semelhantes às do Pew Research Center continuam a ser conduzidas pelos principais jornais, redes de transmissão, organizações de notícias a cabo, universidades e Gallup.

O que é viés de não resposta?

O termo preconceito pode evocar a ideia de preconceito contra certos tipos de pessoas ou um esforço consciente para ser injusto. As pesquisas podem ser tendenciosas nesse sentido se, por exemplo, as perguntas forem elaboradas para favorecer um lado de uma questão. Mas quando pesquisadores e estatísticos usam o termo, eles querem dizer algo mais geral. Nesse caso, viés é o erro que ocorre quando algo sobre a maneira como uma pesquisa é elaborada ou conduzida leva a resultados sistematicamente diferentes do que é verdadeiro na população. Isso está em contraste com o que é comumente chamado de 'erro de amostragem' - o tipo de erro que ocorre por acaso porque as pesquisas tentam entrevistar uma amostra aleatória da população. O termo preconceito, conforme utilizado neste estudo, não favorece um determinado grupo ou ponto de vista ou resulta de esforço consciente por parte do pesquisador.

Este relatório enfoca o viés de não resposta em particular, que ocorre quando os tipos de pessoas que são contatadas e que concordam em participar de uma pesquisa são sistematicamente diferentes daqueles que não podem ser contatados ou que se recusam a participar. Por exemplo, pessoas mais jovens podem ser mais difíceis de alcançar para uma entrevista. Isso significaria que aqueles que são entrevistados tendem a ser mais velhos do que a população como um todo. Por sua vez, para questões fortemente relacionadas à idade, os resultados irão representar excessivamente as atitudes e comportamentos das pessoas mais velhas, se não for feito um esforço para corrigir o preconceito.

A preocupação com o viés de não resposta cresceu à medida que as taxas de não resposta aumentaram. Mas é importante observar que os pesquisadores de pesquisas têm se preocupado com essa questão desde que existem pesquisas modernas. E os métodos de correção do viés de não resposta são bem compreendidos e amplamente usados. Em particular, quase todas as pesquisas de alta qualidade (incluindo Pew Research Center) usam alguma forma de ponderação estatística para garantir que suas amostras estejam de acordo com a população no que diz respeito à geografia, idade, educação, gênero, raça e outras características. No entanto, o viés de não resposta ainda pode ocorrer se os respondentes e não respondentes diferirem em alguma dimensão que não é considerada na ponderação. Este relatório é um esforço para medir e documentar a natureza e extensão do viés de não resposta em pesquisas por telefone RDD do tipo conduzido pelo Pew Research Center.

As pesquisas por telefone com baixa taxa de resposta ainda estão em conformidade com as pesquisas pessoais com alta taxa de resposta sobre medidas de identificação política e religiosa

Alguns conceitos são tão fundamentais para a compreensão da opinião pública que são medidos pesquisa após pesquisa. Esses conceitos incluem filiação a partidos políticos, ideologia política e filiação religiosa. Várias pesquisas presenciais com alta taxa de resposta,5assim como muitas pesquisas de baixa taxa de resposta, faça essas perguntas rotineiramente para que os pesquisadores possam estudar como elas se relacionam com as atitudes políticas e outros resultados. A disponibilidade de referências de pesquisas pessoais oferece uma oportunidade de avaliar se as pesquisas por telefone ainda são precisas ou não nesta era de taxas de resposta de um dígito.

Se a narrativa de que as pesquisas estão quebradas estiver correta, um lugar que provavelmente se manifestará é nas linhas de tendência desses conceitos fundamentais. Especificamente, duas linhas de tendência (uma linha para a pesquisa de alta taxa de resposta de referência e uma linha para a pesquisa por telefone) que costumavam ser semelhantes na década de 1990 ou início de 2000, por exemplo, talvez devessem divergir em 2016, como pesquisas de um dígito não são mais capazes de produzir estimativas imparciais. Este cenário não é confirmado pelos dados.

Este estudo comparou as tendências do Pew Research Center e do General Social Survey (GSS). Devido às diferenças no texto das perguntas e no modo de entrevista, essas comparações nem sempre são precisas. Além disso, as estimativas do GSS vêm de pesquisas individuais com um tamanho de amostra modesto. As estimativas do centro representam todas as entrevistas realizadas durante o ano, que para questões comuns envolveu a combinação de várias pesquisas e a obtenção da média anual. Isso foi feito para minimizar a função do erro de amostragem.

Ao longo do período de um quarto de século para o qual existem comparações, as pesquisas por telefone do GSS e do Center produziram estimativas muito semelhantes sobre a proporção de adultos americanos que se identificam com os partidos Democrata ou Republicano. Ambos os conjuntos de pesquisas medem a afiliação partidária com uma simples pergunta que pergunta aos entrevistados se são democratas, republicanos ou independentes.6A diferença média nas estimativas pontuais entre as pesquisas de alta e baixa taxa de resposta é de 1,4 pontos para a identificação democrata e 1,6 pontos para a identificação republicana.

A relação entre as ações que se identificam com cada parte também é semelhante nas condições de resposta alta e baixa. Quase todos os anos da comparação têm mais democratas do que republicanos em ambas as pesquisas (embora a diferença entre os partidos nem sempre seja estatisticamente significativa), e a vantagem democrata aumentou e caiu nas duas pesquisas paralelamente. Ambas as pesquisas revelaram que o público estava mais uniformemente dividido entre os partidos no início de 2000 do que no período desde 2008. Em 2016 - o ano mais recente para o qual uma comparação está disponível - o GSS descobriu que os democratas superam os republicanos em cerca de 9 pontos percentuais, enquanto o Pew O Centro de Pesquisa considera os democratas à frente por 7 pontos percentuais. De modo geral, essa análise sugere que - apesar das baixas taxas de resposta - as pesquisas por telefone são capazes de produzir leituras precisas da composição partidária do público americano. Uma abordagem diferente para essa questão (apresentada posteriormente no relatório) compara respondentes por telefone a não respondentes usando dados do arquivo do eleitor e chega à mesma conclusão.

Além da filiação partidária, o retrato da orientação ideológica dos americanos também é muito semelhante no GSS e nas pesquisas do Pew Research Center. A pergunta do Pew Research Center oferece aos entrevistados cinco categorias que variam de 'muito liberal' a 'muito conservador', enquanto o GSS mostra aos entrevistados uma escala de sete pontos totalmente rotulada, variando de 'extremamente liberal' a 'extremamente conservador'. Em ambas as questões, 'moderado' é a opção do meio.

Apesar das diferenças na forma como as categorias são apresentadas aos entrevistados, há uma correspondência razoavelmente próxima entre as pesquisas do Centro e o GSS no que diz respeito às ações relativas escolhendo 'moderado' ou as opções conservadoras ou liberais. Ambas as pesquisas encontram consistentemente mais conservadores que se identificam como liberais, e ambas mostram um aumento gradual ao longo do tempo na participação que se identifica como liberal. O número que se descreve como moderado é semelhante nos dois conjuntos de pesquisas (por exemplo, 34% nas pesquisas do Pew Research Center em 2016 contra 36% no GSS naquele ano). Os conservadores superaram os liberais nas pesquisas do Pew Research Center em 2016 por uma margem de 36% a 25%, enquanto o fizeram por uma margem de 33% a 27% no GSS.

Como a política, a religião é um assunto de grande interesse para muitas pessoas. Mas, por uma série de razões, o governo quase não coleta informações sobre a filiação religiosa, as atitudes e o comportamento do público. Na verdade, em 1976, o Congresso proibiu o U.S. Census Bureau de perguntar sobre religião em suas pesquisas obrigatórias, como o censo decenal.7No entanto, o GSS mede a religião desde o seu início.

Apesar de usar perguntas diferentes, as pesquisas do Pew Research Center e o GSS produzem descobertas semelhantes em relação aos níveis e tendências nas principais atividades e crenças religiosas. Talvez o mais fundamental seja o que os estudiosos da religião costumam chamar de 'pertencimento' ou afiliação religiosa. As pesquisas do Pew Research Center rastreiam a afiliação religiosa em uma base quase mensal, usando um conjunto relativamente simples de perguntas que primeiro oferece aos respondentes uma escolha entre 12 categorias, como protestante, católico, judeu, ateu e, em seguida, segue com perguntas mais detalhadas. A série de perguntas do GSS sobre afiliação religiosa é semelhante, embora ofereça menos opções com sua pergunta inicial (protestante, católica, judia, alguma outra religião ou nenhuma religião).

O retrato da filiação religiosa pintado pelas duas pesquisas é muito semelhante, tanto no que diz respeito à parcela do público que se associa às principais tradições religiosas quanto às tendências ao longo do tempo. Ambos descobrem que a porcentagem de adultos não afiliados a uma religião (seja como ateus, agnósticos ou sem religião) cresceu rapidamente na última década e constituiu mais de um quinto do público em 2016 (23% nas pesquisas do Pew Research Center, 22% no GSS). Da mesma forma, ambos encontram a afiliação ao protestantismo em declínio bastante constante ao longo do período examinado.

Ambas as pesquisas mostram um ligeiro declínio na parcela católica da população na última década ou assim. Pesquisas do Pew Research Center em 2016 encontraram afiliação católica em cerca de 21%, enquanto a participação católica no GSS é de cerca de 23%, uma diferença que não é estatisticamente significativa.

Advertências sobre benchmarks

A avaliação do viés em pesquisas requer um padrão objetivo com o qual os resultados da pesquisa possam ser comparados. A votação eleitoral tem esse padrão, pelo menos para medidas de intenção de voto: o resultado da eleição. Mas a maioria dos benchmarks é tirada de outras pesquisas. Os benchmarks usados ​​aqui são extraídos de pesquisas financiadas pelo governo que são conduzidas com despesas consideráveis ​​e com grande atenção à qualidade da pesquisa. Mesmo assim, são pesquisas e estão sujeitas a alguns dos mesmos problemas enfrentados pelas pesquisas por telefone de baixa taxa de resposta examinadas aqui.

As pesquisas usadas como referência neste relatório têm altas taxas de resposta - na ordem de 60% ou mais. Conseqüentemente, o risco de viés de não resposta é geralmente considerado menor para essas pesquisas, embora ainda exista. Também relevante é o fato de que todas as pesquisas, independentemente da taxa de resposta, estão sujeitas a erros de medição. As perguntas feitas em pesquisas financiadas pelo governo são cuidadosamente desenvolvidas e testadas, mas não são imunes a alguns dos fatores que criam problemas de confiabilidade e validade em todas as pesquisas. O contexto no qual uma pergunta é feita - as perguntas que vêm antes dela - geralmente afeta as respostas a ela. Da mesma forma, todos os itens da pesquisa podem estar sujeitos a algum grau de viés de resposta, mais notavelmente 'viés de desejabilidade social'. Especialmente quando um entrevistador está presente, os entrevistados podem às vezes modificar suas respostas para se apresentarem em uma luz mais favorável (por exemplo, exagerando sua frequência de votação). Todos esses fatores podem afetar a comparabilidade de medidas aparentemente idênticas feitas em diferentes pesquisas. Avaliar a qualidade dos dados é, na melhor das hipóteses, um processo inexato. Portanto, é importante ter em mente que o benchmarking fornece medidas deestimadoviés e é altamente dependente do conjunto particular de medidas incluídas.

Pesquisas por telefone superrepresentam adultos politicamente engajados, mas a tendência tem sido bastante estável ao longo do tempo

Pesquisas anteriores indicam que as pesquisas tendem a obter uma resposta desproporcional daqueles que são participantes ativos na vida eleitoral. Uma questão importante é se esse viés cresceu à medida que as taxas de resposta se acomodaram em um dígito. Para resolver isso, o estudo aproveitou uma longa tendência da Current Population Survey (CPS), que tem uma taxa de resposta de 87%.

As pesquisas por telefone do CPS e do Center medem regularmente a proporção de adultos norte-americanos registrados para votar.8

Os dados mostram uma tendência basicamente estável de superestimação do registro eleitoral em pesquisas por telefone de 1996 a 2014 (último ano para o qual os dados do governo estão disponíveis). Especificamente, a superestimação observada é semelhante em 2014 - um ano em que as pesquisas por telefone tiveram uma taxa de resposta de 9% - e 1996, quando houve uma taxa de resposta de 37%. Esta é uma evidência de que as taxas de resposta em queda não estão resultando em respondentes de pesquisa dramaticamente diferentes no que diz respeito aos níveis de registro eleitoral.

O CPS também fornece referências para duas outras medidas de engajamento político: frequência de votação nas eleições locais e contato com um funcionário do governo no ano passado. Ao contrário do registro eleitoral (um elemento básico das pesquisas políticas), o Pew Research Center faz essas perguntas apenas em raras ocasiões, o que significa que não há uma linha de tendência análoga a ser considerada. Para apoiar este estudo, o Centro administrou, no entanto, as perguntas sobre a votação local e o contato com um oficial em uma pesquisa nacional por telefone em 2016.

Uma comparação dos dados do Centro com os dados mais recentes do CPS mostra que as amostras de pesquisas por telefone estão mais engajadas do que as das pesquisas do governo, embora o tamanho desse viés varie de cerca de 5 a 15 pontos percentuais. Quando se trata de regularidade de votação, o CPS indica que 32% dos adultos votam em todas ou quase todas as eleições. A estimativa da pesquisa por telefone é de 37%, um exagero de cerca de 5 pontos percentuais.

Um viés maior aparece na questão sobre como contatar funcionários eleitos. O CPS descobriu que 10% dos adultos contataram ou visitaram um funcionário público em qualquer nível do governo para expressar sua opinião. Em contraste, a estimativa da pesquisa por telefone é de que 25% o tenham feito.

A comparação mais atualizada sobre o status do registro eleitoral é de 2014 (o ano eleitoral mais recente com dados disponíveis do CPS). A referência indica que 63% dos adultos elegíveis foram registrados para votar, enquanto a estimativa comparável do Pew Research Center para três pesquisas conduzidas em torno da eleição foi de 70%, um exagero de cerca de 7 pontos.

Grandes preconceitos persistem nas medidas de engajamento cívico e social

Os resultados são substancialmente menos positivos no que diz respeito às medidas de engajamento cívico e social. Como foi documentado no relatório do Centro de 2012 sobre a não resposta à pesquisa, o novo estudo sugere que as pesquisas por telefone continuam a super-representar as pessoas que dizem ter se oferecido, trabalharam para resolver um problema da vizinhança, pertenceram a uma comunidade, associação recreativa ou cívica e pessoas que dizem que confiam ou conversam regularmente com os vizinhos.

Os vieses variam de uma alta colossal de 38 pontos percentuais em trabalhar com vizinhos (8% na Pesquisa de População Atual vs. 46% na pesquisa por telefone) a uma baixa de 9 pontos percentuais em participar de uma associação cívica ou de serviço (6% no CPS vs. 15% no inquérito por telefone).

A fonte desses grandes vieses é razoavelmente bem compreendida com base na pesquisa publicada por Abraham, Helms e Presser em 20099(e mais recentemente por Amaya e Presser10que examinou as taxas relatadas de voluntariado e outros comportamentos cívicos no CPS (a mesma pesquisa usada como referência na presente análise). Ao comparar os respondentes da pesquisa que subseqüentemente completaram uma pesquisa especial adicional com aqueles que não o fizeram, os autores mostraram que a taxa geral de voluntariado era sensível à não resposta à pesquisa. Em sua conclusão, observam que participar de pesquisas é um comportamento pró-social relacionado a outros tipos de comportamento, como o voluntariado. Eles escrevem que 'nossas descobertas sugerem que há um importante elemento de altruísmo na decisão de responder a uma solicitação de pesquisa'.

Embora as implicações para a medição precisa de comportamentos pró-sociais em pesquisas de baixa taxa de resposta sejam preocupantes, nossa análise de 2012 desta questão descobriu que tais comportamentos - voluntariado em particular - não estavam altamente correlacionados com a maioria dos outros tópicos de interesse da pesquisa. Uma análise semelhante conduzida com dados de 2016 descobriu que a super-representação de adultos engajados cívicamente em pesquisas por telefone, se alguma coisa, aumenta o apoio tanto ao Partido Republicano quanto a Donald Trump. Entre os brancos não hispânicos, a proporção que se identificou como republicano ou com inclinação para o Partido Republicano foi de 55% entre os voluntários no ano passado, em comparação com 45% que se identificou como republicano ou com inclinação republicana entre os não voluntários. Em teoria, ponderar os voluntários para alinhar os dados da pesquisa por telefone com a meta do CPS reduziria o viés do engajamento cívico, mas não tornaria necessariamente outras estimativas de pesquisa mais precisas. Em 2016, tal ajuste provavelmente teria exacerbado a extensão em que algumas pesquisas por telefone exageraram no apoio a Hillary Clinton. Dito isso, essa descoberta de que a super-representação de voluntários favorece os republicanos é, no momento, baseada em apenas uma pesquisa. Testes adicionais em outras pesquisas ajudariam a determinar o quão robusto é esse padrão.

As estimativas por telefone geralmente mostram pouco viés de não resposta em questões demográficas, saúde e estilo de vida

Em 14 medidas de características demográficas e pessoais (temporariamente deixando de lado as variáveis ​​usadas para ponderar as pesquisas do Pew Research Center, que são discutidas em uma seção posterior), a diferença média entre a estimativa do governo e a estimativa da pesquisa do Centro foi de 3 pontos percentuais, e variou entre 0 e 8 pontos. A maior diferença foi observada em uma medida que questionava os entrevistados sobre seu estado de saúde. A estimativa do governo sobre a proporção de pessoas que avaliam sua saúde como excelente ou muito boa é de 59%, enquanto a pesquisa por telefone constatou que 51% o fazem.

Os outros 13 itens pessoais e demográficos ficaram bastante próximos dos benchmarks. A pesquisa por telefone do Centro exagerou a parcela de quem recebeu vale-refeição no ano anterior em 4 pontos percentuais e a parcela de quem recebeu seguro-desemprego também em 4 pontos percentuais.

As demais medidas demográficas e pessoais erram as referências em 3 pontos percentuais ou menos. Isso inclui medidas de renda familiar, status de emprego, tamanho da família, cidadania, seguro saúde, tempo de residência no endereço atual, estado civil e parental, tabagismo, local de nascimento entre os hispânicos e ter carteira de motorista. Em outras palavras, em todas essas medidas, a pesquisa telefônica de resposta relativamente baixa forneceu uma medida do fenômeno quase idêntica à da pesquisa governamental de alta taxa de resposta usada como referência.

A precisão dos dados de pesquisas por telefone sobre estilo de vida, saúde e dados demográficos é pelo menos tão alta quanto quatro anos atrás, especialmente para estimativas baseadas em jovens adultos

Os pesquisadores estão, é claro, interessados ​​em saber até que ponto o viés de não resposta está piorando com o tempo. Comparando os níveis atuais com aqueles medidos há cerca de quatro anos, descobrimos que, em média, a precisão dos dados da pesquisa por telefone é pelo menos tão alta quanto era em 2012. Em 13 questões demográficas, estilo de vida e saúdeonzeque têm dados de pesquisa de referência de alta taxa de resposta, a diferença média (absoluta) entre as estimativas de telefone do Centro e as estimativas da pesquisa de referência foi de 2,7 pontos percentuais em 2016, em comparação com 2,8 pontos em 2012.

Em geral, a precisão medida por esses benchmarks foi menor entre certos grupos demográficos, como jovens adultos e minorias. Mas não há indicação de que os vieses dentro dos grupos pioraram com o tempo. A maioria dos principais subgrupos - definidos por idade, sexo, raça ou educação - viu a precisão de suas estimativas a partir de pesquisas por telefone permanecer no mesmo nível ou melhorar ligeiramente. Por exemplo, entre as 13 questões demográficas, de saúde e estilo de vida com comparações de alta taxa de resposta, a diferença média entre a estimativa de adultos hispânicos das pesquisas por telefone do Pew Research Center e a mesma estimativa hispânica da pesquisa de referência foi de 5,5 pontos percentuais em 2016 em comparação com 6,7 em 2012. A mudança média na precisão de 2012 a 2016 foi semelhante para brancos não hispânicos. Para os negros, no entanto, as estimativas da pesquisa por telefone diferiram das estimativas da pesquisa de referência em uma média de 5,1 pontos percentuais em 2016 contra 4,2 pontos em 2012.

Dos grupos analisados, os jovens adultos (idades entre 18 e 29) foram o subgrupo que viu a precisão de suas estimativas de pesquisa por telefone melhorar mais. Em pesquisas do Pew Research Center conduzidas em 2012, a diferença média absoluta dos benchmarks analisados ​​foi de 6,5 pontos percentuais. Nas pesquisas de 2016, a diferença em relação aos benchmarks no mesmo conjunto de perguntas foi de 4,7 pontos percentuais. Essa mudança sugere uma pequena melhoria na qualidade dos dados coletados entre adultos de 18 a 29 anos em pesquisas por telefone com baixa taxa de resposta em 2016 em comparação com 2012.

O nível de escolaridade é outro grupo demográfico importante no qual estamos frequentemente interessados. Para adultos com ensino médio ou menos, as estimativas da pesquisa por telefone diferiram das estimativas da pesquisa de referência em uma média de 5,3 pontos percentuais em 2016 contra 4,4 pontos em 2012. A mudança de A diferença média entre 2012 e 2016 foi menos dramática para adultos com níveis mais elevados de educação formal.

Tendências na composição das amostras de pesquisa ao longo do tempo

Embora as amostras de pesquisa com discagem de dígitos aleatórios - projetadas para selecionar entrevistados aleatoriamente e, assim, criar uma seção transversal representativa de uma população - começam geralmente bem equilibradas, certos padrões de viés demográfico rapidamente se insinuam assim que o processo de chamada começa. Eles são bem conhecidos agora, e é por isso que o Pew Research Center e muitos outros pesquisadores se ajustam aos desequilíbrios demográficos na ponderação. A questão é se eles estão piorando com o tempo. Na maior parte, essa análise sugere que a resposta é não.

Por estarem mais dispostos a falar com os pesquisadores, os indivíduos com melhor nível de escolaridade estão superrepresentados na maioria das pesquisas por telefone, enquanto algumas minorias raciais - especialmente aquelas para quem o inglês não é sua língua nativa - costumam ser sub-representadas. Os adultos mais jovens são mais difíceis de serem contatados e entrevistados por pesquisas, e os moradores da cidade (por uma variedade de razões relacionadas ao estilo de vida e demografia) também são mais esquivos.

Para combater esses vieses, as pesquisas há muito confiam na ponderação estatística como um corretivo para problemas conhecidos em torno do conjunto-chave de variáveis ​​demográficas que abrangem coisas como raça e etnia, idade, sexo e status educacional. As amostras são comparadas com benchmarks do governo nessas variáveis ​​demográficas centrais e os dados são ajustados para que as amostras estejam em conformidade com a população. Uma discussão mais completa sobre ponderação pode ser encontrada aqui. Pesquisas com taxas de resposta mais baixas podem estar mais sujeitas a esses tipos de vieses. Mas esses vieses também são função de aspectos do desenho da pesquisa, como a inclusão de telefones celulares na amostra (o que ajuda a atingir um segmento da população mais jovem e etnicamente diverso) ou como os entrevistados são selecionados dentro dos domicílios alcançados.

Na medida em que taxas de resposta em declínio podem estar criando mais viés de não resposta nas pesquisas, a ponderação aplicada para corrigir os vieses deve se tornar mais agressiva. Isso tem um custo, uma vez que a ponderação também resulta em alguma perda de precisão na amostra e em tamanhos de amostra eficazes menores. Para avaliar como os vieses nas características demográficas centrais estão mudando ao longo do tempo, a composição demográfica não ponderada das amostras do Pew Research Center foi comparada com referências do governo em quatro variáveis ​​principais ao longo de um quarto de século.

Os gráficos adjacentes ilustram essas tendências. Cada gráfico traça três linhas para cada categoria de uma das variáveis ​​de interesse. Por exemplo, o painel esquerdo do primeiro gráfico mostra a parcela da amostra que tem entre 18 e 29 anos. A linha azul claro é a parcela não ponderada das amostras do Pew Research Center ano a ano de 1992 a 2016. A linha cinza é a referência para essa faixa etária, calculado a partir de pesquisas do Censo dos EUA. A linha azul escura é a tendência do Pew Research Center depois que a ponderação foi aplicada. Deve corresponder à linha de referência). Como ilustra o gráfico, as pesquisas realizadas em meados da última década sub-representaram os jovens adultos nessa faixa etária, um fenômeno impulsionado pela rápida adoção de telefones celulares. Depois que o Pew Research Center começou a adicionar telefones celulares às suas amostras de telefone em 2007, o déficit de adultos jovens começou a diminuir e a precisão dessa variável continuou a melhorar.

Como os gráficos demonstram, a magnitude dos vieses observados para a maioria das variáveis ​​variou ao longo desse período. Mas, em geral, os vieses não são significativamente maiores do que no passado. E as amostras por idade, raça e etnia melhoraram em qualidade nos últimos anos, à medida que as amostras de telefone incluíram mais telefones celulares e incorporaram outras mudanças de design, como a inclusão rotineira de entrevistas em espanhol.

A representação adequada da população no que diz respeito ao nível de escolaridade talvez seja o maior desafio para as pesquisas de baixa taxa de resposta. As pesquisas do Pew Research Center, e outras semelhantes, têm consistentemente super-representado graduados universitários e sub-representado aqueles com ensino médio ou menos durante o período examinado aqui. A magnitude desse desequilíbrio aumentou nos últimos anos, passando de uma média de 8 a 10 pontos durante os anos 1990 e 2000 para 12 a 15 pontos desde 2012. Ao mesmo tempo, o déficit de indivíduos não universitários tem sido relativamente consistente, com média de cerca de 10 pontos desde os anos 1990. Conforme discutido acima, a ponderação ajuda a corrigir esses desequilíbrios. Ainda assim, caberia aos pesquisadores de pesquisa encontrar maneiras de preencher essa lacuna educacional na fase de coleta de dados, em vez de depender de ponderação para corrigi-la.

Os respondentes e não respondentes da pesquisa por telefone têm perfis políticos semelhantes com base nos dados do arquivo eleitoral; entrevistados votam com mais frequência

No mundo das pesquisas, o viés de não resposta se torna um problema quando cerca de 90% das pessoas que não participam de uma determinada pesquisa são significativamente diferentes dos 10% que participam. Uma maneira de descobrir se isso está acontecendo é aprender mais sobre as pessoas que não respondem. Infelizmente, essa é uma tarefa difícil, uma vez que, para qualquer pesquisa, os chamados 'não respondedores' não forneceram nenhuma informação aos pesquisadores. No entanto, um recurso de dados em desenvolvimento - grandes bancos de dados nacionais de adultos disponíveis comercialmente, seu status de registro de eleitor e histórico de votação - fornece uma janela para muitos desses não respondentes da pesquisa.

Para alavancar isso, os números de telefone celular que foram amostrados para a pesquisa - números paraambosas pessoas que responderam à pesquisa e as que não responderam - foram comparadas a um grande banco de dados nacional, chamado de arquivo eleitoral, que contém informações sobre registro eleitoral, participação, registro partidário e partidarismo estimado entre a maioria dos adultos nos EUA. De todos os 31.412 números de celular, 7.698 eram uma correspondência única com o arquivo do eleitor. Destes, 630 eram respondentes e 7.068 eram não respondentes, compreendendo 22% e 19% de todos os respondentes e não respondentes, respectivamente.

Resultado: entre esses casos com correspondência única, uma comparação entre entrevistados e não respondentes mostra que os entrevistados são mais politicamente engajados do que os não respondentes, mas quase idênticos em termos de lealdade partidária, um resultado muito semelhante ao observado em uma análise comparável em 2012.

Os respondentes tinham uma probabilidade ligeiramente maior do que os não respondentes de se registrar para votar (85% entre os respondentes contra 81% entre os não respondentes) e de ter votado nas eleições de 2012 (62% contra 52%). O exagero na participação em 2014 - votação nas eleições fora do ano que não incluem uma disputa presidencial - é consideravelmente maior (49% entre os entrevistados da pesquisa contra 33% entre aqueles que não responderam). O arquivo do eleitor também inclui uma medida da probabilidade de votar em 2016, onde uma pontuação de 0 é muito improvável para votar e 100 é muito provável. A pontuação média para os respondentes da pesquisa foi de 77, enquanto para os não respondentes foi de 69.

Em comparação, não há evidência de parcialidade partidária na amostra. Aqueles que participaram da pesquisa são muito semelhantes aos que não participaram no que diz respeito à filiação partidária. O arquivo do eleitor inclui uma pontuação de partidarismo imputada que varia de 0 (mais republicano) a 100 (mais democrata). A pontuação partidária média tanto para respondentes quanto para não respondentes é 58. Da mesma forma, o registro do eleitor no registro do partido também não mostra parcialidade: os democratas registrados eram 20% dos respondentes e 20% dos não respondentes; os números comparáveis ​​para republicanos registrados foram de 14% e 13%.

Embora restrita apenas aos números de telefones celulares que correspondem exclusivamente ao arquivo do eleitor, esta análise - usando uma abordagem muito diferente - aponta para a mesma conclusão que a análise de tendência GSS no topo do relatório: apesar das baixas taxas de resposta, bem projetada e pesquisas telefônicas cuidadosamente ponderadas ainda produzem informações precisas sobre o perfil político do público americano.

Conforme observado anteriormente na visão geral das fontes de dados para este estudo, a análise do arquivo do eleitor se baseia em casos retirados da maior pesquisa por telefone de agosto de 2016 (da qual a análise de benchmarking foi baseada em um subconjunto de casos) para comparar respondentes e não respondentes em medidas de engajamento político e partidarismo. O registro do partido é obtido dos registros eleitorais estaduais nos estados que permitem o registro por partido. A filiação partidária é imputada usando uma metodologia que leva em consideração o registro partidário (nos estados onde está disponível), a participação anterior em primárias partidárias e outras informações sobre tendências partidárias disponíveis em pesquisas ou campanhas políticas. O registro do eleitor e a participação em eleições específicas são extraídos dos registros oficiais de cada estado. A propensão à participação é imputada usando uma metodologia que leva em consideração o histórico de votação anterior e outras variáveis.

Ao todo, 70% dos números de telefone da rede fixa conhecidos ou que se acredita estarem associados a adultos que vivem em residências correspondem a pelo menos um registro de eleitor, assim como 33% dos números de celular da amostra. Para muitos números em ambas as amostras, as correspondências foram feitas para vários registros no banco de dados. Vários indivíduos em uma família podem estar associados ao mesmo número de telefone ou o número de telefone pode ter sido atribuído a pessoas diferentes ao longo do tempo. Os números fixos tiveram muito mais correspondências múltiplas do que os números de telefone celular. A inspeção dos registros indicou que muitas dessas correspondências múltiplas eram para indivíduos aparentados na mesma casa. Foi tomada a decisão de excluir totalmente os casos de telefone fixo da análise (e excluir as correspondências múltiplas no quadro do celular) por causa de preocupações de que a inclusão de várias correspondências realmente influenciaria a análise no sentido de não encontrar diferenças entre os respondentes e não respondentes, introduzindo mais aleatoriedade nos dados do respondente. Assim, a análise foi restrita aos números de celular que correspondiam a um único registro no arquivo eleitoral. Ao todo, isso foi 25% de todos os números de telefones celulares chamados para o estudo.

É importante observar que os resultados substantivos relatados aqui não seriam substancialmente diferentes se os casos de telefone fixo tivessem sido incluídos ou a análise não estivesse restrita a casos com um registro único correspondente.