• Principal
  • Notícia
  • O experimento do Facebook causa muito barulho para poucos resultados

O experimento do Facebook causa muito barulho para poucos resultados

Um estudo no qual o Facebook manipulou os feeds de notícias para mais de 600.000 usuários levou os usuários das redes sociais a um desmaio cibernético esta semana e se espalhou para a mídia principal: 'Facebook Tinkers With Users' Emotions ', começou a manchete do New York Times local na rede Internet.


Mas a controvérsia sobre o que esses pesquisadores fizeram pode estar ofuscando outras discussões importantes, especificamente conversas sobre o que eles realmente encontraram - não muito, na verdade - e a maneira certa e errada de pensar e relatar descobertas com base em análises estatísticas de big data. (Veremos a ética de seu experimento em um momento.)

Por serem tão grandes, os estudos baseados em amostras superdimensionadas podem produzir resultados que são estatisticamente significativos, mas ao mesmo tempo são substantivamente triviais. É matemática simples: quanto maior o tamanho da amostra, menores as diferenças precisam ser para serem estatisticamente significativas, isto é, altamente prováveis ​​de serem verdadeiramente diferentes umas das outras. (Neste estudo, as diferenças examinadas foram entre aqueles que viram mais e aqueles que viram menos mensagens carregadas de emoção em comparação com um grupo de controle cujos feeds de notícias não foram manipulados.)

E quando você tem uma enorme amostra aleatória de 689.003, como fizeram esses pesquisadores, até mesmo pequenas diferenças passam nos testes padrão de significância. (Para uma perspectiva, um tamanho de amostra típico em uma pesquisa de opinião pública nacionalmente representativa é 1.000.)

É por isso que gerações de professores de estatística alertam seus alunos de que 'estatisticamente significativo' não significa necessariamente 'realmente,realmenteimportante'.


Experiência do Facebook na manipulação de feed de notíciasConsidere as descobertas do estudo do Facebook no qual eles variaram quantas postagens positivas e negativas de participantes de teste de amigos foram autorizados a ver. As postagens foram consideradas positivas ou negativas se contivessem uma única palavra positiva ou negativa. Em seguida, o uso do próprio sujeito de teste de palavras positivas e negativas em suas atualizações de status foi monitorado por uma semana. Ao todo, os assuntos de teste postaram um total de 122 milhões de palavras, quatro milhões das quais foram positivas e 1,8 milhões negativas.



Conforme relatado pelos autores, o número de palavras negativas usadas nas atualizações de status aumentou, em média, 0,04% quando as postagens positivas de seus amigos nos feeds de notícias foram reduzidas. Isso significa apenas cerca de quatro palavras negativas a mais para cada 10.000 escritas por esses participantes do estudo. Ao mesmo tempo, o número de palavras positivas diminuiu apenas 0,1%, ou cerca de uma palavra a menos para cada 1.000 palavras escritas. (Como referência, esta postagem tem pouco mais de 1.000 palavras.)


Por outro lado, quando as postagens negativas foram reduzidas, sete palavras negativas a menos foram usadas por 10.000, e o número de palavras positivas aumentou cerca de seis por 10.000.

Com base nesses resultados, os autores concluíram em seu estudo publicado que seus 'resultados indicam que as emoções expressas por outras pessoas no Facebook influenciam nossas próprias emoções, constituindo evidência experimental de contágio em larga escala via redes sociais'.


Mas essas pequenas mudanças, mesmo que sejam reais, constituem evidência de um alarmante 'contágio em grande escala'? Claro, a importância está nos olhos de quem vê. Para alguns, essas mudanças minúsculas podem ser motivo de alarme. Mas para outros, eles provavelmente são apenasmeh.

Um dos autores parece ter dúvidas sobre a linguagem que eles usaram para descrever seu trabalho. Em uma postagem no Facebook escrita em resposta à controvérsia, Adam D. I. Kramer reconheceu: 'Meus co-autores e eu lamentamos muito a forma como o artigo descreveu a pesquisa'.

Ele também sugeriu que, mesmo com sua grande amostra, eles não encontraram um efeito particularmente grande. Os resultados, escreveu ele, foram baseados na “quantidade mínima para detectá-lo estatisticamente - o resultado foi que as pessoas produziram uma média de uma palavra emocional a menos, por mil palavras, na semana seguinte”.

Os críticos levantaram outras questões, notadamente as revistas The Atlantic e Wired, que questionavam se a leitura de postagens positivas levava diretamente o usuário do Facebook a usar palavras mais positivas em suas atualizações subsequentes.


Mas o que o Facebook fez é ético? Há muita discussão sobre se o Facebook foi transparente o suficiente com seus usuários sobre esse tipo de experimentação. Eles não informaram diretamente aos participantes do estudo que seriam usados ​​como ratos de laboratório humanos. Na pesquisa acadêmica, isso é chamado de não obter 'consentimento informado' e quase sempre é uma grande falta de não. (O Facebook afirma que todos os que ingressam no Facebook concordam, como parte de seu acordo de usuário, em serem incluídos em tais estudos.)

A questão agora é sobre como, sentadas em um tesouro de novas mídias sociais e outros dados digitais para extrair o mesmo tipo de análise comportamental, as novas regras precisarão ser escritas.

A pesquisa experimental está repleta de exemplos de como os participantes do estudo foram manipulados, enganados ou simplesmente mentidos em nome das ciências sociais. E embora muitas dessas práticas tenham sido restringidas ou proibidas na academia, elas continuam a ser usadas em pesquisas comerciais e outros tipos de pesquisa.

Considere o caso do 'Verifacitor', o mais novo e melhor detector de mentiras do mundo - ou pelo menos é o que alguns participantes ouviram neste estudo conduzido por pesquisadores do Centro Nacional de Pesquisa de Opinião da Universidade de Chicago em meados da década de 1990.

Os assuntos de teste foram divididos em dois grupos. Os membros do grupo de controle foram convidados a sentar-se em uma mesa onde um entrevistador fazia perguntas sobre hábitos de exercício, fumo, uso de drogas, práticas sexuais e consumo excessivo de álcool.

Os outros assuntos de teste responderam às mesmas perguntas enquanto eram conectados por eletrodos ao Verifacitor, descrito pelo operador como um novo tipo de detector de mentiras. (Na verdade, era apenas uma coleção de componentes de computador antigos que os pesquisadores tinham por aí.)

Para melhorar ainda mais a capacidade de dizer a verdade, cada participante foi informado, antes do início da entrevista formal, que o operador precisava calibrar a máquina. Assim, o participante foi instruído a mentir aleatoriamente em resposta a perguntas demográficas sobre si mesmo que haviam sido feitas anteriormente em um questionário de triagem. (Perguntas como: Você é casado? Terminou o ensino médio? Etc.).

É claro que a entrevistadora havia recebido as respostas corretas, então ela imediatamente identificou uma resposta falsa, para grande surpresa da cobaia.

Bem, você pode adivinhar o que aconteceu. Totalmente 44% das pessoas no grupo Verifacitor reconheceram que já usaram cocaína, em comparação com 26% no grupo de controle. Totalmente o dobro da proporção relatada de uso de anfetaminas (39% vs. 19%), uso de outras drogas (39% vs. 19%) e ingestão de mais álcool do que deveria (34% vs. 16%).

Em outras palavras, a pesquisa em ciências sociais tem uma longa história de manipulação. Aprenderá com seu passado?