sábado, 5 de abril de 2014

Pesquisas e análises: vê se me erra

Importante instituto publica errata por erro na leitura de uma tabela. Ipea? Não, Datafolha, ano passado.

Aí a Folha, em falta completa de autocrítica, diz que erro do Ipea é sinal de politização. Então o Datafolha é politizado? (Bem, claro que é, mas o erro não é pela politização. O erro é um erro.)

Não vamos overanalisar a falha do Ipea (nem do Datafolha). Sim, é um erro feio, constrangedor. Mas, a menos que você conheça bem a rotina de trabalho do instituto e dos autores do relatório (e mesmo assim estará se arriscando muito), é complicado apontar a causa ou as causas do lapso.

Um único erro não nos diz muita coisa além de que... bem, erros acontecem. Ele não diz que uma checagem não foi feita. Conferências diminuem incidências de erros, mas não os eliminam. Então, a menos que tenhamos uma coleção de erros em um dado intervalo de tempo, não podemos inferir sobre a qualidade do processo de revisão.

Era melhor que o deslize não tivesse ocorrido - mas foi o que ocorreu. Uma vez que o erro tenha ocorrido, era melhor que o tivessem corrigido, uma vez notado - e foi o que ocorreu.

Montar teorias conspiratórias é fácil: quer à direita ("o Ipea queria era tirar o foco das discussões da Petrobras"), quer à esquerda ("o diretor demissionário estava lá desde o governo FHC"). O fato de você conseguir pensar em uma não mostra muita coisa além do fato de seu cérebro ser minimamente criativo e relativamente desocupado.

8 comentários:

André disse...

A amostra utilizada na pesquisa era estranha, as afirmações com as quais os entrevistados deveriam expressar níveis de concordância eram ambíguas e um resultado tão estranho (aparentemente) só foi revisto após gerar polêmica. A impressão que fica é que não houve muito cuidado para elaboração dessa pesquisa.

mari.sz disse...

"Uma vez que o erro tenha ocorrido, era melhor que o tivessem corrigido, uma vez notado - e foi o que ocorreu." - essa frase me deixou estarrecida porque eu não tinha pensado nisso ainda. Qualquer pessoa que já tenha trabalhado um pouco com pesquisa de gente sabe quantas etapas de erro estão envolvidas no processo. Mas a gente sempre consegue se assustar com a opinião dos outros, pesquisada ou não.

none disse...

André, Mari,

Valeu pela visita e comentários.

@André, mas o erro corrigido não foi nenhum dos que foram apontados. O problema é que o resultado em si não era tão estranho - tanto é que agora significa que 65% dos entrevistados acham que mulher que não se separa de marido violento gosta de apanhar.

@Mari, acho que eu preciso recuperar um pouco a capacidade de me assustar com opiniões conservadoras.

[]s,

Roberto Takata

André disse...

91% dos pesquisados acham que homem que bate na esposa tem que ir para a cadeia. 54% parecem não admitir nenhum tipo de atenuante para o homem bater na mulher. 73% acham que esse assunto é importante. 76% não admitem nem que o homem xingue sua mulher. Mas 65% acham que a mulher com roupa curta merece ser atacada (que foi lido como estuprada pela mídia e pelas feministas). Isso não acendeu nenhuma luzinha amarela na cabeça de ninguém do IPEA? A mim me pareceu um resultado estranho, que até poderia estar correto, mas que mereceria mais uma checagem.

O fato de 65% acharem que a mulher que apanha e continua com o parceiro é porque gosta de apanhar eu não acho estranho, o que não quer dizer que esteja correto. Me parece que é coerente com a opinião de quem abomina a agressão (~75%) e ao mesmo tempo acredita que as vítimas podem adotar práticas para reduzir a violência (58%).

André disse...

http://noticias.r7.com/cidades/estudo-do-ipea-que-diz-que-mulher-merece-ser-estuprada-tem-falha-metodologica-dizem-especialistas-04042014

none disse...

Salve, André,

Não parecia estranho - justamente há uma dicotomia em relação à violência da mulher. Casos de violência explícita não justificada são prontamente condenadas, mas se matizar, a tolerância tende a aumentar muito.

Tanto não parecia estranho que ninguém cogitou que o número estivesse errado em si. Mas que seria fruto das interpretações possíveis da pergunta.

Não há uma falha metodológica. *Todas* as metodologias são limitadas. O que é preciso é interpretar os dados à luz da metodologia. Nenhuma pesquisa deve ser lida fora de contexto. Há outros estudos. Questão de contrastar os números.

O bom das perguntas do Ipea serem mais abertas é que, ao compararmos com estudos mais restritos, podemos ver o tamanho do efeito da matização da pergunta.

[]s,

Roberto Takata

André disse...

Eu vi pelo menos uma contestação ao valor em si http://arthur.bio.br/2014/03/28/seguranca/sim-as-mulheres-devem-aprender-a-se-comportar-para-nao-serem-estupradas/comment-page-3#comments. Concordo que o brasileiro tem aversão ao estupro mas ainda tem um conceito restrito sobre o que é o estupro. No próprio link acima, o autor acaba se restringindo a um tipo de estupro que representa apenas uma minoria do total. Nesse caso, para evitar interpretações exageradas, seria bom que a pesquisa misturasse algumas perguntas mais abertas com algumas mais restritas.
O título da reportagem do R7 (como quase toda manchete) exagera ao falar em falha metodológica. Mas no corpo da reportagem diz, corretamente, que existem problemas graves na pesquisa como a questão da amostra e o uso de ditos populares nas questões feitas. Não sou muito fã de teorias da conspiração, mas a impressão que eu tive é que o IPEA saiu em campo mais para validar uma ideologia do que para descobrir o que os brasileiros pensam.

none disse...

Salve, André,

Pelo que pude ver, o cara que contestou os dados não o fez por razões técnicas.

A maior parte do relatório usa os termos: "dos entrevistados" ou "dos respondentes". Há pouca extrapolação direta para a população.

Quanto aos ditos populares, no relatório, os pesquisadores afirmam: "A adesão a ditos populares pode ter uma interpretação dúbia, pois é possível supor que
muitas pessoas concordem com eles sem refletir muito a respeito de seu conteúdo.
Todavia, pode revelar a permanência de alguns valores sociais importantes, como a
privacidade do casal, a importância de se resolverem problemas familiares no âmbito
doméstico e a dificuldade de situar a violência como uma questão que não se enquadra
simplesmente nesta categoria, de problema familiar a ser resolvido privadamente."

É uma primeira pesquisa. Ela mostra pontos para serem explorados em mais detalhes em pesquisas futuras.

No relatório, para cada pergunta, há uma análise separada por cada fator: como sexo, renda, região, etc. E apresentam o odd ratio para os fatores significativos.

E tem ainda os microdados disponíveis para quem quiser tabular para isolar determinados fatores.

[]s,

Roberto Takata