Blog
Estatística de dados

Relatório de qualidade de dados online

O relatório para rodar antes de qualquer outro. Ele perfila cada coluna da sua tabela — quanto está faltando, quantos valores distintos existem, se é número ou texto, se é constante — e conta as linhas duplicadas. A maioria dos erros analíticos são na verdade problemas de dados que isto teria pego.

Seus dados não saem deste dispositivo

Seus dados

Cole uma tabela direto do Excel ou do Planilhas Google, ou solte um arquivo CSV. Nada é enviado: todo o cálculo acontece dentro desta aba do navegador.

CSV, TSV ou texto simples. Arquivos salvos em windows-1251 são detectados e relidos automaticamente, então os cabeçalhos não viram caracteres estranhos.

Opções de leitura

Resultado

A biblioteca de desenho é baixada apenas ao pressionar o botão e apenas nesta página.

Esta página não tem lado servidor nenhum. A tabela colada é processada por JavaScript dentro do seu próprio navegador, o gráfico é desenhado num elemento canvas da sua máquina e o arquivo de exportação é montado localmente. Nada é enviado, armazenado ou gravado em qualquer log. Você pode desconectar a rede depois que a página carregar e tudo continuará funcionando — é a forma mais simples de verificar você mesmo.

Fatos e limites do método

Por coluna Tipo detectado, contagem de ausentes, proporção de ausentes, valores distintos
Detecção de tipo Numérica se pelo menos 70 % das células não vazias forem lidas como números
Linhas duplicadas Correspondências exatas em todas as colunas, contadas
Colunas constantes Colunas com um valor distinto ou menos, marcadas separadamente
Pior coluna A com mais ausentes, reportada no topo
Funciona com Qualquer tabela, numérica ou não

Quando induz ao erro

Como é calculado

Cada coluna é perfilada de forma independente: suas células não vazias são contadas, seus valores distintos são contados, e ela é classificada como numérica ou texto conforme pelo menos 70 % das células não vazias sejam lidas como números. Esse limiar tolera alguns rótulos soltos sem classificar errado uma coluna genuinamente numérica.

Linhas duplicadas são encontradas comparando o conteúdo completo da linha. A contagem é reportada em destaque porque duplicatas inflam silenciosamente cada total, média e correlação seguintes, e são invisíveis numa planilha com mais linhas do que cabem na tela.

Colunas constantes — com um valor distinto ou nenhum — são marcadas separadamente. Elas não carregam informação, quebram correlação e regressão por terem variância zero, e normalmente são o resíduo de um filtro aplicado antes.

A coluna com mais ausentes é destacada no topo com sua porcentagem, porque é o número que mais frequentemente determina se vale a pena começar uma análise. Uma coluna 60 % vazia raramente sustenta a conclusão que alguém quer tirar dela.

Perguntas e respostas

O que faço com os valores ausentes?

Primeiro descubra por que estão faltando. Ausências aleatórias muitas vezes podem ser descartadas ou imputadas; ausências com motivo — clientes que não responderam, máquinas que não reportaram — carregam informação, e descartá-las enviesa tudo que vier depois.

Minha contagem de duplicatas é zero mas eu vejo duplicatas.

A detecção exige que todas as colunas coincidam exatamente. Linhas que diferem por um carimbo de tempo, um id ou um espaço final não são duplicatas exatas. Remova a coluna que difere e rode de novo.

Por que minha coluna de CEP foi chamada de numérica?

Porque os valores dela são lidos como números. A detecção é sintática, não semântica. Trate o tipo como uma pista: identificadores, códigos e telefones são texto com cara de número que nunca deve ser promediado.

O que uma coluna constante faz nos meus dados?

Geralmente é o resíduo de um filtro — tudo foi exportado para uma região, um ano ou um status. Ela não carrega informação e vai quebrar correlação e regressão, que precisam de variância para funcionar.

Meus dados são enviados?

Não. O perfil inteiro é calculado no seu navegador, que é exatamente o que torna seguro rodá-lo sobre dados que você não pode enviar para lugar nenhum.

Ferramentas relacionadas

Todas as ferramentas