Tempo estimado de leitura: 4 atas
Livestream #2 - O que faz um analista de dados?
Provavelmente está ali sentado a ouvir falar de grandes dados e bases de dados, análise de dados e aprendizagem de máquinas, e a perguntar-se onde se encaixa um analista de dados.
Aqui procuraremos quebrá-lo passo a passo.
Diferença entre um Analista de Dados e um Analista de Negócios
- Analista de Negócios: Sua função é documentar os requisitos do usuário em um documento que seja descritivo do que o usuário deseja.
- Neste caso, é criado um documento com o qual todas as partes podem concordar, e que pode ser utilizado como parte da assinatura do projecto.
- Analista de dados: Por outro lado, um analista de dados pegará os requisitos do negócio e os traduzirá em dados a serem entregues.
- Eles usam o documento para garantir que o projeto tenha os dados certos para cumprir os objetivos do projeto, no lugar certo e no momento certo.
Habilidades de Analista de Dados
Mapeamento de Dados
Em diferentes projectos de dados , haverá necessidade de reconciliar os dados entre sistemas, uma análise de dados irá ajudar aqui.
Em um exercício de mapeamento de dados, espera-se que o analista de dados olhe para uma ou mais fontes e as mapeie para um sistema de destino.
- Isto assegura uma correspondência entre os dois conjuntos de dados.
- O que resulta na capacidade de reconciliar os dois sistemas.
- Permite a capacidade de usar dados em múltiplos sistemas, sabendo que a consistência está no lugar.
- Consistência dos tipos de dados entre os sistemas.
- Ele garante que os erros de validação de dados sejam mantidos a um nível mínimo.
Muitas vezes um Analista de Dados construirá uma matriz de rastreabilidade, que rastreia o item de dados desde a criação até ao consumo.
Qualidade dos dados
Na maioria das empresas, haverá equipas (dependendo do seu tamanho) dedicadas a isto, e a sua contribuição será fundamental para a utilização dos dados existentes e futuros.
A qualidade dos dados é uma tarefa importante que pode ter impacto nos relatórios internos e externos e na capacidade de uma empresa para tomar decisões com precisão.
Algumas das áreas que podem ser analisadas incluem:
(A) Investigar dados duplicados - Pode haver uma série de razões para isso ter de ser verificado:
- Os dados foram introduzidos manualmente várias vezes.
- Um processo automatizado executado várias vezes.
- Uma mudança em um sistema de TI tem, inconscientemente, dados duplicados.
(B) Encontrar erros - Isto poderia ser completado em conjunto com os relatórios de dados descritos abaixo.
- Normalmente as empresas terão claramente regras que recolhem os erros de dados que não são esperados.
- Um analista de dados analisará a razão pela qual estes erros estão a ocorrer.
(C) Verificação da falta de dados.
- A alimentação de dados falhou. Será necessário um pedido para recarregar os dados.
- Os dados que não foram solicitados como parte dos requisitos do negócio confirmam que este é o caso.
(D) Melhorar os dados com informações adicionais - Há informações adicionais que possam ser adicionadas e que possam enriquecer o conjunto de dados?
(E) A verificação dos dados está no formato correcto - existem cenários onde isto pode correr mal, e um exemplo é um campo de data é preenchido com texto.
Relatório de dados
Em algumas das áreas acima, tocamos na importância da qualidade dos dados.
Em última análise, pode haver a necessidade de rastrear:
- Qualidade dos dados - Construir relatórios para capturar a qualidade dos dados com base em medições pré-definidas do negócio.
- Relatórios em tempo real - Sem novos clientes ou clientes que tenham deixado uma organização.
- Metas de Rastreio - A meta estabelecida pelo negócio foi atingida diariamente, semanalmente ou mensalmente?
- Relatórios de Gestão - Construa relatórios que forneçam informações para pacotes de gestão que forneçam uma visão geral de como o negócio funciona.
Teste de dados
As organizações passam por projectos de mudança onde novos dados estão a ser introduzidos ou melhorados.
Como resultado, o analista de dados terá uma série de tarefas para completar:
- Escrita de Scripts de Teste - Escrever todos os scripts para contagem de registos, transformações e comparações tabela a tabela.
- Validação do tipo de dados - Assegura que todos os novos dados serão os mesmos que os outros dados onde são armazenados.
- Sem perda de dados - Verifique se todos os dados são importados correctamente, sem truncagem de dados.
- Contagem de registos - Escrever um script SQL que completaria uma reconciliação da fonte para a destinação.
- Transformação de Dados - Certifique-se de que qualquer transformação é aplicada corretamente.
Apoio a projetos de dados
Os projectos ad hoc são comuns, e por vezes tornam-se uma prioridade para as empresas, uma vez que lidam com requisitos que resultam como parte de uma necessidade comercial imediata.
Os Data Analysts serão chamados para apoiar projetos onde houver necessidade de garantir que os dados necessários sejam de um padrão que atenda aos resultados do projeto:
Algumas áreas comuns onde isto pode ocorrer incluem:
- Extrair dados onde foi descoberto que foram corrompidos.
- Investigar alterações de dados, para analisar onde possa ter ocorrido uma violação de dados.
- Um órgão regulador externo solicitou informações para apoiar alguns relatórios enviados.
- Um cliente solicitou todas as informações da empresa sobre eles; geralmente é o caso de um pedido da GDPR .