Tempo di lettura stimato: 4 minuti
Livestream #2 - Cosa fa un analista di dati?
Probabilmente state sentendo parlare di big data e database, di data analytics e machine learning e vi state chiedendo quale sia il ruolo dell'analista di dati.
Qui cercheremo di romperlo passo dopo passo.
Differenza tra analista dei dati e analista aziendale
- Analista di business: Il loro ruolo è quello di documentare i requisiti dell'utente in un documento che è descrittivo di ciò che l'utente vuole.
- In questo caso, viene creato un documento che tutte le parti possono accettare e che può essere utilizzato come parte del sign-off del progetto.
- Analista di dati: D'altra parte, un analista di dati prenderà i requisiti di business e li tradurrà in prodotti di dati.
- Usano il documento per assicurare che il progetto abbia i dati giusti per soddisfare gli obiettivi del progetto nel posto giusto al momento giusto.
Competenze dell'analista di dati
Mappatura dei dati
In diversi progetti di dati , sarà necessario riconciliare i dati tra i sistemi; un'analisi dei dati sarà utile in questo caso.
In un esercizio di mappatura dei dati, l'analista dei dati dovrà esaminare una o più fonti e mapparle in un sistema di destinazione.
- Questo assicura una corrispondenza tra i due set di dati.
- Il che si traduce nella capacità di conciliare i due sistemi.
- Permette la possibilità di utilizzare i dati in più sistemi, sapendo che la coerenza è presente.
- Coerenza dei tipi di dati tra i sistemi.
- Assicura che gli errori di convalida dei dati siano ridotti al minimo.
Spesso un analista di dati costruisce una matrice di tracciabilità, che segue l'elemento di dati dalla creazione al consumo.
Qualità dei dati
Nella maggior parte delle aziende, ci saranno dei team (a seconda delle loro dimensioni) dedicati a questo, e il loro input sarà fondamentale per l'uso attuale e futuro dei dati.
La qualità dei dati è un compito importante che può avere un impatto sulla reportistica interna ed esterna e sulla capacità dell'azienda di prendere decisioni in modo accurato.
Alcune delle aree che potrebbero essere esaminate includono:
(A) Indaga sui dati duplicati - Ci potrebbero essere diverse ragioni per cui questo deve essere controllato:
- I dati sono stati inseriti manualmente più volte.
- Un processo automatizzato è stato eseguito più volte.
- Una modifica a un sistema informatico ha inconsapevolmente duplicato dei dati.
(B) Individuazione degli errori - Questa operazione potrebbe essere completata insieme alla segnalazione dei dati descritta di seguito.
- Normalmente le aziende hanno chiaramente delle regole che raccolgono gli errori di dati che non sono previsti.
- Un analista dei dati analizzerà il motivo di questi errori.
(C) Controllo dei dati mancanti.
- L'alimentazione dei dati è fallita. Sarà necessaria una richiesta per ricaricare i dati.
- I dati che non sono stati richiesti come parte dei requisiti aziendali confermano che questo è il caso.
(D) Migliorare i dati con informazioni aggiuntive - Ci sono informazioni aggiuntive che possono essere aggiunte per arricchire il set di dati?
(E) Controllare che i dati siano nel formato corretto - Ci sono scenari in cui questo può andare storto, e un esempio è un campo data popolato con del testo.
Segnalazione dei dati
In alcune delle aree precedenti, abbiamo toccato l'importanza della qualità dei dati.
Alla fine potrebbe esserci la necessità di tracciare:
- Qualità dei dati - Costruisci rapporti per catturare la qualità dei dati in base a misure aziendali predefinite.
- Reporting in tempo reale - Nessun nuovo cliente o cliente che ha lasciato un'organizzazione.
- Tracciare gli obiettivi - L'obiettivo fissato dall'azienda è stato raggiunto quotidianamente, settimanalmente o mensilmente?
- Reporting di gestione - Costruisci rapporti che forniscono input ai pacchetti di gestione che forniscono una panoramica di come il business si comporta.
Test dei dati
Le organizzazioni sono soggette a progetti di cambiamento che prevedono l'introduzione o il miglioramento di nuovi dati.
Di conseguenza, l'analista di dati avrà una serie di compiti da portare a termine:
- Scrivere gli script di test - Scrivere tutti gli script per il conteggio dei record, le trasformazioni e i confronti da tabella a tabella.
- Convalida del tipo di dati - Assicura che tutti i nuovi dati siano uguali agli altri dati in cui sono memorizzati.
- Nessuna perdita di dati - Verificare che tutti i dati siano importati correttamente e che non vengano troncati.
- Conteggio dei record - Scrivere uno script SQL per completare una riconciliazione dall'origine alla destinazione.
- Trasformazione dei dati - Assicurati che tutte le trasformazioni siano applicate correttamente.
Progetti di supporto ai dati
I progetti ad hoc sono comuni e talvolta diventano una priorità per le aziende, in quanto si occupano di requisiti che derivano da un'esigenza aziendale immediata.
Gli analisti di dati saranno chiamati a sostenere progetti in cui c'è la necessità di garantire che i dati richiesti siano di uno standard che soddisfi i risultati del progetto:
Alcune aree comuni in cui ciò potrebbe verificarsi sono
- Estrarre i dati dove si è scoperto che sono stati corrotti.
- Indagare sulle modifiche dei dati, per analizzare dove potrebbe essersi verificata una violazione dei dati.
- Un organismo di regolamentazione esterno ha chiesto informazioni per sostenere alcune relazioni presentate.
- Un cliente ha richiesto tutte le informazioni dell'azienda su di lui; di solito è il caso di una richiesta GDPR .