In ogni disciplina esiste un guru.
Nel frenetico mondo del data warehouse ne esistono almeno due: Ralph Kimball e Bill Inmon che proiettano le loro fosche ombre sulle scelte di ogni Data warehouse architect.
L’approccio metodologico relativo alla realizzazione di soluzioni di data warehouse dipende direttamente dall’organizzazione aziendale, dalla tipologia di utenti dall’architettura tecnica del sistema e dalle criticità evidenziate.
Nel corso del tempo sono stati suggeriti diversi approcci per la realizzazione dei progetti, poi rivisitati grazie al bagaglio di esperienze maturate da varie Organizzazioni.
"L’elevata mortalità delle prime implementazioni di soluzioni di data warehouse ha accelerato l’evoluzione di metodologie più focalizzate sul business, si parla pertanto di approccio top-down, approccio bottom-up, approccio incrementale, a cui corrispondono diverse topologie di data warehouse (Enterprise data warehouse, datamart, Multi-tier Warehouse)" scriveva qualcuno solo un paio di anni fa, ma si sa, anche nel campo della business intelligence due anni sono un'enormità, e oggi (metà del 2002) accanto ai classici approcci metodologici si inseriscono vere e proprie "filosofie di approccio metodologico" che aiutano a rendere ancora più confuso il mondo del data warehouse...
Approccio top down
L’approccio top-down è quello che prevede una implementazione estensiva del sistema, il cui disegno originale tiene in considerazione tutte le principali aree di interesse aziendale.
Si parla in questo caso di Enterprise data warehouse, che può essere successivamente suddiviso in un insieme di datamart, per motivi tecnici ed organizzativi, pur mantenendo rigorosamente accorpata la visione totalitaria d’insieme della soluzione.
I datamart dipendenti costituiscono un subset di dati aziendali altamente specializzati per aree di interesse o dipartimenti aziendali.
Il punto debole di questo approccio teoricamente rigoroso è nella difficoltà di gestione del progetto onnicomprensivo, che rischia di paralizzare l’attività e di fornire risultati troppo in avanti nel tempo, questo tipo di approccio (caldamente suggerito da Bill Inmon) rappresenta l'approccio migliore per la costituzione del data warehouse, va valutata la sua applicabilità relativamente allo sforzo che il cliente prevede di sostenere, se il sistema di data warehouse rappresenta (come dovrebbe) un progetto strategico per il cliente il budget non può che essere correttamente proporzionato.
Approccio bottom-up
L’approccio bottom-up prevede una implementazione non coordinata nella quale ogni datamart viene realizzato per rispondere ad uno specifico fabbisogno informativo di una utenza dipartimentale.
In questo caso l’Enterprise data warehouse è il risultato dell’insieme dei singoli datamart indipendenti, che si alimentano direttamente dai sistemi operazionali.
Il vantaggio di tale approccio pragmatico è unicamente conseguire risultati utili per l’utente in un arco temporale limitato con costi diretti relativamente contenuti.
Tale approccio può essere valutato solo per progetti con budget di sviluppo molto bassi e, soprattutto, il cliente deve essere ben informato sui rischi del costo di manutenzione di un data warehouse di tale tipo.
Approccio “incrementale” : Enterprise datamart Architecture (EDMA)
L’approccio “incrementale” combina i vantaggi dei due approcci sopra descritti (e vede in Ralph Kimball il primo sostenitore).
Alla base di questo approccio, definito in letteratura anche approccio “federato”, infatti, è la creazione di un modello informativo comune.
Dal modello informativo comune vengono sviluppati in maniera coerente modelli dati dell’Enterprise data warehouse e/o dei datamart; questi ultimi possono essere sia dipendenti che indipendenti.
L’implementazione prevede di mettere a fattor comune tra diversi progetti di datamart i processi di acquisizione di dati dai sistemi transazionali.
E' tuttavia fondamentale segnalare che è comunque opportuno consigliare l'eliminazione datamart indipendenti, non appena sviluppati quelli derivanti direttamente dall'ambiente integrato del data warehouse; è importante verificare tempi e costi dello sviluppo temporaneo di datamart indipendenti.
Il risultato dei processi di acquisizione viene centralizzato su aree di appoggio comuni (cosiddette aree di staging) su cui vengono svolti i successivi processi di trasformazione.
Il modello informativo comune e la fruizione delle aree di staging minimizza i problemi di integrazione tra datamart, l’utilizzo di un’architettura data warehouse Bus consente l’individuazione e la condivisione di dimensioni e fatti razionalizzate rispetto ai processi aziendali.
Il concetto di Warehouse Bus (partorito da Ralph Kimball) è l'uovo di Colombo che in molti casi consente un approccio incrementale paragonabile nei risultati a quello Top Down di Inmon.
Alla definizione di dettaglio nel data warehouse di un particolare processo basato sul concetto di dimensioni e fatti conformi è possibile rilasciare velocemente il datamart aggregato, certi che le successive attività a livello di data warehouse non potranno creare isole informative.
R: dettaglio e aggregazioni
Temevo la tua risposta....
Nella nostra organizzazione stiamo invece di fatto delegando alle applicazioni di pianificazione e analisi (p.&a., in
breve: applicazioni che oltre ad analizzare i dati, effettuano
stime, proiezioni e simulazioni su tali dati) il
compito di effettuare anche dei report di sintesi.
Finche queste applicazioni non detenevano il dato di dettaglio,
non c'era problema, dai DWH veniva fornita la sintesi e ci si
rivolgeva al DWH per il drill-down su viste di dettaglio.
I tempi per schedulare i datamart di sintesi per le applicazioni p.&a
erano piuttosto lunghi (1/settimana), mentre agli utenti serviva un
aggiornamento giornaliero sui dati di sintesi.
L'avvento del Message-bus, ha permesso alle applicazioni
p.&a. di ottenere facilmente (grazie al broadcasting)
direttamente il dato di dettaglio e si sta verificando quasi
spontaneamente la migrazione di alcune reportistiche di sintesi sui
sistemi di p.&a. ("ho il dato di dettaglio, perchè dovrei
rivolgermi al DWH?" sostengono i nostri utenti).
Dal punto di vista utente, questi sono più aggiornati di prima, noi,
gestori IT delle applicazioni (p.&a.) abbiamo più controllo nel processo
e di fatto non sentiamo piu' il bisogno del DWH.
In tal senso la frase del mio precedente intervento "Il message-Bus rischia di eliminare i DWH".
Ti ho descritto il fenomeno così come lo sto osservando nella nostra
organizzazione da circa 1-2 anni, e non riesco a farmi un'idea precisa
sui ruoli che debba veramente avere il DWH rispetto alle applicazioni p.&a.
So solo che il message-bus ci sta tirando fuori dai pasticci (utenti soddisfatti e tempi di consegna brevi).
dettaglio e aggregazioni...
ciao Stex, non capisco molto bene la tua frase "il Message Bus rischia di eliminare il DWH", ma vediamo se riesco a darti qualche contributo : per prima cosa dobbiamo considerare il DWH come il contenitore dei dati di dettaglio ma anche delle aggregazioni tematiche (chiamiamole datamarts)... l'informazione dovrebbe partire sempre da lì e fornire dati ad altre applicazioni senza nessun "ponte", infatti il DWH dovrebbe essere l'unico punto di collasso e di trasformazione in oggetti di business dei dati aziendali, se il dimensionamento hardware e di infrastruttura è compatibile con le applicazioni che "chiedono" dati allora deve per forza essere il DWH (che per definizione in azienda dovrebbe essere l'unico collettore di dati "Ufficiali") a fornirli.
RispondiDHW e architetture "Message-BUS"
Supponiamo che un'applicazione necessiti sia di dati di dettaglio che di dati aggregati (granularità mista), e che l'organizzazione disponga di un Bus di comunicazione (p.es. TIBCO), non conviene che tale applicazione acquisisca direttamente il dettaglio dal BUS? Il paradosso sta nel fatto che se più applicazioni si aggiornano (grazie al message broadcasting), tutti diventano "DWH" e potenziali fornitori di aggregazioni. In altre parole: il Message Bus rischia di eliminare il DWH?
RispondiEvoluzioni
Gestisco una applicazione che prende dati dal DWH. Ora sta capitando che altre applicazioni mi chiedono direttamente i dati. E' opportuno redirigerle verso il DWH?
Rispondimore info...
ciao, purtroppo dipende ! per la fact table, che tipicamente è la più ricca, è opportuno pensare ad un caricamento di delta ed a un incorporamento di dati pregressi modificati, dovresti specificare meglio la tua necessità...
Rispondicaricamento tabelle dimensionali e fact table
Ho un dwh con 3 tabelle dimensionali e una fact table.
Qual'è la tecnica più veloce per caricare queste tabelle?