Impedance Mismatch : Integration Services

Slide e Demo “What’s new for Business Intelligence in Denali – The Engine” online!

dmauri — Mon, 05 Mar 2012 11:01:48 GMT

Con un pò di ritardo questa volta, ho messo online slide e demo delle sessioni

What’s new for Business Intelligence in Denali – The Engine

tenutesti a Febbraio

http://www.ugiss.org/Content/Article/SQL-Server-Road-To-Denali-Workshops.aspx

Da non perdere la sessioni di Francesco ed Andrea sulle novità di Analysis Services per iniziare a capire le prerogative di Multidimensional e quando usare Tabular, cosi da capire quando ha senso usare uno e l’altro.

Alla prossima!

Prossimo workshop “Road To Denali” e aggiornamento prossime date

dmauri — Sun, 22 Jan 2012 14:42:19 GMT

Ho appena aggiornato il sito di UGISS, creando I link per la registrazione all’evento di Febbraio della serie “Road To Denali”.

http://www.ugiss.org/Content/Article/SQL-Server-Road-To-Denali-Workshops.aspx

Questa volta si parlerà di Business Intelligence, andando a vedere quali novità – e sono tante – SQL Server 2012 portà con se. Si parte con Integration Services, le cui novità sono poco pubblicizzate ma assolutamente fondamentali per rendere il prodotto ancora più maturo e di facile gestione (le performance erano già ottime!); si continua poi con Analysis Services, andando a vedere ed a mettere a confronto I due engine messi a disposizione. Si, avete letto bene, due engine! Con la versione 2012 Analysis Services si arricchisce dell’engine “Tabular” che va ad aggiungersi al classico Multidimensionale.

16 Febbraio, Roma
What’s new for Business Intelligence in Denali – The Engine – Roma

21 Febbraio, Milano
What’s new for Business Intelligence in Denali – The Engine – Milano

Detto ciò, un’importante nota di servizio: per motivi organizzativi, sono stati annullati i due workshop "Road To Denali" previsti a Marzo. Niente paura, però! L'appuntamento è solo rinviato ad Aprile. Per non modificare la scaletta formativa, si è deciso di non spostare il solo workshop di Marzo, ma di traslare tutti i workshop rimanente di un mese, andando cosi a concludere la serie di appuntamenti a Maggio. In questo modo possiamo preservare il filo logico e conduttore delle sessioni, senza mischiare le carte in tavola.

Chi si fosse già registrato agli eventi, non deve far nulla di particolare, in quanto la registrazione stessa è stata migrata sulle nuove date.

A presto!!!

Tutte le novità di Integration Services in Denali CTP3

dmauri — Sun, 24 Jul 2011 20:56:23 GMT

Le novità per Integration Services introdotte nella CTP3 di Denali sono veramente numerose e, benchè non portino nessuna rivoluzione (per fortuna dico io), aggiungono tante feature utile per semplificare lo sviluppo, la manutenzione ed il deploy delle soluzioni ETL che ormai sono presenti ovunque.

Jorg Klein ha fatto un bel post dove, con numerosi esempio, evidenzia tutte le suddette novità:

http://sqlblog.com/blogs/jorg_klein/archive/2011/07/22/ssis-denali-ctp3-what-s-new.aspx

Free eBook “Data Quality and Master Data Management with Microsoft SQL Server 2008 R2”

dmauri — Thu, 02 Jun 2011 08:53:33 GMT

Uno dei più grossi problemi che ci sono nell’informatica attuale e che comporta ingenti spese per ogni società è la bassissima qualità dei dati che ci sono nei vari sistemi informatici distribuiti in azienda.

Ancora questo problema, almeno in Italia, non è diventato “IL” problema, e non essendo un argomento mainstream è ancora un pò relegato nei sottoscala delle aziende. In questo modo, però, si creano alti costi invisibili dovuti al fatto che la manutenzione e lo sviluppo di progetti si allugano a dismisura proprio a causa della pochezza della qualità dei dati, che richiedono ad ogni sviluppatore di farsi carico di gestirne la problematica, senza contare tutti i soldi spesi nel posto sbagliato, per azioni di marketing o di vendita, dovuti ad errate informazioni nate da dati errati o confusionari.

Come ho già avuto modo di scrivere un anno fa, il processo che si proeccupa di gestire la qualità dei dati e quindi di evitare quanto appena detto, è il “Master Data Management”.

Dalla versione R2 di SQL Server è presente un servizio chiamato Master Data Services che si proccupa proprio di aiutare le aziende a mettere in piedi un processo di MDM. Servizio che sarà ancora più potenziato nella prossima versione di SQL Server, e che quindi è bene iniziare a conoscere.

Ma insieme alla tecnologia è bene conoscere anche quello che sta dietro ai concetti di MDM, ed è per questo che con Dejan Sarka ho scritto un eBook in proposito. L’ebook è free per tutti e sono ben 226 pagine dedicate a:

Master Data Management
Master Data Services Concepts and Architecture
Data Quality and SQL Server 2008 R2 Tools
Identity Mapping and De-Duplicating

che mostrano com poter utilizzare tutta l’infrastruttura messa a disposizione dalla piattaforma SQL Server per iniziare a gestire questa nuova esigenza che si sta iniziando a manifestare in tutta la sua forza.

Il libro è disponibile qui:

Data Quality and Master Data Management with Microsoft SQL Server 2008 R2
http://www.solidq.com/ce-en/News/Pages/Data-Quality-and-Master-Data-Management-with-Microsoft-SQL-Server-2008-R2.aspx

Non fatevelo scappare!

Rilasciata la versione 1.1.2008.4 di DTLoggedExec

dmauri — Fri, 18 Mar 2011 17:36:01 GMT

Nei giorni scorsi ho rilasciato l’ultima versione del mio tool per l’esecuzione di Package SSIS, DTLoggedExec:

http://dtloggedexec.davidemauri.it/

la novità più importante introdotta è il supporto per I “Package Auto-Configuranti”.

Per avere informazioni più dettagliate su questa feature (che semplifica di mooooooolto il deploy dei package), potete leggere il post in inglese dedicato:

Auto-Configuring SSIS Packages

Per avere invece un’idea globale di tutte le nuove feature aggiunte e dei bug corretti, fate riferimento a questo post:

DTLoggedExec 1.1.2008.4 Released!

Se invece volete scaricare subito il tool, lo trovate qui:

http://dtloggedexec.codeplex.com/releases/view/62218

DTLoggedExec 0.2.3.0 rilasciato!

dmauri — Sun, 29 Nov 2009 16:34:54 GMT

Ieri ho rilasciato l’ultima versione di DTLoggedExec. Con questo release vengono anche forniti dei report di esempio, ma che possono cmq essere già utilizzati cosi come sono, per l’analisi dei dati loggati.

Il download è disponibile qui:

http://www.codeplex.com/dtloggedexec

mentre invece il manuale d’uso (in fase di aggiornamento per riflettere tutte le migliorie apportate in questa versione), è qui:

http://dtloggedexec.davidemauri.it/

Workshop UGISS R2 - Alessandria

dmauri — Mon, 09 Nov 2009 06:57:06 GMT

Annuncio con molto piacere il primo workshop UGISS del 2010! Si terrà il 15 Gennaio al Alessandria, grazie alla collaborazione con l’Università del Piemonte Orientale.

Sono molto contento di lavorare nuovamente con l’Unversità, dando una mano concreta ad avvicinare i giovani studenti al mondo lavorativo, cercando di dargli un’idea di com’è e di come, quanto stanno studiando, sia fondamentale per creare soluzioni di qualità. Molte volte nelle aziende informatiche si abbando la retta via, andando a far funzionare il codice “a martellate”, senza perdere troppo tempo nell’applicazione della teoria perchè tanto questa “serve solo in università”. Non è cosi, e siamo qui a dimostrarvelo con queste due sessioni:

Theory in Practice: Vincoli, Qualità dei dati e Normalizzazione
Set Based Thinking

Dopo di queste, dato che la Business Intelligence è sempre più richiesta, ma ci sono ancora numero società che non hanno ancora iniziato ad implementarne una soluzione, mosteremo quali sono tutti i passaggi e le tecnologie necessarie per poter crearne una:

Business Intelligence Parte 1 – The relational side
Business Intelligence Parte 2 – ETL, Cubes & Reports

Come ciliegina sulla torna, nell’ultima parte della giornata, faremo anche un’overview di SQL Server 2008 R2, la cui data di rilascio si avvicina sempre di più.

SQL Server 2008 R2, le novità per il futuro prossimo

Una giornata IMHO interessante, ne convenite?

Se siete dei dintorni non potete proprio mancare…ed anche se non siete vicini, io un pensierino lo farei seriamente! Quale modo migliore di iniziare bene l’anno lavorativo?

Microsoft TechDays WPC 2009

dmauri — Fri, 09 Oct 2009 08:35:57 GMT

E’ stata pubblicata l’agenda – praticamente finale – dei Microsoft TechDays WPC2009, come ormai ben saprete storica conferenza legata al mondo Microsoft:

http://www.techdays-wpc.it/Agenda_Full.aspx

Quest’anno terrò una sessione su Integration Services:

Creare una soluzione ETL di riferimento con SQL Server 2008 Integration Services

Un recente caso di studio pubblicato da Unisys ha dimostrato come una soluzione basata su Integration Services possa raggiungere performance assolute, e caricare 1 Tb di dati in circa 30 minuti. Durante questa sessione analizzeremo le linee guida architetturali e le diverse opzioni disponibili per realizzare soluzioni ETL con performance di livello assoluto, che possono essere utilizzate in scenari che vanno da volumi più ridotti sino a milioni di record da trasformare e trasportare.

http://www.techdays-wpc.it/Session_Detail.aspx?SessionID=43

Ci vediamo li!

E non dimenticate che i membri di UGISS hanno uno sconto di 50€ sul prezzo di partecipazione alla conferenza!

SSIS ed Excel – Numeri e stringhe

dmauri — Mon, 05 Oct 2009 22:08:47 GMT

Oggi, dovendo importare dei dati da Excel per poter creare correttamente una dimensione di analisi nel progetto di BI che stiamo sviluppando per una società di assicurazioni, mi sono imbattuto in un fastidioso comportamento del driver OLEDB per Excel che permette di “vedere” i dati nei fogli excel come se fossero tabelle.

Una colonna contenente i CAB degli sportelli bancari veniva identificata come float (e già qui…) ma, per magia, tutti i CAB con “0” come primo valore non venivano identificati come numeri (e chissa perchè) e quindi il valore restituto era NULL.

Problemi di questo tipo si riproponevano anche su altre colonne. Per evitare di diventare pazzo, ho risolto il problema alla radice, ho imposto al driver OLEDB di non fare alcuna conversione automatica, tramite l’inserimento a mano nella connection string della “documentatissima” extended property IMEX.

Impostando IMEX=1 tutte le colonne saranno trattate come stringhe…e cosi finalmente posso fare tutti i cast ai tipi di dati corretti direttamente nei SSIS.

Ho trovato la documentazione qui:

http://www.connectionstrings.com/excel

DTLoggedExec recensito su SQL Magazine

dmauri — Thu, 26 Feb 2009 07:06:05 GMT

Il tool che ho creato sta risquotendo sempre più consensi, e pertanto Kevin Kline ha deciso di farne la recensione sul numero di Marzo del SQL Server Magazine:

http://www.sqlmag.com/Articles/ArticleID/100936/100936.html?Ad=1

Bene, ora mi servirebbe solamente un pò di tempo da dedicarci per implementare tutte le feature aggiuntive che ho in mente….

Oracle CDC e SSIS

dmauri — Fri, 13 Feb 2009 15:03:36 GMT

Una delle funzionalità più belle e più apprezate di SQL Server 2008 è il Change Data Capture, funzionalità che come saprete permette di tenere traccia delle modifiche fatte su una tabella andando a leggere direttamente il transaction log, rimanendo quindi poco (per nulla praticamente) invasivo e offrendo performance ottimali.

Tale feature trova il suo utilizzo tipico nell’alimentazione di Datawarehouse e sarebbe quindi molto bello averla anche su ORACLE, visto che la piattaforma SQL Server, in particolare sul versante BI, sta prendendo sempre più piede anche laddove fino ad oggi ORACLE era l’unico database utilizzato.

In questi ambienti l’integrazione è necessaria ed i SSIS come strumento di ETL aiutano parecchio. Se quindi si potesse avere un componente per SSIS che permetesse di sfruttare una funzionalità di CDC anche su ORACLE sarebbe veramente bello.

Attunity ci ha pensato e, forte della sua esperienza anche nella realizzazione di driver specifici per ORACLE, ha realizzato un prodotto dedicato:

Attunity ORACLE CDC for SSIS
http://www.attunity.com/oracle_cdc_for_ssis

DTLoggedExec sulla homepage degli Integration Services

dmauri — Tue, 20 Jan 2009 16:13:07 GMT

Sembra che il mio tool per Integration Services sia piaciuto molto anche a Microsoft: da oggi (o quantomeno io me ne sono accorto solo oggi) è presente un link diretto ad esso direttamente dalla homepage dei SQL Server Integration Services:

http://msdn.microsoft.com/en-us/sqlserver/cc511477.aspx

A memoria per il futuro ho fatto un bello screenshot

Perdonate la vanità, ma per un progetto free fatto nel “tempo libero” son soddisfazioni!

DTLoggedExec 0.2.1.4 rilasciato: DataFlow profiling disponibile!

dmauri — Sun, 04 Jan 2009 13:37:49 GMT

In questi giorni sono riuscito finalmente a terminare il mio tool per l'esecuzione di package SSIS (SQL Server Integration Services) che mira a sostituire il tool DTExec fornito nativamente.

Perchè sostituirlo? Perchè secondo me il tool fornito da MS è semplicemente troppo limitato per quanto riguarda le capacità di logging e di profiling. I SSIS hanno tutte queste funzionalità, necessarie per poter monitorare correttamente un package sia dal punto di vista dell'accadimento di errori durante il processo di ETL sia dal punto di vista di monitorare le performance nel tempo, ma sono ben nascoste sotto le coperte, e per essere usate il package deve essere sviluppato in modo particolare (ad. esempio usando il componente RowCount nel DataFlow).

Il punto fondamentale, inoltre, è che per abilitare il logging in un package che non è stato predisposto per tale funzionalità, è necessario modificare il package stesso. Ciò va IMHO contro tutte le regole del buon senso, dato che in un ciclo di vita di un'applicazione (e i package SSIS devono essere paragonati ad essa ed a null'altro) per ogni modifica fatta si dovrebbe passare attraverso una fase di test, di pre-produzione ed infine di produzione.

Ovviamente ciò può rappresentare un problema se dobbiamo solamente attivare il logging.

Come risolvere questa cosa? Semplice: utilizzando DTLoggedExec che, collegandosi direttamente all'engine dei SSIS, permette di attivare logging e profiling del dataflow senza richiedere alcuna modifica ai package!

Grazie a questa possibilità, ogni package esistente o nuovo può essere instrumentato correttamente, ottentendo tutte le informazione necessarie per risolvere un errore (ivi compresa e valori delle variabili e delle espressioni al momento dello stesso):

oppure per monitorare nel tempo le performance della fase di ETL, verificando come risponda alle modifiche hardware o software effettuate per migliorarne le performance:

Mettendo il tutto insieme, si può quindi arrivare alla creazione di una Dashboard che ci permette di tenere sotto controllo la qualità del servizio fornita:

Se la cosa vi interessa (e dovrebbe, se usate SSIS), potete trovare tutte le informazioni del caso (download compreso) sul sito:

http://dtloggedexec.davidemauri.it

che ho creato apposta per essere un riferimento per tutti coloro che usano ed usaranno questo tool.

Il codice sorgente è disponible sotto licenza Creative Commns.

SQL Server 2008 ETL World Record

dmauri — Mon, 10 Mar 2008 15:43:00 GMT

Il nuovo SQL Server 2008 ed i nuovi SQL Server Integration services hanno stabilito un primato mondiale, riuscendo a caricare un terabyte di dati in mezz'ora!

Riporto un piccolo pezzo del blog originale:

How fast was the data load?

More than one terabyte of data was parsed from flat files, transferred over the network and loaded into the destination database in less than 30 minutes, a world record beating all previously published results using an ETL tool. That is a rate in excess of 2 TB per hour (650+ MB/second). To be precise, 1.18TB of flat file data was loaded in 1794 seconds. This is equivalent to 1.00TB in 25 minutes 20 seconds or 2.36TB per hour.

Why is this important?

Businesses have ever-increasing volumes of data stored in many heterogeneous systems. Thay want to know that an ETL tool they choose will be able to support any data volumes they might require. Microsoft has been making a significant investment in SQL Server Integration Services (SSIS), and this record illustrates the capability of SQL Server Integration Services 2008, SQL Server 2008 and the Unisys ES7000 to handle a significant volume of data at a dramatic speed.

Ho anche avuto l'occasione di conoscere ad Amsterdam le due persone che più di tutte si sono occupate di fare questa impresa.

Come Solid Quality stiamo cercando di poter avere dei laboratori simili anche in Italia (magari non per fare record mondiali) per far sperimentare ai clienti soluzioni complesse prima di acquistare baracca e burattini, in modo che possano avere la garanzia di fare l'investimento giusto...vediamo se troviamo l'interesse che spero ci sia :-)

Nuova release del tool DTLoggedExec

dmauri — Tue, 05 Jun 2007 19:08:00 GMT

Questa mattina ho rilasciato la versione 0.1.3.2 del tool DTLoggedExec (che funge da rimpiazzo al tool nativo DTExec).

Poche ma importanti le novità:

Compilato per poter essere eseguito a 32bit ed a 64bit e per poter forzare l'esecuzione a 32bit su una macchina x64.
Aggiornato il ConsoleLogProvider per fornire ancora più dettagli per gli eventi di tipo OnErro. Ora viene loggato il valore di TUTTE LE PROPRIETA' del task che è andato in errore; oltre a queste vengono anche loggate le proprietà della connessione usata dal task (se presente). Fondamentale per un debug post-mortem.
Corretto un bug che impediva il caricamento di un package salvato in SQL Server utilizzando la SQL Authentication
Nel log viene stampata la versione del package in esecuzione

In questa release sono anche forniti dei package di esempio e degli esempi di invocazione dalla command line.

Se utilizzate gli Integration Services nel vostro lavoro non potrete farne a meno :-)

Trovate il tutto, codice sorgente compreso, su CodePlex:

http://www.codeplex.com/DTLoggedExec