Ribi's Blog

Bellissimo progetto

2008-01-29T21.01.00Z

Finalmente un po' di tempo da dedicare al blog!

Nell'ultimo mese sono stato preso da un progetto molto interessante che la mia azienda ha realizzato per conto del nostro cliente più importante.
La cosa che mi fa essere veramente fiero di questo lavoro è il fatto di aver utilizzato parecchie funzionalità che finora avevo utilizzato sporadicamente e solo per soluzioni piuttosto piccole. Nello specifico, l'applicazione in questione sfrutta:

SQL Server 2005 Standard Edition
SQL Server 2005 Integration Services
XML / XSLT
XQuery
Web Services ASP.NET 2.0 (tradizionali, non WCF ..peccato!)
Web Application ASP.NET 2.0
IBatis
SFTP
Internet Explorer 7

L'esigenza del nostro cliente (un importante spedizioniere) era quella di permettere ad un proprio cliente di alto livello di non produrre in forma cartacea i documenti di trasporto (DDT) ma bensì di farli stampare direttamente dalle filiali di destinazione della merce (stiamo parlando di oltre 2000 documenti al giorno). In questo modo il risparmio di tempo (e carta!) sarebbe stato imponente, con tutti i vantaggi che ne conseguono.
Il cliente ha proposto l'XML come formato di scambio dei documenti (alla quale applicare un foglio XSLT per la formattazione e l'impaginazione) e ha modificato il proprio software perché scrivesse su un server SFTP i files contenenti i documenti man mano che la merce viene smistata per lo spedizioniere.

Lato nostro si è provveduto ha realizzare un database SQL Server 2005 in grado di ospitare i documenti ed un package Integration Services 2005 schedulato tramite Agent che si occupa di prelevare il files ad orari prestabiliti dal server SFTP (abbiamo utilizzato un tool gratuito esterno: il psftp ) e di caricarli all'interno del database.
Per permettere un'indicizzazione "semplice" di questi dati, durante la fase di caricamento (che utilizza OPENROWSET) il documento viene esplorato utilizzando XQuery e ne vengono estratte due informazioni fondamentali: il NumeroDocumento (identificativo univoco del documento) e la DataDocumento. Queste due informazioni vengono inserite in due campi dedicati affiancati dal campo varbinary(max) che contiene tale documento.
I documenti sono così disponibili per l'applicazione.

Ora è necessario fronteggiare un secondo problema, visti i tempi molto stretti da sfruttare per analisi, sviluppo e test (circa 25 giornate in tutto) sarebbe stato difficoltoso realizzare un'applicazione client da installare sui pc di tutte le filiali (alcune di esse sono connesse tramite connessioni remote e quindi non raggiungibili tramite controllo remoto). La soluzione più semplice che ci è venuta in mente è stata quella di sviluppare un'applicazione web raggiungibile dalle filiali che permettesse la stampa dei DDT come normale pagina web (il risultato della trasformazione XSLT è infatti un documento HTML).

Per sicurezza abbiamo comunque sviluppato l'applicazione su due livelli: un web service ASP.NET 2.0 espone i metodi principali di accesso ai documenti e alle altre informazioni necessarie, mentre un'applicazione web effettua la trasformazione e rende disponibili i documenti agli operatori. In questo modo, qualora la stampa da Internet Explorer di un così grande numero di documenti non avesse dato risultati soddisfacenti, ci sarebbe comunque stato il tempo di sviluppare l'applicazione client e diramarla alle filiali, limitando i ritardi. Tutto il Data Access Layer è stato appoggiato su IBatis (http://ibatis.apache.org/) un progetto molto interessante che avevo già utilizzato per parecchie applicazioni web, forse meno completo di nHibernate ma molto performante e facile da utilizzare.

Dopo il login, l'applicazione identifica la filiale di appartenenza dell'utente, si connette al database di tracciatura delle spedizioni e rende disponibili alla stampa solo i documenti effettivamente tracciati nella filiale (questo per evitare inutili ristampe di documenti). Considerando la criticità dell'ottimizzazione dei tempi operativi (già di per sé impattata dal nuovo compito assegnato, quello di stampare i DDT del cliente), si è cercato di limitare al massimo il numero di clic da effettuare per stampare i documenti. Effettuato il login, normalmente è possibile stampare con solo 4 clic.

Durante la fase di test è però affiorato un problema non facilmente raggirabile: il motore di stampa di Internet Explorer 6 non è potente come quello della versione 7. L'impostazione dei margini non era permantente su tutti i client e non esisteva la possibilità di inquadrare il documento (composto da un logo e da veramente tanto testo) in una sola pagina. Anche modificando l'XSLT del documento non si ottenevano risultati soddisfacenti. Dopo alcuni tentativi, si è deciso di diramare l'aggiornamento a Internet Explorer 7.0 a tutti i client Windows XP interessati da questo sistema e di Mozilla FireFox 2.0 ai client Windows 2000. Problema risolto.

Il test (sia tecnico che operativo) è iniziato con l'invio di 200 documenti al giorno per arrivare ad oggi a 1200 senza intoppi. Nelle prossime settimane il numero di documenti salirà ancora fino a superare la soglia di 2000 documenti al giorno (ovvero tutte le spedizioni del cliente).

Da segnalare un'altro work around resosi necessario per le filiali con più spedizioni: la stampa dall'applicazione web deve essere inviata alla stampante sotto forma di unico documento, questo perché in caso di 300 documenti Internet Explorer per motivi di sicurezza dovrebbe richiedere all'utente 300 conferme di stampa (un'applicazione web non può generare una coda di stampa sul client). Purtroppo alcune stampanti di filiale hanno un buffer limitato e questo faceva rallentare la stampa (in alcuni casi fino a bloccarla) dopo circa 50 documenti se il totale superava i 100 DDT. Per ovviare a questo inconveniente il sistema ora stampa a blocchi di 50 documenti (il numero di clic aumenta, ma è sostenibile dalle filiali).

Devo dire che è stata (ed è tutt'ora in quanto il test non è ancora terminato) veramente una bella esperienza. Ho proposto e implementato con successo alcune nuove tecnologie (Microsoft e non) presso un cliente importante e il risultato è stato molto soddisfacente. L'elemento più evidente sono stati i tempi di sviluppo: 25 giornate uomo totali (utilizzando 1, a volte 2 risorse), 10 per avviare il test.

Accidenti, ho scritto proprio un bel papiro... spero di non avervi annoiato troppo, e spero che questa esperienza possa servirvi nei vostri progetti.

Per chiarimenti o curiosità non esitate a contattarmi.

Nuovi attrezzi... (un po' OT)

2007-12-08T14.45.00Z

La mia azienda mi ha affidato un nuovo notebook:

DELL Vostro 1500

Intel Core 2 Duo T7500 2.2Ghz

RAM 2048Mb

Hard Disk 160Gb SATA 7200rpm

GeForce 8600M GT 256Mb

Schermo 15,4 WSXGA + True Life (risoluzione 1680 x 1050)

Microsoft Windows Vista Business Edition

Veramente una bella macchina... Sto finendo in questi giorni la migrazione dal mio vecchio notebook che dopo due anni di onorato servizio (e di query massacra processore...) andrà in pensione diventando un notebook "casalingo".

Alcuni giorni dopo, passando davanti alla vetrina di un negozio di telefonia, ho notato un'offerta sullo smartphone Samsung SGH-i600... non ho resistito e l'ho acquistato.

Di serie utilizza Windows Mobile 5 ("sporcato" dalle personalizzazioni di TIM...), ma entro 12 ore dall'acquisto gli era già stato applicato il de-brand, l'upgrade del firmware e l'aggiornamento a Windows Mobile 6 Standard Edition (caratteristica molto pubblicizzata durante il lancio del prodotto ma inspegabilmente non ancora disponibile in Italia e Austria).

Ho fatto un ottimo acquisto, è semplicissimo configurare account di posta, sottoscrivere RSS, ascoltare podcast, condividere la connessione internet con il portatile tramite bluetooth, utilizzare GoogleMaps...

Con questo smartphone ho anche potuto sperimentare la velocità dell'HSDPA... davvero niente male!

Ieri ho scaricato il Windows Mobile 6 SDK, per fare qualche test di sviluppo su smartphone (Standard Edition), finora infatti ho sviluppato solo applicativi per Windows Mobile 5 PPC Phone Edition.

SQL Server 2008 Katmai - November CTP

2007-11-19T19.22.00Z

Vi segnalo il rilascio della nuova CTP di Katmai:

http://www.microsoft.com/downloads/details.aspx?FamilyId=3BF4C5CA-B905-4EBC-8901-1D4C1D1DA884&displaylang=en

Errore interessante...

2007-11-15T22.53.00Z

Questa settimana mi sono trovato davanti ad un nuovo (e curioso) problema con SQL:

Situazione:

Nel database di una nuova applicazione (su SQL 2005 SP2) ho bisogno di effettuare una query che metta in JOIN una tabella di un'altro server (SQL 2000 SP4). Fino a qui niente di strano.

Nelle clausole ON della JOIN (ma lo stesso risultato si ottiene utilizzando le WHERE della SELECT) esiste una controllo su un campo data del record. Devo in pratica effettuare la JOIN solo con l'ultimo record in ordine temporale della mia query remota. Per farvi capire, vi riporto un estratto del codice:

/* ... */

INNER JOIN [server_remoto].mio_database.dbo.tabella1 AS T1

ON T1.campo1 = D.campo4

AND T1.campo2 = M.campo1 AND T1.campo3 = F.campo1

AND T1.data = (SELECT MAX(data)

FROM [server_remoto].mio_database.dbo.tabella1

WHERE campo1 = T1.campo1

AND campo2 = T1.campo2

AND campo3 = T1.campo3)

/* ... */

Una query comunque semplice. Peccato che mi venga restituito il seguente errore:

Msg 8180, Level 16, State 1, Line 1

Statement(s) could not be prepared.

Msg 107, Level 16, State 2, Line 1

The column prefix 'Tbl1007' does not match with a table name or alias name used in the query.

Msg 107, Level 16, State 2, Line 1

The column prefix 'Tbl1007' does not match with a table name or alias name used in the query.

Msg 107, Level 16, State 2, Line 1

The column prefix 'Tbl1007' does not match with a table name or alias name used in the query.

Andando a cercare informazioni su questo tipo di errore (incuriosito e spiazzato dal Tbl1007, l'alias generico/temporaneo che SQL utilizza quendo gli fa comodo) scopro che l'argomento è documentato in maniera un po' confusa...

Dopo un po' di ricerche trovo questo articolo:

http://support.microsoft.com/kb/936223/en-us

Richiedo l'hotfix (quello che aggiorna SQL 2005 SP2 alla versione 9.0.3175), lo ricevo, lo installo et voilà... il problema NON si risolve!

Credo che mi converrà tentare di "girare" la query in qualche modo (si accettano consigli).

E' comunque strano che un baco rilevato, documentato (anche se poco) e teoricamente corretto in un hotfix non venga minimamente modificato da quest'ultimo, non mi era mai capitato. L'articolo segnala anche un workaround che consiste nell'utilizzo di ODBC per la connessione al server SQL 2000. Impraticabile per l'ambiente di produzione sul quale dovrò portare l'applicazione, personalmente non l'ho testato (ma vi farò sapere).

Se avrò news in merito vi terrò aggiornati (sempre che non lo facciate voi per primi).

Notte...

Transaction Processing Performance Council

2007-11-02T16.46.00Z

Beh, se avete un cliente disposto a spendere qualche milione di dollari per i sui server, non potete non dare un'occhiata al sito del Transaction Processing Performance Council (http://www.tpc.org/).

E' veramente curioso vedere schede come questa, dove al fondo trovi persino il preventivo di Microsoft e gli screenshots degli ordini online delle SAN....

Che barboni... che saranno mai 64 licenze di SQL Server Enterprise Edition?

Microsoft Office Visio 2007 > Diagramma Pivot

2007-10-18T22.19.00Z

Oggi ho aperto Visio per realizzare un paio di schemi per un nuovo progetto e, esplorando i tipi di disegno, ho trovato una cosa interessante: i Diagrammi Pivot. Non so voi, ma io non li avevo mai utilizzati.

Guidato dalla curiosità ne ho creato subito uno e l'ho collegato ad un cubo Analisys Services 2005. L'interfaccia è comoda quanto quella di Excel ed il risultato è veramente notevole.

I dati vengono distribuiti in maniera gerarchica secondo le dimensioni che vogliamo mostrare, possono essere abbinate immagini e si può variare la disposizione degli elementi. Inoltre, anche aggiungendo più misure (ho provato anche con 5 o 6) il diagramma rimane leggibile e ordinato. Poi il valore aggiunto lo danno i temi di Visio (i soliti degli altri disegni, ma comunque carini), con qualche ritocco il diagramma diventa davvero bello e professionale.

Per ora ci ho solo giocato, ma magari a breve mi verrà in mente qualche applicazione in qualche progetto reale, vi farò sapere.

Collation Checker

2007-10-15T07.01.00Z

Riprendendo il mio post dell'altro giorno, vi segnalo un bellissimo script per rilevare incongruenze riguardanti le collation utilizzate. Rileva ad esempio database con collation diversa da quella di default, collation diverse nello stesso db e differenze tra le colonne.

Veramente utilissimo, è testato per SQL 2000 SP4 e SQL 2005.

http://www.sqlservercentral.com/scripts/Miscellaneous/31969/

MSDN: C'è qualche problemino?

2007-10-14T12.52.00Z

E' tutto il giorno che non riesco a connettermi a http://blogs.msdn.com/ . Ho provato anche da differenti connessioni, il blog di Technet funziona senza problemi invece.

Mamma Microsoft, cosa mi combini???

[ore 17:40]

Ancora niente, ma a questo punto non credo c'entri Microsoft. Curioso comunque, vi allego i tracert.

MSDN

Technet

Censimento del Catalogo Reports

2007-10-13T16.43.00Z

Mi è capitato di dover "censire" tutti i report che avevo realizzato nel tempo per un cliente (più di 40). In rete ho trovato diversi modi per farlo, ma a me serviva qualcosa di molto veloce.

Il database ReportServer contiene tutte le informazioni di cui avevo bisogno, ho quindi realizzato questo script che non fa altro che esplorare gli item della tabella Catalog. Visualizza solo le informazioni base, ma può essere esteso per mostrare anche tutte le sottoscrizioni (tabella Subscriptions) o creare statistiche sull'esecuzione dei reports (tabella ExecutionLog).

Basta poi utilizzarlo come dataset di un nuovo report e il gioco è fatto.

Asp.Net Membership Provider e Collation Conflict

2007-10-11T23.59.00Z

Ultimamente mi sono trovato anch'io di fronte al simpatico errore "Cannot resolve collation conflict for equal to operation." effettuando il deploy in produzione del db di una applicazione Asp.Net 2.0 che utilizza il Membership Provider. Ovviamente è successo sul server del cliente (doh!).

Analizziamo il problema:

Sviluppo un'applicazione Asp.Net utilizzando il mio database locale SQL Server 2005 (primo errore, il cliente ha solo server con SQL 2000). Al momento del rilascio di una pre-release genero lo script di tutto il db garantendo la compatibilità con la versione 2000. Testo la creazione del db e la sua esecuzione prima su un'istanza locale di SQL Server 2000 e poi su macchina virtuale Windows Server 2003 sempre con la stessa versione del prodotto. Tutto ok.

Durante l'esecuzione dello script sul server del cliente si verifica il seguente errore:

Server: Msg 446, Level 16, State 9, Procedure aspnet_UsersInRoles_AddUsersToRoles, Line 45
Cannot resolve collation conflict for equal to operation.
Server: Msg 446, Level 16, State 9, Procedure aspnet_UsersInRoles_RemoveUsersFromRoles, Line 50
Cannot resolve collation conflict for equal to operation.

Motivo: tutte le mie istanze di test utilizzano la collation di default del server e dei db Latin1_General_CI_AS, mentre il server del cliente sembra utilizzare la SQL_Latin1_General_CP1_CI_AS in almeno uno dei casi.

All'interno delle due stored procedures viene dichiarata una variabile senza la dichiarazione esplicita della collation da utilizzare:

DECLARE @tbNames table(Name nvarchar(256) NOT NULL PRIMARY KEY)

Più avanti nel codice della SP troviamo:

SELECT RoleId
FROM dbo.aspnet_Roles ar, @tbNames t
WHERE LOWER(t.Name) = ar.LoweredRoleName AND ar.ApplicationId = @AppId

A questo punto l'engine deve confrontare due valori senza sapere quale collation utilizzare (le differenze tra due collation possono essere moltissime: ordine delle lettere dell'alfabeto, case sensitive/insensitive, ecc...).

Una delle soluzioni (cito quella che ho utilizzato) consiste nel modificare la dichiarazione della variabile @tbNames in entrambe le SP aggiungendo la dichiarazione della collation:

DECLARE @tbNames table(Name nvarchar(256) COLLATE database_default NOT NULL PRIMARY KEY)

Come mai questa istruzione risolve il problema? Sinceramente non sono sceso troppo nei dettagli (quindi non prendete questa spiegazione come oro colato), ma immagino che il datatype TABLE funzioni in maniera molto simile ad una tabella temporanea. Le colonne delle tabelle temporanee, se non specificato, utilizzano la collation di default del TempDb, il cui valore può essere diverso da quello di default dei database utente.

Quindi, specificando alla colonna della variabile @tbNames di utilizzare la collation di default degli user db, SQL Server è in grado di effettuare la equal operation visto che entrambe i campi (a patto che non abbiate pasticciato con lo script di creazione del db) utilizzano la stessa collation.

Non inserisco links a proposito di questo argomento perchè se effettuate una ricerca su Google scrivendo "Collation Conflict ASP.NET" avete da leggere per qualche settimana.

Rebuild di tutti gli indici

2007-10-10T00.54.00Z

Segnalo il consiglio di Andrea Benedetti su come eseguire il REBUILD di tutti gli indici di un db con un solo comando, devo dire che fa risparmiare parecchio tempo.

Ecco il link:

http://community.ugiss.org/blogs/abenedetti/archive/2007/09/11/rebuild-di-tutti-gli-indici.aspx

Question of the day...

2007-10-09T23.23.00Z

Su SqlServerCentral.com (uno dei siti di riferimento, per chiunque abbia a che fare con questo prodotto) esiste una divertente ed utile sezione denominata Question of the Day. Contiene un grandissimo numero di domande su tutto ciò che ruota intorno a SQL Server e al linguaggio SQL in generale (c'è da passarci la notte!). La cosa migliore secondo me è attenersi alla definizione: rispondere ad una domanda al giorno. Alla fine dell'anno avrete risposto a 365 domande e, vista la complessità di alcune di esse, avrete imparato almeno 100 cose nuove. Il che vorrebbe dire che la vostra conoscenza di SQL si attesta intorno al 75% dalla quale derivo che almeno una delle seguenti affermazioni è vera:

a. Fate parte del team di sviluppo di SQL Server.

b. (Vi chiamate Davide Mauri) OR (Vi chiamate Gianluca Hotz) OR (Vi chiamate Andrea Benedetti) OR ... e così via con tutti gli MVP...

c. Avete sbirciato sull'MSDN prima di rispondere (eh eh eh.. l'ho fatto anch'io, ma solo su alcune).

d. Siete dei MOSTRI di SQL.

In ogni caso si guadagna molto di più sbagliando, la spiegazione della risposta corretta è sempre esaustiva e se non vi basta potete aprire un post sul forum per discuterla insieme agli altri membri del sito. Che volete di più?

Per farvi un esempio la domanda di oggi (ieri, dato che sono quasi le 2:00) era

What is the registry key to check to see if a server needs a reboot? (tratta dal libro Pro SQL Server 2005 High Availability).

Qui trovate il link per rispondere:

http://www.sqlservercentral.com/Questions

è ovviamente necessaria la registrazione al sito, al termine della quale sarete 1203857548935milionesimi nella classifica Member scores and standings.

In bocca al lupo!

SQL Server Performance Dashboard Reports

2007-10-08T23.07.00Z

A luglio Microsoft ha pubblicato un pacchetto di report relativi alle performance applicabile a SQL Server 2005 SP2 (senza SP2 ve li scordate...).

La suite di report si colloca localmente sul client dal quale avviate Management Studio, si esegue una query che crea alcune SP e si "agganciano" i report mediante la funzionalità Custom Reports di SSMS. Roba da pochi minuti.

Curiosità: i report sembrano (dico "sembrano" perchè finora sembra essere capitato solo a me...) avere problemi sui server avviati da più di qualche mese. Il problema deriva dal fatto che alcune queries all'interno dei report e alcune delle SP create ad hoc tentano di effettuare sottrazioni tra la data attuale (GETDATE()) e la data di avvio del servizio. Non ho ancora indagato attentamente, ma mi sembra di capire che il problema sia un banale overflow durante il DATEDIFF.

Per farli funzionare in queste condizioni ho modificato manualmente (so che non è bello) una delle SP e due DataSet dei reports. Se a qualcuno interessa pubblicherò le modifiche (magari le rivediamo insieme e troviamo la soluzione ideale, il mio è un accrocchio...)

Per ora vi posto il link del pacchetto, se avete server mai riavviati da qualche mese e potete testarli, scopriamo se il problema è reale o si limita alla mia configurazione:

https://www.microsoft.com/downloads/details.aspx?familyid=1D3A4A0D-7E0C-4730-8204-E419218C1EFC&displaylang=en

Comunque, da quanto ho visto, questi reports sembrano essere solo un assaggio di ciò che saranno i nuovi metodi di monitoring "visuale" di Katmai...

Quando ho avviato SQL Server?

2007-10-08T22.37.00Z

Magari non vi servirà mai nella vita, ho forse servirà solo per vantarsi con i colleghi davanti alla macchinetta del caffè...

In questo post del blog di Joe Webb viene spiegato come determinare la data di avvio del servizio (di SQL 2000 e 2005) basandosi sulla data di creazione del TempDb.

In SQL 2005 è anche possibile utilizzare il campo "sample_ms" della DMV "sys.dm_io_virtual_file_stats" il quale contiene appunto il numero di millisecondi intercorsi dall'ultimo avvio.

Qui trovate il post:

http://weblogs.sqlteam.com/joew/archive/2007/10/03/60351.aspx

E' qui l'articole dei books online che descrive la vista:

http://msdn2.microsoft.com/en-us/library/ms190326.aspx

Neodynamic Barcode Professional for Reporting Services

2007-10-08T21.42.00Z

Un gran bel prodotto! Si installa in un attimo (sia sull'ambiente di sviluppo che su quello di produzione, dato che configura automaticamente tutti i file di configurazione e di policy di SSRS), ha una configurazione semplicissima ed è davvero molto potente. Utile se avete bisogno di utilizzare barcode all'interno di fatture, distinte di consegna e documenti vari.

Supporta un numero veramente grande di formati e, cosa molto interessante, ne documenta tutte le caratteristiche.

Si può testare (ovviamente non permette l'esecuzione vera e propria dei reports) senza licenza, ed una volta acquistata basta inserire la licenza nella scheda proprietà dell'oggetto barcode (di cui si fa drag and drop sul report).

Le soluzione di licensing sono parecchie, ovviamente costa.. ma non ho trovato una soluzione freeware altrettanto valida, voi sì?

Ecco il link:

http://www.neodynamic.com/Products/BCRS/BarcodeRS.aspx?tabid=78&prodid=7