UGISS Community

Nel seguente schema leggo dei dati che ricevo esternamente. Purtroppo questi dati non sono normalizzati ne tantomeno <controllati> quindi e' probabile che a volte mi vengano erroneamente inviate rows duplicate.

Dopo aver controllato che non ci sono le rows nel mio sistema, e dopo aver convertito alcuni campi, inserisco il tutto.
Problema

Se ricevo una o piu' rows duplicate, il mio SQL INSERT fallisce ma non mi fornisce la possibilita' di redirectare solo le rows in errore e continuare ad inserire le altre, ricevo esclusivamente un errore di VIOLATION OF PRIMARY KEY. Ma siccome ricevo qualcosa come 300.000 righe ad ogni invio, e magari le righe duplicate sono solamente 30/40, io vorrei inserire le righe buone e redirectare quelle gia' presenti. Qualche consiglio?

Beh se vuoi continuare ad usare il FAST_LOAD come opzione (implicita se usi una SQL Server destination), l'unica possibilità è eliminare i duplicati.

Tipicamente lo si fa utilizzando la trasformazione SORT che ti permette di eliminare i duplicati, ma è una soluzione moto lenta. Puoi però ottenere lo stesso risultato, in modo molto più performante, usando un AGGREGATE ed aggregando tutte le colonne, eliminando cosi i duplicati.

Ok mi studio la aggregate e poi posto i risultati. Volete sapere fino ad oggi come facevano? circa 300k records con 30/40 duplicati, beh distinct dei campi chiave e rimozione a MANO delle righe doppie ... Un datawarehouse che non avevo mai considerato. La manina

ALLUCINANTEEEEEEEE

A mano!?!?!? Azz :-|

Sono basito