Metode i tehnologije optimizacije procesa učitavanja i transformacije podataka u sustavu skladišta podataka

Ime i prezime autora: Zvonimir Hrkać, Mario Mrljić

Tvrtka autora: NEOS

Naslov: Metode i tehnologije optimizacije procesa učitavanja i transformacije podataka u sustavu skladišta podataka

Sažetak:

Prilikom izgradnje procedura za izdvajanje, transformaciju i učitavanje podataka (ETL) u skladište podataka potrebno je pomiriti dva vrlo često naizgled nepomirljiva čimbenika: velika količina podataka te kratak vremenski okvir za učitavanje i obradu istih. Zbog toga je nužno optimizirati fazu transformacije podataka i prilagoditi se unaprijed zadanim vremenskim ograničenjima koja ovise o poslovnim zahtjevima korisnika vezanim za dostupnost podataka. Vrlo čest slučaj je da se prilikom izgradnje ETL procedura koriste različiti algoritmi i riješenja koja uvelike mogu negativno utjecati na same performanse učitavanja, npr. nepotrebna uporaba privremenih tablica unutar kojih se pohranjuju parcijalno obrađeni ili neobrađeni podaci, nepotrebno slijedno procesiranje podataka (redak-po-redak), postojanje nepotrebnih indexa, neoptimalno particioniranje i sl. Oracle 10g baza podataka nam omogućuje korištenje više različitih tehnika za optimizaciju ETL procesa, međutim mi ćemo posebnu pažnju obratiti na slijedeća područja: pipelined table funkcije i na njihovo svojstvo protočnosti, BULK ili masovne obrade podataka, razmjena particija unutar particioniranih tablica, analitičke funkcije. Tijekom predavanja navedene tehnike biti će prikazane na primjerima, ukazati će se prednosti i nedostaci njihovog korištenja, s posebnim osvrtom na performanse.

Vrsta:

Razina težine:

Poželjno iskustvo slušatelja:

Poželjna funkcija slušatelja:

Predviđeno vrijeme trajanja rada / aktivnosti:

Kratka biografija autora: