De sleutel tot Terabyte Databases: Massive Parallel Processing (MPP)

Auteur(s): 
H.A.C.M. Hillege, senior consultant large database systems, AT&T Global Information Solutions Professional Services
Samenvatting: 

Op universiteiten en hogescholen wordt tijdens de studie op zeer kleine schaal gewerkt met DBMS'en en de benodigde hardware/software. Er ligt vaak een accent op individueel computergebruik ten behoeve van studie en/of onderzoek. Dit heeft tot gevolg dat weinig kennis en ervaring wordt opgedaan met betrekking tot het beheer, performance, concurrent gebruik van grote databases. Er is dan ook weinig kennis aanwezig over wat er zich in het bedrijfsleven (administratieve systemen steunend op zeer grote databases die vele honderden Gigabytes dan wel Terabytes bevatten), afspeelt aan beheers- en/of performance problematiek.
In het begin van 1994 werd, op een universitair congres over databases onder andere gesproken over performance van (binnen de universiteiten veel toegepaste) relationele systemen, waarbij de volgende uitspraak naar voren kwam: "In een JOIN over 5 tabellen met in elke tabel enkele tienduizenden rijen, werd toch wel de grens van performance voor een RDBMS bereikt". Gelukkig kon dit ter plekke worden tegengesproken. Met behulp van MPP en het Teradata RDBMS wordt voornoemde JOIN met vele honderden miljoenen rijen uitgevoerd bijvoorbeeld bij een winkelketen, om de actuele verkopen te confronteren met de verkopen uit het verleden.
Bij het vernoemen van dergelijke praktijkgevallen heeft men soms het gevoel als een 'marsmannetje' met een futuristisch verhaal te worden aangestaard. Voornoemde MPP systemen worden al meer dan tien jaar succesvol in de bedrijven toegepast.
Het zal duidelijk zijn dat een betere integratie met de operationele werkelijkheid in de bedrijven, ten aanzien van het beheer en implementatie van grote databasesystemen, tijdens de studie zal moeten doordringen om zo de afgestudeerde meer werkelijkheidszin te geven waardoor zijn waarde voor het bedrijfsleven toeneemt.
In de presentatie wordt de architectuur van hardware/software uiteengezet die noodzakelijk is om ADHOC queries op Terabyte databases te kunnen beantwoorden.

Doelgroep: