Big Data Business Intelligence for Telecom and Communication Service Providers Training Cursus

Uitsplitsing van onderwerpen op dagelijkse basis: (Elke sessie duurt 2 uur)

Dag 1: Sessie -1: Business Overzicht van waarom Big Data Business Intelligentie in telecom.

• Casestudies van T-Mobile, Verizon enz.
• Big Data aanpassingspercentage bij Noord-Amerikaanse telecombedrijven en hoe zij hun toekomstige bedrijfsmodel en activiteiten afstemmen op Big Data BI
• Breed toepassingsgebied
• Netwerk- en servicebeheer
• Klantenverloop Management
• Data Integration & Dashboardvisualisatie
• Fraudebeheer
• Business Regelgeneratie
• Klantprofilering
• Gelokaliseerde advertentiepush

Dag 1: Sessie 2: Introductie van Big Data-1

• Belangrijkste kenmerken van Big Data-volume, variëteit, snelheid en waarheidsgetrouwheid. MPP-architectuur voor volume.
• Data Warehouses – statisch schema, langzaam evoluerende dataset
• MPP Database's zoals Greenplum, Exadata, Teradata, Netezza, Vertica etc.
• Hadoop Gebaseerde oplossingen – geen voorwaarden aan de structuur van de dataset.
• Typisch patroon: HDFS, MapReduce (crunch), ophalen uit HDFS
• Batch-geschikt voor analytisch/niet-interactief
• Volume: CEP-streaminggegevens
• Typische keuzes – CEP-producten (bijv. Infostreams, Apama, MarkLogic enz.)
• Minder productieklaar – Storm/S4
• NoSQL Databases – (kolommen en sleutelwaarde): Meest geschikt als analytische aanvulling op datawarehouse/database

Dag-1: Sessie -3: Inleiding tot Big Data-2

NoSQL oplossingen

• KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV Winkel - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV Store (hiërarchisch) - GT.m, cache
• KV Store (besteld) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV Cache - Memcached, Opnieuw gecached, Coherentie, Infinispan, EXtremeScale, JBossCache, Snelheid, Terracoqua
• Tuple Store - Gigaspaces, Coord, Apache River
• Object Database - ZopeDB, DB40, Shoal
• Documentopslag - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Brede zuilvormige winkel - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Soorten gegevens: Inleiding tot Data Cleaning uitgave in Big Data

• RDBMS – statische structuur/schema, bevordert geen flexibele, verkennende omgeving.
• NoSQL – semi-gestructureerd, voldoende structuur om gegevens op te slaan zonder exact schema voordat gegevens worden opgeslagen
• Problemen met het opschonen van gegevens

Dag-1: Sessie-4: Big Data Introductie-3: Hadoop

• Wanneer moet u Hadoop selecteren?
• GESTRUCTUREERD - Datawarehouses/databases voor ondernemingen kunnen enorme hoeveelheden gegevens opslaan (tegen een vergoeding), maar structuur opleggen (niet goed voor actieve verkenning)
• SEMI GESTRUCTUREERDE data – moeilijk te doen met traditionele oplossingen (DW/DB)
• Gegevens opslaan = ENORME inspanning en statisch, zelfs na implementatie
• Voor verscheidenheid en volume aan gegevens, verwerkt op standaardhardware – HADOOP
• Commodity H/W was nodig om een cluster Hadoop te creëren

Inleiding tot Map Reduce /HDFS

• MapReduce – distribueer computergebruik over meerdere servers
• HDFS – gegevens lokaal beschikbaar maken voor het computerproces (met redundantie)
• Gegevens – kunnen ongestructureerd/schemaloos zijn (in tegenstelling tot RDBMS)
• De verantwoordelijkheid van ontwikkelaars om betekenis te geven aan data
• Programming MapReduce = werken met Java (voor-/nadelen), gegevens handmatig in HDFS laden

Dag 2: Sessie 1.1: Spark: in het geheugen gedistribueerde database

• Wat is “in het geheugen”-verwerking?
• Vonk SQL
• Spark-SDK
• Spark-API
• RDD
• Spark Lib
• Hanna
• Hoe u een bestaand Hadoop systeem naar Spark migreert

Dag 2 Sessie -1.2: Storm -Realtime verwerking in Big Data

• Stromen
• Spruiten
• Bouten
• Topologieën

Dag 2: Sessie 2: Big Data Management Systeem

• Bewegende delen, rekenknooppunten starten/mislukken: ZooKeeper - Voor configuratie-/coördinatie-/naamgevingsservices
• Complexe pijplijn/workflow: Oozie – beheer workflow, afhankelijkheden, serieschakeling
• Implementeren, configureren, clusterbeheer, upgrade enz. (sys admin):Ambari
• In de cloud: zoem
• Evoluerende Big Data platformtools voor tracking
• Toepassingsproblemen met de ETL-laag

Dag 2: Sessie 3: Voorspellende analyses in Business Intelligentie -1: Fundamentele technieken en op machine learning gebaseerde BI:

• Inleiding tot machinaal leren
• Classificatietechnieken leren
• Bayesiaans trainingsbestand voor het voorbereiden van voorspellingen
• Markov willekeurig veld
• Begeleid en onbewaakt leren
• Functie-extractie
• Ondersteuning van vectormachine
• Neuraal netwerk
• Versterkend leren
• Big Data groot variabel probleem - Willekeurig bos (RF)
• Representatie leren
• Diep leren
• Big Data Automatiseringsprobleem – Multi-modellenensemble RF
• Automatisering via Soft10-M
• LDA en onderwerpmodellering
• Agile leren
• Agent-gebaseerd leren - Voorbeeld van Telco-operatie
• Gedistribueerd leren – Voorbeeld van telecomactiviteiten
• Inleiding tot open source-tools voor voorspellende analyses: R, Rapidminer, Mahut
• Schaalbaarder Analytic-Apache Hama, Spark en CMU Graph-lab

Dag 2: Sessie 4 Ecosysteem voor voorspellende analyses 2: Veelvoorkomende problemen met voorspellende analyses in Telecom

• Inzicht analytisch
• Visualisatie analytisch
• Gestructureerde voorspellende analyse
• Ongestructureerde voorspellende analyse
• Klantprofilering
• Aanbevelingsmotor
• Patroondetectie
• Ontdekking van regels/scenario’s – mislukking, fraude, optimalisatie
• Ontdekking van de oorzaak
• Sentiment analyse
• CRM-analyse
• Netwerkanalyse
• Tekstanalyse
• Technologieondersteunde beoordeling
• Fraudeanalyse
• Realtime analyse

Dag 3: Sesie 1: Analyse van netwerkbeheer - analyse van de hoofdoorzaak van netwerkstoringen, serviceonderbreking door metagegevens, IPDR en CRM:

• CPU gebruik
• Geheugengebruik
• QoS-wachtrijgebruik
• Apparaattemperatuur
• Interfacefout
• iOS-versies
• Routering van gebeurtenissen
• Variaties in latentie
• Syslog-analyse
• Pakketverlies
• Belastingsimulatie
• Topologische gevolgtrekking
• Prestatiedrempel
• Apparaatvallen
• IPDR (IP gedetailleerd record) verzamelen en verwerken
• Gebruik van IPDR-gegevens voor verbruik van abonneebandbreedte, gebruik van netwerkinterface, modemstatus en diagnose
• HFC-informatie

Dag 3: Sessie 2: Hulpmiddelen voor analyse van netwerkservicestoringen:

• Netwerkoverzichtdashboard: bewaak de algehele netwerkimplementaties en volg de belangrijkste prestatie-indicatoren van uw organisatie
• Analysedashboard voor piekperiodes: krijg inzicht in de applicatie- en abonneetrends die piekgebruik veroorzaken, met locatiespecifieke granulariteit
• Routing Efficiency Dashboard: beheer de netwerkkosten en bouw businesscases voor kapitaalprojecten met een volledig inzicht in interconnectie- en transitrelaties
• Realtime entertainmentdashboard: toegang tot statistieken die er toe doen, waaronder videoweergaven, duur en videokwaliteit van ervaring (QoE)
• IPv6 Transition Dashboard: onderzoek de voortdurende adoptie van IPv6 op uw netwerk en krijg inzicht in de applicaties en apparaten die trends veroorzaken
• Casestudy-1: De Alcatel-Lucent Big Network Analytics (BNA) dataminer
• Multidimensionale mobiele intelligentie (m.IQ6)

Dag 3: Sessie 3: Big Data BI voor Marketing/Sales – Verkoop/marketing begrijpen op basis van verkoopgegevens: (ze worden allemaal getoond met een live voorspellende analytische demo)

• Om klanten met de hoogste snelheid te identificeren
• Om klanten voor een bepaald product te identificeren
• Om de juiste set producten voor een klant te identificeren (Aanbevelingsengine)
• Techniek voor marktsegmentatie
• Cross-Sale en upsale techniek
• Techniek voor klantsegmentatie
• Techniek voor het voorspellen van verkoopopbrengsten

Dag 3: Sessie 4: BI nodig voor Telco CFO-kantoor:

• Overzicht van Business Analytics-werkzaamheden die nodig zijn in een CFO-kantoor
• Risicoanalyse van nieuwe investeringen
• Omzet, winstvoorspelling
• Prognose van nieuwe klantenacquisitie
• Verliesvoorspelling
• Fraudeanalyse over financiën (details volgende sessie)

Dag 4: Sessie 1: Fraudepreventie BI uit Big Data in Telco-Fraud-analyse:

• Bandbreedtelekkage / Bandbreedtefraude
• Leveranciersfraude/te hoge kosten voor projecten
• Fraude met terugbetalingen/claims van klanten
• Fraude met reisvergoedingen

Dag 4: Sessie 2: Van voorspelling van churn naar churnpreventie:

• 3 soorten churn: actief/opzettelijk, roterend/incidenteel, passief onvrijwillig
• 3 classificatie van gekarnde klanten: Totaal, Verborgen, Gedeeltelijk
• Inzicht in CRM-variabelen voor klantverloop
• Gegevensverzameling over klantgedrag
• Verzameling van klantperceptiegegevens
• Verzameling van demografische gegevens over klanten
• CRM-gegevens opschonen
• Ongestructureerde CRM-gegevens (oproepen van klanten, tickets, e-mails) en hun conversie naar gestructureerde gegevens voor Churn-analyse
• Social Media CRM: nieuwe manier om de klanttevredenheidsindex te extraheren
• Case Study-1: T-Mobile USA: klantverloopreductie met 50%

Dag 4: Sessie 3: Hoe voorspellende analyses te gebruiken voor analyse van de hoofdoorzaak van ontevredenheid bij klanten:

• Casestudy -1: Ontevredenheid koppelen aan problemen – Boekhouding, technische storingen zoals serviceonderbreking, slechte bandbreedteservice
• Casestudy-2: Big Data QA-dashboard om de klanttevredenheidsindex bij te houden op basis van verschillende parameters, zoals gespreksescalaties, kriticiteit van problemen, lopende serviceonderbrekingen, enz.

Dag 4: Sessie 4: Big Data Dashboard voor snelle toegankelijkheid van diverse gegevens en weergave:

• Integratie van bestaand applicatieplatform met Big Data Dashboard
• Big Data beheer
• Casestudy van Big Data Dashboard: Tableau en Pentaho
• Gebruik de app Big Data om locatiegebaseerde advertenties te pushen
• Volgsysteem en beheer

Dag 5: Sessie 1: Hoe Big Data BI-implementatie binnen een organisatie rechtvaardigen:

• ROI definiëren voor Big Data implementatie
• Casestudies om tijd voor analisten te besparen bij het verzamelen en voorbereiden van gegevens – verhoging van de productiviteitswinst
• Casestudies van omzetwinst uit klantverloop
• Inkomstenwinst uit locatiegebaseerde en andere gerichte advertenties
• Een geïntegreerde spreadsheetbenadering om ca. kosten versus inkomstenwinst/besparingen uit Big Data implementatie.

Dag 5: Sessie 2: Stapsgewijze procedure om het oude datasysteem te vervangen naar Big Data Systeem:

• Praktisch inzicht Big Data Migratieroutekaart
• Wat is de belangrijke informatie die nodig is voordat een Big Data implementatie wordt ontworpen
• Wat zijn de verschillende manieren om het volume, de snelheid, de variëteit en de waarheidsgetrouwheid van gegevens te berekenen
• Hoe de datagroei te schatten
• Casestudies in 2 Telco

Dag 5: Sessie 3 & 4: Beoordeling van Big Data leveranciers en beoordeling van hun producten. Vraag/A-sessie:

• AccentureAlcatel-Lucent
• Amazone-A9
• APTEAN (voorheen CDC-software)
• Cisco Systemen
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guaves
• Hitachi-datasystemen
• Hortonwerken
• Huawei
• PK
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Voorheen 10Gen)
• MU Sigma
• Netapp
• Opera-oplossingen
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackruimte
• Revolutieanalyse
• Salesforce
• SAP
• SAS Instituut
• Sisense
• Software AG/Terracotta
• Soft10-automatisering
• Splunk
• Sqrl
• Supermicro
• Tableau Software
• Teradata
• Denk aan grote analyses
• Getijdenmarkeringssystemen
• VMware (Onderdeel van EMC)