קורס Big-Data Architects
מק"ט: #9293 | משך קורס: 124 שעות אק'
| מספר מפגשים: 31

המונח Big-Data מתייחס בד"כ למאגרי מידע שעונים לאחת או יותר מן הדרישות הבאות:
- כוללים נתונים בנפחים גדולים אשר בסיסי נתונים קונבנציונליים אינם מהווים פתרון אידיאלי לאחסון ושליפה מהירה של מידע זה
- מידע חדש נוצר ונכנס או יוצא מהמערכת במהירות רבה והיכולת להתמודד עם שטף המידע הינה אתגר קשה מאוד לפיצוח
- כמות סוגי המידע הנאספים ומספר המקורות הם רבים ומגוונים. בעיקר אם מעורבים מקורות מידע שאינם מובנים (שורות ועמודות)

לפרטים נוספים, מלא את פרטיך או התקשר 03-7100779
*שדות חובה
PDF version

מטרות

רציונל הקורס:


ארגונים השוקלים לעבור לעולם ה-Big-Data זקוקים לידע נרחב החולש על אינספור פלטפורמות, ספקי שירותים, עננים וטכנולוגיות. פערי הידע אינם מתנקזים לכדי נושא אחד אלא מתפרשים על פני כמה תחומים שכל אחד מהם הוא עולם בפני עצמו. לשם כך נדרשת פונקציה אשר תדע ותכיר את הנמצא בעולם הביג דאטה וגם תוכל לאפיין אילו רכיבים מתוך הפיתוח הקיים או העתידי שייכים לעולם זה – Big-Data Architect.
 
אלו האתגרים העיקריים הניצבים כיום בפני ארגונים השוקלים או נמצאים בתהליך של מעבר לעולם ה-Big-Data:
  • אפיון החלקים הקיימים במערכת אשר צריכים להיות מוסבים לפלטפורמות Big-Data
  • אפיון רכיבים חדשים המשתייכים לעולם זה לעומת אילו היכולים להיעזר בסביבות המסורתיות
  • איתור טכנולוגיות מתאימות לניהול התשתית בארגון
  • שימוש בשירותי ענן. האם כדאי וניתן למקם בענן, ובאיזה ענן
  • אחסון, ניתוח ועיבוד מידע לא-מובנה ורב (non-structured data)
 
בארגונים גדולים וקטנים כאחד מתגלה צורך בהכרה והבנה יסודית של אתגרים אלו. ארכיטקט בעל יכולת לשלב ידע רוחבי אודות פלטפורמות, טכנולוגיות, מוצרים ושירותים בעולם ה-Big-Data יוכל לתכנן וליישם ארכיטקטורת מעבר לתחום זה באופן היעיל ביותר והנכון ביותר עבור החברה.
 

תרגול:


פרט לפרויקט הקבוצתי, במהלך כל הקורס יתרגלו החניכים את הנושאים הנלמדים תרגול מעשי.

קהל יעד

קהל יעד:

 

  • DBA
  • אנשי BI
  • ראשי צוותים ומנהלי פיתוח
  • מנתחי מערכות
  • מפתחים בסביבות שרת

 

דרישות קדם:

 

  • רקע / היכרות עם בסיסי נתונים
  • היכרות עם שפת פיתוח כלשהי (כולל שפות Script)
  • רקע / היכרות עם BI

משך

משך הקורס:
 
  • 125 שעות
  • לימודי ערב מ- 17:30 עד 21:45, שני מפגשים שבועיים
  • הלימודים אינם מתקיימים בחגים ומועדים. לוח חופשות עדכני יחולק לסטודנטים

נושאים

Hours

Module Description

Module Title

5

  • Organization Requirements
    • Data needed, business logic, data resources
    • Different kind of users and organizations
    • Historical depth
    • Data in rest vs Data in Motion
  • What is Big-Data
  • Big-Data Characteristics & types
  • Challenges  and complexity
  • Use cases in today's world
  • Big-Data Architect roles
  • Data scientist

Introduction To Big-Data Business Analysis and Logical Architecture

5

  • Big-Data project life cycle
  • Business analysis – how to manage requirements gathering
  • BI ETL vs Big-Data ETL
  • Big-Data Characteristics & types
  • Business analysis – High level Document (HLD)
  • Descriptive vs Predication

מבוא לפרויקט וארכיטקטורה של Big data

15

  • Introduction
  • Hadoop distributors (Cloudera, Hortonworks, MapR)
  • Building blocks of Hadoop (NameNode, DataNode…)
  • Introduction to HDFS
  • Map-reduce pattern
  • Distribute cache
  • Hadoop 2 – YARN (Yet Another Resource Management)

Hadoop – process large data sets across clusters

15

Hive:

Introduction to Hive for ad-hoc queries

  • Hive basics
  • Hive data types
  • HiveQL

Hadoop based abstractors

Pig:

Introduction to Pig as data flow language

  • Pig Latin basic expressions
  • Operators for data processing

Hbase:

Introduction to Hbase for processing huge tables

  • Hbase data model
  • Hbase vs. RDBMS
  • Client API (CRUD, queries and batch operations)
  • Interactive REST clients

5

  • Data sources
  • Content  formats
  • Data frequency
  • Processing methodology
  • Data consumers & data distribution
  • Analysis type (batch, real-time)
  • Types of data models (E-R, OLAP, Tabular)
  • Document, Graph and other NoSQL models
  • Vector design for statistical  model
  • Data Serialization, Apache Avro
  • Data Security

Big-Data - data classification

10

eXtreme Application Platform (XAP)

  • Why XAP?
  • XAP Terminology Comparison to Common Platforms and Servers
  • XAP Runtime Environment
  • XAP Application Components
  • Configuring your Environment
  • GigaSpaces Management Center (gs-ui)

In Memory Data Grids

 

Architecture, Use Cases and Lab

  • Event Driven Architecture
  • BillBuddy Application
  • Lab – hands on
  • Install configure and deploy the BillBuddy Application
  • Environment Durability and Survivability
  • CPU Grids

20

  • RDBMS challenge in Big-data world
  • No-SQL vs traditional relational data
  • Scaling vs. consistency
  • No-SQL DB types
  • Transaction in No-SQL
  • Applying map-reduce
  • No-SQL leading implementations
    • Couchbase
    • Cassandra
    • MongoDB

NoSQL

5

  • Introduction  to N-tier model
  • Introduction to web integration (Web-Services)
  • Clusters and domains
  • Enterprise and IT architecture & services
  • Introduction to clouds

 Big-Data Platforms

10

  • What is statistical programming
  • The need for Big-Data
  • R statistical language
    • introduction to R
    • installation
    • basic usage & general statistics with R
    • Data mining using R (rattle)
    • Hadoop-R

Statistical programming for Big-Data

10

  • Introduction
  • SaaS
  • PaaS
  • Cloud Foundry
  • Leading providers:
    • IBM-Bluemix
    • Azure
    • Google Cloud
    • Amazon  Cloud
    • Oracle Cloud

Clouds

5

  • Discussing actual architectural issues
  • Practical solutions
  • Real-life examples
  • Use cases
  • Products comparison based on the available platforms, tools, frameworks and services covered throughout the course

Big Data Architecture

15

  • Basics
  • More on RDD Operations
  • Caching
  • Modules built on Spark
  • Spark Streaming
  • Spark SQL

Apache Spark

5
 
Final Lab
תגיות
קורס DBA   |   קורס Big Data