|
שיעור
|
נושא המפגש
|
נושאים שיידונו במהלך המפגש
|
|
1
|
מבוא לעולם ה
Big data
|
- מבוא לעולם ה Big Data , מדוע ארגונים רוצים לעשות פרויקטים מסוג זה
- מחזור חיים פרוייקט BI / BIG DATA
- בעלי תפקידים (מנהל הפרויקט, מנתח המערכת, מפתח, איש הבדיקות)
- בעלי תפקידים חדשים : ארכיטקט נתונים, מדען נתונים
- סימנים ל Big Data - 3V
- ארכיטקטורה קלאסית בעולם ה BI בקצרה
- ארכיטקטורה של BIG DATA
- הגדרת הדרישות הפונקציונאליות וכיצד מנהלים אותם . מה ההבדל בין איסוף דרישות רגיל להיבטים של ניהול דרישות לעולם ה BI , ולעולם ה Big Data
|
|
2
|
כדאיות עיסקית ומחזור חיים ניהול הפרוייקט BIG DATA
|
- הגדרת הצורך , למי זה מתאים
- עלויות וכדאיות כלכלית
- מחזור חיים (מפל מים, יחידות מסירה, אג'ייל)
- הרחבה של מפל והרחבה על אגייל כולל טקסים
- תפקידו של מנהל הפרויקט
- תפקידו של מנתח המערכות
|
- פרוייקט BIG DATA
- מה קורה כאשר יש "יותר מדי נתונים" - מדוע אנו עושים פרויקטים כאלו
- פרויקטי BD - אתגרים עיקריים
- אתגרים עיקריים בפרויקט למידת מכונה
- מחזור חיים של פרויקט ML - CRISP
- אנשי צוות בפרויקט וחלוקת תפקידים ביניהם
|
|
אפיון הדרישות BIG DATA
|
- זיהוי הלקוחות והמשתמשים בעולם ה Big Data
- ההבדל בין איסוף דרישות רגיל להיבטים של ניהול דרישות לעולם ה ה Big Data
- הגדרות ראשוניות של אבני הבניין
- הגדרת התועלות העיסקיות - מה ירוויח הארגון מהשימוש במערכת
- הפלטים של המערכת: דוחות, גרפים , לוחות מחוונים
- זיהוי מקורות הנתונים הפנימים והחיצונים, הן המסודרים , החצי מסודרים והבלתי מסודרים
- הבנת עומק איכות הנתונים והתנהלות בהתאם.
- זיהוי הדרישות שאינן פונקציונאליות כדרישות למהירות העיבוד , תזמונים ועיבוד במקביל
- הגדרת דרישות טכניות (לא פונקציונאליות) לדוגמה: ארכיטקטורה, אבטחת מידע , גיבוי , שחזור , זמינות המידע, ביצועים.
- הגדרת הפלטים בהתאמה לסוגי המשתמשים השונים ובחירת כלי תצוגה.
- הגדרת המדדים (KPI (Matrix כולל סוג נתון ולאיזה דרישה עסקית הוא שייך, מידת הדיוק נדרשת , גראנולאריות, היסטוריה נדרשת ועומק היסטורי
Visualization
-
- סוגי גרפים
- Dashboards
- KPI
|
|
3
|
Hadoop : hdfs, map reduce sparx
|
- מה זה Hadoop
- כיצד עובדת Distributed System - מה האתגרים
- Master/Slave Architectual
- HDFS : HADOOP DISTRIBUTED FILE SYSTEM
- Map Reduce
- Hadoop-EcoSystem
|
|
4
|
Hadoop
נושאים מתקדמים + תרגול
|
-
- המשך נושאים מתקדמים
- התלמידים יתנסו בקליטת קובץ ויצפו כיצד מפרק ה Hadoop את הקובץ לבלוקים וכיצד משכפל את הבלוקים.
- התלמידים יתנסו בבניית שאילתות לשליפת נתונים
|
|
5
|
NoSql db
מבוא והכרות
|
הכרות עם בסיסי נתונים בעולם ה NO SQL כולל דוגמאות על הפופלארים שבינהם
-
- גם אם ארגון לא יעבור ל big data באופן מלא , ארגונים רבים חלו לאמץ בסיס נתונים שאינם רלציונים כדוגמת mongo db או redis
- מנתח המערכות/ מנהל הפרוייקט נידרש להכיר את היכולות/ היתרונות והחסרונות בשימוש בבסיס נתונים אלו.
- רוב עולם מערכות המידע משתמש בסוג אחד של בסיס נתונים RDB
- העולם החדש משתמש כבר ב 4 סוגים עיקריים :
- Key value db
- Document db
- Column db
- Graph db
|
|
6
|
NoSql db
תרגול מעשי - בניית ERD
|
Data modeling in Big data world - NoSql db
-
- Key value db
- Document db
- Column db
- Graph db
|
|
7
|
Machine Learning
מבוא והכרות
|
-
- מחזור חיים בפרוייקט machine learning
- מבוא ל machine learning
- מהי "למידה" - סוגים שונים של למידת מכונה (מוכוונת, לא מוכוונת, חוזרת, עמוקה )
- מהו נתון, כולל סוגים שונים (רציף, בדיד, מדורג, בינארי)
- מהי מטרה
- מהו מידע "מתוייג"
אלגוריטמים נפוצים
כיצד מודדים הצלחה של למידה
- הגדרת מדדי הצלחה ללמידה
- כיצד מעריכים את היכולת שלנו לבצע אותה
- חקירה מקדמית של הנתונים
- כמות עמודות
- כמות נתונים בעמודות
- כמה נתונים ריקים
- עומק היסטורי שלהם
- מושגי בסיס : ממוצע, שונות, תוחלת התפלגות
|
|
8
|
Machine learning
העמקה ותרגול (orange)
|
- אסטרטגיות של השלמות נתונים
- אסטרטגיות של עיבודים של נתונים
- דוגמה למדידה מכוונת בעזרת רגרסיה לינראית שפוטה
- דוגמה של ללמידה בעזרת "עץ"
- דוגמה של למידה לא מכוונת
- דוגמה של למידה חוזרת
- דוגמה של למידה "עמוקה"
|
|
9
|
Data visualization
|
- Why you should always start with questions
- How to choose the right chart type
- The ins and outs of creating effective views
- How to design useful and engaging dashboards
- The importance and tips for perfecting your work
|
|
10
|
השלמות ומצגות סיום
|
כל קבוצה מציגה מצגת עם הפרוייקט שעבדה עליו כל הקורס
|
להשארת פרטים
