AWS Aurora
אם אתם עובדים עם MySQL או PostgreSQL , אך מעוניינים בביצועים גבוהים יותר?זמינה יותר?מחשוב ואחסון בצורה מבוזרת? עם יכולת זמינות בעומסי עבודה גבוהים ומשתנים? AWS Aurora הוא הפתרון המושלם. Aurora תוכנן להיות זמין ביותר, ניתן להרחבה וביצועים, עם תכונות כמו שינוי סקלביליות וגיבויים אוטומטיים. Aurora משתמשת בארכיטקטורה מבוזרת המאפשרת לה לשנות את גודלה של מחשוב […]
שאלות מראיונות עבודה Data Engineer- Spark (ספארק לדאטה אנג'ניר)
Data engineering היא חלק חיוני מאקו סיסטם הנתונים המאפשר לארגונים להפיק תובנות מכמויות אדירות של נתונים. אחד הכלים הקריטיים ביותר בארסנל של מהנדס נתונים הוא Apache Spark, שימוש במחשוב מבוזר רבת עוצמה שנועדה לעבד ולנתח מערכי נתונים בקנה מידה גדול. Spark הפכה לכלי חיוני למהנדסי נתונים בעבודתם היומיומית בשל יכולתו להתמודד עם מערכי נתונים גדולים […]
מבוא ל AWS- EC2
מה זה EC2? Amazon Elastic Compute Cloud (EC2) הוא שירות אינטרנט פופולרי המסופק על ידי Amazon Web Services (AWS) המאפשר לשכור שרתים וירטואליים בענן. עם EC2, אתה יכול לפרוס במהירות מכונות וירטואליות עם תצורות שונות כדי לענות על צורכי המחשוב שלך. באמצעות EC2, אתה יכול לבחור מתוך מגוון רחב של שרתים וירטואליים מוגדרים מראש, שיכולים […]
Kinesis שירות הזרמת נתונים של AWS
Kinesis הוא שירות הזרמת נתונים בזמן אמת, ניתן להרחבה ומנוהל על ידי חברת AWS. Kinesis מאפשר לך לאסוף, לעבד ולנתח כמויות גבוהות של נתונים זורמים ממקורות שונים, כגון מדיה חברתית, מכשירי IoT וקובצי יומן. דוגמה אחת לשימוש ב-Kinesis יכולה להיות בתעשיית השירותים הפיננסיים. על ידי שימוש ב-Kinesis, בנק יכול לקלוט נתונים בזמן אמת ממקורות מרובים כגון […]
IMPALA- מנוע שאילתות SQL
תתארו לכם רגע, שאתם עובדים בחברת e-commerce גדולה, שאוספת נתוני לקוחות כבר שנים. יש לך TB של נתונים המאוחסנים ב HDFS. המידע כולל מידע על נתונים דמוגרפיים של לקוחות, היסטוריית גלישה והיסטוריית לקוחות. החברה שלכם מעוניינת להציע מוצרים ללקוח בזמן אמת. כאן נכנס לתמונה Apache Impala עם ביצוע שאילתות מהירות ומבוזרות, וכן היכולת לטפל בכמויות […]
Snowflake
אתם עובדים היום עם DWH? Oracle? SQL Server ?MySql? מעוניינים לעבור לענן?צריכים לעבוד גם עם מידע לא ראלציוני?הגעתם לביג דאטה בארגון? האנליסטים יודעים לעבוד עם SQL בלבד? Snowflake הוא הפתרון בשבילכם. Snowflake קידם את תעשיית מחסני הנתונים בפלטפורמת נתונים חדשנית מבוססת ענן. Snowflake הינו שירות מנוהל שמאפשר לנהל את כל הנתונים הארגוניים ביעילות ונותנת פתרון […]
Amazon S3
המון פעמים שאנחנו שומעים אנשים מדברים על השירותים של אמזון (ולא בהקשר של קניות) ככל הנראה נשמע גם את הצירוף S3 (Amazon Simple Storage Service). S3, הינו שירות אחסון מנוהל של Amazon Web Service אשר מיועדת לאחסון קבצים בתצורה שנקראת Object Storage, תוך שימוש דרך ממשק נהדר. היתרון הגדול של אמזון S3 הוא שהלקוח משלם […]
כל מה שצריך לדעת על ????
התמונה נלקחה מHIVE Hive (בתרגום מאנגלית- כוורת) נבנה על גבי Hadoop ומאפשר שירותי סיכום נתונים.Hive פותח על ידי פייסבוק, מאוחר יותר נכנס לשימוש ופותח על ידי חברות אחרות כגון נטפליקס ו FINRA. Hive מספק אבסטרקציה של SQL לאינטגרציה של שאילתות עם מאפייני SQL, הנקרא HiveQL לתוך שכבת הקוד (Java) ללא צורך למימוש השאילתות בממשק Java. […]
NoSQL
התמונה נלקחה מsqlsplus חלקים בלתי נפרדים מההחלטות בבניית ארכיטקטורה, הינם מבנה הנתונים (ריאלציוני או לא?) ובסיס הנתונים בו שומרים את הנתונים. לכל אלו שנתקלו במושג NoSQL ונלחצו ממנו, הנה לכם פוסט קצר. למבנה טבלאי יש מגבלות מסוימות ועם הגידול בנפח הנתונים אנו משלמים הרבה, והביצועים פחות טובים… וכאן נכנסים מסדי הנתונים ה NoSQL (מסדי נתונים […]
Apache Nifi
התמונה נלקחה מApache Nifi ישנם חברות רבות,אשר מקבלות מידע ב Stream, אך אין אנשי פיתוח ( פייתון, ג'אווה, סקאלה, Pyspark…) אשר יוכלו לפתח תהליך ETL של העברת הנתונים, אך יש אנשי BI תותחים שיודעים איך לבנות תהליך ETL, אך לא ב Stream, וגם לא כל כך יודעים לכתוב קוד… וכאן נכנס Nifi Apache – מערכת […]