NoSQL
התמונה נלקחה מsqlsplus חלקים בלתי נפרדים מההחלטות בבניית ארכיטקטורה, הינם מבנה הנתונים (ריאלציוני או לא?) ובסיס הנתונים בו שומרים את הנתונים. לכל אלו שנתקלו במושג NoSQL ונלחצו ממנו, הנה לכם פוסט קצר. למבנה טבלאי יש מגבלות מסוימות ועם הגידול בנפח הנתונים אנו משלמים הרבה, והביצועים פחות טובים… וכאן נכנסים מסדי הנתונים ה NoSQL (מסדי נתונים […]
Apache Nifi
התמונה נלקחה מApache Nifi ישנם חברות רבות,אשר מקבלות מידע ב Stream, אך אין אנשי פיתוח ( פייתון, ג'אווה, סקאלה, Pyspark…) אשר יוכלו לפתח תהליך ETL של העברת הנתונים, אך יש אנשי BI תותחים שיודעים איך לבנות תהליך ETL, אך לא ב Stream, וגם לא כל כך יודעים לכתוב קוד… וכאן נכנס Nifi Apache – מערכת […]
MongoDB
התמונה נלקחה מ logodix בהמשך לפוסט הקודם, הפוסט הקרוב יהיה על בסיס הנתונים המוביל בעולם בקטגוריית NoSQL והוא MongoDB. מקור השם של mongo הוא מהמילה humongous (גדול, ענק). בסיס הנתונים נשען על מבנה של מסמך (Document-Oriented Database) בניגוד לבסיסי נתונים טבלאיים (כמו SQL Server, Oracle ו MySQL) העובדים מעל טבלאות מקושרות. מבנה המסמכים עובד מעל […]
lambda
התמונה נלקחה מ parkmycloud פעם בניתם סקריפט ממש מגניב שבאלכם שהוא תמיד ירוץ? אולי להפעיל טריגר מסוים והוא ירוץ באופן אוטומטי? אפילו שהמחשב סגור!?!? וכך הומצא הפתרון בשם- ?????? (λ). למבדה הוא שירות מנוהל של AWS, המאפשר להריץ סקריפטים על שרת מנוהל של אמזון וללא התעסקות בהגדרת השרת. אמזון אחראית על כל התשתית והרמת […]
Apache Kafka
התמונה נלקחה מ software engineering daily לכבוד ה black friday הקרב ובא,יצא לכם לחשוב איך בחברות כרטיסי האשראי יש אלפי טרנזקציות בשניה, והמערכת לא נופלת? כאשר אנחנו רואים סדרה ב Netflix, ובלי התראה מוקדמת אנחנו סוגרים את הטלוויזיה, אחרי כמה ימים פותחים את ה Netflix, והסדרה ממשיכה מהנקודה האחרונה בה הפסקנו. חשבתם איך זה קורה? […]
Airflow
החלטתי לעשות מסורת שבועית, בה אני מפרסם פוסט על מערכת מסוימת בתחום ה Big Data/Stream בשפה פשוטה ומובנת לכולם. הנושא הראשון… ?????? ???????. Airflow התחיל בכך שמספר מתכנתים בחברת Airbnb, היו מעוניינים לבנות מערכת אחת שבה יהיה ניתן לתחזק את התהלכים והתזמונים…. וכך הומצא ה Airflow. למה כדאי להשתמש ב Airflow? מערכת אחת לתהליכים ותזמונים. […]