nifi new

Apache Nifi

ישנם חברות רבות,אשר מקבלות מידע ב Stream, אך אין אנשי פיתוח ( פייתון, ג'אווה, סקאלה, Pyspark…) אשר יוכלו לפתח תהליך ETL של העברת הנתונים, אך יש אנשי BI תותחים שיודעים איך לבנות תהליך ETL, אך לא ב Stream, וגם לא כל כך יודעים לכתוב קוד… וכאן נכנס Nifi Apache – מערכת קלה לשימוש, חזקה ואמינה לעיבוד והפצת הנתונים.   יתרונות:
  1. ממשק משתמש מבוסס web קל ונוח.
  2. העברת נתונים בצורה איכותית בעלת תפוקה גבוהה
  3. ניתן לעקוב אחר זרימת הנתונים
  4. יכולת אבטחה של SSH, HTTPS, SSL ועוד..
  חסרונות:
  1. במידה ויש שינויים ב cluster, צריך לעדכן בצורה ידנית את הקונפיגורציה
  2. אם התהליך הוא ארוך ומסורבל- עדיף לכתוב בקוד (המלצה מנסיון אישי)
  מושגים חשובים: Processor – כל פרוססור מבצע משהו אחד בלבד – קריאה מ DB, כתיבה, הוספת עמודה, טרנספורמציה, פילטר, שליחה ל KAFKA.. Flow – זרימה נוצרת על ידי חיבור של פרוססרים שונים ממקור נתונים אחד לשני. Connection – ביצוע חיבור לדאטהבייסים, טבלאות, קפקה. יוצרים פעם אחת חיבור ומשתמשים בחיבור זה. Process Group – קבוצה של מספר תהליכים המשתייכים לאותו נושא.   *Nifi הינו Open Source

אהבת את המאמר?

שיתוף ב facebook
שתף בפייסבוק
שיתוף ב twitter
שתף ב - Twitter
שיתוף ב linkedin
שתף ב- Linkdin
שיתוף ב whatsapp
שתף ב - Whatsapp

השאר תגובה

0 0 הצבעות
Article Rating
Subscribe
Notify of
guest
1 תגובה
Oldest
Newest Most Voted
Inline Feedbacks
הצג את כל התגובות
רונה

שלום האם יש קורס למערכת זו? תודה

Last edited 12 hours ago by רונה

אולי יעניין אותך גם