apache-kafka-מק׳

Apache Kafka

  1. לכבוד ה black friday הקרב ובא,יצא לכם לחשוב איך בחברות כרטיסי האשראי יש אלפי טרנזקציות בשניה, והמערכת לא נופלת?
  2. כאשר אנחנו רואים סדרה ב Netflix, ובלי התראה מוקדמת אנחנו סוגרים את הטלוויזיה, אחרי כמה ימים פותחים את ה Netflix, והסדרה ממשיכה מהנקודה האחרונה בה הפסקנו. חשבתם איך זה קורה?
הפתרון הוא 𝗔𝗽𝗮𝗰𝗵𝗲 𝗞𝗮𝗳𝗸𝗮 , אשר פותחה בחברת לינקדאין שהתקשו לקבל אלפי הודעות בשניה מהאפליקציה,לעבד אותם ולהעביר אותם לדאטה בייס. קפקה הינה פלטפורמת תוכנה להעברת מידע(הודעה) ב stream, אשר כתובה כ- open source. (מעין צינור נתונים אשר מעביר הודעות מצד אחד לצד השני). יתרונות:
  • מהיר מאוד, מעביר מידע בזמן אמת ממקום למקום.
  • במידה והצד השני נופל (db,app,spark), הוא מזהה זאת, ושומר את ההודעות עד שהצד השני יחזור לתפקד בצורה תקינה וממשיך מהנקודה האחרונה.
  • קפקה יכול לתמוך באלפי הודעות בשנייה.
  • שכפול נתונים לשמור על שרידות הנתונים במקרה נפילה, ויכולת לטפל בנפילות בזמן אמת.
  • עבור אותה הודעה, ניתן יהיה לשלוח למספר consumers.
  • קפקה מכיל ארכיטקטורה מבוזרת שהופכת אותה לסקלבילית על ידי חלוקה ושכפול.
מושגים חשובים:
  • Producer – הצד ששולח את ההודעות לקפקה.
  •  Consumer- הצד שמאזין להודעות מהקפקה.
  • Topic- בקפקה אנחנו מעבירים המון מידע שלעיתים אין קשר בין הודעה להודעה, ולכן אנחנו מייצרים סוג של ערוץ נפרד לכל סוג הודעה אשר נקרא topic

אהבת את המאמר?

שיתוף ב facebook
שתף בפייסבוק
שיתוף ב twitter
שתף ב - Twitter
שיתוף ב linkedin
שתף ב- Linkdin
שיתוף ב whatsapp
שתף ב - Whatsapp

השאר תגובה

5 1 הצבע
Article Rating
Subscribe
Notify of
guest
0 Comments
Inline Feedbacks
הצג את כל התגובות

אולי יעניין אותך גם