האתגר
מה עמד לפני Below The Crime?
Below The Crime אגרגרה נתוני פשיעה ממקורות ממשלתיים ב-6 מדינות. כל מדינה הגישה נתונים בפורמט שונה, בתדירות שונה, ועם שדות שונים. צוות נתונים בן 4 אנשים בילה 60% מזמנו בניקוי, מיפוי ואיחוד נתונים לפני שניתן היה לנתח אותם.
הפתרון
מה בנינו
בנינו ETL Pipeline עם n8n: כל מקור נתונים מוגדר עם Connector ייעודי שמושך נתונים בתדירות הנכונה, ממפה שדות לסכמה אחידה, ומריץ Validation Rules שמזהים אנומליות. הנתונים זורמים ישירות למחסן נתונים מרכזי זמין לניתוח מיידי.
תוצאות
מה השגנו יחד
✓60% מזמן צוות הנתונים שהוקדש ל-ETL ידני שוחרר לניתוח
✓עדכון נתונים מתרחש כל שעה במקום פעם בשבוע
✓שגיאות מיפוי נתונים ירדו ב-88%