Datadog, Inc. ha annunciato la disponibilità generale di Data Jobs Monitoring, un nuovo prodotto che aiuta i team della piattaforma dati e i data engineer a individuare i lavori Spark e Databricks problematici in qualsiasi punto delle loro pipeline di dati, a rimediare più velocemente ai lavori falliti e a quelli in esecuzione da molto tempo e a ottimizzare le risorse di calcolo sovraprovisionate per ridurre i costi. Data Jobs Monitoring fa emergere immediatamente i lavori specifici che necessitano di ottimizzazione e di miglioramenti dell'affidabilità, consentendo ai team di approfondire le tracce di esecuzione dei lavori, in modo da poter correlare la telemetria dei lavori all'infrastruttura cloud per un rapido debugging. Data Jobs Monitoring aiuta i team a: Rilevare i guasti dei lavori e i picchi di latenza: Gli avvisi immediati informano i team quando i lavori falliscono o vengono eseguiti oltre le linee di base rilevate automaticamente, in modo da poterli affrontare prima che si verifichino impatti negativi sull'esperienza dell'utente finale.

I filtri consigliati fanno emergere i problemi più importanti che hanno un impatto sulla salute dei lavori e del cluster, in modo da poterli rendere prioritari. Individuare e risolvere più rapidamente i lavori errati: Le visualizzazioni dettagliate dei tracciati mostrano ai team esattamente dove un lavoro è fallito nel suo flusso di esecuzione, in modo da avere un contesto completo per una risoluzione più rapida dei problemi. Le esecuzioni di più lavori possono essere confrontate tra loro per accelerare l'analisi della causa principale e identificare le tendenze e i cambiamenti nella durata dell'esecuzione, nelle metriche delle prestazioni di Spark, nell'utilizzo del cluster e nella configurazione.

Identificare le opportunità di risparmio: L'utilizzo delle risorse e le metriche delle applicazioni Spark aiutano i team a identificare i modi per ridurre i costi di calcolo per i cluster sovraprovisionati e per ottimizzare le esecuzioni di lavoro inefficienti. Data Jobs Monitoring è ora disponibile in generale.