Spark Streaming and Suicidal Tendencies (Youen Chéné - Aurélien Vandel)

Essayer de mettre du spark streaming en production, faire des calculs savants pour avoir le bon batch intervalle, jouer sur une quinzaine de propriétés Spark plus prometteuse les unes que les autres afin que le temps de traitement moyen d'un batch soit inférieur au batch intervalle calculé, scruté la Spark UI pour essayer de constater des changements... avoir des envies de suicide car tout ça sans succès. Ce qui fait tenir l'espoir de trouver la propriété qui changera tout, se dire que ce nouveau métier de chercheur (qui ne trouve pas) offre des possibilités inattendues de reconversion professionnelles... Finalement trouver une solution et commencer à jouer avec les types complexes en SPARK SQL, c'est reparti pour des envies de suicide... spark.Cordes = interdit, spark.médicaments=interdit,spark. rasoirs=interdits!!!