Hadoop sous pression Retour sur une année d'exploitation à Criteo (Rémy Saissy)

En une année, le nouveau cluster Hadoop de Criteo a doublé de taille, finissant l'année à ~1080 datanodes soit ~88Po bruts. Cela en plus du cluster existant de taille équivalente en termes de datanodes. Ce talk propose une rétrospective d'une année d'exploitation d'Hadoop sous l'angle de quelques incidents marquants et permettant de présenter comment nous assurons la stabilité de clusters Hadoop de plus de 1000 datanodes. Nous parlerons notamment : * De quelques incidents majeurs ayant mis en lumière des bugs HDFS et YARN et visibles à grande échelle * De la scalabilité du Namenode et comment nous le gérons * De l'impact de jobs sur la disponibilité du cluster ou de ses gateways de soumission et comment nous le gérons