Table des matières
Quelle est la différence entre Apache Spark et MapReduce?
Spark vs Hadoop MapReduce La différence fondamentale entre Hadoop MapReduce et Spark est que Spark écrit les données en RAM, et non sur disque. Ceci a plusieurs conséquences importantes sur la rapidité de traitement des calculs ainsi que sur l’architecture globale de Spark.
Pourquoi utiliser Spark?
Apache Spark 3.0 est un logiciel open-source de calcul distribué disposant de la plus grande communauté de contributeurs en Big Data. Spark est rapide, il est capable d’être 100 fois plus rapide que Hadoop pour le traitement de données à grande échelle grâce à une base de données en mémoire optimisée.
Pourquoi utiliser Spark Apache?
Apache Spark est un moteur d’analyse unifié et ultra-rapide pour le traitement de données à grande échelle. Il permet d’effectuer des analyses de grande ampleur par le biais de machines de Clusters. Il est essentiellement dédié au Big Data et Machine Learning.
Quelles systèmes de fichiers sont supportés par Spark?
HDFS
Spark utilise le système de fichiers HDFS pour le stockage des données. Il peut fonctionner avec n’importe quelle source de données compatible avec Hadoop, dont HDFS, HBase, Cassandra, etc.
Quelle caractéristique de Spark le rend plus performant que Hadoop MapReduce?
Ce n’est pas le cas avec Spark. La solution s’appuie sur les mêmes concepts qu’Hadoop (calcul distribué, Map Reduce) mais ici les données sont montées en mémoire et les traitements sont de fait jusqu’à 100 fois plus rapide que sur Hadoop.
Pourquoi utiliser PySpark?
Cependant, la librairie PySpark propose de l’utiliser avec le langage Python, en gardant des performances similaires à des implémentations en Scala. Pyspark est donc une bonne alternative à la librairie pandas lorsqu’on cherche à traiter des jeux de données trop volumineux qui entraînent des calculs trop chronophages.
Pourquoi PySpark?
Spark peut fonctionner de manière autonome et en mode distribué car l’outil dispose de son propre mécanisme de clusterisation. Mais l’intérêt est de pouvoir bien entendu l’intégrer à un cluster Hadoop. Or, cela se fait très simplement.
Quelles sont les propriétés du RDD?
Caractéristiques des Resilients Distributed Datasets Formellement, le RDD est une « collection » (au sens Scala du terme) d’éléments partitionnés et répartis entre les nœuds du cluster et accessible uniquement en lecture-seule. Il agit comme une abstraction de partage de données dans un cluster.
Pourquoi faire du Scala?
Scala facilite l’évolution progressive des programmes dans le temps. Le code Scala peut facilement s’interfacer avec du code Java prééxistant. Il est en fait compilé en bytecode Java. On peut donc utiliser les deux langages dans un même programme, Scala offrant notamment l’avantage d’une plus grande concision.
Quels sont les langages utilisés par Spark?
Spark est un framework de calcul distribué. Ce n’est donc pas un langage de programmation, c’est un ensemble d’outils informatiques écrits initialement en Scala, mais maintenant disponibles également en Python, R, Java et SQL.
Quelles sont les bibliothèques intégrées de Spark?
Les bibliothèques intégrées
- Spark pour les traitements “en batch”
- Spark Streaming pour le traitement en continu de flux de données.
- MLlib pour le “machine learning”.
- GraphX pour les calculs de graphes.
- Spark SQL, une implémentation SQL-like d’interrogation de données.