2025 Auteur: Lynn Donovan | [email protected]. Laatst gewijzigd: 2025-01-13 06:17
Vonk draait op Java 8+, Python 2.7+/3.4+ en R 3.1+. Voor de Scala-API, Vonk 2.3. 0 toepassingen Scala 2.11. Je zal moeten gebruik maken van een compatibele Scala versie (2.11.
Dienovereenkomstig, werkt Spark met Python 3?
Apache Vonk is een cluster computing-framework, momenteel een van de meest actief ontwikkelde in de open-source Big Data-arena. Sinds de laatste versie 1.4 (juni 2015), Vonk ondersteunt R en Python 3 (als aanvulling op de eerder beschikbare ondersteuning voor Java, Scala en Python 2).
Hoe wijzig ik de Spark-versie van Python naast het bovenstaande? Voor het geval je alleen wilt verandering de python-versie voor de huidige taak kunt u de volgende pyspark-startopdracht gebruiken: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ Python PYSPARK_PYTHON=/usr/local/anaconda2/bin/ Python pyspark --master..
Bovendien, wat is de nieuwste Spark-versie?
Apache Spark
| Oorspronkelijke auteur(s) | Matei Zaharia |
|---|---|
| Eerste uitgave | 26 mei 2014 |
| Stabiele vrijlating | 2.4.5 / 8 februari 2020 |
| Opslagplaats | Spark-opslagplaats |
| Geschreven in | Scala |
Wat is Spark Python?
Big data temmen met Apache Vonk en Python Py4J is een populaire bibliotheek die is geïntegreerd in PySpark dat laat Python dynamisch interface met JVM-objecten (RDD's). Apache Vonk wordt geleverd met een interactieve shell voor Python net als bij Scala. De schaal voor Python staat bekend als PySpark ”.