Inhoudsopgave:

Kan ik Spark lokaal draaien?
Kan ik Spark lokaal draaien?

Video: Kan ik Spark lokaal draaien?

Video: Kan ik Spark lokaal draaien?
Video: Apache Spark | Local Mode and work with Command Line REPL 2024, Mei
Anonim

Spark kan zijn loop met behulp van de ingebouwde standalone clusterplanner in de lokaal modus. Dit betekent dat alle Vonk processen zijn loop binnen dezelfde JVM-effectief, een enkele, multithreaded instantie van Vonk.

Hoe voer ik in dit verband Apache Spark lokaal uit?

De volgende stappen laten zien hoe u Apache Spark installeert

  1. Stap 1: Java-installatie verifiëren.
  2. Stap 2: Scala-installatie verifiëren.
  3. Stap 3: Scala downloaden.
  4. Stap 4: Scala installeren.
  5. Stap 5: Apache Spark downloaden.
  6. Stap 6: Spark installeren.
  7. Stap 7: De Spark-installatie verifiëren.

Kunnen we bovendien Spark uitvoeren zonder Hadoop? Vanaf Vonk documentatie, Spark kan draaien zonder Hadoop . Jij kunnen voer het uit als een zelfstandige modus zonder elke resourcemanager. Maar als jij willen loop in een opstelling met meerdere knooppunten, jij heb een resourcemanager nodig zoals YARN of Mesos en een gedistribueerd bestandssysteem zoals HDFS , S3 enz. Ja, vonk kan lopen zonder hadoop.

Behalve hierboven, hoe voer ik Spark in de zelfstandige modus uit?

Installeren Spark Standalone-modus , plaats je gewoon een gecompileerde versie van Vonk op elk knooppunt in het cluster. U kunt kant-en-klare versies verkrijgen van: Vonk bij elke release of bouw het zelf.

Kan Spark op Windows draaien?

EEN Vonk sollicitatie kan wees een ramen -shell script of het kan een aangepast programma zijn in geschreven Java, Scala, Python of R. Je hebt nodig: ramen uitvoerbare bestanden die op uw systeem zijn geïnstalleerd om loop deze toepassingen.

Aanbevolen: