Inhoudsopgave:

Hoe start ik mijn Spark History-server?
Hoe start ik mijn Spark History-server?

Video: Hoe start ik mijn Spark History-server?

Video: Hoe start ik mijn Spark History-server?
Video: ЛЮБОВЬ С ДОСТАВКОЙ НА ДОМ (2020). Романтическая комедия. Хит 2024, November
Anonim

De Spark-geschiedenisserver inschakelen:

  1. Maak een map voor gebeurtenislogboeken in het DSEFS-bestandssysteem: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Wanneer logboekregistratie van gebeurtenissen is ingeschakeld, is het standaardgedrag dat alle logboeken worden opgeslagen, waardoor de opslag in de loop van de tijd toeneemt.

Hoe stel ik daarnaast een Spark History-server in?

De Spark-geschiedenisserver inschakelen:

  1. Maak een map voor gebeurtenislogboeken in het DSEFS-bestandssysteem: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Wanneer logboekregistratie van gebeurtenissen is ingeschakeld, is het standaardgedrag dat alle logboeken worden opgeslagen, waardoor de opslag in de loop van de tijd toeneemt.

Evenzo, hoe vind ik mijn Spark History-server-URL? Bijvoorbeeld voor de geschiedenis server , zijn ze doorgaans toegankelijk via server - url >:18080/api/v1, en voor een actieve toepassing, op https://localhost:4040/api/v1. In de API wordt naar een applicatie verwezen met zijn applicatie-ID, [app-id].

Evenzo, wat is Spark History-server?

De Spark-geschiedenisserver is een monitoringtool die informatie weergeeft over voltooide Vonk toepassingen. Deze informatie is getrokken uit de gegevens die applicaties standaard naar een map op Hadoop Distributed File System (HDFS) schrijven.

Wat is Sparkui?

Met de gebruikersinterface van Spark Web kunt u een lijst met plannerstadia en -taken, omgevingsinformatie, informatie over de actieve uitvoerders en meer bekijken. Bekijk deze demo van 30 minuten voor meer informatie over: Componenten en levenscyclus van een Spark-programma. Hoe uw Spark-toepassing wordt uitgevoerd op een Hadoop-cluster.

Aanbevolen: