Waar kan ik vonkenlogboeken vinden?
Waar kan ik vonkenlogboeken vinden?

Inhoudsopgave:

Anonim

Logboek mappen

De standaard SPARK_WORKER_LOG_DIR-locatie is /var/ log / vonk /arbeider. De standaard log directory voor het starten van de Vonk SQL Thrift-server is $HOME/ vonk -zuinigheid-server. Vonk Shell en toepassing logboeken worden uitgevoerd naar de console. Logboek configuratiebestanden bevinden zich in dezelfde map als vonk -env.sh.

Met betrekking tot dit, hoe krijg ik vonklogboeken?

Vonk baan of sollicitatie via de Analyse-pagina, hebt u toegang tot de logboeken via de applicatie-UI en Vonk Applicatie gebruikersinterface. pagina, hebt u toegang tot de logboeken via de Vonk Applicatie gebruikersinterface. U kunt ook extra logboeken om de fouten en uitzonderingen te identificeren in Vonk taak- of toepassingsfouten.

Evenzo, hoe controleer je garenlogboeken? Een bekijken log bestand De logboeken van een applicatiemaster kan ook worden bekeken in een browser in de gebruikersinterface van resource manager op garen .resourcemanager.webapp.address}/cluster (https://localhost:8088 op een enkel knooppunt "cluster").

Op dezelfde manier kan men zich afvragen, hoe krijg ik logboeken van uitvoerders op Spark?

Antwoord geven

  1. Instructies voor het ophalen van de Spark-uitvoerderslogboeken:
  2. Voor Amabari -- 1) Ga naar de Spark-service en het tabblad Configs: 2) Zoek het item "Advanced spark-log4j-properties".
  3. Voor Cloudera -- Set: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Hoe vind ik mijn Spark History-server-URL?

Bijvoorbeeld voor de geschiedenis server , zijn ze doorgaans toegankelijk via server - url >:18080/api/v1, en voor een actieve toepassing, op https://localhost:4040/api/v1. In de API wordt naar een applicatie verwezen met zijn applicatie-ID, [app-id].