Talaan ng mga Nilalaman:

Saan ako makakahanap ng mga spark logs?
Saan ako makakahanap ng mga spark logs?

Video: Saan ako makakahanap ng mga spark logs?

Video: Saan ako makakahanap ng mga spark logs?
Video: PAANO HUMANAP NG SERYOSONG FOREIGNER ONLINE. TIPS IN FINDING TRUE LOVE ONLINE 2024, Abril
Anonim

Log mga direktoryo

Ang default na lokasyon ng SPARK_WORKER_LOG_DIR ay /var/ log / kislap /manggagawa. Ang default log direktoryo para sa pagsisimula ng Spark Ang SQL Thrift server ay $HOME/ kislap -tipid-server. Spark Shell at aplikasyon mga log ay output sa console. Log Ang mga configuration file ay matatagpuan sa parehong direktoryo ng kislap -env.sh.

Kaugnay nito, paano ako makakakuha ng mga spark log?

Spark trabaho o aplikasyon mula sa pahina ng Pagsusuri, maaari mong i-access ang mga log sa pamamagitan ng Application UI at Spark Application UI. page, maaari mong i-access ang mga log sa pamamagitan ng Spark Application UI. Maaari ka ring magdagdag mga log upang matukoy ang mga pagkakamali at pagbubukod sa Spark mga pagkabigo sa trabaho o aplikasyon.

Katulad nito, paano mo suriin ang mga log ng sinulid? Pagtingin a log file Ang mga log ng isang application master ay maaari ding matingnan sa isang browser sa resource manager UI sa sinulid .resourcemanager.webapp.address}/cluster (https://localhost:8088 sa isang node na "cluster").

Katulad nito, maaaring magtanong ang isa, paano ako makakakuha ng mga executor log sa Spark?

Sagot

  1. Mga tagubilin para sa pagkuha ng mga log ng Spark executor:
  2. Para sa Amabari -- 1) Pumunta sa Spark Service at sa tab na Configs: 2) Hanapin ang entry na "Advanced spark-log4j-properties."
  3. Para sa Cloudera -- Itakda: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Paano ko mahahanap ang URL ng server ng spark History ko?

Hal., para sa server ng kasaysayan , karaniwang maa-access ang mga ito sa server - url >:18080/api/v1, at para sa tumatakbong application, sa https://localhost:4040/api/v1. Sa API, ang isang application ay tinutukoy ng application ID nito, [app-id].

Inirerekumendang: