Talaan ng mga Nilalaman:

Paano ko sisimulan ang aking spark History server?
Paano ko sisimulan ang aking spark History server?

Video: Paano ko sisimulan ang aking spark History server?

Video: Paano ko sisimulan ang aking spark History server?
Video: 5 Negosyo Tips Para Dumami ang Customers Mo At Maiwasang Malugi 2024, Mayo
Anonim

Upang paganahin ang Spark history server:

  1. Gumawa ng direktoryo para sa mga log ng kaganapan sa DSEFS file system: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kapag pinagana ang pag-log ng kaganapan, ang default na gawi ay para sa lahat ng mga log na i-save, na nagiging sanhi ng paglaki ng storage sa paglipas ng panahon.

Sa tabi nito, paano ako magse-set up ng spark History server?

Upang paganahin ang Spark history server:

  1. Gumawa ng direktoryo para sa mga log ng kaganapan sa DSEFS file system: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kapag pinagana ang pag-log ng kaganapan, ang default na gawi ay para sa lahat ng mga log na i-save, na nagiging sanhi ng paglaki ng storage sa paglipas ng panahon.

Katulad nito, paano ko mahahanap ang URL ng server ng aking spark History? Hal., para sa server ng kasaysayan , karaniwang maa-access ang mga ito sa server - url >:18080/api/v1, at para sa tumatakbong application, sa https://localhost:4040/api/v1. Sa API, ang isang application ay tinutukoy ng application ID nito, [app-id].

Gayundin, ano ang server ng spark History?

Ang Ang Spark history server ay isang tool sa pagsubaybay na nagpapakita ng impormasyon tungkol sa natapos Spark mga aplikasyon. Ang impormasyong ito ay kinuha mula sa data na isinulat ng mga application bilang default sa isang direktoryo sa Hadoop Distributed File System (HDFS).

Ano ang Sparkui?

Binibigyang-daan ka ng Spark Web UI na makakita ng listahan ng mga yugto at gawain ng scheduler, impormasyon sa kapaligiran, impormasyon tungkol sa mga tumatakbong tagapagpatupad at higit pa. Panoorin ang 30 minutong demo na ito upang malaman ang tungkol sa: Mga bahagi at lifecycle ng isang programang Spark. Paano tumatakbo ang iyong Spark application sa isang Hadoop cluster.

Inirerekumendang: