Talaan ng mga Nilalaman:

Ano ang mga pangunahing parameter ng pagsasaayos na kailangang tukuyin ng user upang patakbuhin ang trabaho sa MapReduce?
Ano ang mga pangunahing parameter ng pagsasaayos na kailangang tukuyin ng user upang patakbuhin ang trabaho sa MapReduce?

Video: Ano ang mga pangunahing parameter ng pagsasaayos na kailangang tukuyin ng user upang patakbuhin ang trabaho sa MapReduce?

Video: Ano ang mga pangunahing parameter ng pagsasaayos na kailangang tukuyin ng user upang patakbuhin ang trabaho sa MapReduce?
Video: Statistical Programming with R by Connor Harris 2024, Nobyembre
Anonim

Ang pangunahing mga parameter ng configuration na kailangang tukuyin ng mga user sa framework ng "MapReduce" ay:

  • Mga trabaho mga lokasyon ng input sa distributed file system.
  • Mga trabaho lokasyon ng output sa distributed file system.
  • Input na format ng data.
  • Output format ng data.
  • Klase na naglalaman ng function ng mapa.
  • Klase na naglalaman ng reduce function.

Dito, ano ang mga pangunahing parameter ng pagsasaayos sa isang MapReduce program?

Ang pangunahing mga parameter ng pagsasaayos sa framework ng "MapReduce" ay:

  • Ilagay ang lokasyon ng Mga Trabaho sa distributed file system.
  • Output na lokasyon ng Mga Trabaho sa distributed file system.
  • Ang input format ng data.
  • Ang format ng output ng data.
  • Ang klase na naglalaman ng function ng mapa.
  • Ang klase na naglalaman ng reduce function.

Maaari ring magtanong, ano ang mga parameter ng mga mapper at reducer? Ang apat na parameter para sa mga mapper ay:

  • LongWritable (input)
  • teksto (input)
  • teksto (intermediate output)
  • IntWritable (intermediate na output)

Ang tanong din ay, ano ang mga pangunahing bahagi ng trabaho ng MapReduce?

  • Pangunahing klase ng driver na nagbibigay ng mga parameter ng pagsasaayos ng trabaho.
  • Klase ng Mapper na dapat pahabain ang org. apache. hadoop. mapreduce. Mapper klase at magbigay ng pagpapatupad para sa mapa () na pamamaraan.
  • Reducer class na dapat pahabain ang org. apache. hadoop. mapreduce. Reducer na klase.

Ano ang partitioner at paano ito nakakatulong sa proseso ng trabaho ng MapReduce?

Tagapaghati sa MapReduce trabaho Kinokontrol ng execution ang paghahati ng mga susi ng mga intermediate na mapa-output. Kasama ang tulong ng hash function, key (o isang subset ng key) ay nakukuha ang pagkahati . Ang mga talaan bilang may parehong key value ay napupunta sa pareho pagkahati (sa loob ng bawat mapper).

Inirerekumendang: