Ano ang bawasan ng susi?
Ano ang bawasan ng susi?

Video: Ano ang bawasan ng susi?

Video: Ano ang bawasan ng susi?
Video: Paano paandarin ang mga Relong De Susi.. 2024, Mayo
Anonim

Pinagsasama ng Spark RDD reduceByKey function ang mga halaga para sa bawat isa susi gamit ang isang associative bawasan function. Na intuitively nangangahulugan, ang function na ito ay gumagawa ng parehong resulta kapag paulit-ulit na inilapat sa parehong hanay ng RDD data na may maraming mga partisyon anuman ang pagkakasunud-sunod ng elemento.

Pagkatapos, ano ang pagkakaiba sa pagitan ng groupByKey at reduceByKey?

groupByKey () ay para lang ipangkat ang iyong dataset batay sa isang susi. reduceByKey () ay isang bagay tulad ng pagpapangkat + pagsasama-sama. reduceByKey maaaring gamitin kapag tumakbo kami sa malaking set ng data. Ang aggregateByKey() ay lohikal na kapareho ng reduceByKey () ngunit hinahayaan ka nitong ibalik ang resulta magkaiba uri.

Alamin din, bakit bawasan ang pagkilos sa spark? Bawasan ang spark ang operasyon ay isang aksyon uri ng operasyon at ito ay nag-trigger ng isang buong DAG execution para sa lahat ng naka-line up na tamad na mga tagubilin. Spark RDD bawasan Binabawasan ng function ang mga elemento ng RDD na ito gamit ang tinukoy na commutative at associative binary operator. Bawasan ang spark ang operasyon ay halos katulad ng bawasan pamamaraan sa Scala.

Sa tabi sa itaas, ano ang Pairrdd?

Nagbibigay ang Spark ng mga espesyal na operasyon sa mga RDD na naglalaman ng mga pares ng susi/halaga. Ang mga RDD na ito ay tinatawag na mga pares na RDD. Ang mga Pair RDD ay isang kapaki-pakinabang na building block sa maraming mga programa, dahil inilalantad nila ang mga operasyon na nagbibigay-daan sa iyong kumilos sa bawat key nang magkatulad o muling pagpangkatin ang data sa buong network. PairRDDs ay mga pares ng KEY/VALUE.

Ang reduceByKey ba ay isang aksyon?

reduce() ay naglalabas ng isang koleksyon na hindi nagdaragdag sa directed acyclic graph (DAG) kaya ipinapatupad bilang isang aksyon . gayunpaman, reduceByKey () ay nagbabalik ng isang RDD na isa lamang antas/estado sa DAG, samakatuwid ay isang pagbabago.

Inirerekumendang: