Anong bersyon ng Python ang ginagamit ng spark?
Anong bersyon ng Python ang ginagamit ng spark?

Video: Anong bersyon ng Python ang ginagamit ng spark?

Video: Anong bersyon ng Python ang ginagamit ng spark?
Video: WHAT IS PYTHON? | BAKIT MAGANDANG PAG-ARALAN ANG PYTHON? | Python tutorial 2020 2024, Nobyembre
Anonim

Spark tumatakbo sa Java 8+, sawa 2.7+/3.4+ at R 3.1+. Para sa Scala API, Spark 2.3. 0 gamit Scala 2.11. Kakailanganin mo gamitin isang katugmang Scala bersyon (2.11.

Kaugnay nito, gumagana ba ang spark sa Python 3?

Apache Spark ay isang cluster computing framework, na kasalukuyang isa sa pinaka aktibong binuo sa open-source na Big Data arena. Mula noong pinakabagong bersyon 1.4 (Hunyo 2015), Spark sumusuporta sa R at Sawa 3 (upang umakma sa dating magagamit na suporta para sa Java, Scala at sawa 2).

Sa tabi sa itaas, paano ko babaguhin ang spark na bersyon ng Python? Kung sakaling gusto mo lang pagbabago ang bersyon ng python para sa kasalukuyang gawain, maaari mong gamitin ang sumusunod na pyspark start command: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ sawa PYSPARK_PYTHON=/usr/local/anaconda2/bin/ sawa pyspark --master..

Higit pa rito, ano ang pinakabagong bersyon ng spark?

Apache Spark

(mga) orihinal na may-akda Matei Zaharia
Paunang paglabas Mayo 26, 2014
Matatag na paglabas 2.4.5 / Pebrero 8, 2020
Imbakan Spark Repository
Nakasulat sa Scala

Ano ang spark Python?

Pag-amin ng Malaking Data gamit ang Apache Spark at sawa Ang Py4J ay isang sikat na library na isinama sa loob PySpark na hinahayaan sawa dynamic na interface sa mga JVM objects (RDD's). Apache Spark ay may kasamang interactive na shell para sa sawa tulad ng ginagawa nito para sa Scala. Ang shell para sa sawa ay kilala bilang PySpark ”.

Inirerekumendang: