Ratonga
Spark Streaming tikanga horoi raraunga
(I) DStream me RDD
E mohio ana tatou, ko te tatauranga Spark Streaming kei runga i te Spark Core, ko te matua o Spark Core ko RDD, no reira me hono ano te Spark Streaming ki te RDD.Heoi, karekau a Spark Streaming e tuku i nga kaiwhakamahi ki te whakamahi tika i te RDD, engari ko te tango i te huinga o nga ariā DStream, ko DStream me te RDD he hononga whakauru, ka mohio koe ko te tauira whakapaipai i roto i te Java, ara, ko te DStream he whakarei ake i te RDD, engari he rite te whanonga ki te RDD.
DStream me RDD he maha nga tikanga e rua.
(1) he rite nga mahi whakarereke, penei i te mapi, reduceByKey, me etahi atu, engari ano etahi mea motuhake, penei i te Matapihi, mapWithStated, etc.
(2) he mahi Mahi a te katoa, penei i te foreachRDD, tatau, aha atu.
He rite tonu te tauira hotaka.
(B) Whakaaturanga o DStream i te Spark Streaming
He maha nga akomanga kei roto i te DStream.
(1) Ko nga karaehe puna raraunga, penei i te InputDStream, he mea motuhake hei DirectKafkaInputStream, etc.
(2) Nga karaehe whakawhiti, ko te tikanga ko MappedDStream, ShuffledDStream
(3) nga karaehe whakaputa, penei i te ForEachDStream
Mai i runga ake nei, ko nga raraunga mai i te timatanga (whakauru) ki te mutunga (putanga) ka mahia e te punaha DStream, ko te tikanga kaore e taea e te kaiwhakamahi te whakaputa tika me te whakahaere i nga RDD, ko te tikanga kei te DStream te whai waahi me te herenga kia te kawenga mo te huringa ora o nga RDD.
Arā, ko Spark Streaming hehoroi aunoamahi.
(iii) Te tukanga o te whakatipuranga RDD i te Spark Streaming
Ko te rere o te oranga o nga RDD i roto i te Spark Streaming he taratara e whai ake nei.
(1) I roto i te InputDStream, ka hurihia nga raraunga kua riro ki RDD, penei i a DirectKafkaInputStream, e whakaputa ana i a KafkaRDD.
(2) na roto i te MappedDStream me etahi atu huringa raraunga, ka kiia tenei wa ko RDD e rite ana ki te tikanga mahere mo te hurihanga.
(3) I roto i te mahinga o te akomanga whakaputa, ka puta noa te RDD, ka taea e koe te tuku i te kaiwhakamahi ki te mahi i te rokiroki e rite ana, etahi atu tatauranga, me etahi atu mahi.
