वाहनों के डेटा के साथ एक RDD है। मैं एलआईसी_स्टेट को प्रत्येक रिकॉर्ड के लिए कुंजी के रूप में रखते हुए उस आरडीडी की कुंजी-मूल्य जोड़ी प्राप्त करने में सक्षम हूं।

मैं आरडीडी को 2 विभाजनों में कैसे विभाजित कर सकता हूं, एक विभाजन में कुंजी एसए के साथ रिकॉर्ड रखते हुए और शेष दूसरे विभाजन में?

0
Diganth Sanghvi 8 सितंबर 2020, 08:04

1 उत्तर

सबसे बढ़िया उत्तर

आप अपने कस्टम पार्टीशनर को लिख और लागू कर सकते हैं जो कुंजी के आधार पर डेटा को विभाजित करता है।

पहले पार्टीशनर लॉजिक को परिभाषित करें

def partitionFunc(key):
    if key == "SA":
        return 0
    else
        return 1

जिसमें key "LIC_state" है। और फिर इसे अपने RDD पर लागू करें:

partitionedRDD = keyedRDD.partitionBy(2, partitionFunc)

जहां keyedRDD आपकी कुंजी/मान युग्मित RDD है।

0
mike 8 सितंबर 2020, 06:18