मैं हर समय चलने वाली स्ट्रीमिंग पाइपलाइन की लागत को कम करने के लिए एक सीमित स्रोत के रूप में PubSub subscription का उपयोग करना चाहता था। इसी तरह का प्रश्न अनबाउंड सोर्स के साथ बैच पाइपलाइन लेकिन कोई समाधान नहीं। मुझे यह जवाब मिला What PipelineRunners जो कहता है कि हम UnboundedSource withMaxNumRecords का उपयोग करके परीक्षण के लिए एक BoundedSource में। क्या यहां इनपुट के रूप में पबसुबियो का उपयोग करना संभव है या क्या PubSubIO को unboundedSource में बदलने का कोई तरीका है?

UnboundedSource<String> unboundedSource  = .; // How to Use PubSub here?
PCollection<String> boundedPubsubCollection =
    p.apply(Read.from(unboundedSource).withMaxNumRecords(10));
1
Googi 6 सितंबर 2019, 05:38

1 उत्तर

सबसे बढ़िया उत्तर

यह वर्तमान में PubSubIO द्वारा अच्छी तरह से समर्थित नहीं है, और यह 'बीम मॉडल' के लिए थोड़ा अजीब है। कुछ विकल्प:

  1. क्या आपने अपनी पाइपलाइन शुरू करने और समय-समय पर इसे निकालने की कोशिश की है?
  2. अगर वह काम नहीं करता है, तो आपको बीम मेलिंग सूची या इश्यू ट्रैकर में एक फीचर अनुरोध पोस्ट करना चाहिए। .
0
Pablo 24 सितंबर 2019, 20:50