मुफ़्त परीक्षण खाते में Google क्लाउड कम्पोज़र क्विकस्टार्ट आज़माना, उदाहरण वर्कफ़्लो DAG का पहला कार्य इस ऑपरेटर को चलाता है:

create_dataproc_cluster = dataproc_operator.DataprocClusterCreateOperator(
        task_id='create_dataproc_cluster',
        cluster_name='quickstart-cluster-{{ ds_nodash }}',
        num_workers=2,
        zone=models.Variable.get('gce_zone'),
        master_machine_type='n1-standard-1',
        worker_machine_type='n1-standard-1')

जो इस त्रुटि संदेश के साथ विफल रहता है:

 - Insufficient 'CPUS' quota. Requested 6.0, available 2.0
 - This request exceeds CPU quota. Some things to try: request fewer workers (a minimum of 2 is required), use smaller master and/or worker machine types (such as n1-standard-2).

2 पहले से ही वर्कर नोड्स की न्यूनतम संख्या है और n1-standard-1 पहले से ही सबसे छोटा मशीन प्रकार है।

प्र. क्या DataprocClusterCreateOperator() को उच्च 'CPUS' कोटा आवंटित करने का कोई तरीका है?
Airflow वेबसाइट और क्लाउड डेटाप्रोक कोटा दस्तावेज़ आने वाले नहीं हैं।

प्र. क्या यह मुफ़्त परीक्षण खाते के लिए कठिन सीमा है?
IAM कोटा कंसोल पेज वर्तमान उपयोग को इस रूप में दिखाता है ६, ७५%, ४ में से ३ बार, जिसका अर्थ है कि कोटा ८ है।

3
Jerry101 25 मई 2019, 07:41

1 उत्तर

सबसे बढ़िया उत्तर

डेटाप्रोक वर्कर मशीनें वास्तव में कंप्यूट इंजन वीएम हैं, इसलिए सीपीयू कोटा कंप्यूट इंजन एपीआई पर लागू होता है।

CPU कोटा Airflow/Google Cloud Composer से संबंधित नहीं हैं और उन्हें वहां से कॉन्फ़िगर नहीं किया जा सकता है। DataprocClusterCreateOperator केवल डेटाप्रोक एपीआई को कॉल करता है, जो बदले में कंप्यूट इंजन पर वीएम शुरू करता है।

नि: शुल्क परीक्षण खातों के लिए, सीपीयू कोटा 8 लगता है, जैसा आपने अनुभव किया। आपके द्वारा टिप्पणी अनुभाग में दिए गए विवरण से, आपका संगीतकार वातावरण उन ८ सीपीयू (3 * n1-standard-2) में से ६ का उपयोग करता है। ध्यान दें कि आप संगीतकार (1 सीपीयू) के लिए छोटी मशीनों का उपयोग कर सकते हैं, लेकिन आपको हमेशा कम से कम 3 नोड्स की आवश्यकता होगी। तो एक न्यूनतम संगीतकार वातावरण 1 * 3 = 3 CPU का उपयोग करेगा। आप चाहें तो यहां 3 सीपीयू बचा सकते हैं, लेकिन एयरफ्लो स्थिरता प्रभावित हो सकती है।

आप अपने डाटाप्रोक वर्कर्स (या कम डाटाप्रोक वर्कर्स) के लिए छोटे वीएम (कम सीपीयू के साथ) का भी अनुरोध कर सकते हैं। फिर भी, मैं इसकी अनुशंसा नहीं करता, क्योंकि n1-standard-1 (या उससे कम) डेटाप्रोक कर्मचारियों के लिए बहुत छोटा है।

यह भी ध्यान दें कि गैर-निःशुल्क परीक्षण खातों के साथ, आप उच्च कोटा का अनुरोध कर सकते हैं। हालांकि, नि:शुल्क परीक्षण खातों में, मुझे लगता है कि यह संभव नहीं है।

4
norbjd 25 मई 2019, 22:23