मान लें कि मेरे पास एक BigQuery तालिका है जिसमें 3M पंक्तियाँ हैं, और मैं इसे gcs में निर्यात करना चाहता हूँ। मैं जो करता हूं वह मानक है bq extract <flags> ... <project_id>:<dataset_id>.<table_id> gs://<bucket>/file_name_*.<extension>

मैं एक फ़ाइल (भाग) की पंक्तियों की संख्या पर एक सीमा से बंधा हुआ हूं। क्या फ़ाइल भाग के आकार के लिए कठोर सीमा निर्धारित करने का कोई तरीका है?

उदाहरण के लिए, यदि मैं चाहता हूं कि प्रत्येक विभाजन 10Mb से ऊपर न हो, उदाहरण के लिए, या इससे भी बेहतर, फ़ाइल भाग में जाने के लिए अनुमत पंक्तियों की अधिकतम संख्या निर्धारित करने के लिए? दस्तावेज़ों में इस उद्देश्य के लिए किसी फ़्लैग का उल्लेख नहीं है।

0
Imad 15 सितंबर 2020, 19:05

1 उत्तर

सबसे बढ़िया उत्तर

आप BigQuery Extract API के साथ ऐसा नहीं कर सकते।

लेकिन आप इसे स्क्रिप्ट कर सकते हैं (एक लूप में हजारों पंक्तियों का निर्यात करें) लेकिन आपको संसाधित डेटा के लिए भुगतान करना होगा (निकालना मुफ़्त है!)। आप इसके लिए डेटाफ़्लो कार्य भी सेट कर सकते हैं (लेकिन यह मुफ़्त भी नहीं है!)।

2
guillaume blaquiere 15 सितंबर 2020, 20:12