मैंने एक छोटे आकार का क्लस्टर सेटअप किया है यदि Hadoop Nutch 2.3.1 के लिए Hbase के साथ है। हडूप संस्करण 2.7.7 है और एचबेस 0.98 है। मैंने एक हडूप नौकरी को अनुकूलित किया है और अब मुझे ड्राइवर वर्ग में रेड्यूसर कार्य के लिए मेमोरी सेट करनी है। मुझे पता चला है, साधारण हडूप एमआर नौकरियों में, आप JobConf विधि setMemoryForReducer का उपयोग कर सकते हैं। लेकिन Nutch में कोई विकल्प उपलब्ध नहीं है। मेरे मामले में, वर्तमान में, रेड्यूसर मेमोरी mapred-site.xml (Hadoop कॉन्फ़िगरेशन) के माध्यम से 4 GB पर सेट है। लेकिन नच के लिए मुझे इसे दोगुना करना होगा।

क्या यह हडूप कॉन्फिडेंस फाइलों को बदले बिना संभव है, या तो ड्राइवर क्लास या नच-साइट.एक्सएमएल के माध्यम से

0
Hafiz Muhammad Shafiq 12 फरवरी 2019, 08:27

1 उत्तर

सबसे बढ़िया उत्तर

अंत में, मैं समाधान खोजने में सक्षम था। NutchJob उद्देश्य पूरा करता है। निम्नलिखित कोड स्निपेट है

NutchJob job = NutchJob.getInstance(getConf(), "rankDomain-update");

int reducer_mem = 8192;
String memory = "-Xmx" + (int) (reducer_mem * 0.8)+ "m";
job.getConfiguration().setInt("mapreduce.reduce.memory.mb", reducer_mem);
job.getConfiguration().set("mapreduce.reduce.java.opts", memory );
// rest of code below
0
Hafiz Muhammad Shafiq 13 फरवरी 2019, 08:25