मैंने कॉन्फ़िगर किया और स्थापित किया था 1.2.1 एकल नोड। मैंने क्रमशः " hdfs: // localhost: 9000 " और " लोकलहोस्ट: 9001 " के रूप में बंदरगाहों के साथ नामेनोड और जॉबट्रैकर पते को कॉन्फ़िगर किया है।

क्लस्टर शुरू करने के बाद ( start-all.sh )। मैं इसके बाद netstat -nltp भागा, जिसने हडप बंदरगाहों को सूचीबद्ध किया।

50030 - jobtracker Web UI
50060 - tasktracker Web UI
50070 - namenode Web UI
50075 - datanode Web UI
(http://localhost:50075/browseDirectory.jsp?dir=%2F)
50090 - secondary namenode Web UI

54310 - namenode (as configured in XML)
54311 - jobtracker (as configured in XML)
50010 - datanode (for data transfer)
50020 - datanode (for block metadata operations & recovery)
33447 - tasktracker ( not configured. Any unused local port is chosen by hadoop itself)

लेकिन, कुछ अन्य बंदरगाहों पर भी कब्जा कर लिया गया था और यह दर्शाता है कि यह जावा प्रक्रिया है (मैंने हडॉप को रोक दिया और पुष्टि की कि ये हडूप क्लस्टर से संबंधित हैं)।

48212 - ???
41888 - ???
47448 - ???
52544 - ???

ये फिक्स्ड पोर्ट नहीं हैं। उन्हें गतिशील रूप से चुना जाता है। क्योंकि, जब मैंने क्लस्टर को पुनः आरंभ किया ( stop-all.sh और start-all.sh ), तो अन्य पोर्ट पहली बार समान थे, सिवाय इन पोर्ट को बदले

48945 - tasktracker (This is fine, as explained before)

अन्य बंदरगाहों के बारे में क्या? इन बंदरगाहों का उपयोग किस लिए किया जाता है?

44117 - ???
59446 - ???
52965 - ???
56583 - ???
5
vivek_nk 24 नवम्बर 2015, 17:01

3 जवाब

सबसे बढ़िया उत्तर

इस दिलचस्प सवाल को पोस्ट करने के लिए धन्यवाद, विवेक।

इसने मुझे बहुत परेशान किया और मैंने Apache Hadoop 1.2.1 के लिए थोड़ा सा कोड खोद दिया - प्रत्येक स्वामी और दास के लिए स्टार्टअप सेक्शन; लेकिन मानक दस्तावेज के अलावा कोई अतिरिक्त पोर्ट बाइंडिंग नहीं थे।

मैंने उन तरीकों पर कुछ प्रयोग किए, जिनसे हम एक नामीनोड शुरू कर सकते हैं और netstat -nltpa का उपयोग करते हुए बंदरगाहों का अवलोकन किया।

1) हडूप --config ../conf namenode-अनियमित

2) सीधे नामेनोडे मुख्य वर्ग का आह्वान

3) डिफ़ॉल्ट कोर- default.xml जोड़ें और नामेनोड शुरू करें

मेरा अवलोकन # 2 और # 3 के लिए था, केवल मानक पोर्ट दिखाए गए थे, इसलिए मैंने जावा विकल्प को देखा और वह बिंगो था।

नीचे सभी के बारे में टिप्पणी करते हैं। हूप-ओएन। शश और उसके बाद हडूप शुरू करें, आपको केवल मानक पोर्ट दिखाई देंगे, इसलिए आपके द्वारा देखे गए अतिरिक्त पोर्ट सभी जेएमएक्स बिन पोर्ट हैं

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"

उम्मीद है की यह मदद करेगा।

1
mbaxi 4 पद 2015, 12:01
netstat -nltp

यह सभी सक्रिय टीसीपी, यूडीपी, रॉ या यूनिक्स सॉकेट कनेक्शन दिखाता है। Hadoop HDFS, Hbase, Zookeeper मध्यवर्ती रूप से बहुत सारे सॉकेट बनाता है और पढ़ने / लिखने या संदेश भेजने के लिए उपयोग करता है।

RPC रीडर थ्रेड्स की संख्या org.apache.hadoop.hdfs.DFSClient में बनाई जाती है और कनेक्शन से डेटा पढ़ने / लिखने के लिए। hadoop.rpc.socket.factory.class.ClientProtocol कैसे सॉकेट / फैक्टरी बनाने के बारे में विवरण प्रदान करेगा।

0
rbyndoor 3 पद 2015, 09:46

एक linux सिस्टम पर, ज्ञात सेवाओं को आमतौर पर /etc/services फ़ाइल में सूचीबद्ध किया जाता है। यह वह जगह है जहाँ नेटवर्क उपयोगिताओं (उदाहरण के लिए। netstat) पोर्ट नंबर (यानी। 80 / http) के लिए अनुकूल नाम मिलते हैं।

कुछ पैकेज /etc/services अपडेट कर सकते हैं। यदि प्रश्न में hadoop पोर्टों की एक गतिशील सीमा है जो बदल जाती है तो इस अद्यतन को करने का कोई कारण नहीं होगा।

संदर्भ

http://www.cyberciti.biz/faq/ खोजने के बाहर जो सेवा - सुन -विशिष्ट पोर्ट /
http://www.tldp.org/LDP/nag2 /x-087-2-appl.services.html

उम्मीद है की यह मदद करेगा।

2
ptierno 3 पद 2015, 05:06