हडूप क्लस्टर साक्षात्कार प्रश्न और उत्तर का परिचय
इस लेख का उद्देश्य सभी बिग डेटा उम्मीदवारों को एक संगठन में बड़े डेटा पर्यावरण सेटअप से संबंधित सभी हडूप क्लस्टर साक्षात्कार प्रश्न का उत्तर देने में मदद करना है। यह प्रश्नावली डेटा नोड्स, नाम नोड स्थापित करने और बिग डेटा डिमन्स होस्टेड सर्वर की क्षमता को परिभाषित करने में मदद करेगी।
तो अगर आपको अंततः हडूप क्लस्टर में अपना सपनों का काम मिल गया है, लेकिन यह सोच रहा है कि हडूप क्लस्टर साक्षात्कार को कैसे क्रैक करना है और संभव हडूप क्लस्टर साक्षात्कार प्रश्न क्या हो सकता है। प्रत्येक साक्षात्कार अलग होता है और नौकरी का दायरा भी अलग होता है। इसे ध्यान में रखते हुए हमने आपके साक्षात्कार में सफलता प्राप्त करने में आपकी सहायता के लिए सबसे आम हडूप क्लस्टर साक्षात्कार प्रश्न और उत्तर तैयार किए हैं।
साक्षात्कार में अक्सर पूछे जाने वाले कुछ सबसे महत्वपूर्ण हडूप क्लस्टर साक्षात्कार प्रश्न निम्नानुसार हैं:
1. हडूप क्लस्टर में प्रमुख हडूप घटक क्या हैं?
उत्तर:
हडूप एक ढांचा है जहां हम बड़े डेटा को संसाधित करते हैं या हडूप वह मंच है जहां कोई कमोडिटी सर्वर पर बड़ी मात्रा में डेटा संसाधित कर सकता है। हडूप कई घटकों का संयोजन है। हडूप पर्यावरण में प्रमुख घटक निम्नलिखित हैं।
नाम नोड : यह मास्टर नोड मेटाडेटा प्रारूप में सभी डेटा नोड्स जानकारी और डेटा संग्रहण स्थान का ख्याल रखता है।
माध्यमिक नाम नोड : प्राथमिक नाम नोड नीचे जाने पर यह प्राथमिक नाम नोड के रूप में कार्य करता है।
एचडीएफएस (हाडोप वितरित फ़ाइल सिस्टम) : यह हडूप क्लस्टर के सभी भंडारण का ख्याल रखता है।
डेटा नोड्स : डेटा नोड्स गुलाम नोड्स हैं। प्रोसेसिंग के लिए स्लेव नोड्स पर वास्तविक डेटा सहेजा जाता है।
यार्न (फिर भी एक और संसाधन वार्ताकार): अनुप्रयोगों को लिखने और डेटा की विशाल मात्रा को संसाधित करने के लिए एक सॉफ्टवेयर ढांचा। यह मैपरेडस के समान ही विशेषताएं प्रदान करता है इसके अतिरिक्त यह प्रत्येक बैच नौकरी को हडूप क्लस्टर में समानांतर चलाने की अनुमति देगा।
2. हडूप क्लस्टर में डेटा स्टोरेज की योजना कैसे बनाएं?
उत्तर:
संग्रहण सूत्र {संग्रहण = दैनिक डेटा इंजेक्शन * प्रतिकृति} पर आधारित है।
यदि हडूप क्लस्टर को दैनिक आधार पर डेटा 120 टीबी मिल रहा है और हमारे पास डिफ़ॉल्ट प्रतिकृति कारक है इसलिए दैनिक डेटा संग्रहण आवश्यकता
संग्रहण आवश्यकता = 120 टीबी (दैनिक डेटा इंजेक्शन) * 3 (डिफ़ॉल्ट प्रतिकृति) => 360 टीबी
परिणामस्वरूप, हम दैनिक डेटा इंजेक्शन आवश्यकता के लिए कम से कम 360 टीबी डेटा क्लस्टर स्थापित करने की आवश्यकता है।
भंडारण डेटा प्रतिधारण आवश्यकता पर भी निर्भर करता है। यदि हम एक ही क्लस्टर में डेटा को 2 साल तक संग्रहीत करना चाहते हैं तो हमें प्रतिधारण आवश्यकता के अनुसार डेटा नोड्स की व्यवस्था करने की आवश्यकता है।
3. डेटा नोड की संख्या गणना करें।
उत्तर:
हमें हडूप क्लस्टर के लिए आवश्यक कई डेटा नोड्स की गणना करने की आवश्यकता है। मान लें कि हमारे पास 10 डिस्क के जेबीओडी के साथ सर्वर हैं और प्रत्येक डिस्क में 4 टीबी स्टोरेज आकार है इसलिए प्रत्येक सर्वर में 40 टीबी स्टोरेज है। हडूप क्लस्टर को डिफ़ॉल्ट प्रतिकृति कारक लागू करने के बाद डेटा 120 टीबी प्रति दिन और 360 टीबी मिल रहा है।
डेटा नोड्स की संख्या = दैनिक डेटा इंजेक्शन / डेटा नोड क्षमता
डेटा नोड्स की संख्या = 360/40 => 9 डेटा नोड्स
इसलिए हडूप क्लस्टर के लिए उपरोक्त कॉन्फ़िगरेशन के साथ 120 टीबी डेटा प्राप्त करने के लिए, केवल 9 डेटा नोड्स सेट करने की आवश्यकता है।
4. हडूप क्लस्टर में प्रतिकृति कारक कैसे बदलें?
उत्तर:
hdfs-site.xml फ़ाइल संपादित करें। डिफ़ॉल्ट पथ हडूप स्थापना निर्देशिका के conf / फ़ोल्डर के अंतर्गत है। hdfs-site.xml में निम्न प्रॉपर्टी को बदलें / जोड़ें:
<property>
<name> dfs.replication <name>
<value> 3 <value>
<description> ब्लॉक प्रतिकृति <वर्णन>
<property>
प्रतिकृति कारक होना अनिवार्य नहीं है 3 इसे 1 के रूप में भी सेट किया जा सकता है। प्रतिकृति कारक 5 हडूप क्लस्टर में भी काम करता है। डिफ़ॉल्ट मान सेट अप क्लस्टर को अधिक कुशल बनाता है और न्यूनतम हार्डवेयर की आवश्यकता होती है।
बढ़ते प्रतिकृति कारक में हार्डवेयर की आवश्यकता में वृद्धि होगी क्योंकि डाटा स्टोरेज प्रतिकृति कारक से गुणा हो जाता है।
5. हडूप में डिफ़ॉल्ट डेटा ब्लॉक आकार क्या है और इसे कैसे संशोधित करें?
उत्तर:
ब्लॉक आकार को डेटा को ब्लॉक में विभाजित / विभाजित करें और इसे अलग-अलग डेटा नोड्स पर सहेजें।
डिफ़ॉल्ट रूप से, ब्लॉक आकार 128 एमबी (अपाचे हडूप में) है और हम डिफ़ॉल्ट ब्लॉक आकार को संशोधित कर सकते हैं।
Hdfs-site.xml फ़ाइल संपादित करें। डिफ़ॉल्ट पथ हडूप स्थापना निर्देशिका के conf / फ़ोल्डर के अंतर्गत है। hdfs-site.xml में निम्न प्रॉपर्टी को बदलें / जोड़ें:
<property>
<name> dfs.block.size <name>
<value> 134217728 <value>
<description> ब्लॉक आकार <description>
<property>
बाइट्स में ब्लॉक आकार 134,217,728 है या 128 एमबी। इसके अलावा, केबी, एमबी, टीबी इत्यादि में ब्लॉक आकार सेट करने के लिए प्रत्यय (केस-असंवेदनशील) जैसे के (किलो-), एम (मेगा-), जी (गीगा-) या टी (टेरा-) के साथ आकार निर्दिष्ट करें …
6. हडूप क्लस्टर को हटाए गए / कचरा निर्देशिका में हटाए गए एचडीएफएस फ़ाइल को कब तक रखना चाहिए?
उत्तर:
“fs.trash.interval” पैरामीटर निर्दिष्ट करता है कि कितनी देर है एचडीएफएस हटाई गई फ़ाइल को पुनः प्राप्त करने के हडूप वातावरण में किसी भी नष्ट कर दिया फ़ाइल रख सकते हैं।
अंतराल अवधि केवल मिनटों में परिभाषित किया जा सकता है। 2 दिनों के पुनर्प्राप्ति अंतराल के लिए हमें बहने वाले प्रारूप में संपत्ति निर्दिष्ट करने की आवश्यकता है।
फ़ाइल कोर-साइट.एक्सएमएल संपादित करें और निम्न संपत्ति
<property>
<name> fs.trash.interval </ name>
<value> 2880 </ value>
</ property> का उपयोग करके इसे जोड़ें / संशोधित करें
डिफ़ॉल्ट रूप से, पुनर्प्राप्ति अंतराल 0 है लेकिन हडूप प्रशासक आवश्यकता के अनुसार उपरोक्त संपत्ति को जोड़ / संशोधित कर सकता है।
7. हडूप डिमन्स को शुरू करने और रोकने के लिए बुनियादी आदेश क्या हैं?
उत्तर:
sbin / फ़ोल्डर में संग्रहीत डेमन्स को शुरू और बंद करने के लिए सभी आदेश।
./sbin/stop-all.sh – सभी डिमन्स को एक बार में रोकने के लिए।
hadoop-daemon.sh प्रारंभ नाम नोड
Hadoop-daemon.sh प्रारंभ डेटा नोड
yarn-daemon.sh, संसाधन प्रबंधक
यार्न-daemon.sh शुरू करें, नोड प्रबंधक
शुरू करें mr-jobhistory-daemon.sh प्रारंभ इतिहास सर्वर
8. यार्न द्वारा प्रबंधित कार्यों के लिए स्मृति आवंटन को परिभाषित करने की संपत्ति क्या है?
उत्तर:
संपत्ति “yarn.nodemanager.resource.memory-एमबी” संशोधित किया जाना / सभी कार्य द्वारा प्रबंधित के लिए स्मृति आवंटन को बदलने के लिए जोड़ा जरूरत यार्न ।
यह एमबी में रैम की मात्रा निर्दिष्ट करता है। डेटा नोड्स का उपयोग 70% वास्तविक रैम को यार्न के लिए किया जाता है। 9 6 जीबी के साथ डेटा नोड यार्न के लिए 68 जीबी का उपयोग करेगा, शेष रैम का उपयोग डेटा नोड
डिमन द्वारा “गैर-यार्न-वर्क” के लिए किया जाता है, “yarn.xml फ़ाइल” फ़ाइल संपादित करें और निम्न संपत्ति जोड़ें / संशोधित करें।
<property>
<name> yarn.nodemanager.resource.memory-mb </ name>
<value> 68608 </ value>
</ property>
yarn.nodemanager.resource.memory-mb डिफ़ॉल्ट मान 8,192 एमबी (8 जीबी) है। यदि डेटा नोड्स की बड़ी रैम क्षमता है तो हमें 70% तक मूल्य में बदलना होगा, अन्यथा हम अपनी याददाश्त बर्बाद कर देंगे।
9. नाम नोड का आकार बदलने के लिए सिफारिशें क्या हैं?
उत्तर:
मास्टर नोड को बहुत शुरुआती चरण में स्थापित करने के लिए निम्नलिखित विवरणों की सिफारिश की जाती है।
प्रोसेसर: प्रक्रियाओं के लिए, 6-8 कोर के साथ एकल सीपीयू पर्याप्त है।
रैम मेमोरी: डेटा और जॉब प्रसंस्करण सर्वर के लिए कम से कम 24-96 जीबी रैम होना चाहिए।
भंडारण: चूंकि मास्टर नोड पर कोई एचडीएफएस डेटा संग्रहीत नहीं होता है। आप स्थानीय स्टोरेज के रूप में 1-2TB कर सकते हैं
क्योंकि भविष्य के वर्कलोड का निर्णय लेना मुश्किल है, इसलिए समय के साथ आसानी से अपग्रेड करने योग्य सी पी यू, रॅम और मेमोरी जैसे हार्डवेयर का चयन करके अपने क्लस्टर को डिज़ाइन करें।
10. हडूप क्लस्टर में डिफ़ॉल्ट बंदरगाह क्या हैं?
उत्तर:
| डेमॉन नाम | डिफ़ॉल्ट पोर्ट नंबर |
| नाम नोड। | 50070 |
| डेटा नोड्स | 50075 |
| माध्यमिक नाम नोड। | 50,090 |
| बैकअप / चेकपॉइंट नोड। | 50105 |
| जॉब ट्रैकर | 50,030 |
| कार्य ट्रैकर्स। | 50060 |
अनुशंसित लेख
यह हडूप क्लस्टर साक्षात्कार प्रश्न और उत्तर की सूची के लिए एक मार्गदर्शक रहा है ताकि उम्मीदवार इन हडूप क्लस्टर साक्षात्कार प्रश्न को आसानी से क्रैकडाउन कर सकें। आप और जानने के लिए निम्नलिखित लेख भी देख सकते हैं –
