हडूप में करियर – परिचय
हडूप बिग डेटा दुनिया में मात्र ढांचा नहीं है । इसमें संबंधित प्रौद्योगिकियों की छतरी के साथ एक विस्तृत पारिस्थितिकी तंत्र है। इसी कारण से, हडूप में करियर एक वादा कर रहा है। यदि आपको हडूप बुनियादी सिद्धांतों की अच्छी समझ है तो यह हडूप में करियर महान की नींव होगी।
हडूप में करियर के लिए शिक्षा
कई उभरती हुई डेटा प्रौद्योगिकियों की तरह , हडूप इस तरह की किसी भी विशिष्ट शैक्षिक पृष्ठभूमि की मांग नहीं करता है। हडूप विकास के आधे हिस्से में गैर-कंप्यूटर विज्ञान पृष्ठभूमि जैसे सांख्यिकी या भौतिकी से हैं। तो यह स्पष्ट है कि पृष्ठभूमि हडूप की दुनिया में प्रवेश करने में बाधा नहीं है बशर्ते आप मौलिक सिद्धांत सीखने के लिए तैयार हों। अच्छे ऑनलाइन पाठ्यक्रम हडूप को कवर करते हैं – एडूसीबीए से एक सबसे अच्छा उदाहरण है – मास्टर-अपाचे-हडूप
इसके अलावा, यदि आप ऑनलाइन कोर्स और पाठ्यपुस्तकों के रूप में उपलब्ध प्रत्येक विशिष्ट विषय पर हाइव सामग्री में हडूप क्लस्टर प्रबंधन या डेटा मॉडलिंग के विशिष्ट क्षेत्र में गहराई से स्थानांतरित करना चाहते हैं । अधिकांश समय हडूप क्लस्टर एक क्लाउड विक्रेता जैसे एडब्ल्यूएस या एज़ूर में स्थापित किए जाएंगे। तो अपनी पसंद के किसी भी क्लाउड विक्रेता से परिचित हो जाओ बहुत मदद करेगा। एडब्ल्यूएस से हडूप सेवा को ईएमआर कहा जाता है।
लोकप्रिय विशेषज्ञता में शामिल हैं:
- स्पार्क – स्केलेबल इन-मेमोरी डेटा प्रोसेसिंग इंजन
- एचबीएएस – एचडीएफएस के शीर्ष पर कोई एसक्यूएल डेटाबेस नहीं
- बीम – पहले दृष्टिकोण डेटा प्रोसेसिंग स्ट्रीमिंग
- पिग – डेटा रूपांतरण (ईटीएल) स्क्रिप्टिंग
- हाइव – डेटा वेयरहाउसिंग
- महौत, स्पार्क एमएलआईबी – हडूप पर स्केलेबल मशीन लर्निंग
- अपाचे ड्रिल – हडूप पर एसक्यूएल इंजन
- फ्लूम, स्क्वाप – डेटा इनजेस्टिंग सर्विसेज
- सोलर और लुसीन – खोज और अनुक्रमण
हडूप में करियर पथ
स्टैक ओवरफ्लो सर्वे 2017 के नतीजे के अनुसार, हडूप बिग डेटा स्पेस (सर्वे लिंक) में सबसे लोकप्रिय और सबसे पसंदीदा फ्रेमवर्क में अग्रणी है । यह केवल इसलिए संभव है क्योंकि विभिन्न आईटी परिप्रेक्ष्य के लोगों ने हडूप को एक संभावित करियर पथ पाया और स्विच करना चाहते हैं।
आपकी वर्तमान भूमिका आईटी भूमिका जो भी हो, हडूप में करियर दुनिया के लिए आसानी से अनुकूलनीय स्विच होगा। कुछ लोकप्रिय उदाहरण –
- सॉफ़्टवेयर विकास (प्रोग्रामर)-> हडूप डेटा विकास जो विभिन्न हडूप एब्स्ट्रक्शन एसडीके से संबंधित है और डेटा से मूल्य प्राप्त करता है।
- डेटा विश्लेषक-> तो क्या आप की तरह एसक्यूएल इंजन पर काम करने के लिए हडूप मेंHuge अवसर में कुशल हैं हाइव या इम्पाला
- व्यापार विश्लेषक-> बड़े पैमाने पर एकत्रित डेटा का उपयोग करके संगठन अधिक लाभदायक बनने की कोशिश कर रहे हैं, और व्यापार विश्लेषक के लिए भूमिका इस में महत्वपूर्ण है।
- ईटीएल विकास-> यदि आप पारंपरिक ईटीएल विकास के रूप में काम कर रहे हैं , तो स्पार्क जैसे उपकरण का उपयोग करके आसानी से हडूप ईटीएल में स्थानांतरित कर सकते हैं।
- परीक्षकों-> हडूप दुनिया में परीक्षकों की एक बड़ी मांग है। हडूप और डेटा प्रोफाइलिंग के मूलभूत सिद्धांतों को समझकर, कोई भी परीक्षक इस भूमिका पर स्विच कर सकते हैं।
- बीआई / डीडब्ल्यू व्यवसाय-> डेटा मॉडलिंग में आसानी से हडूप डेटा आर्किटेक्चर पर स्विच कर सकते हैं।
- वरिष्ठ आईटी पेशेवर-> डेटा की दुनिया में गहरी समझ और डेटा चुनौतियों में मौजूदा चुनौतियों के साथ, एक वरिष्ठ पेशेवर इन चुनौतियों को हल करने की कोशिश करने के तरीके के बारे में जानकारी प्राप्त करके परामर्शदाता बन सकता है।
- डेटा इंजीनियर्स या बिग डेटा इंजीनियरिंग जैसी सामान्य भूमिकाएं हैं जो अधिकतर क्लाउड विक्रेताओं के शीर्ष पर समाधान लागू करने के लिए ज़िम्मेदार हैं।क्लाउड के डेटा घटकों के ज्ञान प्राप्त करके, यह एक आशाजनक भूमिका होगी।
नौकरी की स्थिति
हडूप पारिस्थितिक तंत्र विभिन्न प्रकार के करियर पथ प्रदान करता है
- मॅपरेड्यूज़ विकास– यह मूल रूप से एक जावा विकास भूमिका है जो यह भी समझता है कि हडूप सिस्टम आंतरिक रूप से कैसे काम करते हैं। हाइव या पिग जैसी एक अमूर्तता अभी भी उच्च प्रदर्शन प्रणाली के लिए मॅपरेड्यूज़ नौकरियां आवश्यक हैं। मॅपरेड्यूज़ विकास वह हैं जो एक सिस्टम को समझता है और वास्तव में उच्च भुगतान करता है।
- हडूप प्रशासक– ये हडूप क्लस्टर को स्वस्थ और प्रदर्शन करने के लिए जिम्मेदार लोग हैं। इसमें सामान्य व्यवस्थापक कार्यों जैसे नियमित सिस्टम स्वास्थ्य जांच शामिल हो सकती हैं, लेकिन हडूप सिस्टम आर्किटेक्चर को समझने के लिए आवश्यक कार्यों में से अधिकांश।
- देवताओं – हडूप क्लस्टर में नए सिस्टम घटकों और अन्य विकास संबंधी परिवर्तनों को तैनात करें।इस भूमिका की ज़िम्मेदारी बहुत भिन्न होती है और एक संगठन की संस्कृति पर निर्भर करती है।
- डेटा विकास –हडूप के शीर्ष पर डेटा प्रोसेसिंग। हडूप पारिस्थितिकी तंत्र में यह सबसे लोकप्रिय भूमिकाओं में से एक है। एसक्यूएल या एनालिटिक्स पृष्ठभूमि के लोग इन भूमिकाओं के लिए सबसे उपयुक्त हैं। अधिकतर हडूप जैसे हाइव या पिग की उच्च स्तरीय अमूर्तता पर काम करते हैं।
- डेटा सुरक्षा व्यवस्थापक –डेटा सबसे मूल्यवान संपत्ति है और इसे सुरक्षित करना सबसे महत्वपूर्ण है। सुरक्षा प्रशासक एक प्रणाली की समझ सीमा के साथ डेटा की सुरक्षा के लिए उद्योग मानक नीतियों और सर्वोत्तम प्रथाओं को सुनिश्चित करते हैं
- डेटा विज़ुअलाइज़र –अगली पीढ़ी के विज़ुअलाइजेशन उपकरण को संभालें जो गतिशील डेटा स्लाइसिंग और इन-मेमोरी डेटा कैशिंग के साथ एकत्रीकरण की अनुमति देते हैं
- ईटीएल विकास –डेटा गुणवत्ता सुधार के लिए डेटा या हडूप पारिस्थितिकी तंत्र का उपयोग कर व्यावसायिक तर्क के अनुसार डेटा को ट्रांसफॉर्म करें । ईटीएल प्रक्रिया स्ट्रीमिंग या बैच हो सकती है।
- सिस्टम आर्किटेक्ट –लागत प्रभावी ढंग से डेटा उपलब्धता और स्थायित्व पर विचार करने वाले उच्च निष्पादन सिस्टम डिज़ाइन करें। हार्डवेयर प्रदाता पर भारी निर्भर करता है।
- डेटा आर्किटेक्ट– डेटा के पारंपरिक लॉजिकल / भौतिक डिज़ाइन के अलावा, कॉलम एन्कोडिंग, डिमॉर्मलाइजेशन, विभाजन डिजाइन इत्यादि जैसी कई चीजें डेटा आर्किटेक्ट की ज़िम्मेदारी होगी।
अनुशंसित पाठ्यक्रम
- ऑनलाइन एक्सएमएल और जावा प्रशिक्षण
- नोड.जेएस पाठ्यक्रम
- सिल्वरलाइट ट्रेनिंग कोर्स
- एम्बर.जेएस कार्यक्रम
वेतन
$ 118,234 प्रति वर्ष – अमेरिका में एक सॉफ्टवेयर विकास के एक औसत वेतन प्रति वर्ष $ 90,956, जबकि हडूप विकास की औसत वेतन एक तरह से अधिक है (प्रति Indeed.com के रूप में – indeed.com )
यूएस में शीर्ष कंपनियों में हडूप विकास के वेतन (रेफरी: वास्तव में )
| सेब | $ 147,573 प्रति वर्ष |
| विप्रो | $ 110,553 प्रति वर्ष |
| हीरो.जॉब्स | $ 158,715 प्रति वर्ष |
| एमबीसीएए | $ 133,422 प्रति वर्ष |
| वेंचर्स असीमित इंक | प्रति वर्ष $ 130,000 |
| नितो इन्फोटेक सर्विसेज प्रा। लिमिटेड | प्रति वर्ष $ 128,633 |
| उत्तर सितारा | $ 126,370 प्रति वर्ष |
| पीआरआई प्रौद्योगिकी | प्रति वर्ष $ 121,396 |
| नितयो इन्फोटेक | $ 116,909 प्रति वर्ष |
| हॉर्टनवर्क्स, इंक | $ 110,710 प्रति वर्ष |
करियर आउटलुक
हडूप पारिस्थितिक तंत्र व्यापार आवश्यकताओं में बदलाव को पूरा करने के लिए बहुत कुछ अलग हो रहा है। चूंकि उत्पन्न डेटा तेजी से बढ़ रहा है और अधिक से अधिक संगठन डेटा संचालित हो जाते हैं, हडूप प्रणाली की प्रासंगिकता केवल बढ़ने जा रही है।
कुछ उल्लेखनीय रुझान:
- स्पार्क और बीम का उपयोग करके बैच प्रोसेसिंग से पहले डेटा प्रसंस्करण दृष्टिकोण को स्ट्रीम करने के लिए शिफ्ट करें
- स्पार्क एमएल का उपयोग कर रीयल-टाइम डेटा पर अधिक वास्तविक समय मशीन लर्निंग मॉडल लागू किया गया
- डेटा झील के शीर्ष पर विज्ञापन-प्रसार विश्लेषण के लिए एस 3 के शीर्ष पर प्रेस्टो जैसे डेटा स्टोरेज से डीक्यूप्लेड एसक्यूएल इंजन।
- त्वरित डेटा पहुंच के लिए एडब्ल्यूएस रेडशिफ्ट जैसे कॉलमर एमपीपी डेटाबेस
बिग डेटा प्रोसेसिंग का एक मौलिक पहलू गलती-सहिष्णु वितरित और क्षैतिज स्केलेबल सिस्टम पर आधारित है, जिसे हडूप द्वारा अच्छी तरह से कार्यान्वित किया जाता है, हडूप डेटा प्रोसेसिंग के लिए अग्रणी पारिस्थितिक तंत्र के रूप में जारी रहेगा।
अनुशंसित आलेख
यह हडूप में करियर के लिए एक मार्गदर्शक रहा है। यहां हमने हडूप में हडूप, वेतन और करियर आउटलुक में परिचय, शिक्षा, करियर पथ पर चर्चा की है। आप और जानने के लिए निम्न लेख भी देख सकते हैं –
