`
हडूप और हाइव के बीच अंतर
हडूप:
हडूप एक फ्रेमवर्क या सॉफ्टवेयर है जिसका आविष्कार विशाल डेटा या बिग डेटा का प्रबंधन करने के लिए किया गया था । हडूप का उपयोग कमोडिटी सर्वर के समूह में वितरित बिग डेटा को संग्रहीत करने और प्रसंस्करण के लिए किया जाता है।
हडूप हडूप वितरित फ़ाइल सिस्टम का उपयोग करके डेटा संग्रहीत करता है और प्रोग्रामिंग मॉडल को कम करने के तरीके से प्रक्रिया / क्वेरी करता है ।
चित्रा 1, एक हडूप घटक का मूल वास्तुकला।
हडूप के प्रमुख घटक:
हडूप बेस / कॉमन: हडूप आम आपको अपने सभी घटकों को स्थापित करने के लिए एक मंच प्रदान करेगा।
एचडीएफएस (हडूप वितरित फाइल सिस्टम): एचडीएफएस हडूप ढांचे का एक बड़ा हिस्सा है, यह हडूप क्लस्टर में सभी डेटा का ख्याल रखता है। यह मास्टर / स्लेव आर्किटेक्चर पर काम करता है और प्रतिकृति का उपयोग कर डेटा स्टोर करता है।
मास्टर / गुलाम वास्तुकला और प्रतिकृति:
- मास्टर नोड / नाम नोड: एचडीएफएस में संग्रहीत प्रत्येक ब्लॉक / फ़ाइल के मेटाडेटा को नाम नोड स्टोर करता है , एचडीएफएस में केवल एक मास्टर नोड हो सकता है (एचए के मामले में कोई अन्य मास्टर नोड माध्यमिक मास्टर नोड के रूप में काम करेगा)।
- स्लेव नोड / डेटा नोड:डेटा नोड्स में ब्लॉक में वास्तविक डेटा फ़ाइलें होती हैं। एचडीएफएस में कई डेटा नोड्स हो सकते हैं।
- प्रतिकृति:एचडीएफएस अपने डेटा को ब्लॉक में विभाजित करके स्टोर करता है। डिफ़ॉल्ट ब्लॉक आकार 64 एमबी है। प्रतिकृति डेटा के कारण 3 (डिफ़ॉल्ट प्रतिकृति कारक, आवश्यकता के अनुसार बढ़ाया जा सकता है) अलग-अलग डेटा नोड्स इसलिए किसी भी नोड विफलता के मामले में डेटा खोने की कम संभावना है।
यार्न (फिर भी एक अन्य संसाधन वार्ताकार): इसका मूल रूप से हडूप संसाधनों के प्रबंधन के लिए उपयोग किया जाता है, यह उपयोगकर्ताओं के आवेदन की समय-सारणी में महत्वपूर्ण भूमिका निभाता है।
एमआर (मानचित्र कम करें): यह हडूप का मूल प्रोग्रामिंग मॉडल है। इसका उपयोग हडूप ढांचे के भीतर डेटा को संसाधित / क्वेरी करने के लिए किया जाता है।
हाइव:
हाइव एक ऐसा एप्लिकेशन है जो हडूप ढांचे पर चलता है और डेटा को संसाधित / क्वेरी करने के लिए इंटरफ़ेस की तरह एसक्यूएल प्रदान करता है । अपाचे-हडूप प्रोजेक्ट का हिस्सा बनने से पहले हाइव फेसबुक द्वारा डिज़ाइन और विकसित किया गया है ।
हाइव एचक्यूएल (हाइव क्वेरी भाषा) का उपयोग करके अपनी क्वेरी चलाता है। हाइव में आरडीबीएमएस के समान संरचना है और लगभग उसी आदेश का उपयोग हाइव में किया जा सकता है।
हाइव डेटा को बाहरी तालिकाओं में संग्रहीत कर सकता है, इसलिए एचडीएफएस का उपयोग करना अनिवार्य नहीं है, यह ओआरसी, एवरो फाइल, अनुक्रम फ़ाइल और टेक्स्ट फाइल आदि जैसे फ़ाइल
चित्रा 2, हाइव वास्तु-कला और यह प्रमुख घटक हैं।
हाइव का प्रमुख घटक:
हाइव ग्राहक: न केवल एसक्यूएल, हाइव ओडीबीसी, जेडीबीसी, और थ्रिफ्ट जैसे विभिन्न ड्राइवरों का उपयोग करके जावा , सी, पायथन जैसे प्रोग्रामिंग भाषाओं का भी समर्थन करता है । कोई अन्य भाषाओं में किसी भी हाइव ग्राहक एप्लिकेशन को लिख सकता है और इन ग्राहक का उपयोग करके हाइव में चला सकता है।
हाइव सेवाएं: हाइव सेवाओं के तहत, आदेशों और प्रश्नों का निष्पादन होता है। हाइव वेब इंटरफेस में पांच उप-घटक हैं।
- सीएलआई:हाइव क्वेरी / कमांड के निष्पादन के लिए हाइव द्वारा प्रदान किया गया डिफ़ॉल्ट कमांड लाइन इंटरफ़ेस।
- हाइव वेब इंटरफेस:यह एक साधारण ग्राफिकल यूजर इंटरफेस है। यह हाइव कमांड लाइन का एक विकल्प है और हाइव एप्लिकेशन में क्वेरी और कमांड चलाने के लिए उपयोग किया जाता है।
- हाइव सर्वर:इसे अपाचे थ्रिफ्ट भी कहा जाता है। अलग-अलग कमांड लाइन इंटरफेस से कमांड लेना ज़िम्मेदार है और सभी आदेश / प्रश्नों को हाइव में सबमिट करने के लिए भी अंतिम परिणाम प्राप्त होता है।
- अपाचे हाइव चालक:यह ग्राहक द्वारा सीएलआई, वेब यूआई, ओडीबीसी, जेडीबीसी या थ्रिफ्ट इंटरफेस से इनपुट लेने के लिए ज़िम्मेदार है और सूचना को मेटास्टोर में पास करता है जहां सभी फाइल जानकारी संग्रहीत होती है।
- मेटास्टोर:मेटास्टोर सभी हाइव मेटाडेटा जानकारी स्टोर करने के लिए एक भंडार है। हाइव का मेटाडेटा टेबल, विभाजन और कॉलम प्रकार आदि की संरचना जैसे सूचनाओं को संग्रहीत करता है …
हाइव स्टोरेज: यह वह जगह है जहां वास्तविक कार्य किया जाता है, हाइव से चलने वाले सभी प्रश्नों ने हाइव स्टोरेज के अंदर कार्रवाई की।
हडूप बनाम हाइव (इन्फोग्राफिक्स) के बीच हेड तुलना के प्रमुख
हडूप बनाम हाइव के बीच शीर्ष 8 अंतर नीचे है
हडूप बनाम हाइव के बीच महत्वपूर्ण अंतर:
नीचे अंक की सूचियां हैं, हडूप और हाइव के बीच महत्वपूर्ण अंतरों के बारे में बताएं:
1) हडूप बिग डेटा को संसाधित / क्वेरी करने के लिए एक ढांचा है जबकि हाइव एक एसक्यूएल आधारित उपकरण है जो डेटा को संसाधित करने के लिए हडूप पर बनाता है।
2) एचक्यूएल (हाइव क्वेरी भाषा) का उपयोग करके सभी डेटा हाइव प्रक्रिया / क्वेरी करें, यह एसक्यूएल-लाइक भाषा है जबकि हडूप केवल मानचित्र को कम कर सकता है।
3) नक्शा कम करना हडूप का एक अभिन्न अंग है, हाइव की क्वेरी डेटा को क्वेरी करने के लिए पहले हडूप द्वारा संसाधित की तुलना में मानचित्र में कम हो जाती है।
4) एचआईवी एसक्यूएल पर क्वेरी की तरह काम करता है जबकि हडूप जावा-आधारित मानचित्र को कम करने के द्वारा इसे समझता है।
5) हाइव में, पहले इस्तेमाल किए जाने वाले पारंपरिक “रिलेशनल डाटाबेस” कमांड का इस्तेमाल हडूप में होने वाले बिग डेटा से पूछताछ के लिए भी किया जा सकता है, जावा का उपयोग कर जटिल नक्शा कम करने के कार्यक्रमों को लिखना है जो परंपरा जावा के समान नहीं है।
6) हाइव केवल संरचित डेटा को संसाधित / क्वेरी कर सकता है, जबकि हडूप सभी प्रकार के डेटा के लिए है चाहे वह संरचित, संरचित या अर्ध-संरचित है।
7) हाइव का उपयोग करके, सरल हडूप पारिस्थितिक तंत्र में जटिल प्रोग्रामिंग के बिना डेटा को संसाधित / क्वेरी कर सकते हैं,उसी डेटा के लिए जटिल जावा प्रोग्राम लिखने की आवश्यकता है ।
8) एक तरफ हडूप ढांचे को जावा-आधारित एमआर प्रोग्राम तैयार करने के लिए 100 की लाइन की आवश्यकता होती है, दूसरी तरफ हडूप हैव के साथ एचक्यूएल की 8 से 10 लाइनों का उपयोग करके उसी डेटा से पूछताछ कर सकते हैं।
9) हाइव में, एक प्रश्न के आउटपुट को एक दूसरे के इनपुट के रूप में डालना बहुत मुश्किल है, जबकि एमआर के साथ हडूप का उपयोग करके एक ही क्वेरी आसानी से की जा सकती है।
10) हडूप क्लस्टर के भीतर मेटास्टोर होना अनिवार्य नहीं है, जबकि हडूप एचडीएफएस (हडूप वितरित फाइल सिस्टम) के अंदर अपने सभी मेटाडेटा स्टोर करता है।
हडूप बनाम हाइव तुलना तालिका
| तुलना अंक | हाइव | हडूप |
|
आकार और विकास
|
फेसबुक | गूगल |
| डेटा संग्रहण स्थान |
डेटा बाहरी में संग्रहीत किया जा सकता है टेबल, एचबीएएस या एचडीएफएस में।
|
केवल कड़ाई से एचडीएफएस। |
| भाषा समर्थन | एचक्यूएल (हाइव क्वेरी भाषा) |
यह जावा, पायथन, स्कैला और कई अन्य प्रोग्रामिंग भाषाओं का उपयोग कर सकता है।
|
| जानकारी का प्रकार | यह केवल संरचित डेटा पर ही काम कर सकता है। |
यह संरचित, गैर-संरचित और अर्ध-संरचना डेटा को संसाधित कर सकता है।
|
| डेटा प्रोसेसिंग फ्रेमवर्क |
एचक्यूएल (हाइव क्वेरी भाषा)
|
जावा लिखित मानचित्र का उपयोग केवल प्रोग्राम को कम करें। |
|
कम्प्यूटेशनल फ्रेमवर्क
|
एसक्यूएल-जैसी भाषा। | एसक्यूएल और नो-एसक्यूएल। |
| डेटाबेस |
डर्बी (डिफ़ॉल्ट) मायएसक्यूएल, ओरेकल का भी समर्थन करता है …
|
एचबीएस, कैसंद्रा इत्यादि …। |
| प्रोग्रामिंग फ्रेमवर्क |
एसक्यूएल आधारित प्रोग्रामिंग ढांचे।
|
जावा-आधारित प्रोग्रामिंग ढांचा। |
निष्कर्ष – हडूप बनाम हाइव
हडूप और हाइव दोनों का उपयोग बिग डेटा को संसाधित करने के लिए किया जाता है। हडूप एक ढांचा है जो बिग डेटा को क्वेरी / संसाधित करने के लिए अन्य अनुप्रयोगों के लिए मंच प्रदान करता है जबकि हाइव सिर्फ एक एसक्यूएल आधारित अनुप्रयोग है जो एचक्यूएल (हाइव क्वेरी भाषा) का उपयोग कर डेटा को संसाधित करता है।
हडूप का उपयोग बिग डेटा को संसाधित करने के लिए हाइव के बिना किया जा सकता है, जबकि हडूप के बिना हाइव का उपयोग करना आसान नहीं है।
एक निष्कर्ष के रूप में, हम किसी भी तरह और किसी भी पहलू में हडूप और हाइव की तुलना नहीं कर सकते। हडूप और हाइव दोनों पूरी तरह अलग हैं। दोनों तकनीक को एक साथ चलाना बिग डेटा क्वेरी प्रक्रिया को बिग डेटा उपयोगकर्ताओं के लिए बहुत आसान और आरामदायक बना सकता है।
अनुशंसित लेख:
यह हडूप बनाम हाइव, उनके अर्थ, हेड टू हेड तुलना, मुख्य मतभेद, तुलना तालिका, और निष्कर्ष के लिए एक मार्गदर्शक रहा है। आप और जानने के लिए निम्नलिखित लेख भी देख सकते हैं –
