Sqoop साक्षात्कार प्रश्न और उत्तर का परिचय
तो आपको अंततः Sqoop में अपना सपनों का काम मिल गया है, लेकिन यह सोच रहा है कि Sqoop साक्षात्कार को कैसे क्रैक करना है और संभावित Sqoop साक्षात्कार प्रश्न क्या हो सकते हैं। प्रत्येक साक्षात्कार अलग होता है और नौकरी का दायरा भी अलग होता है। Sqoop साक्षात्कार प्रश्न ध्यान में रखते हुए हमने आपके साक्षात्कार में सफलता प्राप्त करने में आपकी सहायता के लिए सबसे आम Sqoop साक्षात्कार प्रश्न और उत्तर तैयार किए हैं।
साक्षात्कार में अक्सर पूछे जाने वाले कुछ सबसे महत्वपूर्ण Sqoop साक्षात्कार प्रश्न निम्नानुसार हैं:
1. परिभाषित करें और हम Sqoop का उपयोग क्यों करते हैं?
उत्तर:
Sqoop एक ओपन सोर्स डेटा ट्रांसफर टूल है, जिसे हडोप इको सिस्टम और रिलेशनल डाटाबेस सर्वर ( आरडीबीएमएस ) के बीच डेटा स्थानांतरित करने के लिए डिज़ाइन किया गया है । Sqoop, (जैसे कि ओरेकल, माई एसक्यूएल आदि के रूप में संबंधपरक डेटाबेस से डेटा आयात हडूप फाइल सिस्टम के लिए प्रयोग किया जाता है एचडीएफएस ), और भी हडूप फाइल सिस्टम से रिलेशनल डेटाबेस के लिए डेटा निर्यात एफओटीआर।
2. Sqoop में समर्थित रिलेशनल डेटाबेस और हडूप इको-सिस्टम स्रोतों का नाम है?
उत्तर:
Sqoop वर्तमान में रिलेशनशिप डेटाबेस के हिस्से के रूप में माई एसक्यूएल , पोस्टग्रे एसक्यूएल , ऑरेकल , एमएस एसक्यूएल, टेरडाटा और आईबीएम के नेटज़्ज़ा का समर्थन करता है।
वर्तमान में समर्थित हडूप पारिस्थितिकी प्रणाली गंतव्य सेवाओं एचडीएफसी, कर रहे हैं हाइव , एच बेस , एच सूची और अक्क्युमलो।
Sqoop माई एसक्यूएल का उपयोग डिफ़ॉल्ट डेटाबेस के रूप में करता है।
3. Sqoop कैसे काम करता है?
उत्तर:
डेटा स्थानांतरण करने के लिए, Sqoop निर्यात और आयात आदेशों का उपयोग करता है । नक्शा कम करने का कार्यक्रम एचडीएफएस को डेटासेट स्टोर करने के लिए आंतरिक रूप से Sqoop में उपयोग किया जाएगा। रिलेशनल डेटाबेस से डेटा पुनर्प्राप्त करने के लिए कमांड मानचित्र कार्यों से जुड़े होंगे; कार्य को कम करने से गंतव्यों में पुनर्प्राप्त डेटा को रखने की ज़िम्मेदारी ली जाएगी (एचडीएफएस / एचबीएएस / हाइव)
Sqoop कई डेटाबेस से कनेक्ट करने के लिए विभिन्न एपीआई कनेक्टर का भी उपयोग करता है। Sqoop विशिष्ट आवश्यकताओं को पूरा करने के लिए कस्टम कनेक्टर बनाने की क्षमता भी प्रदान करता है।
आइए आयात और निर्यात के लिए नीचे नमूना आदेश देखें
‘लॉग’ तालिका से डेटा आयात करने के लिए माई एसक्यूएल डेटाबेस से कनेक्ट करने के लिए कमांड
sqoop import -connect jdbc: mysql: // localhost / <databasename> -username <USER_NAME> -password <PASSWORD>
-table <tablename> -m 1 sqoop import -connect jdbc: mysql: // localhost / mytestdb -username root – पासवर्ड admin123 -table log -m 1
एचडीएफएस से रिलेशनल डाटाबेस में डेटा निर्यात करने के लिए कमांड
sqoop export -connect jdbc: mysql: // localhost / sqoop_export -table <table_name> export-dir / sqoop / emp_last / part-m-00000
-update -key id sqoop export -connect jdbc: mysql: // localhost / sqoop_export – तालिका log_table-export-dir / sqoop / data / foler1 / part-m-00000
4. डेटा आयात करते समय कौन सा फ़ाइल प्रारूप Sqoop समर्थन करता है?
उत्तर:
एसक्यूएल आयात डेटा आयात के लिए दो फ़ाइल स्वरूपों का उपयोग करता है। वे हैं: – सीमित परीक्षण फ़ाइल प्रारूप और अनुक्रम फ़ाइल प्रारूप।
सीमित टेक्स्ट फ़ाइल प्रारूप : सीमित टेक्स्ट प्रारूप आयात करने के लिए डिफ़ॉल्ट फ़ाइल प्रारूप है। हम अभी भी स्पष्ट रूप से -as- कपड़ा तर्क का उपयोग कर निर्दिष्ट कर सकते हैं। इसी प्रकार तर्क पारित करने से पंक्तियों और स्तंभों के बीच सीमित वर्ण निर्धारित किए जाएंगे।
अनुक्रम फ़ाइल प्रारूप : यह फ़ाइल प्रारूप हम कह सकते हैं कि यह एक बाइनरी फ़ाइल प्रारूप है। इस प्रकार के प्रारूप फ़ाइल रिकॉर्ड कस्टम रिकॉर्ड विशिष्ट डेटा प्रकारों में संग्रहीत किए जाते हैं जिन्हें जावा क्लासेस के रूप में उजागर किया जाता है ।
5. क्या हम वर्ग में कई मैपर नियंत्रित कर सकते हैं? यदि हाँ, कैसे?
उत्तर:
हां, हम Sqoop कमांड में पैरामीटर “-num-mappers” निर्दिष्ट करके Sqoopमें मैपर्स की संख्या को नियंत्रित कर सकते हैं । यह पैरामीटर नक्शा कार्यों की संख्या को नियंत्रित कर सकता है, जो कुछ भी नहीं है लेकिन समांतरता की डिग्री Sqoop द्वारा उपयोग की जाएगी। आवश्यकता के आधार पर संख्या तय की जाएगी।
सिंटेक्स: मैपर्स की संख्या को नियंत्रित करने के लिए इन झंडे का उपयोग करें: एम, -नम-मैपर
6. Sqoop, फ्लूम और डिस्टसीपी के बीच अंतर क्या हैं?
उत्तर:
डेटा को स्थानांतरित करने के लिए डिस्टकप और Sqoop दोनों का उपयोग किया जाता है। स्क्वाप एक से दूसरे हडूप क्लस्टर से डेटा के किसी भी प्रकार के स्थानांतरित करने के लिए प्रयोग किया जाता है क्लस्टर जबकि संबंधपरक डेटाबेस और हडूप के बीच Sqoop डेटा ट्रांसफर, पारिस्थितिकी तंत्र जैसे हाइव , एचडीएफएस , और एच बेस , आदि लेकिन दोनों तरीकों में एक ही दृष्टिकोण का उपयोग डेटा की प्रतिलिपि जो खींच / हस्तांतरण है।
फ्लैम ने हडोप पारिस्थितिक तंत्र में लॉग स्ट्रीम करने के लिए, एजेंट-आधारित आर्किटेक्चर का पालन किया है, एक उपकरण वितरित किया है। जबकि Sqoop एक कनेक्टर आधारित वास्तुकला है।
फ्लम एक बड़ी मात्रा में लॉग डेटा एकत्र करता है और एकत्र करता है। फ्लम विभिन्न प्रकार के संसाधनों से डेटा एकत्र कर सकता है; यह स्कीमा या संरचित / असंगठित डेटा पर विचार नहीं करता है । फ्लम किसी भी प्रकार का डेटा खींच सकता है। जबकि Sqoop केवल रिलेशनल डाटाबेस डेटा आयात कर सकता है, इसलिए स्क्वाइप प्रक्रिया के लिए स्कीमा अनिवार्य है। आम तौर पर, थोक वर्कलोड को स्थानांतरित करने के लिए, फ्लूम सबसे अच्छा विकल्प है।
7. Sqoop में सबसे अधिक उपयोग किए जाने वाले आदेश / फ़ंक्शन क्या हैं?
उत्तर:
Sqoop में उपयोग किए जाने वाले बुनियादी आदेशों की सूची
कोड जीन -कोड जीन डेटाबेस रिकॉर्ड के साथ संवाद करने के लिए कोड उत्पन्न करने के लिए प्रयोग किया जाता है।
एवल -Sqoop एवल डेटाबेस के विरुद्ध नमूना एसक्यूएल क्वेरी चलाने में मदद करता है और परिणाम कंसोल पर प्रदान करता है।
सहायता– उपलब्ध कमांड सूचीबद्ध करें
आयात– आयात हाडोप पारिस्थितिक तंत्र में तालिका आयात करेगा
निर्यात– निर्यात का उपयोग संबंधपरक डेटाबेस में एचडीएफएस डेटा निर्यात करने के लिए किया जाता है।
बनाएँ–हाइव– टेबल- यह आदेश हाइव में तालिका परिभाषा आयात करने के लिए उपयोगी है
आयात–ऑल–टेबल– आयात-ऑल-टेबल तालिकाओं को एचडीएफएस में रिलेशनल डेटाबेस फॉर्म आयात करेंगे।
सूची– डेटाबेस- यह सर्वर पर मौजूद सभी डेटाबेस सूचीबद्ध करेगा।
सूची–सारणी – यह डेटाबेस में मौजूद सभी तालिकाओं को सूचीबद्ध करेगा।
संस्करण -यह संस्करण जानकारी प्रदर्शित करेगा।
कार्य– पूर्णांतर आयात / निर्यात, पूर्ण भार, वृद्धिशील भार, पूर्ण भार, तुलना, आरडीबीएमएस डेटाबेस के लिए कनेक्टर , केर्बेरोज सुरक्षा एकीकरण , सीधे डेटा को एचडीएफएस (हाइव / एचबीएएस) में लोड करें
8. Sqoop का उपयोग कर माई एसक्यूएल या किसी अन्य डेटाबेस से तालिकाओं को आयात करते समय सर्वोत्तम प्रथाओं का पालन करें?
उत्तर:
माई एसक्यूएल से तालिकाओं को आयात करते समय, हमें लक्ष्य सर्वर और डेटाबेस को प्रमाणीकरण और प्रमाणीकरण जैसी कुछ चीज़ों के बारे में सुनिश्चित करना चाहिए। हमें यह सुनिश्चित करने की ज़रूरत है कि हमने डेटाबेस पर आवश्यक विशेषाधिकार दिए हैं, जिन्हें एक्सेस किया जाना है और जब हम स्रोत और गंतव्य होस्टनाम से कनेक्ट होते हैं तो होस्टनाम रिज़ॉल्यूशन के बारे में भी सुनिश्चित करें। अगर हमारे पास आवश्यक अनुमति नहीं है, तो डेटाबेस से कनेक्ट करते समय हमें कनेक्शन विफलता अपवाद मिलेगा।
9. आप पहले से निर्यात किए गए डेटा या पंक्तियों को कैसे अपडेट करते हैं?
उत्तर:
पंक्तियों को अद्यतन करने के लिए, जो पहले से ही गंतव्य निर्यात कर चुके हैं हम पैरामीटर “-अपडेट-कुंजी” का उपयोग कर सकते हैं। इसमें, अल्पविराम से अलग कॉलम सूची का उपयोग किया जाता है जो विशिष्ट रूप से एक पंक्ति की पहचान करता है और इन सभी कॉलम का उपयोग जेनरेट किए गए अद्यतन क्वेरी के व्हेर्व खंड में किया जाता है। क्वेरी का एसईटी हिस्सा अन्य सभी टेबल कॉलम का ख्याल रखेगा।
10. खंड द्वारा विभाजित क्या है और हम इसका उपयोग कब करते हैं?
उत्तर:
एकाधिक विभागीय कार्यों में डेटा को आयात करने के लिए एक स्प्लिट-बाय पैरामीटर है। इस पैरामीटर का उपयोग करके, हम कॉलम नाम निर्दिष्ट कर सकते हैं, ये कॉलम नाम हैं, जिसके आधार पर डेटा को कई हिस्सों में आयात करने के लिए डेटा विभाजित किया जाएगा और वे समानांतर फैशन में चलेंगे। यह Sqoop में प्रदर्शन को ट्यून करने की तकनीक है।
अनुशंसित लेख
यह Sqoop साक्षात्कार प्रश्न और उत्तर की सूची के लिए एक गाइड रहा है ताकि उम्मीदवार इन Sqoop साक्षात्कार प्रश्न को आसानी से क्रैकडाउन कर सके। अधिक जानने के लिए आप निम्नलिखित लेख भी देख सकते हैं –
