MSCK REPAIR TABLE पर्दे के पीछे क्या करता है और यह इतना धीमा क्यों है?

आप इस अर्थ में सही हैं कि यह निर्देशिका संरचना को पढ़ता है, इसमें से विभाजन बनाता है और फिर हाइव मेटास्टोर को अपडेट करता है। वास्तव में हाल ही में, मेटास्टोर से गैर-मौजूदा विभाजन को भी हटाने के लिए कमांड में सुधार किया गया था। आप जो उदाहरण दे रहे हैं वह बहुत सरल है क्योंकि इसमें विभाजन कुंजियों का केवल एक स्तर है। एकाधिक विभाजन कुंजियों वाली तालिका पर विचार करें (2-3 विभाजन कुंजियाँ व्यवहार में सामान्य हैं)। msck repair को तालिका निर्देशिका के अंतर्गत सभी उप-निर्देशिकाओं का पूर्ण-वृक्ष ट्रैवर्सल करना होगा, फ़ाइल नामों को पार्स करना होगा, सुनिश्चित करें कि फ़ाइल नाम मान्य हैं, जांचें कि विभाजन मेटास्टोर में पहले से मौजूद है या नहीं और फिर केवल वही विभाजन जोड़ें जो मेटास्टोर में मौजूद नहीं हैं। ध्यान दें कि फाइल सिस्टम पर प्रत्येक लिस्टिंग नामेनोड (एचडीएफएस के मामले में) के लिए एक आरपीसी है या एस 3 या एडीएलएस के मामले में एक वेब-सेवा कॉल है जो महत्वपूर्ण मात्रा में जोड़ सकती है। इसके अतिरिक्त, यह पता लगाने के लिए कि विभाजन पहले से ही मेटास्टोर में मौजूद है या नहीं, इसे उन सभी विभाजनों की पूरी सूची बनाने की आवश्यकता है जो मेटास्टोर तालिका के लिए जानता है। ये दोनों कदम संभावित रूप से बड़े टेबल पर कमांड के लिए लगने वाले समय को बढ़ा सकते हैं। एमएसके मरम्मत तालिका के प्रदर्शन में हाल ही में हाइव 2.3.0 में काफी सुधार हुआ था (अधिक विवरण के लिए एचआईवीई -15879 देखें)। आप कमांड के प्रदर्शन को बेहतर बनाने के लिए hive.metastore.fshandler.threads और hive.metastore.batch.retrieve.max को ट्यून करना चाह सकते हैं।