प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

छत्ता किम् ?

• एकः Hadoop-आधारितः आँकडा-गोदामः, यः केषाञ्चन उच्च-विलम्बता-अनुप्रयोगानाम् (अफलाइन-विकासः) कृते उपयुक्तः, Hadoop-सञ्चिकासु संगृहीतानाम् संरचितानाम् अर्ध-संरचितानाम् आँकडा-सञ्चिकानां नक्शाङ्कनं कर्तुं शक्नोति, तथा च सारणीयाः आधारेण SQL-सदृशं आँकडान् प्रदातुं शक्नोति मॉडल्, यस्य नाम Hive Query Language (HQL) इति, Hadoop सञ्चिकासु संगृहीतानाम् बृहत्-दत्तांशसमूहानां अभिगमनाय विश्लेषणाय च;
• Hive इत्यस्य मूलं HQL इत्येतत् MapReduce प्रोग्रामे परिवर्तयितुं, ततः प्रोग्रामं निष्पादनार्थं Hadoop क्लस्टरं प्रति प्रस्तूय;
• Hive स्वयं आँकडानां संग्रहणं वा गणना वा न करोति ।

दत्तांशगोदाम इति किम् ?

• दत्तांशगोदामः एव किमपि दत्तांशं "उत्पादयति" न, तस्य दत्तांशः च भिन्न-भिन्न-बाह्य-प्रणालीभ्यः आगच्छति;
• तत्सह, दत्तांशगोदामस्य एव कस्यापि दत्तांशस्य "उपभोगस्य" आवश्यकता नास्ति, परिणामाः च विविधबाह्यप्रयोगानाम् कृते उद्घाटिताः सन्ति;
• अत एव "गोदाम" इति उच्यते न तु "कारखानम्";

छत्र वास्तुकला तथा घटक

• मेटा भण्डार: सामान्यतया Mysql/derby इत्यादिषु सम्बन्धात्मकदत्तांशकोषेषु संगृहीतः, Hive इत्यस्मिन् मेटाडाटायां सारणीयाः नाम, सारणीयाः स्तम्भाः विभाजनं च तेषां विशेषताः च, सारणीयाः विशेषताः (बाह्यसारणी वा इत्यादयः) समाविष्टाः सन्ति, यत्र सारणीयाः दत्तांशः अस्ति तत्र निर्देशिका इत्यादि;
• चालकः : चालकः, यत्र वाक्यविन्यासपार्सरः, योजनासंकलकः, अनुकूलकः, निष्पादकः च सन्ति । शाब्दिकविश्लेषणात्, वाक्यविन्यासविश्लेषणात्, संकलनात्, अनुकूलनात्, प्रश्नयोजनाजननात् च सम्पूर्णानि HQL प्रश्नकथनानि। उत्पन्नं प्रश्नयोजना HDFS मध्ये संगृह्यते तदनन्तरं निष्पादनइञ्जिन-आह्वानेन निष्पादितं भवति;
  • पार्सरः (SQL पार्सरः) २.: SQL स्ट्रिंग् अमूर्तवाक्यविन्यासवृक्षे AST मध्ये परिवर्तयन्तु, तथा च AST इत्यत्र वाक्यविन्यासविश्लेषणं कुर्वन्तु, यथा SQL शब्दार्थाः सम्यक् सन्ति वा, सारणी अस्ति वा, क्षेत्राणि विद्यन्ते वा वा
  • संकलक (भौतिक योजना) ९.: तार्किकनिष्पादनयोजनां (DAG) जनयितुं AST संकलितं कुर्वन्तु;
  • अनुकूलकः (Query Optimizer) २.: तार्किकनिष्पादनयोजनां अनुकूलितं कुर्वन्तु;
  • क्रियान्वयन: तार्किकनिष्पादनयोजनां निष्पादनीयभौतिकयोजनायां परिवर्तयन्तु, यत् MapReduce/Spark कार्यक्रमः अस्ति;

HQL निष्पादन प्रक्रिया

1. अनुरोधं कुर्वन्तु : १. UI तः चालकं प्रति निष्पादन-अनुरोधं आरभत;
2. निष्पादनयोजनां प्राप्नुवन्तु : १. चालकः निष्पादनयोजनां प्राप्तुं संकलकं प्रति उपयोक्तृनिवेदनं प्रेषयति;
3. मेटाडाटा प्राप्नुवन्तु : १. संकलकः SQL कथने प्रासंगिकसारणीयाः विभाजनसूचनायाश्च आधारेण Meta भण्डारतः प्रासंगिकं मेटाडाटां प्राप्नोति;
4. मेटाडाटा प्रत्यागच्छतु : १. मेटा भण्डारः संकलकं प्रति तत्सम्बद्धं मेटाडाटा प्रत्यागच्छति;
5. रिटर्न निष्पादन योजना : १. तार्किकनिष्पादनयोजनानि जनयितुं सारणी तथा विभाजनमेटाडाटा इत्यस्य आधारेण SQL इत्यस्य विश्लेषणं अनुकूलनं च कुर्वन्तु । योजना DAG आलेखः अस्ति, तथा च प्रत्येकं चरणं MapReduce मानचित्रेण अथवा reduce operation इत्यनेन सह सङ्गच्छते;
6. निष्पादनयोजनां चालयन्तु : १. निष्पादनयोजनां Execution Engine प्रति प्रेषयन्तु, यत् MapReduce इत्यस्य रूपेण निष्पादनार्थं Hadoop इत्यस्मै तार्किकनिष्पादनयोजनां प्रस्तौति;
7. धावनफलं प्राप्यते- १. चालकः चालितपरिणामान् सङ्गृह्य UI प्रति प्रेषयति;