प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

स्पार्क एसक्यूएल

1. स्पार्क SQL आर्किटेक्चर

• विद्यमानं Hive दत्तांशं प्रत्यक्षतया प्राप्तुं क्षमता

• आँकडासंसाधनार्थं Spark इत्यस्य उपयोगाय तृतीयपक्षीयसाधनानाम् कृते JDBC/ODBC अन्तरफलकं प्रदाति

• दत्तांशसंसाधनस्य सुविधायै उच्चस्तरीयं अन्तरफलकं प्रदातव्यम्

• बहुविधसञ्चालनविधिना समर्थनं करोति: SQL, API प्रोग्रामिंग्

  • एपिआइ प्रोग्रामिंग् : Spark SQL इत्यनेन SQL इत्यस्य आधारेण SQL स्टेट्मेण्ट् इत्यस्य कृते ऑपरेटर् इत्यस्य समुच्चयः विकसितः अस्ति ।

• Parquet, CSV, JSON, RDBMS, Hive, HBase इत्यादीनां बहुविधबाह्यदत्तांशस्रोतानां समर्थनं करोति । (विविधदत्तांशपठनविधिषु निपुणतां कुर्वन्तु)
  

• स्पार्क SQL कोर: हाँआरडीडी योजना(operator table structure), अस्माकं संचालनस्य सुविधायै वयं करिष्यामःआरडीडी योजनाजारीकृतम्DataFrame इति

• Data backfeed: तदनन्तरं विश्लेषणार्थं उपयोगाय च Hive इत्यत्र संसाधितं स्वच्छं च आँकडानां लेखनार्थं उपयुज्यते ।

• BI Tools: मुख्यतया आँकडाप्रस्तुतये उपयुज्यते।

• स्पार्क एप्लिकेशन : विकासकाः स्पार्क एप्लिकेशनस्य उपयोगं कुर्वन्ति यत् ते आँकडासंसाधनं विश्लेषणं च तर्कं लिखितुं शक्नुवन्ति।

2. स्पार्क SQL संचालन सिद्धान्त

• उत्प्रेरक अनुकूलक चालन प्रक्रिया : १.

1. अग्रभागः
   • प्रवेश: उपयोक्तारः SQL प्रश्नानां अथवा DataFrame API इत्यस्य माध्यमेन आँकडासंसाधनतर्कं प्रविष्टुं शक्नुवन्ति ।
   • अनसमाधान तार्किक योजना (अनसमाधान तार्किक योजना) २.: इनपुट् SQL क्वेरी अथवा DataFrame रूपान्तरणसञ्चालनं प्रथमं अविश्लेषिततार्किकयोजनायां परिवर्तितं भविष्यति अस्मिन् योजनायां उपयोक्त्रा अनुरोधितानि सर्वाणि कार्याणि सन्ति, परन्तु तस्मिन् सारणीनामानि स्तम्भनामानि च अद्यापि विश्लेषणं न कृतानि भवेयुः ।
2. उत्प्रेरक अनुकूलक (Catalyst Optimizer) २. Catalyst optimizer Spark SQL इत्यस्य मूलघटकः अस्ति । Catalyst optimizer इत्यस्य निम्नलिखितपदार्थाः सन्ति ।
   • आँकलन : अनसुलझे तार्किकयोजनायां सारणीनामानि स्तम्भनामानि च विशिष्टमेटाडाटामध्ये विश्लेषणं कुर्वन्तु एतत् चरणं Catalog (metadata storage) इत्यस्य उपरि निर्भरं भवति । आउटपुट् एकः पार्स्ड् लॉजिकल प्लान् अस्ति ।
   • तार्किक अनुकूलन : विश्लेषिततार्किकयोजनायां विविधानि अनुकूलनानि कुर्वन्तु, यथा प्रक्षेपणकतरनी, फ़िल्टरपुशडाउन इत्यादयः । अनुकूलित तार्किकयोजना अधिका कार्यक्षमा भवति।
   • भौतिक योजना : अनुकूलितं तार्किकयोजनां एकस्मिन् वा अधिकेषु भौतिकनिष्पादनयोजनासु परिवर्तयन्तु। प्रत्येकं भौतिकयोजना निष्पादनस्य सम्भाव्यमार्गं प्रतिनिधियति ।
   • व्ययप्रतिरूपम्: विभिन्नभौतिकयोजनानां निष्पादनव्ययस्य मूल्याङ्कनं कुर्वन्तु तथा च अन्तिमभौतिकयोजनायाः रूपेण न्यूनतमलाभस्य भौतिकयोजनां चयनं कुर्वन्तु।
3. पृष्ठभाग
   • कोड जनरेशन : चयनितां भौतिकयोजनां RDD-सञ्चालनेषु परिवर्तयति यत् Spark इत्यत्र निष्पादयितुं शक्यते । एतत् पदं वास्तविकं निष्पादनसङ्केतं जनयति ।
   • आरडीडी: उपयोक्त्रा अनुरोधितं दत्तांशसंसाधनकार्यं पूर्णं कर्तुं अन्तिमजनितं RDD-सञ्चालनं निष्पादितं भवति ।

• Spark SQL इत्यस्मिन् SQL क्वेरी इत्यस्य अनुकूलनप्रक्रिया

SELECT name FROM(
  SELECT id, name FROM people
) p
WHERE p.id = 1

                    上一篇
                    下一篇