प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

ELK अनुकूलनं निम्नलिखितपक्षेभ्यः कर्तुं शक्यते ।

• linux कर्नेल अनुकूलनम्
• JVM अनुकूलन
• ईएस विन्यास अनुकूलनम्
• वास्तुकला अनुकूलनम् (filebeat/fluentd logstash इत्यस्य स्थाने, kafka इत्यस्य सन्देशपङ्क्तिरूपेण सम्मिलितं भवति)

लॉग् भण्डारणरूपेण ईएस इत्यस्य विशेषताः : १.

• उच्च समवर्ती लेखन
• न्यूनं पठन्तु
• ३० सेकेण्ड् मध्ये विलम्बं स्वीकुरुत
• आंशिकलॉगदत्तांशहानिः सहितुं शक्नोति

Logstash अनुकूलन

1 सर्वर स्मृतिः JVM ढेरस्मृतिः च वर्धयन्तु

2 भारसंतुलनार्थं बहुविधं उदाहरणं उपयुज्यताम्

3log data संग्रहणार्थं logstash इत्यस्य स्थाने filebeat इत्यस्य उपयोगं कुर्वन्तु

Elasticsearch अनुकूलन

(1) ElasticSearch इत्यस्य अनुक्रमणिकां अनुकूलितं कुर्वन्तु

1fsync अनुकूलनं कुर्वन्तु

为了保证不丢失数据，就要保护 translog 文件的安全:
Elasticsearch 2.0 之后，每次写请求(如 index 、delete、update、bulk 等)完成时，都会触发fsync将 translog 中的 segment 刷到磁盘，然后才会返回 200 OK 的响应；或者: 默认每隔5s就将 translog 中的数据通过fsync强制刷新到磁盘。
该方式提高数据安全性的同时，降低了一点性能。
==> 频繁地执行 fsync 操作，可能会产生阻塞导致部分操作耗时较久。 如果允许部分数据丢失，可设置异步刷新 translog 来提高效率，还有降低 flush 的阀值， 优化如下：
"index.translog.durability": "async",
"index.translog.flush_threshold_size":"1024mb",
"index.translog.sync_interval": "120s"

२ ताजगीं अनुकूलितं कुर्वन्तु

写入 Lucene 的数据，并不是实时可搜索的，ES 必须通过 refresh 的过程把内存中的数据转换成 Lucene 的完整 segment 后，才可以被搜索。
默认 1 秒后，写入的数据可以很快被查询到，但势必会产生大量的 segment，检索性能会受到影响。所以，加大时长可以降低系统开销。 对于日志搜索来说，实时性要求不是那么高，设置为 5 秒或者 10s；对于 SkyWalking，实时性要求更低一些，我们可以设置为 30s。
设置如下：
"index.refresh_interval":"5s"

3विलयनं अनुकूलितं कुर्वन्तु

index.merge.scheduler.max_thread_count 控制并发的 merge 线程数，如果存储是并发性能较好的 SSD，可以用系统默认的 max(1, min(4, availableProcessors / 2))，当节点配置的 cpu 核数较高时，merge 占用的资源可能会偏高，影响集群的性能，普通磁盘的话设为1，发生磁盘 IO 堵塞。设置 max_thread_count 后，会有 max_thread_count + 2 个线程同时进行磁盘操作，也就是设置为 1 允许 3 个线程。
设置如下：
"index.merge.scheduler.max_thread_count":"1"

4सेटिंग्स् अनुकूलितं कुर्वन्तु

भवद्भिः प्रथमं अनुक्रमणिकां पिधाय, ततः तत् निष्पादयितुं, अन्ते सफलतायाः अनन्तरं उद्घाटयितुं च आवश्यकम् ।

• अनुक्रमणिका बन्दं कुर्वन्तु

curl -XPOST 'http://localhost:9200/_all/_close'

• अनुक्रमणिकासेटिंग्स् परिवर्तयन्तु

curl -XPUT -H "Content-Type:application/json" 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{"index.merge.scheduler.max_thread_count" : "1","index.refresh_interval" : "10s","index.translog.durability" : "async","index.translog.flush_threshold_size":"1024mb","index.translog.sync_interval" : "120s"}'

• open index इति

curl -XPOST 'http://localhost:9200/_all/_open'

(2) थ्रेड् पूल विन्यासस्य अनुकूलनं कुर्वन्तु

लेखनसूत्रपूलः पूर्णः अस्ति, येन कार्याणि अङ्गीकृतानि भवन्ति, केचन दत्तांशाः च लिखितुं न शक्यन्ते । उपर्युक्त अनुकूलनस्य अनन्तरं प्रत्याख्यानानां संख्या बहु न्यूनीभूता, परन्तु अद्यापि कार्याणि अङ्गीकृतानि भवन्ति इति प्रकरणाः सन्ति । अतः अस्माभिः write thread pool इत्यस्य अनुकूलनं अपि करणीयम् ।

write thread pool इत्यत्र thread pool इत्यस्य नियतप्रकारस्य उपयोगः भवति, अर्थात् कोर threads इत्यस्य संख्या अधिकतम thread value इत्यस्य समाना भवति । थ्रेड्-सङ्ख्या पूर्वनिर्धारितरूपेण CPU-कोर-सङ्ख्यायाः बराबरं भवति यत् अधिकतमं मूल्यं केवलं CPU-कोर-सङ्ख्या प्लस् 1 सेट् भवति इति १७ ।

अनुकूलन

• थ्रेड्-सङ्ख्या १७ इति परिवर्तिता भवति, यत् CPU-कोर-सङ्ख्या प्लस् १ इति कुलम्
• कतारक्षमता वर्धते। अस्मिन् समये पङ्क्तिस्य भूमिका शिखरानाम् उन्मूलनं भवति । परन्तु पङ्क्तिक्षमतां वर्धयित्वा एव प्रक्रियावेगः न वर्धते, अपितु केवलं बफररूपेण कार्यं करोति । तदतिरिक्तं पङ्क्तिक्षमता अतीव विशाला न भवितुम् अर्हति, अन्यथा यदा बहवः कार्याणि पश्चात्तापं भवन्ति तदा अत्यधिकं राशस्मृतिः आक्रान्तः भविष्यति ।

विन्यासं योजयितुं elasticsearch.yml सञ्चिकां परिवर्तयन्तु

# 线程数设置
thread_pool:
  write:
    # 线程数默认等于cpu核数，即16  
    size: 17
    # 因为任务多时存在任务拒绝的情况，所以加大队列大小，可以在间歇性任务量陡增的情况下，缓存任务在队列，等高峰过去逐步消费完。
    queue_size: 10000

(3) मेमोरी लॉक् कृत्वा JVM इत्यस्य Swap इत्यस्य उपयोगं निवारयन्तु

Swap swap partition: यदा प्रणाल्याः भौतिकस्मृतिः पर्याप्तं नास्ति तदा भौतिकस्मृतौ स्थानस्य भागं वर्तमानकाले प्रचलितेन कार्यक्रमेन उपयोगाय मुक्तं कर्तव्यम् मुक्तं स्थानं केभ्यः कार्यक्रमेभ्यः आगन्तुं शक्नोति ये दीर्घकालं यावत् न कार्यं कुर्वन्ति मुक्तं स्थानं अस्थायीरूपेण Swap इत्यत्र रक्षितं भवति यदा ते कार्यक्रमाः चालयितुं प्रवृत्ताः भवन्ति तदा रक्षितदत्तांशः Swap तः स्मृतौ पुनः स्थापितः भवति । एवं प्रकारेण भौतिकस्मृतिः अपर्याप्तः भवति चेत् प्रणाली सर्वदा Swap करोति ।

स्वैप स्वैप विभाजनं कार्यक्षमतायाः नोड् स्थिरतायाः च कृते अतीव हानिकारकं भवति अतः अक्षमीकरणं करणीयम् । एतेन कचरासङ्ग्रहः मिलीसेकेण्ड् इत्यस्य स्थाने निमेषपर्यन्तं भवति, तथा च नोड्स् मन्दं प्रतिक्रियां दातुं वा समूहात् विच्छिन्नं अपि भवितुम् अर्हति

ES कार्यान्वयनार्थं स्वैप विभाजनविधिः उपयोक्तुं न शक्यते

१) Linux प्रणाल्यां Swap अवरम् (अस्थायीरूपेण प्रभावी)

执行命令 sudo swapoff -a
可以临时禁用 Swap 内存，但是操作系统重启后失效

२) Linux systems इत्यत्र Swap इत्यस्य उपयोगं यथासम्भवं न्यूनीकरोतु (स्थायिरूपेण प्रभावी)

执行下列命令
echo "vm.swappiness = 1" >> /etc/sysctl.conf
正常情况下不会使用 Swap，除非紧急情况下才会 Swap。

3) bootstrap.memory_lock सक्षमं कुर्वन्तु

config/elasticsearch.yml 文件增加配置
#锁定内存，不让 JVM 写入 Swap，避免降低 ES 的性能
bootstrap.memory_lock: true

(4) खण्डानां प्रतिलिपानां च संख्यां न्यूनीकरोतु

१) शार्डिंग्

सूचकाङ्कस्य आकारः खण्डानां खण्डानां च आकारेण निर्भरं भवति यदि खण्डाः अतिलघुः भवन्ति, येन खण्डाः अतिबृहत् भवन्ति तर्हि खण्डाः बहुधा विलीनाः भवितुम् अर्हन्ति यस्य परिणामेण IO-सञ्चालनानां बहूनां संख्या भवति, येन लेखन-प्रदर्शनं प्रभावितं भवति ।
यतः अस्माकं प्रत्येकस्य अनुक्रमणिकायाः ​​आकारः 15G इत्यस्मात् न्यूनः अस्ति, पूर्वनिर्धारितः च 5 shards अस्ति, एतावता आवश्यकता नास्ति, अतः वयं 3 इति समायोजितवन्तः ।

"index.number_of_shards": "3"

२) प्रतिकृतीनां संख्या

क्लस्टर प्रतिलिपिखण्डानां संख्यां न्यूनीकरोतु अत्यधिकप्रतियाः ES आन्तरिकलेखनविस्तारं जनयिष्यन्ति । प्रतिलिपिनां पूर्वनिर्धारितसङ्ख्या 1. यदि यत्र अनुक्रमणिका स्थिता नोड् अधः गच्छति तर्हि प्रतिलिपिना सह अन्यस्मिन् यन्त्रे अनुक्रमणिकाबैकअपदत्तांशः भविष्यति, येन अनुक्रमणिकादत्तांशस्य सामान्यतया उपयोगः कर्तुं शक्यते परन्तु प्रतिलिपिं प्रति दत्तांशं लिखित्वा लेखनस्य कार्यक्षमतां प्रभावितं करोति । लॉग् दत्तांशस्य कृते १ प्रतिलिपिः पर्याप्तः । बृहत् परिमाणेन दत्तांशयुक्तानां अनुक्रमणिकानां कृते, कार्यक्षमतायाः प्रभावं न्यूनीकर्तुं प्रतिलिपिसङ्ख्यां 0 इति सेट् कर्तुं शक्नुवन्ति ।

"index.number_of_replicas": "1"

सारांशं कुरुत

Logstash अनुकूलनविधिः : १.

1 सर्वर स्मृतिः JVM ढेरस्मृतिः च वर्धयन्तु

2 भारसंतुलनार्थं बहुविधं उदाहरणं उपयुज्यताम्

3log data संग्रहणार्थं logstash इत्यस्य स्थाने filebeat इत्यस्य उपयोगं कुर्वन्तु

ElasticSearch अनुकूलनविधिः : १.

1 अनुक्रमणिका अनुकूलनं कुर्वन्तु: fsync अनुकूलनं कुर्वन्तु तथा च डिस्क-फ्लश-योः मध्ये अन्तरं समुचितरूपेण वर्धयन्तु

2 कार्य-अस्वीकारं न्यूनीकर्तुं लेखन-धागा-पूल-विन्यासं अनुकूलितं कुर्वन्तु: ES-विन्यास-सञ्चिकां elasticsearch.yml परिवर्तयन्तु तथा च लेखन-धागां CPU-कोरस्य संख्यायां + 1 इति सेट् कुर्वन्तु

3स्मृतिं लॉक कृत्वा ES इत्यस्य swap इत्यस्य उपयोगं निवारयन्तु: swapoff -a, close swap

4सूचकाङ्कखण्डानां प्रतिलिपानां च संख्यां समुचितरूपेण न्यूनीकरोतु