ELK optimiization

ELK ipsum

2024-07-12

ELK ipsum explicari potest ex his aspectibus.

kernel ipsum
JVM Optimization
ES configuratione ipsum
Architecture ipsum (filebeat/fluentd notificat logstash, coniungit kafka sicut nuntius queue)

Characteres ES ut tabulae repositae:

Princeps concurrente scripto
Legere minus
Accipe mora inter XXX seconds
Potest tolerare parte iniuriarum notitia damnum

Logstash ipsum

① Adauge memoriam servo et JVM cumulum memoriae

Utere pluribus exemplis ad onus aequatis

Usus filebeat pro logstash ad colligunt iniuriarum notitia

Elasticsearch ipsum

(1) Optimize indicem ElasticSearch

Optimize fsync


为了保证不丢失数据，就要保护 translog 文件的安全:
Elasticsearch 2.0 之后，每次写请求(如 index 、delete、update、bulk 等)完成时，都会触发fsync将 translog 中的 segment 刷到磁盘，然后才会返回 200 OK 的响应；或者: 默认每隔5s就将 translog 中的数据通过fsync强制刷新到磁盘。
该方式提高数据安全性的同时，降低了一点性能。
==> 频繁地执行 fsync 操作，可能会产生阻塞导致部分操作耗时较久。 如果允许部分数据丢失，可设置异步刷新 translog 来提高效率，还有降低 flush 的阀值， 优化如下：
"index.translog.durability": "async",
"index.translog.flush_threshold_size":"1024mb",
"index.translog.sync_interval": "120s"

Optimize reficite


写入 Lucene 的数据，并不是实时可搜索的，ES 必须通过 refresh 的过程把内存中的数据转换成 Lucene 的完整 segment 后，才可以被搜索。
默认 1 秒后，写入的数据可以很快被查询到，但势必会产生大量的 segment，检索性能会受到影响。所以，加大时长可以降低系统开销。 对于日志搜索来说，实时性要求不是那么高，设置为 5 秒或者 10s；对于 SkyWalking，实时性要求更低一些，我们可以设置为 30s。
设置如下：
"index.refresh_interval":"5s"

Optimize merge


index.merge.scheduler.max_thread_count 控制并发的 merge 线程数，如果存储是并发性能较好的 SSD，可以用系统默认的 max(1, min(4, availableProcessors / 2))，当节点配置的 cpu 核数较高时，merge 占用的资源可能会偏高，影响集群的性能，普通磁盘的话设为1，发生磁盘 IO 堵塞。设置 max_thread_count 后，会有 max_thread_count + 2 个线程同时进行磁盘操作，也就是设置为 1 允许 3 个线程。
设置如下：
"index.merge.scheduler.max_thread_count":"1"

Optimize occasus

Opus est indice primo claudere, deinde exsequi, et demum bene gesta aperire.

Close index

curl -XPOST 'http://localhost:9200/_all/_close'

Mutare index occasus

curl -XPUT -H "Content-Type:application/json" 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{"index.merge.scheduler.max_thread_count" : "1","index.refresh_interval" : "10s","index.translog.durability" : "async","index.translog.flush_threshold_size":"1024mb","index.translog.sync_interval" : "120s"}'

aperta index

curl -XPOST 'http://localhost:9200/_all/_open'

(II) Optimise filum stagnum configuratione

Stagnum filo scribe plenum est, operas reiciendas facit, et quaedam data scribi non possunt. Post optimization supra, numerus repulsionum multum decrevit, sed adhuc sunt casus in quibus munera reiciuntur. Sic etiam opus est optimize scribentis lacus.

Scribendum piscinæ filo stamina certo genere stagni utitur, id est, numerus filis nuclei idem est ac maximus pretii filum. Numerus filorum aequalis est numero nucleorum CPU per defaltam. Maximus valor qui exponere potest tantum numerus nucleorum CPU plus est 1. Exempli gratia, pro 16-core CPU, numerus maximus relatorum qui potest. cenfu XVII.

Optimization

Numerus filorum ad 17 mutatur, qui est numerus nucleorum CPU plus 1 .
Queue capacitas augetur. Munus queue in hoc tempore cacumina tollere est. Tamen ipsa capacitas queue augens celeritatem processus non auget, sed solum quiddam agit. Praeterea capacitas queue nimis magna esse non potest, alioquin nimis acervus memoria occupabitur cum multa opera backlogged.

Mutare lima elasticsearch.yml configuratione addere


# 线程数设置
thread_pool:
  write:
    # 线程数默认等于cpu核数，即16  
    size: 17
    # 因为任务多时存在任务拒绝的情况，所以加大队列大小，可以在间歇性任务量陡增的情况下，缓存任务在队列，等高峰过去逐步消费完。
    queue_size: 10000

(3) Obfirmo memoriam et ne JVM usus Swap

PERMUTO partitio: Cum memoria corporis systematis non sufficit, pars spatii in memoria physica debet usum a programmate in praesenti currens dimitti. Spatium liberatum potest venire ex aliquibus programmatis quae diu non operati sunt. The space liberatum tempus in Swap servatum est. Cum programmata illa currendi sunt, notitia servata ex Swap in memoriam restituitur. Hoc modo ratio PERMUTO semper praestat cum insufficiens memoria corporis est.

RES PERMUTO partitio valde damnosa est propter stabilitatem nodi perficiendi et debilitari debet. Quisquiliarum collectionem facit ut pro milliseconds minutas durare possit, et nodi potest respondere tardius vel etiam ab botro disiuncta fieri.

PERMUTO maceriæ solvens modum non potest ad efficiendum ES

I) Illuminationes Swap in Linux ratio (temporarie efficax)


执行命令 sudo swapoff -a
可以临时禁用 Swap 内存，但是操作系统重启后失效

II) Swap usum reducere quam maxime in systemata Linux (efficax in perpetuum)


执行下列命令
echo "vm.swappiness = 1" >> /etc/sysctl.conf
正常情况下不会使用 Swap，除非紧急情况下才会 Swap。

III) Admitte bootstrap.memory_lock


config/elasticsearch.yml 文件增加配置
#锁定内存，不让 JVM 写入 Swap，避免降低 ES 的性能
bootstrap.memory_lock: true

(IV) reducere numerum shards et copies

I) Sharding

Magnitudo indicis a magnitudine fragmentorum et segmentorum pendet. unde in magna operationum IO operationum numero scribendo afficit.
Quoniam magnitudo cujusque indicis infra 15G est, et defectus 5 lithargyri, tot opus non est, ideo eam ad 3 accommodavimus.

"index.number_of_shards": "3"

2) Numero exemplarium

Numerum botri exemplar shards reducere. Nimis multi codices facient ES internum expansionem scribe. Defalta numerus exemplarium est 1. Si nodi in quo index sita descenderit, alia machina cum exemplari indicem notitiae tergum habebit, ita ut indicem notarum regulariter adhiberi possit. Sed scripturae notitia ad exemplar pertinet scribenda. Pro data iniuria, 1 exemplum satis est. Ad indices cum magna copia notitiarum, numerum exemplarium ad 0 reducere potes ictum in effectu.

"index.number_of_replicas": "1"

Summatim

Logstash ipsum modum: