Condivisione della tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Questa è una continuazione dell'articolo precedente "Elasticsearch: registrazione ECS Node.js - Pino” continuazione di Continuiamo l'articolo precedente per parlare dell'utilizzo del pacchetto Winston come target Node.js L'applicazione genera ECS per abbinare il giorno.Questo pacchetto Node.js lo èWinston LoggerViene fornito un formattatore Registrazione Elastic Common Schema (ECS). compatibile.combinareBattito di file Mittente, puoi monitorare tutti i log da un'unica posizione nell'Elastic Stack. Supporta la versione Winston 3.x >=3.3.3.

impostare

Installare

npm install @elastic/ecs-winston-format
npm install winston

Configurazione

winston-registrazione.js

const winston = require('winston');
const { ecsFormat } = require('@elastic/ecs-winston-format');
 
const logger = winston.createLogger({
  format: ecsFormat(/* options */),  // 1
  transports: [
    new winston.transports.Console()
  ]
});
 
logger.info('hi');
logger.error('oops there is a problem', { err: new Error('boom') });

• Passa il formattatore ECS a Winston.

Il risultato dell'esecuzione del codice sopra è:

Configura Filebeat

Versione 7.16+

filebeat.yml

filebeat.inputs:
- type: filestream     # 1
  paths: /path/to/logs.json
  parsers:
    - ndjson:
      overwrite_keys: true # 2
      add_error_key: true  # 3
      expand_keys: true    # 4
 
processors: // 5
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

1. Utilizza l'input filestream per leggere le righe da un file di registro attivo.
2. Se si verifica un conflitto, i valori dell'oggetto JSON decodificato sovrascriveranno i campi che Filebeat normalmente aggiunge (tipo, origine, offset, ecc.).
3. Se si verifica un errore di unmarshalling JSON, Filebeat aggiungerà le chiavi "error.message" e "error.type: json".
4. Filebeat rimuoverà ricorsivamente i tasti punto dal JSON decodificato e lo espanderà in una struttura di oggetti gerarchica.
5. I processori migliorano i tuoi dati.Vedereprocessori per saperne di più.

Battito di file < 7.16

filebeat.yml

filebeat.inputs:
- type: log
  paths: /path/to/logs.json
  json.keys_under_root: true
  json.overwrite_keys: true
  json.add_error_key: true
  json.expand_keys: true
 
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~

Per ulteriori informazioni, vedere Riferimento a Filebeat。

come usare

winston-registrazione.js

const winston = require('winston');
const { ecsFormat } = require('@elastic/ecs-winston-format');
 
const logger = winston.createLogger({
  level: 'info',
  format: ecsFormat(/* options */), // 1
  transports: [
    new winston.transports.Console()
  ]
});
 
logger.info('hi');
logger.error('oops there is a problem', { foo: 'bar' });

1. Vedi le opzioni disponibili di seguito.

node winston-logging.js | jq .

Esegui questo script (disponibile suQuiottenuto) produrrà un output di registro simile al precedente.

Il formattatore è responsabile della serializzazione dei dati in JSON, quindi non è necessario aggiungere json Formattatore.Inoltre, il formattatore genera automaticamente il timestamp, quindi non è necessario aggiungerlomarca temporale Formattatore.

Registrazione degli errori

Per impostazione predefinita, il formattatore converte il metacampo err di un'istanza Error in Campo ECSError .Per esempioesempio：

winston-registrazione.js

const winston = require('winston');
const { ecsFormat } = require('@elastic/ecs-winston-format');
const logger = winston.createLogger({
  format: ecsFormat(), 
  transports: [
    new winston.transports.Console()
  ]
});
 
const myErr = new Error('boom');
logger.info('oops', { err: myErr }); 

La gestione speciale del metacampo err può essere disabilitata tramite l'opzione convertErr: false:

winston-registrazione.js

const winston = require('winston');
const { ecsFormat } = require('@elastic/ecs-winston-format');
const logger = winston.createLogger({
  format: ecsFormat({convertErr: false} ), 
  transports: [
    new winston.transports.Console()
  ]
});
 
const myErr = new Error('boom');
logger.info('oops', { err: myErr }); 

Richiesta HTTP e registrazione delle risposte

Utilizzando l'opzione convertReqRes: true, il formattatore convertirà automaticamente il core Node.js quando viene passato rispettivamente come metafield req e res. richiesta Erisposta oggetto.

winston-registrazione.js

const http = require('http');
const winston = require('winston');
const { ecsFormat } = require('@elastic/ecs-winston-format');
 
const logger = winston.createLogger({
  level: 'info',
  format: ecsFormat({ convertReqRes: true }), // 1
  transports: [
    new winston.transports.Console()
  ]
});
 
const server = http.createServer(handler);
server.listen(3000, () => {
  logger.info('listening at http://localhost:3000')
});
 
function handler (req, res) {
  res.setHeader('Foo', 'Bar');
  res.end('ok');
  logger.info('handled request', { req, res }); // 2
}

1. Utilizzare l'opzione convertReqRes
2. Registra i metacampi req e/o res

Questo utilizzerà Campi HTTP ECS Genera un registro contenente informazioni sulla richiesta e sulla risposta.Per esempioesempio：

Sopra, dobbiamo accedere http://localhost:3000 Solo allora potrai vedere le informazioni sul giorno mostrate sopra.

Utilizza APM per la correlazione dei log

Questo ECS formattatore di log conAPM elastico integrato.Se l'applicazione Node utilizzaAgente APM elastico Node.js, vengono aggiunti diversi campi al record di log per correlare il servizio APM o tracciare e registrare i dati:

• Verranno incluse le istruzioni di registro (come logger.info(...)) chiamate quando si traccia attualmente uno spancampi di tracciamento— trace.id, transaction.id, span.id.
• Più campi identificativi del servizio, determinati o configurati sull'agente APM, consentono il collegamento incrociato tra servizi e log in Kibana: service.name, service.version, service.environment, service.node.name.
• event.dataset è abilitato nelle applicazioni Elastic ObservabilityRilevamento anomalie della velocità di registro。

Ad esempio, corri esempi/http-con-elastic-apm.js Ecurl -i localhost:3000/ Viene prodotto un record di registro contenente il seguente contenuto:

% node examples/http-with-elastic-apm.js | jq .
...
  "service.name": "http-with-elastic-apm",
  "service.version": "1.4.0",
  "service.environment": "development",
  "event.dataset": "http-with-elastic-apm"
  "trace.id": "7fd75f0f33ff49aba85d060b46dcad7e",
  "transaction.id": "6c97c7c1b468fa05"
}

Questi ID corrispondono ai dati di tracciamento riportati dall'agente APM.

L'integrazione con Elastic APM può essere disabilitata esplicitamente tramite l'opzione apmIntegration: false, ad esempio:

const logger = winston.createLogger({
  format: ecsFormat({ apmIntegration: false }),
  // ...
})

Limitazioni e note

specifica di registrazione ecs Si consiglia che i primi tre campi nel record di log siano @timestamp, log.level e message. A partire dalla versione 1.5.0, questo formattatore non segue questa raccomandazione. Ciò è possibile ma richiede la creazione di un nuovo oggetto in ecsFields per ogni record di log. Dato che l'ordine dei campi di registrazione ecs è finalizzato alla leggibilità e non influisce sull'interoperabilità, si è deciso di dare priorità alle prestazioni.

fare riferimento a

ecsFormat([opzioni])

• opzioni {type-object} supporta le seguenti opzioni:
  • convertErr {type-boolean} Indica se convertire il campo err del record nel campo di errore ECS.valore di default:VERO.
  • convertReqRes {type-boolean} Indica se registrare i campi di richiesta e risposta HTTP req e res nei campi HTTP, User-Agent e URL di ECS.valore di default：falso。
  • apmIntegration {type-boolean} Indica se abilitare l'integrazione dell'agente APM.valore di default:VERO.
  • serviceName {type-string} valore "service.name". Se specificato, sovrascrive qualsiasi valore dell'agente APM attivo.
  • serviceVersion {type-string} valore "service.version". Se specificato, sovrascrive qualsiasi valore dell'agente APM attivo.
  • serviceEnvironment {type-string} valore "service.environment". Se specificato, sovrascrive qualsiasi valore dell'agente APM attivo.
  • serviceNodeName {type-string} valore "service.node.name". Se specificato, qualsiasi valore dell'agente APM attivo verrà sovrascritto.
  • eventDataset {type-string} valore "event.dataset". Se specificato, il valore predefinito dell'utilizzo di ${serviceVersion} verrà sovrascritto.

Crea un formattatore per Winston che emetta il formato di registrazione ECS.Questo è un trattamentoecsFields([opzioni]) EecsStringify([opzioni]) formato unico. I due seguenti sono equivalenti:

const { ecsFormat, ecsFields, ecsStringify } = require('@elastic/ecs-winston-format');
const winston = require('winston');
 
const logger = winston.createLogger({
  format: ecsFormat(/* options */),
  // ...
});
 
const logger = winston.createLogger({
  format: winston.format.combine(
    ecsFields(/* options */),
    ecsStringify()
  ),
  // ...
});

ecsFields([opzioni])

• opzioni {type-object} supporta le seguenti opzioni:
  • convertErr {type-boolean} Indica se convertire il campo err del record nel campo di errore ECS.valore di default:VERO.
  • convertReqRes {type-boolean} Indica se registrare i campi di richiesta e risposta HTTP req e res nei campi HTTP, User-Agent e URL di ECS.valore di default：falso。
  • apmIntegration {type-boolean} Indica se abilitare l'integrazione dell'agente APM.valore di default:VERO.
  • serviceName {type-string} valore "service.name". Se specificato, sovrascrive qualsiasi valore dell'agente APM attivo.
  • serviceVersion {type-string} valore "service.version". Se specificato, sovrascrive qualsiasi valore dell'agente APM attivo.
  • serviceEnvironment {type-string} valore "service.environment". Se specificato, sovrascrive qualsiasi valore dell'agente APM attivo.
  • serviceNodeName {type-string} valore "service.node.name". Se specificato, qualsiasi valore dell'agente APM attivo verrà sovrascritto.
  • eventDataset {type-string} valore "event.dataset". Se specificato, l'impostazione predefinita dell'utilizzo di ${serviceVersion} verrà sovrascritta.

Creare un formattatore per Winston che converta i campi sull'oggetto delle informazioni di registrazione nel formato di registrazione ECS.

ecsStringify([opzioni])

Crea un formattatore per Winston per stringere/serializzare i record di log in JSON.

Questo è simile a logform.json(). Entrambi utilizzano il pacchetto safe-stable-stringify per generare JSON. Alcune differenze:

• Questo stringifier salta la serializzazione del campo level perché non è un campo ECS.
• Winston fornisce un sostituto che converte bigint in string. Il motivo è che il parser JavaScript JSON perde precisione durante l'analisi dei bigint. L'obiezione è che BigInt cambia il tipo in stringa invece che in numero. Attualmente, questo stringifier non converte BitInt in stringa.