技術共有

プロジェクトにおけるログ収集の実践: テクノロジー、ツール、ベスト プラクティス

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


✨✨皆さんのサポートに感謝します。画面の前の友達が毎日幸せでありますように。 ✨✨
🎈🎈作者主页： そうそう🎈🎈

目次

導入

1. 適切なログ記録フレームワークを選択する

2. ログフレームワークを構成する

3. 適切なログレベルを使用する

1. ログレベルの概要

2. 適切なログ レベルを選択します (ここでは logbkck を例にします)。

3. ログレベルを動的に調整する

4. ログコンテキスト情報と組み合わせる

1. SLF4J MDCの使用

2. Log4j 2 の ThreadContext の使用

3. コンテキスト情報を活用する

5. リアルタイム監視と集中ストレージ

1. ELKスタック（Elasticsearch、Logstash、Kibana）

2. ログを収集するように Logstash を構成する

3. Kibana を使用して視覚化と分析を行う

4. スプランク

5. 一元化されたストレージとスケーラビリティ

結論

6. ログのローリングとアーカイブ

1. ログフレームワークのローリング戦略を構成する

2. ファイルサイズに基づいてスクロールする

3. スクロール戦略をカスタマイズする

4. 古いログ ファイルをアーカイブする

結論

導入

最新のソフトウェア開発では、ログはシステムの安定性、トラブルシューティング、およびパフォーマンスの監視を確保するために重要な部分です。この記事では、プロジェクトにおけるログ収集の実践的な経験を詳しく掘り下げ、Java プロジェクトで一般的に使用されるログ収集テクノロジ、ツール、およびいくつかのベスト プラクティスを紹介します。

1. 適切なログ記録フレームワークを選択する

Java プロジェクトでは、適切なログ フレームワークを選択することがログ収集の最初のステップです。一般的なログ フレームワークには、Log4j、Logback、SLF4J などがあります。フレームワークを選択する際の考慮事項は次のとおりです。

  • パフォーマンス： 特定のフレームワークはパフォーマンスの点で優れている場合があるため、プロジェクトのニーズに基づいて適切なものを選択してください。
  • 柔軟性: 一部のフレームワークは、さまざまなアプリケーション シナリオに適応する、より柔軟な構成および出力オプションを提供します。
  • コミュニティサポート: 問題をタイムリーに解決し、最新の機能にアクセスできるように、アクティブなコミュニティ サポートと継続的なアップデートを備えたフレームワークを選択してください。

2. ログフレームワークを構成する

ロギング フレームワークを選択したら、プロジェクトのニーズを満たすように適切に構成する必要があります。一般に、構成ファイルは通常、ログ レベル、出力形式、宛先の場所などに関する情報を含む XML またはプロパティ ファイルです。

Logback を例として挙げると、簡単な構成ファイルの例は次のとおりです。

  1. <!-- logback.xml -->
  2. <configuration>
  3.  
  4.     <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
  5.         <encoder>
  6.             <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
  7.         </encoder>
  8.     </appender>
  9.  
  10.     <appender name="FILE" class="ch.qos.logback.core.FileAppender">
  11.         <file>logs/myapp.log</file>
  12.         <encoder>
  13.             <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
  14.         </encoder>
  15.     </appender>
  16.  
  17.     <logger name="com.example" level="DEBUG"/>
  18.     
  19.     <root level="INFO">
  20.         <appender-ref ref="CONSOLE"/>
  21.         <appender-ref ref="FILE"/>
  22.     </root>
  23.  
  24. </configuration>

上記の構成では、コンソール出力用とファイル出力用の 2 つのアペンダーを定義し、ログ レベルと出力形式を設定します。

3. 適切なログレベルを使用する

プロジェクトで適切なログ レベルを使用することは、ログ システムの効率を最大限に高めるための重要な要素の 1 つです。適切なログ レベルを選択すると、さまざまな環境や段階で適切なレベルの詳細なログ情報が取得されるようになり、生成されるログが多すぎたり少なすぎたりしてシステムのパフォーマンスと保守性が向上することを回避できます。

1. ログレベルの概要

Java ログ フレームワークでは、一般的なログ レベルには次のものがあります。

  1. 痕跡： デバッグによく使用される、最も詳細なログ情報を提供します。
  2. デバッグ： 開発およびテスト環境に適したデバッグの詳細を提供します。
  3. 情報： アプリケーションが適切に機能していることを示す重要なランタイム情報を提供します。
  4. 警告： 注意が必要だが、プログラムの通常の動作には影響しない潜在的な問題を示します。
  5. エラー： エラーが発生し、さらなる処理が必要な可能性があることを示します。

2. 適切なログ レベルを選択します (ここでは logbkck を例にします)。

  1. 開発段階では DEBUG を使用します。 開発段階では、DEBUG レベルを使用してより詳細なログ情報を取得し、開発者がコードを追跡およびデバッグできるようにします。

  1. public class ExampleClass {
  2.     private static final Logger logger = LoggerFactory.getLogger(ExampleClass.class);
  3.  
  4.     public void someMethod() {
  5.         // ...
  6.         logger.debug("Debug information for developers");
  7.         // ...
  8.     }
  9. }

運用環境では INFO が使用されます。 運用環境では、ログ レベルを INFO に設定して、冗長なデバッグ情報を減らしながら、重要なランタイム情報が確実にログに記録されるようにします。

警告とエラーの処理: 潜在的な問題やエラー状態については、WARN レベルと ERROR レベルを使用します。これらのレベルのログは、チームがシステムの問題を迅速に特定して解決するのに役立ちます。

3. ログレベルを動的に調整する

一部のログ フレームワークでは、実行時にログ レベルを動的に調整できます。これは、アプリケーションを再起動せずにログの詳細度を調整するのに役立ちます。

適切なログ レベルを使用することで、開発チームは情報の詳細とパフォーマンスのオーバーヘッドのバランスを改善し、さまざまな環境やシナリオで最適なログ結果を確保できます。

4. ログコンテキスト情報と組み合わせる

ログ コンテキスト情報を結合すると、ログ イベントの背景をより深く理解できるように、ログ レコードに追加のコンテキスト情報が追加されます。これは、特定のリクエスト、ユーザー セッション、またはその他のビジネス プロセスを追跡するのに役立ちます。 Java プロジェクトでは、SLF4J の MDC (Mapped Diagnostic Context) または Log4j 2 の ThreadContext を使用してログ コンテキスト情報を追加するのが一般的です。

1. SLF4J MDCの使用

SLF4J の MDC を使用すると、リクエストまたはビジネス プロセス中にキーと値のペアの情報をログ コンテキストに追加できるため、処理全体を通じて情報が保持されます。

  1. import org.slf4j.Logger;
  2. import org.slf4j.LoggerFactory;
  3. import org.slf4j.MDC;
  4.  
  5. public class RequestContextLogger {
  6.     private static final Logger logger = LoggerFactory.getLogger(RequestContextLogger.class);
  7.  
  8.     public void processRequest(String requestId, String userId) {
  9.         try {
  10.             // 将请求ID和用户ID放入日志上下文
  11.             MDC.put("requestId", requestId);
  12.             MDC.put("userId", userId);
  13.  
  14.             // 处理请求
  15.             logger.info("Processing request");
  16.  
  17.             // ...
  18.         } catch (Exception e) {
  19.             logger.error("Error processing request", e);
  20.         } finally {
  21.             // 清理日志上下文，确保不影响其他请求
  22.             MDC.clear();
  23.         }
  24.     }
  25. }

2. Log4j 2 の ThreadContext の使用

Log4j 2 は、SLF4J の MDC に似た ThreadContext を提供し、スレッド スコープ内のキーと値のペアのコンテキスト情報を保存することもできます。

  1. import org.apache.logging.log4j.LogManager;
  2. import org.apache.logging.log4j.Logger;
  3. import org.apache.logging.log4j.ThreadContext;
  4.  
  5. public class RequestContextLogger {
  6.     private static final Logger logger = LogManager.getLogger(RequestContextLogger.class);
  7.  
  8.     public void processRequest(String requestId, String userId) {
  9.         try {
  10.             // 将请求ID和用户ID放入日志上下文
  11.             ThreadContext.put("requestId", requestId);
  12.             ThreadContext.put("userId", userId);
  13.  
  14.             // 处理请求
  15.             logger.info("Processing request");
  16.  
  17.             // ...
  18.         } catch (Exception e) {
  19.             logger.error("Error processing request", e);
  20.         } finally {
  21.             // 清理日志上下文，确保不影响其他请求
  22.             ThreadContext.clearAll();
  23.         }
  24.     }
  25. }

3. コンテキスト情報を活用する

ログ コンテキスト情報を組み込む利点は、関連する一連のログ イベントを関連付けることができるため、特定のリクエストやユーザーのアクションのフローを追跡しやすくなることです。たとえば、分散システムでは、一意のリクエスト ID をログに追加することで、リクエスト処理プロセス全体を複数のサービスにわたって追跡できます。

  1. public class DistributedService {
  2.     private static final Logger logger = LoggerFactory.getLogger(DistributedService.class);
  3.  
  4.     public void processDistributedRequest(String requestId) {
  5.         try {
  6.             MDC.put("requestId", requestId);
  7.  
  8.             // 处理分布式请求
  9.             logger.info("Processing distributed request");
  10.  
  11.             // ...
  12.         } catch (Exception e) {
  13.             logger.error("Error processing distributed request", e);
  14.         } finally {
  15.             MDC.clear();
  16.         }
  17.     }
  18. }

コンテキスト情報を組み合わせることで、ログ レコードは孤立したイベントではなくなり、有機的に結合され、システムのトラブルシューティングとパフォーマンスの最適化のためのより強力なツールを提供します。

5. リアルタイム監視と集中ストレージ

リアルタイムの監視と集中ストレージは、プロジェクトにおけるログ管理の重要な側面です。これらの手段を通じて、チームはシステムの実行ステータスをリアルタイムで追跡し、潜在的な問題を検出し、必要に応じてタイムリーなトラブルシューティングを実行できます。 Java プロジェクトで一般的に使用されるツールには、ELK Stack (Elasticsearch、Logstash、Kibana)、Splunk などが含まれます。

1. ELKスタック（Elasticsearch、Logstash、Kibana）

ELK Stack は、ログの収集、保存、視覚化のためのオープンソース ツールのセットです。

  • エラスティックサーチ： 大量のログ データを保存および取得するために使用されます。リアルタイム データの強力な検索および分析機能を提供します。

  • ログスタッシュ： ログの収集、フィルタリング、転送に使用されます。 Logstash は、さまざまなソースからのログ データを正規化し、保存するために Elasticsearch に送信できます。

  • キバナ： Elasticsearch に保存されているログ データのクエリ、視覚化、分析のための直感的なユーザー インターフェイスを提供します。 Kibana を使用すると、チームはダッシュボードやグラフを作成し、ログ データの詳細な分析を実行できます。

2. ログを収集するように Logstash を構成する

ログを収集するようにプロジェクトで Logstash を構成することは、ELK スタックにとって重要な手順です。 Logstash は、簡単な構成ファイルを通じて定義できるさまざまな入力ソースと出力ターゲットをサポートしています。

  1. # logstash.conf
  2.  
  3. input {
  4.     file {
  5.         path => "/path/to/your/application.log"
  6.         start_position => "beginning"
  7.     }
  8. }
  9.  
  10. filter {
  11.     # 可添加过滤规则
  12. }
  13.  
  14. output {
  15.     elasticsearch {
  16.         hosts => ["localhost:9200"]
  17.         index => "your_index_name"
  18.     }
  19. }

この例では、指定されたパスにあるログ ファイルを監視し、Elasticsearch に出力するように Logstash 入力プラグインを構成します。 フィルター セクションに追加のルールを追加して、ログを解析、フィルターしたり、ログに追加情報を追加したりできます。

3. Kibana を使用して視覚化と分析を行う

Kibana は、Web ブラウザーからアクセスできる直感的なユーザー インターフェイスを提供します。 Kibana では、ダッシュボードやチャートを作成し、複雑なクエリや分析を実行できます。

Kibana を使用すると、次のことを簡単に実現できます。

  • リアルタイム監視: リアルタイムのログ データを表示し、システムの実行状況をいつでも把握できます。

  • トラブルシューティング： 特定の基準に基づいてログを検索し、潜在的な問題の根本原因を見つけます。

  • パフォーマンス分析： チャートと視覚化ツールを利用して、システム パフォーマンスのボトルネックを分析します。

4. スプランク

Splunk も広く使用されているログ管理ツールで、ログの収集、検索、分析、視覚化のためのオールインワン ソリューションを提供します。

  • ログ収集: Splunk は、複数のソース (ファイル、データベース、ネットワーク トラフィックなど) からのログ データの収集をサポートしています。

  • リアルタイムの検索と分析: リアルタイムの検索および分析機能を提供し、複雑なクエリをサポートし、ビジュアル インターフェイスを通じて検索結果を表示します。

  • ダッシュボードとレポート: ユーザーは、システム パフォーマンスを監視および分析するためのカスタム ダッシュボードとレポートを作成できます。

5. 一元化されたストレージとスケーラビリティ

ELK Stack と Splunk はどちらも、大量のログ データを保存できる強力な集中ストレージ メカニズムを備えています。この一元化されたストレージは、ログの取得と分析を容易にするだけでなく、システムに拡張性を提供し、大規模なアプリケーション ログを処理できます。

結論

リアルタイムのモニタリングと集中ストレージは、プロジェクトの安定性とパフォーマンスを確保するための鍵となります。 ELK Stack や Splunk などのツールを使用することで、プロジェクト チームは複雑なシステム環境でログをリアルタイムで追跡し、タイムリーなトラブルシューティングとパフォーマンスの最適化を実行できます。これらのツールの機能により、チームの効率が向上するだけでなく、プロジェクトの保守性と拡張性も向上します。

6. ログのローリングとアーカイブ

ログのローリングとアーカイブは、プロジェクトにおける重要な実践であり、ログ ファイルの合理的な管理を確保し、過剰なログ ファイルによって引き起こされるストレージの問題を防ぎ、システムの通常の動作を維持するのに役立ちます。以下に、Java プロジェクトでログのローリングとアーカイブを実装するための一般的な方法をいくつか示します。

1. ログフレームワークのローリング戦略を構成する

ほとんどのロギング フレームワークは、構成ファイルを通じて設定できるローリング戦略を提供します。これらのポリシーは、いつ新しいログ ファイルにロールオーバーするか、いつ古いログ ファイルを削除するかを決定します。 Logback を例として、基本的なローリング戦略を構成します。

  1. <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
  2.     <file>logs/myapp.log</file>
  3.     <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
  4.         <fileNamePattern>logs/myapp.%d{yyyy-MM-dd}.log</fileNamePattern>
  5.         <maxHistory>30</maxHistory>
  6.     </rollingPolicy>
  7.     <encoder>
  8.         <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
  9.     </encoder>
  10. </appender>

上記の構成では、TimeBasedRollingPolicy、時間に基づいてログ ファイルをロールします。maxHistory保持する履歴ログ ファイルの数を指定します。この数を超えるログ ファイルは削除されます。

2. ファイルサイズに基づいてスクロールする

場合によっては、時間によるローリングだけでは不十分な場合があり、ログ ファイルのサイズに基づいてローリングする必要もあります。これは、ファイル サイズを構成することで実現できます。

  1. <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
  2.     <file>logs/myapp.log</file>
  3.     <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
  4.         <fileNamePattern>logs/myapp.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
  5.         <maxFileSize>5MB</maxFileSize>
  6.         <maxHistory>30</maxHistory>
  7.     </rollingPolicy>
  8.     <encoder>
  9.         <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
  10.     </encoder>
  11. </appender>

上記の構成では、SizeAndTimeBasedRollingPolicy、ファイル サイズと時間に基づいてログ ファイルをロールします。maxFileSize各ログ ファイルの最大サイズを指定します。

3. スクロール戦略をカスタマイズする

プロジェクトによっては、カスタム条件に基づいてログをロールする必要がある場合があります。この場合、カスタム スクロール戦略の実装を検討してください。たとえば、特定のビジネス ルールに基づいてログ ファイルをローリングします。

  1. public class CustomRollingPolicy extends TimeBasedRollingPolicy<ILoggingEvent> {
  2.     // 实现自定义的滚动逻辑
  3. }

次に、構成ファイルでカスタム スクロール戦略を使用します。

  1. <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
  2.     <file>logs/myapp.log</file>
  3.     <rollingPolicy class="com.example.CustomRollingPolicy">
  4.         <!-- 自定义配置 -->
  5.     </rollingPolicy>
  6.     <encoder>
  7.         <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
  8.     </encoder>
  9. </appender>

4. 古いログ ファイルをアーカイブする

ログ ファイルのローリングに加えて、古いログ ファイルをアーカイブすることも一般的です。これは、古いログ ファイルがディスク領域を占有しすぎないように定期的にアーカイブ ディレクトリに移動することで実現できます。

または、プログラムによるアプローチを使用して Java コードに実装します。

  1. import java.io.File;
  2. import java.nio.file.Files;
  3. import java.nio.file.Path;
  4. import java.nio.file.StandardCopyOption;
  5. import java.time.LocalDate;
  6. import java.time.format.DateTimeFormatter;
  7.  
  8. public class LogArchiver {
  9.     public static void archiveLogFile(String logFileName, String archiveDirectory) {
  10.         String currentDate = LocalDate.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd"));
  11.         File logFile = new File(logFileName);
  12.         File archiveDir = new File(archiveDirectory);
  13.  
  14.         if (!archiveDir.exists()) {
  15.             archiveDir.mkdirs();
  16.         }
  17.  
  18.         Path sourcePath = logFile.toPath();
  19.         Path targetPath = new File(archiveDir, logFile.getName() + "." + currentDate + ".log").toPath();
  20.  
  21.         try {
  22.             Files.move(sourcePath, targetPath, StandardCopyOption.REPLACE_EXISTING);
  23.         } catch (Exception e) {
  24.             e.printStackTrace();
  25.         }
  26.     }
  27. }

定期的なタスクで呼び出されるarchiveLogFileこの方法は、ログ ファイルをアーカイブするために使用できます。

ログのローリングとアーカイブを実装することで、プロジェクトはログ ファイルをより効率的に管理し、システムが長期間にわたって良好なパフォーマンスを維持できるようになります。これは、トラブルシューティングに役立つだけでなく、コンプライアンス要件にも役立ちます。

結論

適切なログ フレームワークを選択し、適切に構成し、適切なログ レベルを使用し、コンテキスト情報を組み合わせることで、プロジェクトは、トラブルシューティング、パフォーマンスの最適化、システム監視を強力にサポートする強力なログ システムを構築できます。同時に、リアルタイム監視と集中ストレージにより、チームはシステムのステータスを追跡するためのより便利な手段を提供します。細心の注意を払ってログを記録することは、プロジェクト開発の技術的な実践であるだけでなく、チームの全体的な効率とプロジェクトの品質を向上させるための重要な保証でもあります。

個人プロフィール

彼は 30 年以上テクノロジーの研究に専念しており、java、linux、javascript、php、css などのさまざまな言語に堪能であり、オープンソース分野で多くの貢献を行っています。将来の参考のために技術開発におけるいくつかの問題を共有する開発者ドキュメント ステーション。

私の連絡先情報

郵便