Partage de technologie

cache - le cache utilise 2

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Panne du cache, pénétration, avalanche

1. Pénétration du cache

Fait référence à l'interrogation de données qui ne doivent pas exister. Puisque le cache n'est pas atteint, la base de données sera interrogée, mais la base de données n'a pas un tel enregistrement. Nous n'avons pas écrit la valeur nulle de cette requête dans le cache, ce qui en résultera. dans chaque demande pour ces données inexistantes, vous devez accéder à la couche de stockage pour interroger, ce qui perd le sens de la mise en cache.

risque:

Utiliser des données inexistantes pour mener des attaques augmentera la pression instantanée sur la base de données et finira par conduire à un effondrement.

résoudre:

Le résultat nul est mis en cache et un court délai d'expiration est ajouté.

2. Avalanche de caches

Avalanche de cache : l'avalanche de cache signifie que lorsque nous définissons le cache, la clé adopte le même délai d'expiration, ce qui rend le cache invalide à un certain moment, toutes les demandes sont transmises à la base de données et la base de données est sous pression et avalanches instantanées.

Solution : ajoutez une valeur aléatoire au délai d'expiration d'origine, par exemple 1 à 5 minutes de manière aléatoire, afin que le taux de répétition de chaque délai d'expiration mis en cache soit réduit, ce qui rend difficile la survenue d'événements de défaillance collective.

3. Panne du cache

Répartition du cache :

  • Pour certaines clés avec un délai d'expiration défini, si ces clés peuvent être accédées de manière très simultanée à certains moments, il s'agit d'une donnée très « chaude ».
  • Si cette clé de point d'accès expire juste avant qu'un grand nombre de requêtes n'arrivent en même temps, alors toutes les requêtes de données pour cette clé tomberont dans la base de données, ce qui est appelé panne de cache.

résoudre:

Verrouillage

Une grande quantité de concurrence permet à un seul de vérifier, et aux autres d'attendre. Après la vérification, le verrou est libéré et les autres acquièrent le verrou, survolent, vérifient d'abord le cache, et il y aura des données sans accéder à la base de données.

2. Résolvez le problème

Résolvez d'abord la pénétration du cache et les avalanches

  1.   private static final String CATALOG_JSON="CATALOG_JSON";
  2.     @Override
  3.     public Map<String, List<Catelog2Vo>> getCatalogJson() {
  4.  
  5.         /**
  6.          * 空结果缓存:解决缓存穿透
  7.          * 设置过期时间(加随机值) 缓存雪崩
  8.          * 加锁 解决缓存击穿
  9.          */
  10.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  11.         if(result!=null){
  12.             return (Map<String, List<Catelog2Vo>>) result;
  13.         }
  14.  
  15.         Map<String, List<Catelog2Vo>> map = getCatalogJsonFromDB();
  16.         if (map==null){
  17.             /**
  18.              * 解决缓存穿透
  19.              */
  20.             map=new HashMap<>();
  21.         }
  22.         redisTemplate.opsForValue().set(CATALOG_JSON,map, Duration.ofDays(1));
  23.         return map;
  24.     }

Résoudre la panne du cache

1. Utilisez le verrouillage local pour résoudre

L'objet conteneur springboot est en mode singleton par défaut, de sorte que le même objet peut être synchronisé et verrouillé lors de l'utilisation du mode double détection, il peut être exécuté simultanément.

  1.  public synchronized Map<String, List<Catelog2Vo>> getCatalogJsonFromDB() {
  2.  
  3.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  4.         if (result != null) {
  5.             return (Map<String, List<Catelog2Vo>>) result;
  6.         }
  7.  
  8.  
  9.         //1.查出所有1级分类
  10.         List<CategoryEntity> selectList = baseMapper.selectList(null);
  11.         /**
  12.          * 将数据库的多次查询变成一次
  13.          */
  14.  
  15.         //2. 封装数据
  16.         List<CategoryEntity> level1Category = selectList.stream().filter(s -> s.getParentCid().equals(0L)).collect(Collectors.toList());
  17.         Map<String, List<Catelog2Vo>> map = level1Category.stream().collect(Collectors.toMap(k -> k.getCatId().toString(), v -> {
  18.             //1.每一个的一级分类,查到1级分类的所有二级分类
  19.             List<CategoryEntity> categoryEntities = selectList.stream().filter(s -> s.getParentCid().equals(v.getCatId())).collect(Collectors.toList());
  20.  
  21.             List<Catelog2Vo> catelog2VoList = categoryEntities.stream().map(c -> {
  22.                 Catelog2Vo catelog2Vo = new Catelog2Vo();
  23.                 catelog2Vo.setId(c.getCatId().toString());
  24.                 catelog2Vo.setName(c.getName());
  25.                 catelog2Vo.setCatalog1Id(v.getCatId().toString());
  26.  
  27.                 List<CategoryEntity> categoryEntities1 = selectList.stream().filter(s -> s.getParentCid().equals(c.getCatId())).collect(Collectors.toList());
  28.                 List<Catelog2Vo.Catelog3Vo> collect = categoryEntities1.stream().map(c3 -> {
  29.                     Catelog2Vo.Catelog3Vo catelog3Vo = new Catelog2Vo.Catelog3Vo();
  30.                     catelog3Vo.setId(c3.getCatId().toString());
  31.                     catelog3Vo.setName(c3.getName());
  32.                     catelog3Vo.setCatalog2Id(c.getCatId().toString());
  33.                     return catelog3Vo;
  34.                 }).collect(Collectors.toList());
  35.  
  36.                 catelog2Vo.setCatalog3List(collect);
  37.  
  38.                 return catelog2Vo;
  39.             }).collect(Collectors.toList());
  40.  
  41.  
  42.             return catelog2VoList;
  43.         }));
  44.         return map;
  45.     }
  1.  public Map<String, List<Catelog2Vo>> getCatalogJson() {
  2.  
  3.         /**
  4.          * 空结果缓存:解决缓存穿透
  5.          * 设置过期时间(加随机值) 缓存雪崩
  6.          * 加锁 解决缓存击穿
  7.          */
  8.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  9.         if (result != null) {
  10.             return (Map<String, List<Catelog2Vo>>) result;
  11.         }
  12.  
  13.         Map<String, List<Catelog2Vo>> map = getCatalogJsonFromDB();
  14.         if (map == null) {
  15.             /**
  16.              * 解决缓存穿透
  17.              */
  18.             map = new HashMap<>();
  19.         }
  20.         redisTemplate.opsForValue().set(CATALOG_JSON, map, Duration.ofDays(1));
  21.         return map;
  22.     }

Il y aura toujours des problèmes avec la logique du code ci-dessus. Lors d'une exécution simultanée, le premier thread terminera la vérification de la base de données et libérera le verrou avant de le mettre dans le cache. et il n'y a pas de données, puis vérifiez à nouveau la base de données. Il n'y a aucune garantie qu'il n'y aura qu'un seul thread pour vérifier la base de données.

Approche correcte

  1.   public synchronized Map<String, List<Catelog2Vo>> getCatalogJsonFromDB() {
  2.  
  3.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  4.         if (result != null) {
  5.             return (Map<String, List<Catelog2Vo>>) result;
  6.         }
  7.  
  8.  
  9.         //1.查出所有1级分类
  10.         List<CategoryEntity> selectList = baseMapper.selectList(null);
  11.         /**
  12.          * 将数据库的多次查询变成一次
  13.          */
  14.  
  15.         //2. 封装数据
  16.         List<CategoryEntity> level1Category = selectList.stream().filter(s -> s.getParentCid().equals(0L)).collect(Collectors.toList());
  17.         Map<String, List<Catelog2Vo>> map = level1Category.stream().collect(Collectors.toMap(k -> k.getCatId().toString(), v -> {
  18.             //1.每一个的一级分类,查到1级分类的所有二级分类
  19.             List<CategoryEntity> categoryEntities = selectList.stream().filter(s -> s.getParentCid().equals(v.getCatId())).collect(Collectors.toList());
  20.  
  21.             List<Catelog2Vo> catelog2VoList = categoryEntities.stream().map(c -> {
  22.                 Catelog2Vo catelog2Vo = new Catelog2Vo();
  23.                 catelog2Vo.setId(c.getCatId().toString());
  24.                 catelog2Vo.setName(c.getName());
  25.                 catelog2Vo.setCatalog1Id(v.getCatId().toString());
  26.  
  27.                 List<CategoryEntity> categoryEntities1 = selectList.stream().filter(s -> s.getParentCid().equals(c.getCatId())).collect(Collectors.toList());
  28.                 List<Catelog2Vo.Catelog3Vo> collect = categoryEntities1.stream().map(c3 -> {
  29.                     Catelog2Vo.Catelog3Vo catelog3Vo = new Catelog2Vo.Catelog3Vo();
  30.                     catelog3Vo.setId(c3.getCatId().toString());
  31.                     catelog3Vo.setName(c3.getName());
  32.                     catelog3Vo.setCatalog2Id(c.getCatId().toString());
  33.                     return catelog3Vo;
  34.                 }).collect(Collectors.toList());
  35.  
  36.                 catelog2Vo.setCatalog3List(collect);
  37.  
  38.                 return catelog2Vo;
  39.             }).collect(Collectors.toList());
  40.  
  41.  
  42.             return catelog2VoList;
  43.         }));
  44.         if (map == null) {
  45.             /**
  46.              * 解决缓存穿透
  47.              */
  48.             map = new HashMap<>();
  49.         }
  50.         redisTemplate.opsForValue().set(CATALOG_JSON, map, Duration.ofDays(1));
  51.         return map;
  52.     }

Mettez l'opération de sauvegarde dans le cache dans le bloc de code de synchronisation

  1.  @Override
  2.     public Map<String, List<Catelog2Vo>> getCatalogJson() {
  3.  
  4.         /**
  5.          * 空结果缓存:解决缓存穿透
  6.          * 设置过期时间(加随机值) 缓存雪崩
  7.          * 加锁 解决缓存击穿
  8.          */
  9.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  10.         if (result != null) {
  11.             return (Map<String, List<Catelog2Vo>>) result;
  12.         }
  13.  
  14.         Map<String, List<Catelog2Vo>> map = getCatalogJsonFromDB();
  15.  
  16.         return map;
  17.     }

 

 

Les verrous locaux ne peuvent verrouiller que le processus en cours, nous avons donc besoin de verrous distribués

3. Problèmes avec les verrous locaux dans les environnements distribués

Autrement dit, chaque verrou ne peut verrouiller que le processus en cours, c'est-à-dire que chaque service vérifiera la base de données.

Profil personnel

Il se consacre à la recherche technologique depuis plus de 30 ans et maîtrise divers langages tels que java, linux, javascript, php, css, etc. Il a apporté de nombreuses contributions dans le domaine de l'open source. station de documentation pour les développeurs pour partager certains problèmes de développement technologique pour référence future.

mes coordonnées

Mail