Condivisione della tecnologia

cache: la cache utilizza 2

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Rottura della cache, penetrazione, valanga

1. Penetrazione della cache

Si riferisce all'interrogazione di dati che non devono esistere Poiché la cache non viene colpita, il database verrà interrogato, ma il database non dispone di tale record. Non abbiamo scritto il valore null di questa query nella cache, che risulterà in ogni richiesta di questi dati inesistenti devi andare al livello di archiviazione per interrogare, il che perde il significato della memorizzazione nella cache.

rischio:

L'utilizzo di dati inesistenti per effettuare attacchi aumenterà la pressione istantanea sul database e alla fine porterà al collasso.

risolvere:

Il risultato nullo viene memorizzato nella cache e viene aggiunta una breve scadenza.

2. Valanga di cache

Cache avalanche: Cache avalanche significa che quando impostiamo la cache, la chiave adotta lo stesso tempo di scadenza, facendo sì che la cache diventi non valida in un determinato momento, tutte le richieste vengono inoltrate al DB e il DB è sotto pressione istantanea e valanghe.

Soluzione: aggiungere un valore casuale alla scadenza originale, ad esempio 1-5 minuti in modo casuale, in modo che la frequenza di ripetizione di ciascuna scadenza memorizzata nella cache venga ridotta, rendendo difficile causare eventi di errore collettivi.

3. Suddivisione della cache

Suddivisione della cache:

  • Per alcune chiavi con una data di scadenza impostata, se è possibile accedere a queste chiavi contemporaneamente in determinati momenti, si tratta di dati molto "caldi".
  • Se questa chiave hotspot scade appena prima che arrivino un numero elevato di richieste contemporaneamente, tutte le query di dati per questa chiave ricadranno nel db, operazione chiamata suddivisione della cache.

risolvere:

Serratura

Una grande quantità di concorrenza consente solo a uno di controllare e gli altri aspettano. Dopo il controllo, il blocco viene rilasciato e gli altri acquisiscono il blocco, passano il mouse, controllano prima la cache e ci saranno dati, senza andare al db.

2. Risolvi il problema

Risolvi prima la penetrazione della cache e la valanga

  1.   private static final String CATALOG_JSON="CATALOG_JSON";
  2.     @Override
  3.     public Map<String, List<Catelog2Vo>> getCatalogJson() {
  4.  
  5.         /**
  6.          * 空结果缓存:解决缓存穿透
  7.          * 设置过期时间(加随机值) 缓存雪崩
  8.          * 加锁 解决缓存击穿
  9.          */
  10.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  11.         if(result!=null){
  12.             return (Map<String, List<Catelog2Vo>>) result;
  13.         }
  14.  
  15.         Map<String, List<Catelog2Vo>> map = getCatalogJsonFromDB();
  16.         if (map==null){
  17.             /**
  18.              * 解决缓存穿透
  19.              */
  20.             map=new HashMap<>();
  21.         }
  22.         redisTemplate.opsForValue().set(CATALOG_JSON,map, Duration.ofDays(1));
  23.         return map;
  24.     }

Risolvi la ripartizione della cache

1. Utilizzare il blocco locale per risolvere

L'oggetto contenitore springboot è in modalità singleton per impostazione predefinita, quindi lo stesso oggetto può essere sincronizzato e bloccato quando si utilizza la modalità di rilevamento doppio, può essere eseguito contemporaneamente.

  1.  public synchronized Map<String, List<Catelog2Vo>> getCatalogJsonFromDB() {
  2.  
  3.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  4.         if (result != null) {
  5.             return (Map<String, List<Catelog2Vo>>) result;
  6.         }
  7.  
  8.  
  9.         //1.查出所有1级分类
  10.         List<CategoryEntity> selectList = baseMapper.selectList(null);
  11.         /**
  12.          * 将数据库的多次查询变成一次
  13.          */
  14.  
  15.         //2. 封装数据
  16.         List<CategoryEntity> level1Category = selectList.stream().filter(s -> s.getParentCid().equals(0L)).collect(Collectors.toList());
  17.         Map<String, List<Catelog2Vo>> map = level1Category.stream().collect(Collectors.toMap(k -> k.getCatId().toString(), v -> {
  18.             //1.每一个的一级分类,查到1级分类的所有二级分类
  19.             List<CategoryEntity> categoryEntities = selectList.stream().filter(s -> s.getParentCid().equals(v.getCatId())).collect(Collectors.toList());
  20.  
  21.             List<Catelog2Vo> catelog2VoList = categoryEntities.stream().map(c -> {
  22.                 Catelog2Vo catelog2Vo = new Catelog2Vo();
  23.                 catelog2Vo.setId(c.getCatId().toString());
  24.                 catelog2Vo.setName(c.getName());
  25.                 catelog2Vo.setCatalog1Id(v.getCatId().toString());
  26.  
  27.                 List<CategoryEntity> categoryEntities1 = selectList.stream().filter(s -> s.getParentCid().equals(c.getCatId())).collect(Collectors.toList());
  28.                 List<Catelog2Vo.Catelog3Vo> collect = categoryEntities1.stream().map(c3 -> {
  29.                     Catelog2Vo.Catelog3Vo catelog3Vo = new Catelog2Vo.Catelog3Vo();
  30.                     catelog3Vo.setId(c3.getCatId().toString());
  31.                     catelog3Vo.setName(c3.getName());
  32.                     catelog3Vo.setCatalog2Id(c.getCatId().toString());
  33.                     return catelog3Vo;
  34.                 }).collect(Collectors.toList());
  35.  
  36.                 catelog2Vo.setCatalog3List(collect);
  37.  
  38.                 return catelog2Vo;
  39.             }).collect(Collectors.toList());
  40.  
  41.  
  42.             return catelog2VoList;
  43.         }));
  44.         return map;
  45.     }
  1.  public Map<String, List<Catelog2Vo>> getCatalogJson() {
  2.  
  3.         /**
  4.          * 空结果缓存:解决缓存穿透
  5.          * 设置过期时间(加随机值) 缓存雪崩
  6.          * 加锁 解决缓存击穿
  7.          */
  8.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  9.         if (result != null) {
  10.             return (Map<String, List<Catelog2Vo>>) result;
  11.         }
  12.  
  13.         Map<String, List<Catelog2Vo>> map = getCatalogJsonFromDB();
  14.         if (map == null) {
  15.             /**
  16.              * 解决缓存穿透
  17.              */
  18.             map = new HashMap<>();
  19.         }
  20.         redisTemplate.opsForValue().set(CATALOG_JSON, map, Duration.ofDays(1));
  21.         return map;
  22.     }

Ci saranno ancora problemi con la logica del codice precedente. Quando viene eseguito contemporaneamente, il primo thread finirà di controllare il database e rilascerà il blocco prima di inserirlo nella cache. Di conseguenza, il secondo thread controllerà la cache e non ci sono dati, quindi controllerà nuovamente il database. Non vi è alcuna garanzia che ci sarà un solo thread per controllare il database

Approccio corretto

  1.   public synchronized Map<String, List<Catelog2Vo>> getCatalogJsonFromDB() {
  2.  
  3.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  4.         if (result != null) {
  5.             return (Map<String, List<Catelog2Vo>>) result;
  6.         }
  7.  
  8.  
  9.         //1.查出所有1级分类
  10.         List<CategoryEntity> selectList = baseMapper.selectList(null);
  11.         /**
  12.          * 将数据库的多次查询变成一次
  13.          */
  14.  
  15.         //2. 封装数据
  16.         List<CategoryEntity> level1Category = selectList.stream().filter(s -> s.getParentCid().equals(0L)).collect(Collectors.toList());
  17.         Map<String, List<Catelog2Vo>> map = level1Category.stream().collect(Collectors.toMap(k -> k.getCatId().toString(), v -> {
  18.             //1.每一个的一级分类,查到1级分类的所有二级分类
  19.             List<CategoryEntity> categoryEntities = selectList.stream().filter(s -> s.getParentCid().equals(v.getCatId())).collect(Collectors.toList());
  20.  
  21.             List<Catelog2Vo> catelog2VoList = categoryEntities.stream().map(c -> {
  22.                 Catelog2Vo catelog2Vo = new Catelog2Vo();
  23.                 catelog2Vo.setId(c.getCatId().toString());
  24.                 catelog2Vo.setName(c.getName());
  25.                 catelog2Vo.setCatalog1Id(v.getCatId().toString());
  26.  
  27.                 List<CategoryEntity> categoryEntities1 = selectList.stream().filter(s -> s.getParentCid().equals(c.getCatId())).collect(Collectors.toList());
  28.                 List<Catelog2Vo.Catelog3Vo> collect = categoryEntities1.stream().map(c3 -> {
  29.                     Catelog2Vo.Catelog3Vo catelog3Vo = new Catelog2Vo.Catelog3Vo();
  30.                     catelog3Vo.setId(c3.getCatId().toString());
  31.                     catelog3Vo.setName(c3.getName());
  32.                     catelog3Vo.setCatalog2Id(c.getCatId().toString());
  33.                     return catelog3Vo;
  34.                 }).collect(Collectors.toList());
  35.  
  36.                 catelog2Vo.setCatalog3List(collect);
  37.  
  38.                 return catelog2Vo;
  39.             }).collect(Collectors.toList());
  40.  
  41.  
  42.             return catelog2VoList;
  43.         }));
  44.         if (map == null) {
  45.             /**
  46.              * 解决缓存穿透
  47.              */
  48.             map = new HashMap<>();
  49.         }
  50.         redisTemplate.opsForValue().set(CATALOG_JSON, map, Duration.ofDays(1));
  51.         return map;
  52.     }

Inserisci l'operazione di salvataggio nella cache nel blocco del codice di sincronizzazione

  1.  @Override
  2.     public Map<String, List<Catelog2Vo>> getCatalogJson() {
  3.  
  4.         /**
  5.          * 空结果缓存:解决缓存穿透
  6.          * 设置过期时间(加随机值) 缓存雪崩
  7.          * 加锁 解决缓存击穿
  8.          */
  9.         Object result = redisTemplate.opsForValue().get(CATALOG_JSON);
  10.         if (result != null) {
  11.             return (Map<String, List<Catelog2Vo>>) result;
  12.         }
  13.  
  14.         Map<String, List<Catelog2Vo>> map = getCatalogJsonFromDB();
  15.  
  16.         return map;
  17.     }

 

 

I lock locali possono bloccare solo il processo corrente, quindi abbiamo bisogno di lock distribuiti

3. Problemi con serrature locali in ambienti distribuiti

Cioè, ogni blocco può bloccare solo il processo corrente, ovvero ogni servizio controllerà il database.

Profilo personale

Si dedica alla ricerca tecnologica da più di 30 anni ed è esperto in vari linguaggi come Java, Linux, Javascript, php, css, ecc. Ha dato numerosi contributi nel campo dell'open source stazione di documentazione per gli sviluppatori per condividere alcuni problemi nello sviluppo della tecnologia per riferimento futuro

le mie informazioni di contatto

Posta