缓存命中率过低;大量缓存项同时刷新;刷新同一个缓存项

更新日期: 2019-04-02阅读: 1711标签: 缓存

缓存的作用是在内存中临时存储来自外部系统(如数据库)的数据,以便让请求更快的得到响应。如果请求数据在缓存中不存在,或者已经超时失效,那么也要从外部系统查询,然后放入缓存中,这个过程叫刷新缓存。

这是缓存的基本使用逻辑,但是实际当中可能出现三种异常情况,它们会导致缓存起不到预期的使用效果,以至于系统性能明显下降。


缓存命中率过低

缓存命中率指的是从缓存中找到数据的请求占所有请求的比重。例如 100 个请求当中有 90 个请求的结果可以直接从缓存中获得,那么命中率就是 90%。剩下 10% 的请求就要从外部系统查询数据,填入缓存,然后再返回。

什么情况下缓存命中率高呢?请求的数据比较集中的时候,例如 80% 的请求集中在 20% 的数据上,这部分数据也被称作热点之类的。热点越热,缓存命中率越高。

因此之所以出现缓存命中率过低,自然就是因为热点不够热,请求的数据非常分散。命中率过低的后果就是很多请求的数据仍需从外部系统查询,假如是数据库的话,数据库的压力就会非常大,同时系统的响应也明显变慢。

要缓解缓存命中率过低的问题,最直接的办法当然是加大缓存。本地缓存不够,就用分布式缓存,多台机器分开存储。

特例一:分散攻击

有时候系统正常情况下是存在热点数据的,但突然有一天出现大量的分散请求,导致缓存命中率直线下降。这些异常的请求可以看作是有意的攻击行为,目的就是让系统无法响应。

而遇到攻击行为的话,加大缓存可能是徒劳的,这时候需要去识别请求,对于被归类为攻击的请求主动延长响应时间,甚至拒绝返回结果。

比如说一个论坛,突然遇到大量请求,均匀的访问五年内的帖子内容,导致数据库负载很大,此时可以将访问老帖子的请求(帖子ID通常是递增的,ID越小表示发帖时间越久)返回时间适当延长,比如延长到五分钟。不过使用这种做法时千万不要简单的暂停线程,这会导致没有多余的线程来处理正常的请求。

特例二:无效的 key

有时候系统收到大量请求,这些请求的数据非但缓存中没有,连数据库也没有,那么每个请求不但因为缓存未命中而去查询数据库,而且因为数据库没有记录而无法填充到缓存。这是更加恶劣的情况。

遇到这种情况,同样需要鉴别无效的请求。对于 key 自增的情况,可以通过值范围来鉴别;而对于使用 UUID 的情况,就需要低成本的鉴别方式,布隆过滤器是一个选择。


大量缓存项同时刷新

缓存通常都是存在失效时间的,需要避免的一种情况就是大量缓存项在同一个时间点失效,如果此时对这些数据的请求量大,那么这些请求就会同时去刷新各自的缓存,这就将压力传递到了外部系统上。避免这种情况的办法就是在预定的失效时间基础上加上一个随机值,以错开缓存项的失效时间。


大量请求刷新同一个缓存项

一个请求遇到缓存失效,于是去刷新缓存,而在这个过程中又有大量请求来访问正在刷新的缓存项,导致该缓存项完成本次刷新后,又立刻被另一个线程刷新,实质上每个请求都因为缓存未命中而去访问了外部系统。

出现这个现象的原因是设计上的不合理。当一个缓存正在刷新时,访问该缓存项的其他线程应该等待刷新完毕,这样它们就可以直接从缓存获得结果了。线程同步当然是用锁。如果是分布式系统,那就用分布式锁。


链接: https://www.fly63.com/article/detial/2679

浏览器缓存_HTTP强缓存和协商缓存

浏览器缓存主要分为强强缓存(也称本地缓存)和协商缓存(也称弱缓存),强缓存是利用http头中的Expires和Cache-Control两个字段来控制的,用来表示资源的缓存时间。协商缓存就是由服务器来确定缓存资源是否可用.

angularjs 缓存详解

一个缓存就是一个组件,它可以透明地存储数据,以便未来可以更快地服务于请求。缓存能够服务的请求越多,整体系统性能就提升得越多。

浏览器缓存问题原理以及解决方案

浏览器缓存就是把一个已经请求过的Web资源(如html页面,图片,js,数据等)拷贝一份副本储存在浏览器中,为什么使用缓存:减少网络带宽消耗,降低服务器压力,减少网络延迟,加快页面打开速度

Web缓存相关知识整理

一个H5页面在APP端,如果勾选已读状态,则下次打开该链接,会跳过此页面。用到了HTML5 的本地存储 API 中的 localStorage作为解决方案,回顾了下Web缓存的知识

使用缓存加速之后的网站访问过程变化

在描述CDN的实现原理之前,让我们先看传统的未加缓存服务的访问过程,以便了解CDN缓存访问方式与未加缓存访问方式的差别,用户访问未使用CDN缓存网站的过程为:用户向浏览器提供要访问的域名;

html页面清除缓存

页面打开时,由于缓存的存在,刚刚更新的数据有时无法在页面得到刷新,当这个页面作为模式窗口被打开时问题更为明显, 如何将缓存清掉?

HTTP之缓存 Cache-Control

通过在Response Header设置Cache-Control head 信息可以控制浏览器的缓存行为。我们先来看一下Cache-Control可以设置哪些值:缓存头Cache-Control只能在服务端设置,在客户端是由浏览器设置的,自己不能修改它的值。

工程化_前端静态资源缓存策略

增量更新是目前大部分团队采用的缓存更新方案,能让用户在无感知的情况获取最新内容。具体实现方式通常是(一般我们通过构建工具来实现,比如webpack):

前端静态资源自动化处理版本号防缓存

浏览器会默认缓存网站的静态资源文件,如:js文件、css文件、图片等。缓存带来网站性能提升的同时也带来了一些困扰,最常见的问题就是不能及时更新静态资源,造成新版本发布时用户无法及时看到新版本的变化,严重影响了用户体验。

vue后台管理系统解决keep-alive页面路由参数变化时缓存问题

一个后台管理系统,一个列表页A路由配置需要缓存,另一个页面B里面有多个跳转到A路由的链接。问题描述:首先访问/A?id=1页面,然后到B页面再点击访问A?id=2的页面,发现由于页面A设置了缓存,数据还是id=1的数据,并没有更新。

点击更多...

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!