【Django 021】Django2.2利用装饰器和cache底层API两种方式实现Redis缓存原理和操作详解

标签: Python - Django

cache,也就是缓存,对于网页应用的快速响应是非常必须的,毕竟没有谁愿意一直等着服务器返回数据。那么缓存在前面学习的MTV模型中处于哪一环节?究竟有多少种缓存方式?又该如何将数据放入缓存呢?这一节我们一起来看看这些问题。

我是T型人小付,一位坚持终身学习的互联网从业者。喜欢我的博客欢迎在csdn上关注我,如果有问题欢迎在底下的评论区交流,谢谢。

操作环境

先总结下我的操作环境:

  • Centos 7
  • Python 3.7
  • Pycharm 2019.3
  • Django 2.2

因为Django长期支持版本2.2LTS和前一个长期支持版本1.11LTS有许多地方不一样,需要小心区分。

环境准备

离开之前的项目,新建一个DjangoCache项目。

步骤和之前是一样的,这里就不详细演示每一步的操作了:

  1. virtualenv创建虚拟环境,这里可以直接用之前的虚拟环境。记得activate环境
  2. django-admin startproject DjangoCache新建项目
  3. pycharm打开项目,注意是在manage.py的上一级打开
  4. 配置解释器为虚拟环境内的python,前一个项目的第三方包都会自动识别
  5. python manage.py startapp App新建一个应用,并在settings中注册
  6. mysql创好数据库DjangoCache,每次都用新的库,不然会有问题
  7. 修改配置文件settings.py,包括数据库连接信息,全局templates文件路径等等
  8. 全局__init__.py中对pymysql进行伪装pymysql.install_as_MySQLdb()
  9. 默认数据迁移python manage.py migrate
  10. App应用新建urls.py并include到项目的urls.py中,设置好namespace

cache的原理

cache就是缓存的意思,这里直接翻译一下官方文档的介绍。

对一个东西进行cache,就是将一个耗时的复杂运算的结果进行保存,这样下次进行同样访问的时候不用再重复进行计算

To cache something is to save the result of an expensive calculation so that you don’t have to perform the calculation next time

官方还给了一段伪代码来说明

given a URL, try finding that page in the cache
if the page is in the cache:
    return the cached page
else:
    generate the page
    save the generated page in the cache (for next time)
    return the generated page

所以应该就是将view函数返回的HttpResponse对象进行了cache,下次访问同样的view函数,如果cache还没过期就直接返回cache中的内容。如果cache过期了就重新运行一下view函数进行返回。

Django中的cache

流程图

按照上面的伪代码,我自己画了一个简单的流程图来对比一下加了cache前后的流程变化
1-Django_cache.jpg
没有加cache的时候,流程从①到⑧按照顺序;有了cache以后,当view.py中的view函数配置了cache,程序直接去cache中进行查找,有则直接⑨到⑩然后到⑦;如果cache已经过期则⑨到⑩再去③重复一遍没cache的流程并⑥以后除了返回结果给⑦,还要把结果放进cache以便下一次查询。

Django内置的cache种类

  • 基于Memcached缓存
    Memcached是一种内存数据库,所有数据保存在内存中,所以速度非常快,而且Django原生支持。但是因为Redis的走红,Memcached有被逐步取代的趋势。不过因为Redis没有被Django原生支持,所以要额外安装第三方模块再使用。建议使用Redis而不是Memcached。

  • 基于数据库缓存
    和普通数据模型差不多,关联一张表专门用来存储cache。因为只是单张表,没有额外关联,所以速度相对会快很多。

  • 基于文件系统缓存
    将数据保存在磁盘中,因为磁盘和内存的速率相差几万倍,这种方式速度并不快,所以不做推荐

  • 基于本地内存缓存
    如果系统无法支持Memcached或者Redis这种内存数据库,直接存在本地内存中也是可以。但是这样别的设备就无法共享cache内容了。也不做推荐

  • 自定义缓存
    例如安装第三方的Redis模块来使用。

Django中cache设计宗旨

按照官方文档的说明,Django的cache框架有下面三个设计宗旨,我觉得对于我自己的代码设计也有帮助,特意摘录如下

  • 尽量简洁,以提升查询效率

Less code
A cache should be as fast as possible. Hence, all framework code surrounding the cache backend should be kept to the absolute minimum, especially for get() operations.

  • API的一致性,不管后面使用什么cache实现,调用的API都要统一。类似于ORM

Consistency
The cache API should provide a consistent interface across the different cache backends.

  • 扩展性要好,方便用户进行自定义开发

Extensibility
The cache API should be extensible at the application level based on the developer’s needs

如果有机会,后面我们再一起看看一些源码来更深入的理解。

添加cache配置信息

虽说Django支持多种cache种类,但是通常以数据库和Redis来实现。这里分别来看看如何在Django中对这两种方式配置存储位置信息

基于数据库的cache

  1. 配置cache数据库信息

settings.py中模仿DATABASES的方式添加CACHES,如下

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.db.DatabaseCache',
        'LOCATION': 'my_cache_table',
    }
}

这里的LOCATION是数据库中的表名,下一步中进行创建。

  1. 创建cache表

跑一下下面的命令创建cache表

python manage.py createcachetable [table_name]

如果table_name省略的话会自动从settings.py中的配置来寻找。

可以通过加--dry-run来查看DDL

(django) [[email protected] DjangoCache]$ python manage.py createcachetable my_table --dry-run
CREATE TABLE `my_cache_table` (
    `cache_key` varchar(255) NOT NULL PRIMARY KEY,
    `value` longtext NOT NULL,
    `expires` datetime(6) NOT NULL
);
CREATE INDEX `my_cache_table_expires` ON `my_cache_table` (`expires`);

可以看到多了一个表my_cache_table,表结构和前面看到的django_session表非常像
2-table.png

基于Redis的cache

  1. 安装第三方库

因为Redis不是Django原生的,所以首先要安装第三方库,一共有两个:

  • django-redis
  • django-redis-cache

可以通过pip install来安装,或者是在设置中的解释器图形界面安装,如下
3-redis-module.png

  1. 运行Redis

在本地起一个redis实例以供使用。可以参考我的Redis系列专栏中的《Redis从入门到精通(1):centos7安装和启动redis》 进行安装和启动,如果想使用docker也可以参考另一篇《Redis从入门到精通(4):docker运行redis容器详解》

点击这里进入我写的Redis系列专栏

我这里是在本地的6780端口起了一个实例,密码是xiaofu,使用第1号库来存储cache,如下

[[email protected]estmachine bin]$ ./redis-cli -p 6380 -a xiaofu
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6380> select 1
OK
127.0.0.1:6380[1]> keys *
(empty list or set)
127.0.0.1:6380[1]>

我的redis版本是5.0.7

[[email protected] bin]$ ./redis-server --version
Redis server v=5.0.7 sha=00000000:0 malloc=libc bits=64 build=87b518f2fdf327d
  1. 配置cache数据库信息

一些操作方法可以参考django-redis官方文档

settings.pyCACHES中再添加一个配置my_redis_cache,如下

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.db.DatabaseCache',
        'LOCATION': 'my_cache_table',
    },
    "my_redis_cache": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6380/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            "PASSWORD": "xiaofu"
        }
    }
}

其中LOCATION配置项的最后那个1表示Redis中的第1号DB

实际使用

配置好了两个待选的存储路径,就可以开始实际使用看看了。

基于装饰器的实现

Django帮我们封装了一个非常好用的装饰器cache_page,只需要将准备加入cache的view函数使用该装饰器即可。该装饰器只需要一个参数就可以使用,就是以秒为单位的超时时间。同时还可以加入cache=xxx的关键字参数来指定settings.py中配置好的存储位置。

创建路由和view函数如下

path('test_cache/',views.test_cache,name='test_cache'),
path('test_cache_target/',views.test_cache_target,name='test_cache_target'),
def test_cache(request):
    return HttpResponseRedirect(reverse('app:test_cache_target'))


def test_cache_target(request):
    time.sleep(5)
    return HttpResponse('5 seconds have passed by')

访问/app/test_cache/的时候会跳转到/app/test_cache_target/,这里模拟一个耗时计算,睡眠5秒,然后返回。

此时访问http://127.0.0.1:8000/app/test_cache/效果如下
4-before-cache.gif
可以看到左上角转圈了5秒才显示目标页面的内容

数据库cache

然后修改view函数如下

def test_cache(request):
    return HttpResponseRedirect(reverse('app:test_cache_target'))


@cache_page(60 * 5, cache='default')
def test_cache_target(request):
    time.sleep(5)
    return HttpResponse('5 seconds have passed by')

加了一个装饰器,并且配置过期时间为5分钟,使用名为default的cache配置,也就是数据库cache。之后再访问http://127.0.0.1:8000/app/test_cache/从第二次开始的效果如下
5-after-cache.gif
可以看到按下回车的一瞬间就显示了目标页面的内容。要从第二次开始,是因为第一次访问之后会将结果存储到数据库中,下一次生效。

查看数据库中的数据,发现my_cache_table多了两条记录,过期时间是在约5分钟后
6-database-cache.png
如果过期时间和本机时间对不上,修改一下settings.py中的TIME_ZONEAsia/Shanghai来解决。

休息5分钟后再过来尝试访问,又会出现转圈的现象,之后my_cache_table中的过期时间往后推了5分钟
7-update-expire-time.png
下次访问就又可以飞速跳转了。

Redis

修改上面的view函数如下

@cache_page(60 * 5, cache='my_redis_cache')
def test_cache_target(request):
    time.sleep(5)
    return HttpResponse('5 seconds have passed by')

只是将数据库cache换成了Redis。之后的访问表现和上面一样,在第一次转圈以后就可以飞速跳转,并且Redis中也多出来了两个key,内容都被加码了

[[email protected] bin]$ ./redis-cli -p 6380 -a xiaofu
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6380> select 1
OK
127.0.0.1:6380[1]> keys *
(empty list or set)
127.0.0.1:6380[1]> keys *
1) ":1:views.decorators.cache.cache_header..752bc302bf33f4d1293e77001ab27be9.en-us"
2) ":1:views.decorators.cache.cache_page..GET.752bc302bf33f4d1293e77001ab27be9.d41d8cd98f00b204e9800998ecf8427e.en-us"
127.0.0.1:6380[1]> get :1:views.decorators.cache.cache_page..GET.752bc302bf33f4d1293e77001ab27be9.d41d8cd98f00b204e9800998ecf8427e.en-us
"\x80\x04\x95\x89\x01\x00\x00\x00\x00\x00\x00\x8c\x14django.http.response\x94\x8c\x0cHttpResponse\x94\x93\x94)\x81\x94}\x94(\x8c\b_headers\x94}\x94(\x8c\x0ccontent-type\x94\x8c\x0cContent-Type\x94\x8c\x18text/html; charset=utf-8\x94\x86\x94\x8c\aexpires\x94\x8c\aExpires\x94\x8c\x1dWed, 08 Apr 2020 08:22:09 GMT\x94\x86\x94\x8c\rcache-control\x94\x8c\rCache-Control\x94\x8c\x0bmax-age=300\x94\x86\x94u\x8c\x11_closable_objects\x94]\x94\x8c\x0e_handler_class\x94N\x8c\acookies\x94\x8c\x0chttp.cookies\x94\x8c\x0cSimpleCookie\x94\x93\x94)\x81\x94\x8c\x06closed\x94\x89\x8c\x0e_reason_phrase\x94N\x8c\b_charset\x94N\x8c\n_container\x94]\x94C\x185 seconds have passed by\x94aub."
127.0.0.1:6380[1]>

通过ttl可以查看两个key的过期时间,单位是秒,如果返回-2表示已经过期

127.0.0.1:6380[1]> ttl :1:views.decorators.cache.cache_page..GET.752bc302bf33f4d1293e77001ab27be9.d41d8cd98f00b204e9800998ecf8427e.en-us
(integer) 87
127.0.0.1:6380[1]> ttl :1:views.decorators.cache.cache_page..GET.752bc302bf33f4d1293e77001ab27be9.d41d8cd98f00b204e9800998ecf8427e.en-us
(integer) 86
127.0.0.1:6380[1]> ttl :1:views.decorators.cache.cache_page..GET.752bc302bf33f4d1293e77001ab27be9.d41d8cd98f00b204e9800998ecf8427e.en-us
(integer) 84
127.0.0.1:6380[1]> ttl :1:views.decorators.cache.cache_page..GET.752bc302bf33f4d1293e77001ab27be9.d41d8cd98f00b204e9800998ecf8427e.en-us
(integer) -2

基于底层API操作的实现

上面这种对view函数加装饰器的方式对于静态页面还是很方便的,但是其弱点也很明显,就是对于动态页面会显得非常不灵活。最好是能够将一个页面中不经常变化以及计算很耗时的数据存到cache中,这个时候就需要利用到底层API的操作了。

首先通过from django.core.cache import caches之后利用caches['xxx']来获取一个cache对象。这其中的xxx就是在settings.py中配置的存储位置的名字。然后就可以用这个cache对象来进行API操作了。

几个常用的API操作如下:

  • cache.set(key, value, timeout)
    设置一个cache的键值对,key是一个string类型,而value可以是python支持的数据类型,例如字典。timeout的单位是秒,如果赋值None表示永不过期,而赋值0则不会存储这个键值对

  • cache.get(key, default=None)
    尝试去获取一个key,如果已经过期则返回None。或者赋值给default一个当key不存在时候的返回值

  • cache.delete(key)
    删除一个key

还有一些操作可以查看官方文档

数据库cache

修改上面的view函数如下

def test_cache(request):
    return HttpResponseRedirect(reverse('app:test_cache_target'))


# @cache_page(60 * 5, cache='my_redis_cache')
def test_cache_target(request):
    rdm = random.randint(1,100)
    # cache = caches['my_redis_cache']
    cache = caches['default']
    cached = cache.get('giant_data')
    if cached == None:
        time.sleep(5)
        cache.set('giant_data','this is a giant data',60*5)
    return HttpResponse('the result after calculation is {}'.format(str(rdm)))

每次访问会生成一个随机的0-100的整数,这个数字因为变化太快所以不用放进cache。 然后这里给cache实例添加了一个叫giant_data的key,过期时间是5分钟,模拟一个复杂运算以及不经常变动的内容

第一次访问在停顿了5秒后在数据库的my_cache_table种多了一条记录
8-api-database.png
以后再次访问就没有停顿了,

Redis

如果要改为Redis也非常简单,只需要修改cache = caches['my_redis_cache']即可,如下

def test_cache(request):
    return HttpResponseRedirect(reverse('app:test_cache_target'))


# @cache_page(60 * 5, cache='my_redis_cache')
def test_cache_target(request):
    rdm = random.randint(1,100)
    cache = caches['my_redis_cache']
    # cache = caches['default']
    cached = cache.get('giant_data')
    if cached == None:
        time.sleep(5)
        cache.set('giant_data','this is a giant data',60*5)
    return HttpResponse('the result after calculation is {}'.format(str(rdm)))

之后的效果和之前一样,不过键值对存储在了Redis中如下

127.0.0.1:6380[1]> keys *
1) ":1:giant_data"
127.0.0.1:6380[1]> get :1:giant_data
"\x80\x04\x95\x18\x00\x00\x00\x00\x00\x00\x00\x8c\x14this is a giant data\x94."
127.0.0.1:6380[1]> ttl :1:giant_data
(integer) 270
127.0.0.1:6380[1]>

总结

这一篇我们熟悉了多种实现cache的方法,如果要说哪一种最好,我个人最推荐Redis配合底层API的方式。生产环境的Redis通常是一个单独的集群,不仅速度快,而且便于共享,同时也也可以避免单点问题。

版权声明:本文为Victor2code原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Victor2code/article/details/105393231

智能推荐

[学习记录,]Mybatis入门

环境: Eclipse 2019 Tomcat 9.0 jdk1.8 开搞 首先创建工程 结构如下 导入Jar包 可在mybatis官网下载 http://www.mybatis.cn/82.html 配置文件mybatis-config.xml 事务管理有两种:JDBC和MANAGED JDBC: MANAGED 数据源类型:UNPOOLED、POOLED、JNDI 创建实体类文件User.ja...

运用for语句来判断数组中值得大小

总结: 1将if语句与数组联合起来判断输入中各组中的最大最小值; 2注意:定义的数组数量是躲多少就要输入多少组数据,少输入就无法输出;...

Bridging signals

Bridging signals Time Limit: 1000MSMemory Limit: 10000K Total Submissions: 10926Accepted: 5982 Description 'Oh no, they've done it again', cries the chief designer at the Waferland chip factory. Once ...

一天一大 leet

一天一大 leet 题目(难度:困难): 示例 抛砖引玉 官方答案 高手在民间 菜鸡的自白 20200606 题目(难度:困难): 给定一个未排序的整数数组,找出最长连续序列的长度。 要求算法的时间复杂度为 O(n)。 示例 示例 抛砖引玉 要求算法的时间复杂度为 O(n),即限制了只能循环一次; 先对数组排序 循环数组记录后一个元素等于前一个元素+1或者等于前一个元素的数量 满足条件++,不然重...

Tensorflow实现的CNN文本分类

https://blog.csdn.net/somtian/article/details/69359498 原博文, github 在这篇文章中,我们将实现一个类似于Kim Yoon的卷积神经网络语句分类的模型。 本文提出的模型在一系列文本分类任务(如情感分析)中实现了良好的分类性能,并已成为新的文本分类架构的标准基准。 本文假设你已经熟悉了应用于NLP的卷积神经网络的基础知识。 如果没有,建议...

猜你喜欢

JDBC新手入门教程

开发工具:idea 数据库:mysql jar包:junit-4.10 mysql-connector-java-8.0.18 junit-4.10下载 mysql-connector-java-8.0.18下载 注意1:jdbc的驱动因为使用的是mysql-connector-java-8.0.18,所以为(“com.mysql.cj.jdbc.Driver”),而不是(...

Lua 排序 table.sort

    正如C#中有Array.Sort(),lua中也有自己的排序方法即table.sort(table,function)。     lua中的排序默认是从大到小的排序;     传入一个方法参数,可以使排序从小到大; 打印结果:  ...

SURF算法简述及Python标记SURF特征检测实践

目录 一、SURF算法 1.算法简介 2.SURF与SIFT的具体差异 二、Python代码实践 1.测试环境 2.测试代码 3.核心函数 4.测试结果 一、SURF算法 1.算法简介 SURF(Speeded-Up Robust Features)加速稳健特征,是一种稳健的局部特征点检测和描述算法。 SURF是对SIFT算法的改进,该算子在保持 SIFT 算子优良性能特点的基础上,同时解决了 S...

Selenium3自动化测试——19.读取数据文件

1. 实现目标 在测试与开发中,经常需要对文件进行各种读取操作。这里介绍针对txt、csv、xml、json文件的读取。 2. 读取TXT文件 2.1 user_info.txt文件 2.2 读取txt文件.py 2.3 实现结果 3. 读取csv文件 3.1 user_info.csv  这里要注意,csv文件本身打开是utf-8的,而不是乱码 3.2 读取csv文件.py 这里,针对...

Flask 介绍

Flask 学习笔记 一、Flask 简介         Flask 是一款非常流行的 Python Web 框架,出生于 2010 年,作者是 Armin Ronacher,本来这个项目只是作者在愚人节的一个玩笑,后来由于非常受欢迎,进而成为一个正式的项目。         Flask 自2010年发布第一个版本以...