本文仅供学习交流使用，请勿用于商业用途或不正当行为
如果侵犯到贵公司的隐私或权益，请联系我立即删除

网址: https://search.douban.com/book/subject_search?search_text=python&cat=1001

1. 经过抓包分析，数据经过加密，加密后的数据在网页源代码中，即window.DATA

2.谷歌开发者工具全局搜索window.DATA

3.打开console，输入Mt，测试浏览器中是否有Mt这个全局对象

可以看到没有任何提示，可以判定无此全局对象

4.对该js文件改写，使window对象有Mt这个属性，并保存到本地，命名为douban.js

5.fiddler设置自动响应, 重新访问https://search.douban.com/book/subject_search?search_text=python&cat=1001，替换该js文件

6.重新打开控制台，输入Mt，测试浏览器中是否有Mt这个全局对象

可以看出，Mt在浏览器中已经是全局变量

7.selenium访问，并用flask做服务端接口

# -*- coding:utf-8 -*-

from selenium import webdriver
from flask import Flask, request
from urllib import parse


options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 开启无界面模式
options.add_argument('--disable-gpu')  # 禁用显卡
driver = webdriver.Chrome(options=options, executable_path='chromedriver')
driver.get('https://search.douban.com/book/subject_search?search_text=python&cat=1001')

app = Flask(__name__)
app.debug = False


def get_decrypt_data(encrypt_data):
    js = """
        var res = Mt.dispatch("{}");
        return JSON.stringify(res);
    """.format(encrypt_data)
    decrypt_data = driver.execute_script(js)
    return decrypt_data


@app.route('/get_decrypt_data', methods=['GET'])
def douban():
    encrypt_data = parse.unquote(request.args.get("encrypt_data"))
    decrypt_data = get_decrypt_data(encrypt_data)
    return decrypt_data


if __name__ == '__main__':
    app.run()

8.爬虫测试效果

# -*- coding:utf-8 -*-
import requests
import re
from urllib import parse

requests.packages.urllib3.disable_warnings()


for book_name in ['东野圭吾', 'python', 'java', '电影', '篮球', '足球']:
    url = 'https://search.douban.com/book/subject_search?search_text={}&cat=1001'.format(book_name)
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    resp = requests.get(url=url, headers=headers, verify=False)
    encrypt_data = re.findall('window.__DATA__ = "(.+?)"', resp.text)[0]
    encrypt_data = parse.quote(encrypt_data)

    decrypt_data = requests.get('http://127.0.0.1:5000/get_decrypt_data?encrypt_data={}'.format(encrypt_data)).text
    print(decrypt_data)

可以看到，数据可以获取

9.总结

优点：只要能够定位到加密位置，可以在短时间内**，避免抠代码的繁琐耗时
缺点：针对检测selenium的网站，该方法无法有效运行，比如抖音分享页signature的**，该方法不适用

针对抖音分享页signature，仍可不用抠代码方式快速**，下次分享