Linux | 文件查看与操作命令

  

2019-12-13 11:49:53

文件查看命令 文件查看命令 pwd 显示当前路径,同比为 windows 下文件管理中地址栏 pwd 用法示例 cd 更改当前的操作目录 cd 用法示例 Tip ls 查看当前目录下的文件 ls 用法示例 ls 常用参数 Tip ls 多个参数可以合并在一起执行,没有先后之分。 例如: 文件目录操作 文件目录操作 mkdir 创建目录 mkdir 用法示例 Tip 可以在 mkdir 之后跟上多个...

为什么需要容器的网络管理? 容器的网络默认与宿主机、与其他容器相互隔离,且容器中可以运行一些网络应用,比如nginx、web应用、数据库等,如果需要让外部也可以访问这些容器中运行的网络应用,那么就需要配置网络来实现。 同样的,不同需求下,容器与宿主机的通信有不同的业务状态这时候就需要容器网络管理以达成管理不同业务下相关的网络配置。 Docker中的网络驱动模式有那些? bridge network...

[SVN]在MyEclipse中创建SVN工程

SVN  Java  Linux

  

2019-12-13 11:48:02

前言 在上文中我们提到了SVN在服务器的构建,今天我将带领大家在MyEclipse中创建SVN工程。 注:SVN服务器搭建请点击: [SVN]版本控制工具搭建及使用 ①在MyEclipse中找到SVN资源库视图 ②新建资源库,连接SVN 连接成功后如下图所示 ③上传项目至SVN ④忽略文件 ⑤分享工程至SVN 点击Finish,然后提交工程即可 注:提交完成后,此时查看SVN资源目录会显示未连接S...

确定有限状态自动机简介 实现过程 实现分析 代码实现 确定有限状态自动机简介 有限状态自动机拥有有限数量的状态,每个状态可以迁移到零个或多个状态,输入字串决定执行哪个状态的迁移。 DFA是理解KMP算法的基础。 关于什么是DFA,可参考链接:有穷自动机DFA&NFA 本篇的主要目的是实现DFA。 实现过程 下面是一个字符串ABABAC的DFA: 构建DFA过程 实现分析 一. 首先DFA有...

C# winform导出excel可以使用 Microsoft.Office.Interop.Excel.dll或者Aspose.Cells.dll以及其他方法。Microsoft.Office.Interop.Excel.dll导出速度慢,不适用于数据量大情况。Aspose.Cells.dll到处速度很快。由于Aspose.Cells.dll本身收费,所以需要加载破解证书。 Aspose.Cel...

Python杂项

  

2019-12-13 11:44:56

  【不定期更新Python学习过程中遇到的奇奇怪怪小问题 / tips】 1 同时从控制台(键盘)输入多个变量值: a,b,c = raw_input('请输入a b c的值,以空格分隔:\n').split( ) print 'a,b,c分别为:',a,b,c >>>请输入a b c的值,以空格分隔: >>>11 22 33  #从键盘输...

X天下密码加密分析 本次的受害者: aHR0cHM6Ly9wYXNzcG9ydC5mYW5nLmNvbS8= 分析 通过输入错误密码抓包查看加密字段。【图1-1】 图1-1 直接通过检索pwd:定位加密位置【图1-2】。 图1-2 根据检索结果给对应的位置打上断点【图1-3】,并把划线的代码复制出来备用。 图1-3 重新发起请求,发现这些参数大概是下面这样的: 根据上面分析就少了一个 key_to...

[新手爬虫第一弹]爬取妹子图

  

2019-12-13 11:42:52

第一弹 人生苦短 导语     这次爬取的是妹子图(meizitu.com),算是一个非常适合新手的网站。     完成这次的项目主要用到以下几个库:     主要实现了图集、图片链接存储到mongoDB数据库,下载图片到本地,图片去重。 分析目标站   &n...

今日目标站 aHR0cHM6Ly9tLndjYmNoaW5hLmNvbS9sb2dpbi9vdGhlci1sb2dpbi5odG1s 分析请求 老规矩先抓包分析请求【图1-1】: 图1-1 可以看到提交的参数是 json 格式的数据,分别有 sign、password 这两个比较明显的加密,先逐个搜索一下。 定位加密 - sign 直接通过搜索参数名是可以直接定位到加密位置的。【图2-1】 图2-...

前言 先上一波爬取的结果: 数据库中部分截图 实战 引入类库 分析页面请求 在搜索框中键入python 打开调试模式,查看代码 查看上图返回的结果,没有找到在页面上看到的信息,判断可能是Ajax异步加载的数据我们刷新页面重新查找,切换到XHR选项卡,可以看到页面请求但会了一堆JSON数据,其中就包含了我们需要的信息。 切换XHR选项卡 查看返回的信息 构建Header 我们可以看到页面请求中,请求...

Python | Python学习之初识Scrapy

  

2019-12-13 11:38:07

初识Scrapy 什么是Scrapy? Scrapy使用 Python 实现的一个开源爬虫框架,Scrapy基于 twisted这个高性能的事件驱动网络引擎框架,Scrapy爬虫拥有很高的性能。 Scrapy内置数据提取器(Selector),支持XPath和 Scrapy自己的 CSS Selector语法 并且支持正则表达式,方便从网页提取信息。 交互式的命令行工具,方便测试 Selector...

前言 先上一波爬取的结果: 数据库中部分截图 实战 引入类库 分析页面请求 分析目标页面 打开开发者模式,查看链接 点击任意标签,分析页面请求 分别请求不同的标签页面,分析请求链接,可以发现如下规律: 由此,我们可以构建以下代码,以获取标签页面所有标签链接: 我们进入单个标签页面,分析图书列表页面,解析我们需要存储的字段 我们通过bs4解析我们需要的字段,如:出版时间,作者/译者,豆瓣评分,售价,...

抖音小姐姐属于你的四种姿势

  

2019-12-13 11:34:58

写在前面 这是咸鱼的第十篇原创文章,谢谢大家一直以来的支持,虽然公众号的粉丝不多,但是为了能写出更好的原创文章,咸鱼这里建了一个群,你可以在群里提出对公众号的建议等。 群的定位是Python学习交流但不限于Python学习交流,干货资源分享,只要你想分享的都可以在群里分享出来,为了减少营销,微商等奇奇怪怪的物种骚扰,有需要的朋友可以在公众号后台回复「咸鱼来了」获取咸鱼的微信备注「加群」,我会拉你入...

Self-attention计算方法

BERT

  

2019-12-13 11:31:50

首先,Inputs为x1~x4,是一个sequence,每一个Input先通过一个Embedding,乘上一个Matrix得到(a1,a4),然后放入self-attention 在self-attention当中,每一个Input都分别乘上3个不同的Matrix产生3个不同的Vector,分别命名为q,k,v q代表query,to match others,每一个Input都乘上一个Matri...

FreeCodeCamp中文社区刷题答案及笔记 一、Truncate a string(截断字符串) 二、Chunky Monkey(分割数组) 三、Slasher Flick(截断数组) 四、Mutations(indexOf() 方法) 五、Falsy Bouncer(Filter()方法) 六、Seek and Destroy(Arguments,Filter()) 七、Where do I...

写在前面 这周临时通知出差,所以没办法更文,实在抱歉。 还有一件很重要的事情,咸鱼下周二有一场自费赠书,一共6本,全部都是咸鱼自掏腰报回馈粉丝的福利。 目前暂定在交流群和公众号后台分别抽奖,按照上次的抽奖结果,交流群的中奖概率为1/30,后台小程序的中奖概率为1/100。所以还没有加入交流群的朋友快点加入吧~ 为什么使用CrawlSpider类? 回顾上一篇文章,我们大多时间都是在寻找下一页的ur...

Python | Python学习之多线程详解

  

2019-12-13 11:27:19

多进程详解 在Python中如何创建多线程? 通过Thread创建多线程 通过Thread子类创建多线程 python的threading模块是对thread做了一些包装的,可以更加方便的被使用,线程的方法和进程的基本相似,这里就不多赘述,下面举几个栗子: 多线程和多进程的执行有什么区别? 多进程是多份程序同时执行 多线程是在一份程序下多个执行指针同时执行 多线程并不需要线程间通信,线程间共享全局...

前言 最近在学习scrapy redis,在复习redis的同时打算把mysql和mongodb也复习一下,本篇为mysql篇,实例比较简单,学习sql还是要动手实操记的比较牢。 安装与启动 安装:sudo apt-get install mysql-server 查看服务:ps ajx | grep mysql 停止服务:sudo service mysql stop 开启服务:sudo ser...

写在前面 本篇是咸鱼日常撸视频的时候记录的一些代码实例,可以直接运用到项目中但是有些代码的可用性没有那么好,旨在分享思路,不喜勿喷~ 搭建ip代理池(简易版) 推荐两个scrapy代理的项目 第一个是免费的代理插件,无需付费 https://github.com/aivarsk/scrapy-proxies 第二个是需要付费的代理插件 https://github.com/scrapy-plugi...

前言 最近在学习scrapy redis,顺便复习了redis。 本篇为redis篇,包含实例演示,主从服务配置,python交互等内容。 nosql与redis介绍 nosql数据库: 不支持SQL语法 存储结构跟传统关系型数据库中的那种关系表完全不同,nosql中存储的数据都是KV形式 NoSQL的世界中没有一种通用的语言,每种nosql数据库都有自己的api和语法,以及擅长的业务场景 NoS...