感知机的实现 简单实现 AND函数 输出结果: AND(0, 0) # 输出0 AND(1, 0) # 输出0 AND(0, 1) # 输出0 AND(1, 1) # 输出1 导入权重和偏置 w1和w2是控制输入信号的重要性的参数,而偏置是调 整神经元被激活的容易程度(输出信号为1的程度)的参数 使用权重和偏置实现与门、非门、或门: 实现异或 “单层感知机无法表示异或门”或...

pytorch实现BiLSTM+CRF ​ 网上很多教程都是基于pytorch官网例子进行的解读,所以我就决定看懂官网例子后自己再进行复现,这一篇是我对于官方代码的详细解读。 理解LSTM 参考:http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 这一篇英文的LSTM文章写得真的很好,看了一遍以后就很轻松的捡起了遗忘的知识点 ​ RN...

数据预处理最常见的方法就是中心化和标准化,中心化相当于修正数据的中心位置,实现方法非常简单,就是在每个特征维度上减去对应的均值,最后得到 0 均值的特征。标准化也非常简单,在数据变成 0 均值之后,为了使得不同的特征维度有着相同的规模,可以除以标准差近似为一个标准正态分布,也可以依据最大值和最小值将其转化为 -1 ~ 1 之间。 2015 年一篇论文提出了这个方法,批标准化,简而言之,就是对于每一...

此篇摘自*这个巨巨*,本文只是加上了自己的总结 / 与 // /结果为小数,和平常除法较像 //只保留整数部分的值,若x或者y中任意一个为小数,则结果为小数 divide np.divide和np.true_divide结果一样(python3.7.2) np.floor_divide只保留整数结果(两个数组元素都是整数,输出整数,若有某些元素为小数,则对应结果是取整的小数)   多层神...

文章目录 一、batch梯度下降 VS mini-batch梯度下降 二、mini-batch梯度下降 三、测试:batch梯度下降 四、测试:动量梯度下降 五、测试:Adam梯度下降 一、batch梯度下降 VS mini-batch梯度下降 当数据量达百万级别时,即使采取向量化技术进行batch梯度下降,所需时间也比较久。此时可将数据集分成多批,每一个小批量的数据集则称为mini-batch。...

实验环境 pytorch 1.4 Windows 10 python 3.7 cuda 10.1(我笔记本上没有可以使用cuda的显卡) 实验过程 1. 确定我们要加载的库 2. 加载数据 这里使用所有数据进行训练,再使用所有数据进行测试 3. 定义神经网络模型 这里使用全神经网络作为模型 4. 模型训练 训练模型的loss部分截图如下: 5. 测试模型 实验结果 最终实验的正确率达到:98.22...

前言 ​ SoftMax和Sigmoid是搭建神经网络时常见的两种激活函数。由于最近在做一个多分类的任务,使用到了Softmax函数,这里仅简单提一下Sigmoid,详细介绍Softmax函数。 Sigmoid ​ Sigmoid函数由下列公式定义 ​ Sigmoid函数的图形如S曲线 SoftMax Sigmoid函数由下列公式定义 softmax 的作用是把 一个序列,变成概率。 softma...

文章目录 前言 超参数调试经验 超参数有哪些? 参数调优? 深层神经网络中隐藏层的归一化 原理 公式 batch正则化 原理 其它原因 流程图 softmax分类回归问题 意义? 公式 深度学习框架简介 前言 参考念师。 在本篇文章中,将了解机器学习中的超参数调优、batch正则化及深度学习框架。 主要包括: 超参数调试经验 深层神经网络中隐藏层的归一化 batch正则化 softmax分类回归问...

说明 本文非本人所著,转载自 https://www.jianshu.com/p/3a43a6a860ef。 主要内容为李宏毅老师深度学习课程某次讲的 SELU 激活函数课程。由于课堂效果极好(实验部分),给我留下及其深刻的印象,所以特地挑选了一篇比较好的笔记备份到本博客上。 正文 要复现的一篇文章使用了一个奇怪的激活函数:the scaled exponential linear units, ...

AlexNet网络框架如下:AlexNet的原始输入图片大小为224*224,Mnist数据集中图片大小为28*28,所以需要对网络参数进行修改。 先掉用train函数进行训练,训练好的参数会保存在params.pth文件中,训练好使用本地图片(画图软件生成)进行测试。 完整程序如下:  ...

单层感知机

深度学习  深度学习

  

2020-04-05 10:41:22

什么是感知机 感知机由Rosenblatt在1957年提出,是一种二类线性分类模型。输入一个实数值的n维向量(特征向量),经过线性组合,如果结果大于某个数,则输出1,否则输出-1.具体地: 其中的w0,w1,....wn权重,W向量称为权向量(本文中粗体代表向量)。权重决定每个输入分类对最终输出的贡献率。为了更简洁地表示,我们加入一个x0=1,则可以将上面的式子写成符号函数(输入大于零的时候为1,...

候选区域(Region Proposal)算法 滑窗法的问题可以使用候选区域产生算法解决。这些算法输入整张图片,然后输出可能有物体的候选区域位置,这些候选区域可以有噪声或者重叠,或者和物体的重合度不是很好,这都不要紧,只要这些区域里有一个和实际物体的位置足够接近就行。因为不好的候选区域会被物体识别算法过滤掉。   候选区域算法用分割不同区域的办法来识别潜在的物体。在分割的时候,我们要合并...

背景交代(很杂乱,可跳过): 最开始的目的是完成和SAN论文里一样,用把四种风格图片当做四种标签,在原来的权重基础上,整体重新训练resnet50两轮(原文中是resnet101),下图为resnet网络结构 改变了最后的全连接层,从头开始重新训练,结果不太对,训练日志部分如下,一直不是等于100就是0 改变全连接层的代码是这样哒,第一句就是获取原来fc层的输入通道数,把原来的全连接层改成了下面这...

【BP算法】

深度学习  深度学习

  

2020-04-14 02:23:11

本文只计算一个权重W0_00的梯度,因此只画出涉及到W0_00的forward路线。BP算法就是更方便的计算出神经网络参数的梯度。 定义网络 z1=x0*w0_00 a1=sigmoid(z1) z2=a1*w1_00 a2=sigmoid(z2) p1=a2 z3=a1*w1_01 a3=sigmoid(z3) p2=a3 tf2实现...

由于最近目标是完成基于深度学习的脑肿瘤语义分割实验,所以需要用到自定义的数据载入,本文参考了一下博客:https://blog.csdn.net/tuiqdymy/article/details/84779716?utm_source=app,一开始是做的眼底图像分割,由于使用的是DRIVE数据集,所以数据量很少,之前也是按照上面这篇博客标注了关于图片id的txt文件,但是这次是应用在kaggle...