计算机视觉一些常用名词解释
CV(Computer Vision);计算机视觉,它的目的是来理解图像中所要表达的意思。可以对图像进行一些操作,例如分割、分类等。多尺度:即对于图像不同大小的采集,在多尺度下可以观察到不同的特征,比如更密集的采样有利于看到更多的细节,更稀疏的采样可以看到整体的联系。使用多尺度,既可以看到全局的信息,也知道局部的信息。梯度爆炸/梯度消失:由于网络层次过深,在反向传播中,会出现偏导累乘而趋于无穷大或者为0的情况。梯度爆炸会使得靠近输入层的参数权值更新变化大,在极端情况下,参数的值变得非常大,以至于溢出,导致 NaN 值。梯度消失会使靠近输入层的参数权值更新缓慢,会相当于只有后面几层网络在起作用。
swin-transformer学习
Swin Transformer 的思想
Vision Transformer 的思想
分层思想
移动窗口
Swin Transformer 的结构
pytorch中nn模型模块的学习
nn.Embedding作用:
english articles
6.7风景旅游景点
West Lake The beautiful West Lake,located in Hangzhou,Zhejiang Province,China, is one of the most famous and picturesque (风景如画的,美丽的)tourist attractions(旅游景点) in the country. It covers an area of approximately 6.5 square kilometers and is surrounded by mountains on three sides.The lake is divided into five sections by three causeways(提岸),and there are numerous temples,pagodas(佛塔),gardens,and bridges dotted around(点缀,散步) its shores(海岸,湖畔).
West Lake has a long and ric ...
数据库常考知识点复习
SQL语句创表create table 表名( id number(10) primary key not null, //列名 类型 主键 不为空 name varchar(20) not null, //varchar (可变长度,指定最大长度20字节) 不为空 mobile varchar(11) check(length(mobile)=11) unique //约束长度等于11 取唯一值 constraint 自命名 foreign key(address) references Massage(address) //address是外码,被参照表是Massage constraint 自命名 primary key(mobile))//常用数据类型// varchar(size) : 存储可变长度字符串, size 规定字符串最大长度// number(m,n) : m 表示总长度,n表示小数位的精度,只有m表示可以存入最大为m位的整数// date : 表示日期和时间,7个字节固定宽度,有7个属性,分别为世纪-年-月-日-小时-分-秒
视 ...
深度学习-transformer学习
学习LSTM(Long Short Term)学习参考博客 如何从RNN起步,一步一步通俗理解LSTM_lstm网络_v_JULY_v的博客-CSDN博客
RNN的理解:
可以连接先前的信息到当前的任务上
RNN存在的问题——长期依赖问题
当间隔不断增大时,RNN没有学习不到连接如此远的信息的能力。当一条序列足够长的时候,RNN很难将信息从较早的时间传送到后面的时间。(存在梯度消失问题,在反向传播中,梯度不断减少,会使前面层不会更新参数,导致RNN会忘记它在较长序列中以前看到的内容,因此RNN只具有短时记忆)
LSTM(记住重要的,忘记无关紧要的)
tanh层:帮助调经网路的值,使得数值被限制在-1到1之间
Sigmoid层:数值被限制在0到1之间。目的:为了更新或者忘记信息,0乘任何数都是0,这部分信息将会遗忘,1乘任何数都是其本身,这部分信息将会保留。
LSTM的核心思想
信息在水平线上传递,通过‘门’结构来对信息进行增加或者删除
忘记门
输入门
输出门
transformer 直观认识
transformer 和LSTM的最大区别在于LSTM是迭代的,串行的,必须要等 ...
操作系统
操作系统一、 操作系统概述操作系统定义:是计算机系统最基本、最重要的系统软件,是其它软件的支撑软件。它控制和管理计算机系统的硬件和软件资源,合理组织计算机工作流程,并为用户使用计算机提供公共的和基本的服务。它有以下两个主要目标:
高效性:操作系统允许以更加高效的方式使用计算机系统资源。
方便性:操作系统使得用户使用计算机更加方便
计算机系统的组成:运算器、存储器、控制器、输入设备,输出设备
操作系统与计算机系统:单用户操作系统—>具有并行能力的计算机系统
操作系统的发展过程: 简单计算机系统(无操作系统)、单道批处理系统、多道批处理系统、分时系统、实时系统
单道批处理系统
单道程序工作示意图
多道程序工作示意图
操作系统的主要功能:
处理机管理
存储管理
设备管理
文件管理
用户接口
处理机管理:
进程控制:基本功能是创建和撤销进程、控制进程状态之间的转换
进程同步:进程同步是指系统对并发执行的进程进行协调,使它们能有条不紊的运行
进程通信:进程通信是指相关进程之间的信息交换
进程调度:指按照一定的调度算法在等待执行的进程中选出其中一个,并为其分配 ...
深度学习-ResNet
网络层数越来越深出现的问题:
梯度消失或梯度爆炸问题
退化问题
ResNet创新点:
超级深的网络结构
提出Residual模块
使用Batch Normalization 加速训练,丢弃Dropout
ResNet34网络结构图如下
Residual模块左图主要针对的是网络层数较少的网络,右图主要针对网络层数较多的网络
在左边的结构中,主线是将输入特征矩阵经过两个 3 × 3 的卷积层,右边有一个弧线直接从输入连接到输出,与卷积后的特征矩阵按元素相加得到最终特征矩阵结果。右边的结构的主分支则是在输入与输出都加上了 1 × 1 的卷积层,用来实现降维和升维。右边的参数节省了 94%
实现代码import torch.nn as nnimport torchclass BasicBlock(nn.Module): expansion = 1 def __init__(self, in_channel, out_channel, stride=1, downsample=None, **kwargs): super(BasicBlock, sel ...