210浏览

0评论

pytorch交叉熵损失函数的weight参数的使用

首先必须将权重也转为Tensor的cuda格式；然后将该class_weight作为交叉熵函数对应参数的输入值。class_weight = torch.FloatTensor([0.13859937, 0.5821059, 0.63871904, 2.3...

• 2021-06-27

160浏览

0评论

PyTorch梯度裁剪避免训练loss nan的操作

近来在训练检测网络的时候会出现loss为nan的情况，需要中断重新训练，会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制，修改之后，不再出现lo...

• 2021-06-27

98浏览

0评论

Python办公自动化之Excel（中）

准备
首先，我们需要安装依赖包# 安装依赖包pip3 install openpyxl读取数据
使用 openpyxl 中的 load_workbook(filepath) 加载本地一个 Excel 文件，返回结果是一个工作簿对象i...

• 2021-06-27

115浏览

0评论

只需要这一行代码就能让python计算速度提高十倍

一、前言Python语言近年来人气爆棚。它广泛应用于数据科学，人工智能，以及网络安全问题中，由于代码可读性较强，学习效率较高，吸引了许多非科班的同学进行学习。然而，使用Python一段...

• 2021-06-27

99浏览

0评论

python基础之编码规范总结

一、PEP 8规范官方文档：https://legacy.python.org/dev/peps/pep-0008/
中文翻译： https://www.jb51.net/article/103944.htm二、缩进每一级缩进4个空格。续行应该与包裹元素...

• 2021-06-27

360浏览

0评论

pytorch 实现计算 kl散度 F.kl_div()

先附上官方文档说明：https://pytorch.org/docs/stable/nn.functional.htmltorch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean')P...

• 2021-06-27

178浏览

0评论

基于KL散度、JS散度以及交叉熵的对比

在看论文《Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。KL散度、J...

• 2021-06-27

114浏览

0评论

python基础学习之组织文件

一、Shutil 模块shutil其实也就是shell模块。其中包含一些函数，可以让我们在python程序中复制、移动、改名和删除文件。1.1 复制文件和文件夹 shutil.copy(source，destinat...

• 2021-06-27

459浏览

0评论

Python Pycharm虚拟下百度飞浆PaddleX安装报错问题及处理方法(亲测100%有效)

最近我在在安装PaddleX的时候老是出现或者或者Command "python setup.py egg_info" failed with error code 10 in
C:\Users\Auser\AppData\Local\Temp\pip-build-57obphna...

• 2021-06-27

621浏览

0评论

pytorch中Schedule与warmup_steps的用法说明

1. lr_scheduler相关lr_scheduler = WarmupLinearSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=num_train_optimization_steps)其中args.warmup_steps可以...

• 2021-06-27

175浏览

0评论

解决Pytorch半精度浮点型网络训练的问题

用Pytorch1.0进行半精度浮点型网络训练需要注意下问题：1、网络要在GPU上跑，模型和输入样本数据都要cuda().half()2、模型参数转换为half型，不必索引到每层，直接model.cuda().hal...

• 2021-06-27

102浏览

0评论

Python3基础语法知识点总结

本章节将一些Python3基础语法整理成手册，方便各位在日常使用和学习是查阅，包含了编码、标识符、保留字、注释、缩进、字符串等常用内容。编码默认情况下，Python 3 源码文件以 U...

• 2021-06-27

142浏览

0评论

解决pytorch中的kl divergence计算问题

偶然从pytorch讨论论坛中看到的一个问题，KL divergence different results from tf，kl divergence 在TensorFlow中和pytorch中计算结果不同，平时没有注意到，记录下一篇关于KL散...

• 2021-06-27

154浏览

0评论

教你学会通过python的matplotlib库绘图

一、前言python的matplotlib库很强大可以绘制各种类型的图像。
首先要装一些基础的库，如numpy,matplotlib或是pandas。二、基础命令首先介绍绘图时常用的基础命令：1.plt.plot(...

• 2021-06-27

100浏览

0评论

Tensorflow 如何从checkpoint文件中加载变量名和变量值

假设你已经经过上千次的迭代，并且得到了以下模型：则从这些checkpoint文件中加载变量名和变量值代码如下：model_dir = './ckpt-182802'import tensorflow as tffrom tensorflow....

• 2021-06-27

179浏览

0评论

pytorch 实现二分类交叉熵逆样本频率权重

通常，由于类别不均衡，需要使用weighted cross entropy loss平衡。def inverse_freq(label): """ 输入label [N,1,H,W],1是channel数目 """ den = label.sum() # 0 _,_,h...

• 2021-06-27

130浏览

0评论

python3读取文件指定行的三种方法

行遍历实现
在python中如果要将一个文件完全加载到内存中，通过file.readlines()即可，但是在文件占用较高时，我们是无法完整的将文件加载到内存中的，这时候就需要用到python的fil...

• 2021-06-27

120浏览

0评论

pytorch 使用半精度模型部署的操作

背景pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外，最近也把pytorch应用在了部署上.在部署时，为了减少计算量，可以考虑使用16位浮点模型，而...

• 2021-06-27

123浏览

0评论

pytorch 如何使用amp进行混合精度训练

简介AMP：Automatic mixed precision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。在Pytorch 1.5版本及...

• 2021-06-27

113浏览

0评论

如何使用Python逆向抓取APP数据

今天给大伙分享一下 Python 爬虫的教程，这次主要涉及到的是关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密...

• 2021-06-27

223浏览

0评论

pytorch 如何使用float64训练

pytorch默认使用单精度float32训练模型，原因在于：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。本人，最近遇到需要...

• 2021-06-27

204浏览

0评论

Python实现8种常用抽样方法

今天来和大家聊聊抽样的几种常用方法，以及在Python中是如何实现的。抽样是统计学、机器学习中非常重要，也是经常用到的方法，因为大多时候使用全量数据是不现实的，或者根本无法取...

• 2021-06-27

286浏览

0评论

Python使用OpenCV和K-Means聚类对毕业照进行图像分割

图像分割是将图像分割成多个不同区域（或片段）的过程。目标是将图像的表示变成更容易和更有意义的图像。在这篇博客中，我们将看到一种图像分割方法，即K-Means Clustering。K-Mean...

• 2021-06-10

148浏览

0评论

教你使用TensorFlow2识别验证码

验证码是根据随机字符生成一幅图片，然后在图片中加入干扰象素，用户必须手动填入，防止有人利用机器人自动批量注册、灌水、发垃圾广告等等 。数据集来源：https://www.kaggle.com/...

• 2021-06-10

217浏览

0评论

你喜欢篮球吗?Python实现篮球游戏

一、前言准备编写一个篮球游戏，运动员带球跑，跳起投篮。在每帧图片中包括运动员和篮球，使用多帧图片，实现运动员运球跑动的效果。运动员运球跑动作每帧图形的宽和高可能不同，例如...

• 2021-06-10

135浏览

0评论

Python Flask请求扩展与中间件相关知识总结

一、请求扩展1.before_request作用: 类比django中间件中的process_request，在请求到来执行路由函数之前先执行. 但是如果有多个顺序是从上往下执行.应用: 基于它做用户登录认...

• 2021-06-10

214浏览

0评论

Windows安装Anaconda3的方法及使用过程详解

一、环境windows二、下载进入Anaconda 官网进行下载 安装 找到安装包所在的目录，双击安装包点击 Next点击 I Agree根据个人需要选择 Just Me 或者 All Users，然后点击 Next选...

• 2021-06-10

201浏览

0评论

用python修改excel表某一列内容的操作方法

想想你在一家公司里做表格，现在有一个下面这样的excel表摆在你面前，这是一个员工每个月工资的表，现在假设，你要做的事情，是填充好后面几个月每个员工的编号，并且给员工随机生成一...

• 2021-06-10

170浏览

0评论

用Python爬取各大高校并可视化帮弟弟选大学,弟弟直呼牛X

一、获取url打开中国教育在线网，按 F12，顶部选择NetWork，选择XHR刷新页面，观察url，通过对Reponse的分析找到真正的url为：https://api.eol.cn/gkcx/api/数据存储在Json中。再点击He...

• 2021-06-10

141浏览

0评论

详解Python描述符的工作原理

一、前言其实，在开发过程中，虽然我们没有直接使用到描述符，但是它在底层却无时不刻地被使用到，例如以下这些：function、bound method、unbound method装饰器property、staticmeth...

• 2021-06-10

320浏览

0评论

pyqt5蒙版遮罩mask,setmask的使用

1.理解mask()和setmask()一般是在pyqt绘图时常见，而且在显示不规则图形时更是常见。参考书籍上说：setMask（）函数的作用是为调用它的控件增加一个遮罩，遮住所选区域以外的部分，使控...

• 2021-06-10

174浏览

0评论

PyQt5实现多张图片显示并滚动

最近要做个网页图片批量下载工具，然后需要一个页面显示网页上的所有图片供用户勾选，再根据勾选的内容来下载指定图片，其中就涉及到要到同时显示多张图片。单页面显示多张图片习...

• 2021-06-10

142浏览

0评论

教你用Python matplotlib库制作简单的动画

matplotlib制作简单的动画动画即是在一段时间内快速连续的重新绘制图像的过程.matplotlib提供了方法用于处理简单动画的绘制:import matplotlib.animation as madef update(...

• 2021-06-10

166浏览

0评论

Django rest framework如何自定义用户表

说明Django 默认的用户表 auth_user 包含 id, password, last_login, is_superuser, username, last_name, email, is_staff, is_active, date_joined, first_name 字段。这...

• 2021-06-09

450浏览

0评论

jupyter notebook保存文件默认路径更改方法汇总(亲测可以)

1.找到配置文件-打开“开始菜单--Anaconda3文件夹--Anaconda Prompt”-输入命令： jupyter notebook --generate-config-根据展示的路径打开配置文件（记事本即可），我的路径是“ C...

• 2021-06-09

158浏览

0评论

Python3 多线程(连接池)操作MySQL插入数据

多线程(连接池)操作MySQL插入数据
针对于此篇博客的收获心得： 首先是可以构建连接数据库的连接池，这样可以多开启连接，同一时间连接不同的数据表进行查询，插入，为多线程进行操...

• 2021-06-09

95浏览

0评论

Python合并多张图片成PDF

前言
最近需要将记的笔记整理成一个 pdf 进行保存，所以就研究了一下如何利用 Python 代码将拍下来的照片整个合并成一个 pdf
过程
拿到一个需求最重要的就是将大块任务拆分成...

• 2021-06-09

219浏览

0评论

OpenCV-Python使用cv2实现傅里叶变换

前言在前一篇的博文中，我们详细讲解了傅里叶变换的原理以及使用Numpy库实现傅里叶变换。但是其实OpenCV有直接实现傅里叶变换的函数。在OpenCV中，我们通过cv2.dft()来实现傅里...

• 2021-06-09

115浏览

0评论

Python的这些库,你知道多少?

一、导读通常，开发大量原始代码是一个费时费力的工作而且有时候有很多专业知识我们不可能都一 一弄懂，为了避免这种情况，我们会尽可能多地使用库中已有的类来创建对象，通常仅需...

• 2021-06-09

241浏览

0评论

再也不用花钱买漫画!Python爬取某漫画的脚本及源码

一、工具 python3 第三方类库requests python3-pyqt5(GUI依赖，不用GUI可不装)ubuntu系列系统使用以下命令安装依赖：URL格式: 漫画首页的URL，如http://m.ac.qq.com/Com...

• 2021-06-09

145浏览

0评论

OpenCV-Python实现轮廓的特征值

前言轮廓自身的一些属性特征及轮廓所包围对象的特征对于描述图像具有重要意义。本篇博文将介绍几个轮廓自身的属性特征及轮廓包围对象的特征。宽高比在轮廓中，我们可以通过宽...

• 2021-06-09

129浏览

0评论

OpenCV-Python实现怀旧滤镜与连环画滤镜

怀旧滤镜实现原理不管是荣耀华为手机还是其他的手机，我们都可以找到相机中的怀旧效果，这是手机中常用的一种滤镜效果。怀旧风格的设计主要是在图像的颜色空间进行处理。以BGR...

• 2021-06-09

136浏览

0评论

教你如何利用python进行数值分析

一、准备噪声是在拟合过程中常用的干扰手段，常用的噪声：1.统一分布 U(a,b)f ( x ) = { 1 i f a ≤ x < b 0 o t h e r f(x)=\begin{cases}\begin{aligned}1&\quad if\quad a\l...

• 2021-06-09

103浏览

0评论

Pandas中时间序列的处理大全

一、时间序列数据的生成
pd.date_ranges生成时间序列 time格式：年月日分隔符号可以是"-"，"/"，空格这三种格式(年月日、日月年、月日年都可以)；时分秒只能用":"分隔，顺序只能是...

• 2021-06-09

299浏览

0评论

使用pycharm运行flask应用程序的详细教程

在flask更新到1.0之后的版本，官方推荐使用flask run的方式运行程序，可是作为开发，如果没有了pycharm的断点调试，这可太难受了。
所以，本篇博客主要讲述如何在pycharm中运行flask...

• 2021-06-09

126浏览

0评论

python 爬取国内小说网站

原理先行
作为一个资深的小说爱好者，国内很多小说网站如出一辙，什么 &#128394;*阁啊等等，大都是 get 请求返回 html 内容，而且会有标志性的<dl><dd>等标签。
所以大概的原理，就是...

• 2021-06-09

116浏览

0评论

Python字典和列表性能之间的比较

Python列表和字典 前面我们了解了 “大O表示法” 以及对不同的算法的评估，下面来讨论下 Python 两种内置数据类型有关的各种操作的大O数量级：列表 list 和字典dict。 这...

• 2021-06-09

117浏览

0评论

Python实现天气查询软件

一、背景某天下班淋雨成了落汤鸡，发了个朋友圈感慨一下啊，然后......夜深人静之时，突然收到了来自学妹的Py文件，运行之后发现事情并不简单（如下图）：这是暗示我...下次出门给她带把...

• 2021-06-09

155浏览

0评论

python 爬取天气网卫星图片

项目地址：https://github.com/MrWayneLee/weather-demo代码部分下载生成文件功能# 下载并生成文件def downloadImg(imgDate, imgURLs, pathName): a,s,f = 0,0,0 timeS...

• 2021-06-09

95浏览

0评论

在Python中如何使用yield

一、生成器如果在一个方法内，包含了 yield 关键字，那么这个函数就是一个「生成器」。生成器其实就是一个特殊的迭代器，它可以像迭代器那样，迭代输出方法内的每个元素。我们来看...

• 2021-06-09