pymongo insert_many 批量插入的实例
我就废话不多说了，大家还是直接看代码吧~lt=client.fangjia.district_stat_all_0416dl = dt.find(query)bf=[]for m in dl: bf.append(m) if len(bf)==20000: lt.insert...
2021-01-13
scrapy头部修改的方法详解
被Scrapy自动添加的头部在没有任何配置的情况下，scrapy会对请求默认加上一些头部信息Scrapy会通过配置文件中的USER_AGENT配置，自动为头部添加User-Agent，这条配置会被任何包含...
2021-01-13
python基于socket模拟实现ssh远程执行命令
一、subprocess.Popen()subprocess模块定义了一个类： Popen类原型：class subprocess.Popen( args, bufsize = 0, executable = None, stdin = None, stdout = None,...
2021-01-13
python从ftp获取文件并下载到本地
最近有需求是，需要把对方提供的ftp地址上的图片获取到本地服务器，原先计划想着是用shell 操作，因为shell 本身也支持ftp的命令 在通过for 循环也能达到需求。但是后来想着 还是...
2021-01-13
python mongo 向数据中的数组类型新增数据操作
我就废话不多说了，大家还是直接看图吧~补充知识：pymongo插入数据时更新和不更新的使用（1）update的setOnInsert当该key不存在的时候执行插入操作，当存在的时候则不管，可以使用setOn...
2021-01-13
快速解决pymongo操作mongodb的时区问题
如下所示：1、mongodb的日期时间格式是UTC时间，中国时间 = UTC时间 +82、可在pymongo客户端加入时区以解决此问题：import pytzfrom pymongo import MongoClientfrom datetime im...
2021-01-13
python help函数实例用法
有些人说py中有两个函数可以实现对所有函数的了解以及使用，其中之一，就是我们今天要讲解的help函数。有些小伙伴可能比较陌生，但是另一个函数是dir函数，这样是不是就能搞懂了。...
2021-01-13
用ldap作为django后端用户登录验证的实现
每个公司在运维平台化过程中，如果以开始没有规划，免不了全面开花，会做成好多个平台，然后每个平台都有自己的认证体系，等平台多了，记录这些账号就变得非常烦人，如果用不同的密码，对人...
2021-01-13
python中pow函数用法及功能说明
幂运算是高更数学的应用学科，是一种关于幂的数学运算。同底数幂相乘，底数不变，指数相加。同底数幂相除，底数不变，指数相减。幂的乘方，底数不变，指数相乘。适用于精确计算领域。计算...
2021-01-13
python 模拟登陆github的示例
# -*- coding: utf-8 -*-# @Author: CriseLYJ# @Date: 2020-08-14 12:13:11import reimport requestsclass GithubLogin(object): def __init__(self, email, password):...
2021-01-13
用python对oracle进行简单性能测试
一、概述dba在工作中避不开的两个问题，sql使用绑定变量到底会有多少的性能提升？数据库的审计功能如果打开对数据库的性能会产生多大的影响？最近恰好都碰到了，索性做个实验。 sq...
2021-01-13
python3 通过 pybind11 使用Eigen加速代码的步骤详解
python是很容易上手的编程语言，但是有些时候使用python编写的程序并不能保证其运行速度（例如：while 和 for），这个时候我们就需要借助c++等为我们的代码提速。下面是我使用pybind1...
2021-01-13
Python常用GUI框架原理解析汇总
Graphical User Interface，简称 GUI，又称图形化用户接口，所谓的GUI编程，指的是用户不需要输入代码指令，只通过图形界面的交互就可以操作软件功能。Tkinter一个轻量级的跨平台图形...
2021-01-13
详解BeautifulSoup获取特定标签下内容的方法
以下是个人在学习beautifulSoup过程中的一些总结，目前我在使用爬虫数据时使用的方法的是：先用find_all()找出需要内容所在的标签，如果所需内容一个find_all()不能满足，那就用两...
2021-01-13
Python Selenium XPath根据文本内容查找元素的方法
问题现象
元素的属性中没有id、name；虽然有class，但比较大众化，且位置也不固定；例如：页码中的下一页；那该如何找到该元素？<a class="paging">上一页</div><a class="paging">1</div...
2021-01-13
python 爬取小说并下载的示例
代码import requestsimport timefrom tqdm import tqdmfrom bs4 import BeautifulSoup""" Author: Jack Cui Wechat: https://mp.weixin.qq.com/s/OCWwRVDFNslIuKyi...
2021-01-13
Python hashlib和hmac模块使用方法解析
python之hashlib模块：主要提供字符加密功能，python3中将md5和sha模块整合到了hashlib模块，支持md5,sha1, sha224, sha256, sha384, sha512等算法#!/usr/bin/env python3# -*- c...
2021-01-13
BeautifulSoup中find和find_all的使用详解
爬虫利器BeautifulSoup中find和find_all的使用方法二话不说，先上段HTML例子<html> <head> <title> index </title> </head> <body> <div> <ul>...
2021-01-13
Selenium+BeautifulSoup+json获取Script标签内的json数据
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中，
假设Script标签下代码如下：<script id="DATA_INFO" type="application/json" >{ "user": { "isLogin...
2021-01-13
pyqt5实现井字棋的示例代码
本文介绍的是利用pyqt5实现井字棋，下面话不多说了，来一起看看详细的介绍作者：袁少泽代码如下（示例）：import randomimport sysimport timefrom PyQt5.QtCore import *from PyQt5.Qt...
2021-01-13
selenium判断元素是否存在的两种方法小结
在selenium中没有对应的方法,需要自己去写。 元素存在，但不唯一，操作元素会报错 元素不存在，操作元素也会报错第一种：捕获异常
弊端：只要页面上有元素，不几个，都返回Truefrom sel...
2021-01-13
使用Python爬取Json数据的示例代码
一年一度的双十一即将来临，临时接到了一个任务：统计某品牌数据银行中自己品牌分别在2017和2018的10月20日至10月31日之间不同时间段的AIPL（“认知”(Aware)、“兴趣”(Interest...
2021-01-13
Selenium执行完毕未关闭chromedriver/geckodriver进程的解决办法(java版+python版)
selenium操作chrome浏览器需要有ChromeDriver驱动来协助。webdriver中关浏览器关闭有两个方法，一个叫quit，一个叫close。
/** * Close the current window, quitting the bro...
2021-01-13
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation ('D:\python3.6\lib\site-packages\numpy\init.py1.file→settings→project inter...
2021-01-13
python爬虫beautifulsoup解析html方法
用BeautifulSoup 解析html和xml字符串
实例：#!/usr/bin/python# -*- coding: UTF-8 -*-from bs4 import BeautifulSoupimport re#待分析字符串html_doc = """<html><head> <...
2021-01-13
python 通过 pybind11 使用Eigen加速代码的步骤
python是很容易上手的编程语言，但是有些时候使用python编写的程序并不能保证其运行速度（例如：while 和 for），这个时候我们就需要借助c++等为我们的代码提速。下面是我使用pybind1...
2021-01-13
用Python实现童年贪吃蛇小游戏功能的实例代码
贪吃蛇作为一款经典小游戏，早在 1976 年就面世了，我最早接触它还是在家长的诺基亚手机中。尽管贪吃蛇的历史相对比较久远，但它却有着十分顽强的生命力，保持经久不衰，其中很重要的...
2021-01-13
使用BeautifulSoup4解析XML的方法小结
Beautiful Soup 是一个用来从HTML或XML文件中提取数据的Python库，它利用大家所喜欢的解析器提供了许多惯用方法用来对文档树进行导航、查找和修改。帮助文档英文版：https://ww...
2021-01-13
Selenium关闭INFO:CONSOLE提示的解决
参考：https://stackoverflow.com/questions/33983860/hide-chromedriver-console-in-python?rq=11. 问题起因： Selenium设置了headless，导致cmd控制台不断输出CONSOLE信息c...
2021-01-13
pycharm实现猜数游戏
本文实例为大家分享了pycharm实现猜数游戏的具体代码，供大家参考，具体内容如下1. 设计界面如下所示，利用QTdesigner设计的界面：然后将设计好的界面转换为.py文件：guess_number.py...
2021-01-13
python 实现数据库中数据添加、查询与更新的示例代码
一、前言 最近做web网站的测试，遇到很多需要批量造数据的功能；比如某个页面展示数据条数需要达到10000条进行测试，此时手动构造数据肯定是不可能的，此时只能通过python脚本进...
2021-01-13
selenium框架中driver.close()和driver.quit()关闭浏览器
Windows系统上，每次运行完selenium程序后，chromedriver.exe进程总是不能彻底关闭。网上参考了如下文章：https://www.freexyz.cn/article/201622.htmselenium操作chrome浏览器需要...
2021-01-13
Pycharm-community-2020.2.3 社区版安装教程图文详解
1.安装step1step 2 首先是更改安装地址，推荐安装在D盘，如果和我一样C盘容量大的话，也可以不改，直接点击【Next】😄step3 勾选所有即可，点击【Next】step4step 5.安装成功！...
2021-01-13
Python中BeautifulSoup通过查找Id获取元素信息
比如如下的html他是在span标签下的class为name，id为is-like-span这样就可以通过这样的代码进行方法：isCliked = soup.find('span', id = 'is-like-span'通过这种方式去获取即...
2021-01-13
用python对excel查重
最近媳妇工作上遇到一个重复性劳动，excel表格查重，重复的标记起来，问我能不能写个程序让它自动查重标记
必须安排
第一次正儿八经写python，边上网查资料，边写
终于成功了
在此记...
2021-01-13
BeautifulSoup获取指定class样式的div的实现
如何获取指定的标签的内容是解析网页爬取数据的必要手段，比如想获取<div class='xxx'> ...<div>这样的div标签，通常有三种办法，1）用字符串查找方法,然后切分字符串（或切片操作），如s...
2021-01-13
Selenium环境变量配置(火狐浏览器)及验证实现
前言配置火狐浏览器对应的selenium驱动一、火狐浏览器驱动下载下载地址
根据对应的系统环境下载相应的压缩包（这里下载的是Windows系统64位安装包）
安装包下载成功后将压缩包...
2021-01-13
pycharm中leetcode插件使用图文详解
1.安装插件步骤2.点击OK确认之后，提示IDE需要重启，选择重启：3.设置leetcode插件，用户名、密码：4.点击右下角的leetcode：题库就出来了，双击进入开发编辑界面：做完题之后，可选择运行、...
2021-01-13
Python虚拟环境virtualenv创建及使用过程图解
virtualenv 是用来创建一个虚拟的python环境的第三方包，一个专属于项目的python环境。安装virtualenv（请确保python和pip成功安装）：pip3 install virtualenv创建python虚拟环境：v...
2021-01-13
Python爬虫实战案例之爬取喜马拉雅音频数据详解
前言喜马拉雅是专业的音频分享平台，汇集了有声小说,有声读物,有声书,FM电台,儿童睡前故事,相声小品,鬼故事等数亿条音频，我最喜欢听民间故事和德云社相声集，你呢？今天带大家爬取...
2021-01-13
Selenium Webdriver元素定位的八种常用方式(小结)
在使用selenium webdriver进行元素定位时，通常使用findElement或findElements方法结合By类返回的元素句柄来定位元素。其中By类的常用定位方式共八种，现分别介绍如下。1. By.n...
2021-01-13
浅谈Selenium+Webdriver 常用的元素定位方式
假设页面源代码如下：<input type="text"name="wd" id="kw1" class="input_wd" maxlength="100"style="width:474px;"autocomplete="off">通过id定位元素：find_element_by_id(...
2021-01-13
python日志通过不同的等级打印不同的颜色(示例代码)
1，不用第三方库# coding: utf-8import loggingBLACK, RED, GREEN, YELLOW, BLUE, MAGENTA, CYAN, WHITE = range(8)RESET_SEQ = "\033[0m"COLOR_SEQ = "\033[1;%dm"COLORS =...
2021-01-13
python 装饰器的基本使用
知识点
简单的装饰器 带有参数的装饰器 带有自定义参数的装饰器 类装饰器 装饰器嵌套 @functools.wrap装饰器使用
基础使用
简单的装饰器def my_decorator(func):...
2021-01-13
用python-webdriver实现自动填表的示例代码
在日常工作中常常需要重复填写某些表单，如果人工完成，费时费力，而且网络延迟令人十分崩溃。如果能够用程序实现自动填表，效率可以提高一倍以上，并且能够移植到多台计算机，进一步...
2021-01-13
python pillow库的基础使用教程
知识点
图像模块 (Image.Image)Image模块的功能
Image模块的方法 ImageChops模块 ImageColor模块
基础使用
图像模块 Image.Image
加载图像对象，旋转90度并显示from PI...
2021-01-13
python 进制转换 int、bin、oct、hex的原理
原理十进制转n进制都可以使用倒除法：对十进制进行除n的运算，直到商为0为止，然后将各个步骤中得到的余数倒着写出来.
n进制转十进制：（例子：二进制转十进制）
101001 => 2^5 + 2^3 + 1...
2021-01-13
selenium如何定位span元素的实现
在做自动化测试时，我们需要定位元素属性来进行操作，今天在做自动化时发现我要定位的登录注册元素找不到，我看了下代码发现，我用xpath获取绝对路径后，发现找不到，F12查看代码...
2021-01-13
laravel yajra插件 datatable的使用详解
安装laravel框架命令行cd进入指定目录下，执行composer create-project --prefer-dist laravel/laravel datatable在指定目录下创建最新的laravel项目框架安装yajra插件命令行...
2021-01-13
python中编写函数并调用的知识点总结
能够调用自己编写的函数，这在很多开发语言中，都会用到一个叫做mian的主函数，这个函数一般都是程序的入口，当程序启动时，首先执行这个函数。在Python中，main函数的主要作用就是你写...
2021-01-13
