发表于 | 分类于
在学习爬虫用到实际生活中，之前爬取酷狗歌曲排名前500的歌曲，以及在拉勾网站上爬取的招聘信息，这次简单的在淘宝网站上爬取商品信息。相关代码如下： 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253from selenium import webdriverfrom lxml import etreeimport timeimport pymongoclient = pymongo.MongoClient('localhost',27017)mydb = client['mydb']taobao = mydb['taobao']driver = webdriver.PhantomJS()driver.maximize_window()def get_ ...
阅读全文 »

发表于 | 分类于
登录表达后的信息（实现表单交互requests的post方法）：123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120import requestsurl="https://www.douban.com/accounts/login"params={ 'source':'index_nav', 'form_email':'** ...
阅读全文 »

发表于 | 分类于
单进程的收集数据浪费的时间较长，这时候我们可以多开几个进程去访问那些网站，提高了效率 多进程的使用方法：1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859 from multiprocessing import Pool pool=Pool(processes=4) pool.map(func,iterable)``` ### 实例（爬取糗事网站）``` bashimport reimport timefrom multiprocessing import Poolimport requestsheaders={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; ...
阅读全文 »

发表于 | 分类于
每一个网站中无缝滚动是常用到的一个特效，自己写了一个简单的无缝滚动（最简单的那种）；代码如下： 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960<html><head><title></title><meta charset="utf-8"><style>*{ margin:0; padding:0;}#div1{ width:712px; height:108px; margin:100px auto; position:relative; overflow:hidden;}#div1 ul{ p ...
阅读全文 »

发表于 | 分类于
延时框的使用经常是用于导航栏的使用，下面是一个简单例子： 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950<html><head><title></title><style>div{ float:left; margin:10px;}#div1{ width:50px; height:50px; background:red;}#div2{ width:250px; height:250px; background:gray; display:none;}</style><script>window.onload=f ...
阅读全文 »

发表于 | 分类于
今天即兴的学了一会JavaScript的先关东西setinterval（定时器的使用）经常会用到图片的无缝滚动。。。下面是一个时间的设置 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152<html><head> <title></title> <meta charset="utf-8"></head><script>function toDou(n){ if(n<10) { return '0'+n; } else { return ''+n; }}window.onload=func ...
阅读全文 »

发表于 | 分类于
split():split函数就是将一个字符串分裂成多个字符串组成的列表； 例如： s="www.google.com" print(s.split('.')) 输出的是：['www', 'google', 'com'] print(s.split('.',1)) #表示的是分割一次 输出的是：['www', 'google.com'] print(s.split('.',2)[1] #表示的是分割2次取索引位置1的那一部分 输出的是：google 经典案例 s=&apo ...
阅读全文 »

发表于 | 分类于
今天练习了一下爬虫的东西，拿爬取酷狗前500首歌曲 代码如下： import time import requests from bs4 import BeautifulSoup import random #请求头 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } #传入url def get_into(url): # 获取html的页面，发送请求 wb_data=requests.get(url,headers=headers) #headers的设置是给服务器一个证明 我们是浏览器 soup=Beautif ...
阅读全文 »

发表于 | 分类于
正则表达式： 正则表达式是记录文本规则的代码 基本用法： （1）、\ 将下一个字符标记为一个特殊字符（2）、定界符：^ 匹配输入字符串的开始位置 例如：^12 表示的是以12开头 $ 匹配输入字符串的结束位置 例如：12$ 表示的是以12结尾 \b 匹配一个单词的边界，就是指单词和空格间的位置 \B 匹配非单词边界 .* 匹配所有的字符 例如： teacher li verb er\b 匹配的是teacher里的er er\B 匹配的是verb里的er （3）、个数/次数* 匹配前面的子表达式零次或者多次 + 匹配前面的子表达式一次或者多次 ？ 匹配前面的子表达式零次或一次 {n} n是一个非负整数 {n,} n是一个非负整数 {n,m} m和n均为非负整数，其中n<=m 例 ...
阅读全文 »

发表于 | 分类于
今天安装的beautifulsoup以及相关代码的运行也是费了好一段时间 问题 beautifulsoup的安装：在cmd.exe中输入 pip install beautifulsoup4 pip install lxml 问题：bs4模块的添加file->settings……->project interpreter(右侧)->pip(双击)->输入bs4->点击下面的install 问题：运行的时候出现cannot import name ‘HTMLParseError’找到Python35\Lib\site-packages\bs4\builder_htmlparser.py文件打开，把HTMLParseError注释掉就可以了 导入bs4库：from bs4 import BeautifulSoup //大小写一定要注意 相关属性：（1）、 ...
阅读全文 »
Fork me on GitHub