Skip to content

TaoLbr1993/weiboReptile

Repository files navigation

######################################################################
##系统版本win8.1 Python版本2.7.7下编译成功并运行                    ##
##v2.11								    ##
##新版特性:							    ##
##	修正一些错误						    ##
##								    ##
##v2.1								    ##
##新版特性:							    ##
##	1.移除手动输入验证码,当遇到需要输入验证码的代理时,该代理将##
##	  被删除。						    ##
##	2.增加速度统计与画图。使用时请import模块StaticsDraw,并保证该##
##	  模块的源文件与程序运行生成的(工作文件夹下)statics.data文##
##	  件位于同一文件夹。调用该模块的staticsDraw()函数即可。	    ##
##	  ==》BETA						    ##
##	3.增加时段控制。更改控制时间请修改main.py中的startTime与    ##
##	  pauseTime参数,程序将在startTime至pauseTime时段内进行爬取 ##
##	  操作(精确到分钟)。					    ##
##	  不使用此功能请将如下行注释:				    ##
##	 	Line.25-30 in main.py				    ##
##		Line.142-149 in RepostMain.py			    ##
##	4.数据导入至MySQL(因此,请安装MySQLdb模块)。		    ##
##	  以http://weibo.com/1191258123/BdNJiEfoF?type=repost为例, ##
##	  程序将在数据库userid1191258123中(没有则创建)新建	    ##
##	  bdnjiefof表,并将结果写入该表中。			    ##
##	5.工作目录下新建exception.txt,记录每次出错信息。	    ##
##	  因此导致ide中将不显示具体的出错信息。			    ##
##	  							    ##
##v2.0beta							    ##
##新版特性:							    ##
##	1.python需要安装selenium插件,同时需要phantomjs		    ##
##	  安装过程可参考					    ##
##	http://blog.csdn.net/longshengguoji/article/details/8945937 ##
##	2.增加账户数量,请在main.py中的accounts属性中添加。	    ##
##	  同时请在微博账号的设置里在不需要验证码设置中添加香港。    ##
##	3.不需要手动添加代理,程序启动时自动从网站网站获取位于香港的##
##	  代理(感谢pachong.org).				    ##
##								    ##
##v1.9beta							    ##
##新版特性:							    ##
##	1.使用代理						    ##
##	2.登陆过程中可能需要输入验证码,验证码图片为main.py所在文件 ##
##	  夹下的check.png					    ##
##	3.更改代理列表请更改main.py中的list			    ##
##								    ##
##v1.82								    ##
##新版特性:							    ##
##	1.ip地址使用前测试	2.出现urlerror时更换ip		    ##
##	提示信息:						    ##
##		WrongContent/LoginFailed:访问被拒绝(轻)	    ##
##		chang Proxy:更换代理				    ##
##		Exception/LoginError:访问被拒绝(重)		    ##
##								    ##
##V1.8								    ##
##新版特性:							    ##
##	使用代理						    ##
##V1.73	        		                                    ##
##新版特性:							    ##
##	按照时间由晚到早					    ##
##								    ##
##程序功能:获取指定url下的所有转发信息并生成时间段-转发量的折线图  ##
##		同时获得达到某百分比转发量时的时间		    ##
##e.g:http://weibo.com/2803301701/BccQkg8QU?type=repost为例	    ##
##程序请通过IDE打开并运行main.py                                    ##
##模块要求:rsa模块  pylab模块                                      ##
##输入要求:输入正确的账号密码,然后在main.py所在文件夹下将url列表  ##
##	    保存为url.txt文件,每个url一行			    ##
##工作文件夹:main.py所在文件夹下的用户id文件夹e.g.:/2803301701     ##
##输出:1.程序执行完毕将在工作文件夹下生成data.txt文件夹,每条 	    ##
##      转发信息由'#'分割,每条转发信息包括转发人昵称、转发时间、转 ##
##      发内容三部分,由'#'分隔。                                   ##
##	2.同时将在该文件夹下生成runlog.txt,为运行日志。	    ##
##其他:                                                            ##
##   1.实测一个含有71页转发的微博程序运行时间为55秒,请耐心等待     ##
##   2.输出中少数汉字成为乱码                                       ##
##   4.请求url请仿照如下url:					    ##
##	http://weibo.com/2803301701/BccQkg8QU?type=repost	    ##
##	必须以type=repost结尾					    ##
##   5.折线图默认时间间隔为30分钟,默认显示前20个时间段的数据,修改 ##
##	请在main.py中分别修改gap(秒为单位)和xs		    ##
##   6.更改达到特定百分比请在main.py内修改percent变量               ##
##   7.每两页之间爬取间隔为2.4秒,修改请在main.py中修改pagegap	    ##
##   8.程序生成的数据文件将按照时间由早到晚顺序排列		    ##
######################################################################

About

A simple reptile suiting SinaWeibo.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages