利用pxssh暴力破解ssh密码

pxssh 是一个包含了pexpect库的专用脚本,它已经预先为我们写好了login(),logout()和prompt()等函数直接与SSH交互。由于pxssh.login()函数执行失败会抛出异常,因此我们可以利用try...catch来捕获相应的异常来判断密码是否正确。
2016/06/24 posted in  Python

Python利用Pexpect模拟ssh交互

Pexpect 是 Don Libes 的 Expect 语言的一个 Python 实现,是一个用来启动子程序,并使用正则表达式对程序输出做出特定响应,以此实现与其自动交互的 Python 模块。 Pexpect 的使用范围很广,可以用来实现与 ssh、ftp 、telnet 等程序的自动交互;可以用来自动复制软件安装包并在不同机器自动安装;还可以用来实现软件测试中与命令行交互的自动化。
2016/06/24 posted in  Python

Scrapy模拟登陆知乎

2016-06-29_14645998164473.jpg
感谢简书作者Andrew_liu提供的思路,虽然知乎改版后,该文章上提供的方法已经失效
Python爬虫(七)--Scrapy模拟登录

利用Scrapy提供的cookie中间价很容易做到网页的模拟登陆,下面就来介绍怎么利用这个cookie中间件来登陆知乎。

前期分析工作

2016-06-29_14645982403637.jpg
点击这个链接,确认这个链接就是提交登陆的url
2016-06-29_14645983258011.jpg
从FormData里面可以看到https://www.zhihu.com/email/login就是登陆POST请求的url,需要提交4个参数,其中_xsrf就是首页可以获取到的隐藏表单参数,remember_me是是否记住cookie的开关,email和password对应账号和密码

此处可能有不一样的地方,因为我的知乎账号是email注册的,根据这个url的特征推测别的账号类型可能存在不一样的Url

编写蜘蛛代码

1.继承CrawlSpider,并重写spider的start_request方法,让spier先访问登录页再去爬取start_urls中的链接,在start_requests方法中,让spider先去访问知乎首页,去获取隐藏的表单项_xsrf

def start_requests(self):
        return [Request("https://www.zhihu.com/",headers = self.headers,meta={"cookiejar":1},callback=self.post_login)]

其中header需要自定义,因为知乎对spider做了限制,应该是检测User-Agent,你可以在setting.py中更改spider的默认UserAgent,也可以像我这样自己自定义一个

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip,deflate",
    "Accept-Language": "en-US,en;q=0.8,zh-TW;q=0.6,zh;q=0.4",
    "Connection": "keep-alive",
    "Content-Type":" application/x-www-form-urlencoded; charset=UTF-8",
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36",
    "Referer": "http://www.zhihu.com"
}

meta中的cookiejar是Scrapy的Cookie中间件的关键字,具体可参考scrapy文档,这里因为只需要保存一个cookie,所以直接写1(注意:并不是1个cookie才写的1,仅仅是个key,后面通过这个1这个key找到cookiejar中保存的cookie)

2.解析首页内容,获取到_xsrf的值,同时提交登录请求:

def post_login(self,response):
        self.log("preparing login...")
        xsrf = Selector(response).xpath('//div[@data-za-module="SignInForm"]//form//input[@name="_xsrf"]/@value').extract()[0]
        self.log(xsrf)
        return FormRequest("https://www.zhihu.com/login/email",meta={'cookiejar':1},
                                          headers = self.headers,
                                          formdata = {
                                             '_xsrf':xsrf,
                                             'password':'xgBKQTx7VnVLK9tv',
                                             'email':'tianxianggen@gmail.com',
                                             'remember_me':'true',
                                          },
                                          callback = self.after_login,
                                          )
  1. 将登录成功后获取到的cookie传递给每一个start_urls中链接的ruquest
def after_login(self,response):
        for url in self.start_urls:
            yield Request(url,meta={'cookiejar':1},headers = self.headers)

4.由于cookiejar中的cookie并不会自动发送给每个链接,因此在urls通过Rule获取到的连接,也是需要我们手动将cookie加上,通过Rule提供的process_request参数重新创建带cookie的Request

rules = (
        Rule(SgmlLinkExtractor(allow=('/question/\d*')),process_request="request_question"),
    )

同时提供request_question函数

def request_question(self,request):
        return Request(request.url,meta={'cookiejar':1},headers = self.headers,callback=self.parse_question)

5.由于已经有了process_link ,Rule中的callback参数就不再起作用了,而是调用新构造的Request中的callback函数。

def parse_question(self,response):
        sel = Selector(response)
        item = zhihuItem()
        item['qestionTitle'] = sel.xpath("//div[@id='zh-question-title']//h2/text()").extract_first()
        item['image_urls'] = sel.xpath("//img[@class='origin_image zh-lightbox-thumb lazy']/@data-original").extract()
        return item

这个parse_question方法仅仅是获取问题名称和问题下面的所有图片链接。

完整代码

import urllib2
import os
import re
import codecs


from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from MySpider.items import zhihuItem
from scrapy.http import Request
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser


class zhihuSpider(CrawlSpider):
    name = "zhihu"
    allow_domians = ["zhihu.com"]
    start_urls = ["https://www.zhihu.com/collection/38624707"]
    rules = (
        Rule(SgmlLinkExtractor(allow=('/question/\d*')),process_request="request_question"),
    )
    
    headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip,deflate",
    "Accept-Language": "en-US,en;q=0.8,zh-TW;q=0.6,zh;q=0.4",
    "Connection": "keep-alive",
    "Content-Type":" application/x-www-form-urlencoded; charset=UTF-8",
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36",
    "Referer": "http://www.zhihu.com"
    }
    
    def start_requests(self):
        return [Request("https://www.zhihu.com/",headers = self.headers,meta={"cookiejar":1},callback=self.post_login)]
        
    def post_login(self,response):
        self.log("preparing login...")
        xsrf = Selector(response).xpath('//div[@data-za-module="SignInForm"]//form//input[@name="_xsrf"]/@value').extract()[0]
        self.log(xsrf)
        return FormRequest("https://www.zhihu.com/login/email",meta={'cookiejar':response.meta['cookiejar']},
                                          headers = self.headers,
                                          formdata = {
                                             '_xsrf':xsrf,
                                             'password':'差点就忘了删了',
                                             'email':'邮箱也不能暴露',
                                             'remember_me':'true',
                                          },
                                          callback = self.after_login,
                                          )
                                                      
    def after_login(self,response):
        for url in self.start_urls:
            yield Request(url,meta={'cookiejar':1},headers = self.headers)
   
    def request_question(self,request):
        return Request(request.url,meta={'cookiejar':1},headers = self.headers,callback=self.parse_question)
        
    def parse_question(self,response):
        sel = Selector(response)
        item = zhihuItem()
        item['qestionTitle'] = sel.xpath("//div[@id='zh-question-title']//h2/text()").extract_first()
        item['image_urls'] = sel.xpath("//img[@class='origin_image zh-lightbox-thumb lazy']/@data-original").extract()
        return item
2016/05/30 posted in  Python

简单Scrapy爬虫

只是个小小的demo,自己测试了下,总共down了20几张图片

#coding: utf-8 #############################################################
# File Name: spiders/wallpaper.py
# Author: mylonly
# mail: tianxianggen@gmail.com
#Blog:www.mylonly.com
# Created Time: 2014年09月01日 星期一 14时20分07秒
#########################################################################
#!/usr/bin/python
import urllib2
import os


from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from mylonly.items import wallpaperItem
from scrapy.http import Request


class wallpaper(CrawlSpider):
    name = "wallpaperSpider"
    allowed_domains = ['sj.zol.com.cn']
    start_urls = ['http://sj.zol.com.cn/']
    number = 0
    rules = (
    Rule(SgmlLinkExtractor(allow = ('detail_\d{4}_\d{5}\.html')),callback =     'parse_image',follow=True),)
    def parse_image(self,response):
        self.log('hi,this is an item page! %s' % response.url)
        sel = Selector(response)
        sites = sel.xpath("//div[@class='wrapper        mt15']//dd[@id='tagfbl']//a[@target='_blank']/@href").extract()
        for site in sites:
        url = 'http://sj.zol.com.cn%s' % (site)
        print 'one page:',url
        return Request(url,callback = self.parse_href)
    def parse_href(self,response):
        print 'I am in:',response.url
        sel = Selector(response)
        src = sel.xpath("//body//img/@src").extract()[0]
        self.download(src)


    def download(self,url):
        self.number += 1
        savePath = '/mnt/python_image/%d.jpg' % (self.number)
        print '正在下载...',url
        try:
            u = urllib2.urlopen(url)
            r = u.read()
            downloadFile = open(savePath,'wb')
            downloadFile.write(r)
            u.close()
            downloadFile.close()
        except:
            print savePath,'can not download.'


2016/05/11 posted in  Python

Scrapy——crawlSpider爬虫

Scrapy中的BaseSpider爬虫类只能抓取start_urls中提供的链接,而利用Scrapy提供的crawlSpider类可以很方便的自动解析网页上符合要求的链接,从而达到爬虫自动抓取的功能。

要利用crawSpider和BaseSpider的区别在于crawSpider提供了一组Rule对象列表,这些Rule对象规定了爬虫抓取链接的行为,Rule规定的链接才会被抓取,交给相应的callback函数去处理。



在rules中通过SmglLinkExtractor提取希望获取的链接。

我此次的demo中rule只有一个,如下:

allowed_domains = ['sj.zol.com.cn']
start_urls = ['http://sj.zol.com.cn/bizhi/']
number = 0
rules = (
            Rule(SgmlLinkExtractor(allow = ('detail_\d{4}_\d{5}\.html')),callback = 'parse_image',follow=True),
            )

搜索起始链接下面符合allow中正则表达式的链接,并跟进解析,如果follow = False,则只会解析起始链接中找到的符合要求的链接

SmglLinkExtractor主要参数:

  • allow:满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。
  • deny:与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
  • allow_domains:会被提取的链接的domains。
  • deny_domains:一定不会被提取链接的domains。
  • restrict_xpaths:使用xpath表达式,和allow共同作用过滤链接。

    下面的内容就是利用Selector解析获得的response并赋值个item就行了:
#coding: utf-8 #############################################################
# File Name: spiders/wallpaper.py
# Author: mylonly
# mail: tianxianggen@gmail.com
#Blog:www.mylonly.com
# Created Time: 2014年09月01日 星期一 14时20分07秒
#########################################################################
#!/usr/bin/python
import urllib2
import os
import re


from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from mylonly.items import wallpaperItem
from scrapy.http import Request


class wallpaper(CrawlSpider):
        name = "wallpaperSpider"
        allowed_domains = ['sj.zol.com.cn']
        start_urls = ['http://sj.zol.com.cn/bizhi/']
        number = 0
        rules = (
                        Rule(SgmlLinkExtractor(allow = ('detail_\d{4}_\d{5}\.html')),callback = 'parse_image',follow=True),
                        )
        def parse_image(self,response):
                self.log('hi,this is an item page! %s' % response.url)
                sel = Selector(response)
                sites = sel.xpath("//div[@class='wrapper mt15']//dd[@id='tagfbl']//a[@target='_blank']/@href").extract()       
                for site in sites:
                        url = 'http://sj.zol.com.cn%s' % (site)
                        print 'one page:',url
                        item = wallpaperItem()
                        item['size'] = re.search('\d*x\d*',site).group()
                        item['altInfo'] = sel.xpath("//h1//a/text()").extract()[0]
                        return Request(url,meta = {'item':item},callback = self.parse_href)
        def parse_href(self,response):
                print 'I am in:',response.url
                item = response.meta['item']
                items = []
                sel = Selector(response)
                src = sel.xpath("//body//img/@src").extract()[0]
                item['imgSrc'] = src
                items.append(item)
                return items
                #self.download(src)
        def download(self,url):
                self.number += 1
                savePath = '/mnt/python_image/%d.jpg' % (self.number)
                print '正在下载...',url
                try:
                        u = urllib2.urlopen(url)
                        r = u.read()
                        downloadFile = open(savePath,'wb')
                        downloadFile.write(r)
                        u.close()
                        downloadFile.close()
                except:
                        print savePath,'can not download.'




接下来看看我的Item.py的代码:

class wallpaperItem(scrapy.Item):
        size = scrapy.Field()
        altInfo = scrapy.Field()
        imgSrc = scrapy.Field()


还有pipilines.py:

# -*- coding: utf-8 -*-


# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import MySQLdb




class MylonlyPipeline(object):
    def process_item(self, item, spider):
        return item


class wallpaperPipeline(object):
        def process_item(self,item,spider):
                print 'imgSrc:',item['imgSrc']
                db = MySQLdb.connect("rdsauvva2auvva2.mysql.rds.aliyuncs.com","mylonly","703003659txg","wallpaper")
                cursor = db.cursor()
                db.set_character_set('utf8')
                cursor.execute('SET NAMES utf8;')
                cursor.execute('SET CHARACTER SET utf8;')
                cursor.execute('SET character_set_connection=utf8;')


                sql ="INSERT INTO mobile_download(wallpaper_size,wallpaper_info,wallpaper_src)\
                      VALUES('%s','%s','%s')"%(item['size'],item['altInfo'],item['imgSrc'])
                try:
                        print sql
                        cursor.execute(sql)
                        db.commit()
                except MySQLdb.Error,e:
                        print "Mysql Error %d: %s" % (e.args[0], e.args[1])
                db.close()
                return item




本例中我将传回的items数据存放到了数据库中,如果你不想这样,可以将我注释掉的self.download()取消注释,不反悔items,就可以将找到的所有图片链接全部下载下来,不过要找个大点的地方存储,因为总共有5W多条:
2016-06-29_061712481319744.png

2016/05/11 posted in  Python