小程序交流群:528215729,加入和小伙伴们一起探讨开发疑难、运营idea吧

admin

admin

发表于 2018-05-19 17:41:49

摘要:适合新手的Python爬虫小程序 (微信小程序开发 - 微信 小程序外包开发-微信小程序 开发教程-微信小程序开发者社区,尽在 www.mntuku.cn)

    介绍:此程序是使用python做的一个爬虫小程序  爬取了python百度百科中的部分内容,因为这个demo是根据网站中的静态结构爬取的,所以如果百度百科词条的html结构发生变化 需要修改部分内容。词条链接 http://baike.baidu.com/item/Python

    逻辑步骤:1.主程序部分,主要初始化程序中需要用到的各个模块分为(1)链接管理模块。  (2)链接下载保存模块   (3)解析网页模块   (4)输出解析内容模块,然后就是写抓取网页内容的方法。

     下边为爬取方法代码:

def craw(self, root_url):  #抓取网页
        count = 1
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():  #判断是否有新的网页抓取
            try:
                new_url = self.urls.get_new_url() #获取新的url
                print "craw %d : %s"%(count,new_url)
                html_cont = self.downloader.download(new_url)#获取新网页的链接
                new_urls,new_data=self.parser.parse(new_url,html_cont)  #解析网址和网址内容
                self.urls.add_new_urls(new_urls) #url放入管理器
                self.outputer.collect_data(new_data) #网页数据收集
                if count == 30:
                    break
                count +=1
            except:
                print craw failed
        self.outputer.output_html()


    2.链接管理模块   中实现四个方法a.向存储链接的表中添加需要爬取的新的链接add_new_url      b. 批量添加新链接 add_new_urls     c.判断链接表中是否有待爬取的新链接has_new_url     d.取一个待爬取的新链接  并将这个链接从链接表中移除(防止重复爬取相同内容)get_new_url

   部分代码:

def add_new_url(self,url):   #添加一个新的url
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
    
    def add_new_urls(self,urls):   #批量添加url
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)


    def has_new_url(self):  #判断是否有新的待取的url
        return len(self.new_urls) !=0
    
    def get_new_url(self):   #取一个待爬取的url
        new_url = self.new_urls.pop() #取一个url并将其移除
        self.old_urls.add(new_url)
        return new_url

     3.链接下载模块

   使用urllib2进行需要爬取的链接的下载   (文末附上urllib2开发文档链接)

 def download(self,url):  #使用urllib2获取网页链接
        if url is None:
            return None
        response = urllib2.urlopen(url)
        
        if response.getcode()!=200: #判断请求是否成功
            return None
        return response.read()

    4.网页解析模块

网页解析使用beautifulsoup4库进行操作(文末附上beautifulsoup4开发文档链接

def _get_new_urls(self, page_url, soup):  #获取新的网址
        new_urls = set()
        links = soup.find_all(a,href= re.compile(r/item/))
        for link in links:
            new_url = link[href]           #因为词条网址分成了两段所以这里需要将其拼接
            new_full_url = urlparse.urljoin(page_url,new_url)
            new_urls.add(new_full_url)   #将完整网址添加到网址列表中
        return new_urls
    
    def _get_new_data(self, page_url, soup): #获取新的网址中内容
        res_data = {}
        
        #url
        res_data[url]=page_url
        
        #

Python

title_node = soup.find(dd,class_="lemmaWgt-lemmaTitle-title").find("h1") res_data[title]=title_node.get_text() #

   5.输出内容

   将爬取的内容以html形式保存在本地(代码成功运行后再工程project下刷新会有一个html文件)

def output_html(self):     
        fout = open(output.html,w)
        fout.write("")
        fout.write("")
        fout.write("")
        
        
        #ascii
        for data in self.datas:
            fout.write("")
            #fout.write("" % data[url])
            fout.write("" % data[title])
            fout.write("" % data[summary])
            fout.write("")
        
        
        fout.write("
%s%s%s
") fout.write("") fout.write("") fout.close()

PS:urllib2开发文档:https://docs.python.org/2/howto/urllib2.html

beautifulsoup4开发文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/点击打开链接

        教程视频连接:http://www.imooc.com/learn/563

demo项目:csdn下载频道http://download.csdn.net/detail/th226/9914405

303阅读 | 1评论
你的回应