小程序交流群:528215729,加入和小伙伴们一起探讨开发疑难、运营idea吧

admin

admin

发表于 2018-04-14 16:29:46

摘要:nodeJs爬虫小程序练习 (微信小程序开发 - 微信 小程序外包开发-微信小程序 开发教程-微信小程序开发者社区,尽在 www.mntuku.cn)

//爬虫小程序

    var express = require(express);
    //superagent是一个http的库,可以发起get和post请求
    var superagent = require(superagent);
    //cheerio是一个类似于jquery的库,用来从网页中以css 选择器取数据,
    //使用方式和jquery相同
    var cheerio = require(cheerio);
    
    var app = express();
    
    app.get(/, function(req, res, next){
        superagent.get(https://cnodejs.org/)
        .end(function(err,sres){
            //常规错误处理
            if(err){
                return next(err);
            }
            var $ = cheerio.load(sres.text);
            var items = [];//数组
            $(#topic_list .topic_title).each(function(idx, element){
                var $element = $(element);
                items.push({
                    title: $element.attr(title),
                    href: $element.attr(href)
                });
            });
    
            res.send(items);
        });
    });
    
    app.listen(3000,function(req,res){
        console.log(app is run at port 3000);
    });
  • SuperAgent是轻量级的渐进式ajax API,灵活性高,可读性高。可以通过调用request对象上的适当方法.end()来启动请求,然后调用发送请求。例如一个简单的GET请求:

     request
       .get(/search)
       .end(function(err, res){
    
       });
88阅读 | 0评论
你的回应