Node写的一个爬取网页结构的小蜘蛛

falost

代码中使用了 cheerio 模块，请先安装cheerio 模块， 进入到项目中，运行 nppm install cheerio 即可安装！
这是运行截图：

[JavaScript] 纯文本查看 复制代码

var http = require('http');
var cheerio = require('cheerio');
var url = 'http://bbs.fedte.cc/forum.php';

function filterChapters(html){
        var $ =cheerio.load(html)
        var chapters = $('.xr_forum_box')
        var chapter
        var chapterTitle
        var main
        var chapterMain
        var mainInfo
        var data = []
        chapters.each(function(item){
                chapter = $(this)
                chapterTitle = chapter.find('.xr_forum_tit').find('h2').text()
                main = chapter.find('td')
                chapterMain={
                        title:chapterTitle,
                        main:[]
                }
                main.each(function(item){
                        mainInfo = $(this).find('a').text()
                        chapterMain.main.push(mainInfo)
                })
                
                data.push(chapterMain)
        })
        return data
}
function printCourseInfo(coursDate){
        coursDate.forEach(function(item){
                console.log(item.title + '\n')
                item.main.forEach(function(main){
                        console.log('  '+ main + '\n')
                })
        })
}
http.get(url,function(res){
        var html = '';
        
        res.on('data',function(data){
                html+=data;
        })

        res.on('end',function(){
                //console.log(html)
                var coursDate = filterChapters(html)
                //console.log(coursDate)
                printCourseInfo(coursDate)
        })
}).on('error',function(){
        console.log('获取出错！')
})