R语言网页爬虫函数

genechip

1. #*************网页爬虫-R语言实现，函数库文件*******#
   
2. #****作者：oldlee11***************************************#
   
3. #****版本：v0.1*******************************************#
   
4. #****时间：2012-11-14*************************************#
   
5. library(XML);
   
6. #****函数：(crawler1)
   
7. #****概要：网络抓取的主要函数1，可以抓取n个网页的m个变量。每个xpath只爬取一个数据，如果大于1个则提示有误。（精确抓取）
   
8. #****输入：
   
9. #        名称           |    数据格式
   
10. #        url            |    欲抓取的网站的url                向量：n个
    
11. #        xpath          |    给出的抓取变量的xpath            向量：m个
    
12. #        content        |    变量是结点的内容还是结点的属性值 向量：m个  
    
13. #                            "text"是内容(默认)，或者是属性名称
    
14. #****输出：只有print，无输出
    
15. #        名称           |    含义
    
16. 
    
17. crawler1<-function(url,xpath,content=rep("text",length(xpath))){
    
18.     #如果xpath以及content的数量不同，则输入数据有误
    
19.     num_url<-length(url)
    
20.     if(length(content)!=length(xpath)){
    
21.         print("Error:content和xpath向量的数量不一致!")
    
22.         return
    
23.     }
    
24. 
    
25.     #建立一个num_url行，num_vari列的数据框
    
26.     num_vari<-length(xpath)
    
27.     result<-data.frame(rep(0,num_url))
    
28.     for(i in 2:num_vari){
    
29.         cbind(result,rep(0,num_url))
    
30.     }
    
31.      
    
32.     #遍历url向量，依次对相应网页进行抓取
    
33.     i<-1
    
34.     j<-1
    
35.     for(i_url in url){
    
36.         i_url_parse<-htmlParse(i_url,encoding="UTF-8")#读取url网页数据，并使用htmlParse转化。（xml文件使用xmlParse）
    
37.         for(j in 1:num_vari){#依次填充一个页面中的不同欲读取的数据值
    
38.             node<-getNodeSet(i_url_parse,xpath[j])#通过xpath[i]找到相应变量的xpath结点
    
39.             if(length(node)==0){#未爬取到数据，说明xpath有误
    
40.                 result[i,j]<-NA
    
41.                 print(paste("注意：第",j,"个变量未能在第",i,"个页面中找到,我们会把该数据写为空值"))
    
42.             }else if(length(node)==1){#爬取到一个数据，说明正常
    
43.                 if(content[j]=="text"){#欲爬取变量的内容
    
44.                     result[i,j]<-xmlValue(node[[1]])
    
45.                 }else{#欲爬取变量的属性
    
46.                     result[i,j]<-xmlGetAttr(node[[1]],content[j])
    
47.                     result[i,j]<-iconv(result[i,j],"UTF-8","gbk")#如果是乱码，可以打开此语句。如果是na可以删除此句
    
48.                 }
    
49.             }else{#爬取到多个数据，本函数不予处理
    
50.                 result[i,j]<-NA
    
51.                 print(paste("注意：第",j,"个变量能在第",i,"个页面中找到多个,不知您要哪一个，我们会把该数据写为空值"))   
    
52.             }
    
53.         }
    
54.         i<-i+1
    
55.     }
    
56.     result
    
57. }
    
58. 
    
59. #****函数：(crawler2)
    
60. #****概要：网络抓取的主要函数2，可以抓取n个网页的1个变量。该xpath可以爬取多个数据，（批量抓取）
    
61. #****输入：
    
62. #        名称           |    数据格式
    
63. #        url            |    欲抓取的网站的url                向量：n个
    
64. #        xpath          |    给出的抓取变量的xpath            向量：1个
    
65. #        content        |    变量是结点的内容还是结点的属性值 向量：1个  
    
66. #                            "text"是内容(默认)，或者是属性名称
    
67. #****输出：只有print，无输出
    
68. #        名称           |    含义
    
69. #        url            |    1---n自然数，相同url拥有相同数值
    
70. #        vari           |    读取的数据
    
71. crawler2<-function(url,xpath,content="text"){
    
72.     num_url<-length(url)
    
73.     result<-data.frame(url=0,vari=0)
    
74.     i<-1#记录第几个url
    
75.     tmp<-1#
    
76.     for(i_url in url){
    
77.         i_url_parse<-htmlParse(i_url,encoding="UTF-8")#读取url网页数据，并使用htmlParse转化。（xml文件使用xmlParse）
    
78.         node<-getNodeSet(i_url_parse,xpath)#通过xpath[i]找到相应变量的xpath结点
    
79.         if(length(node)==0){#未爬取到数据，说明xpath有误
    
80.             result[tmp,1]<-i
    
81.             result[tmp,2]<-NA
    
82.             print(paste("注意：变量未能在第",i,"个页面中找到,我们会把该数据写为空值"))
    
83.             tmp<-tmp+1
    
84.         }else{
    
85.             for(j in 1:length(node)){
    
86.                 result[tmp,1]<-i
    
87.                 if(content=="text"){#欲爬取变量的内容
    
88.                     result[tmp,2]<-xmlValue(node[[j]])
    
89.                 }else{#欲爬取变量的属性
    
90.                     result[tmp,2]<-xmlGetAttr(node[[j]],content)
    
91.                     #result[tmp,2]<-iconv(result[tmp,2],"UTF-8","gbk")#如果是乱码，可以打开此语句。如果是na可以删除此句
    
92.                 }
    
93.                 tmp<-tmp+1
    
94.             }
    
95.         }
    
96.         i<-i+1
    
97.     }
    
98.     result
    
99. }
    
100. 
     
101. #test
     
102. 
     
103. #测试crawler1
     
104. #测试内容
     
105. url1<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.6.deIiSJ&spuid=205341228&cat=1101"
     
106. url2<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.11.deIiSJ&spuid=203228104&cat=1101"
     
107. url3<-"http://item.taobao.com/item.htm?spm=1020.3.9.122.SCNhDn&id=15695321398&from="
     
108. url<-c(url1,url2,url3)
     
109. xpath<-c("//div[@id='idetail']//div[@class='info-area']//div[@class='tlt clearfix']//h1","//div[@id='idetail']//div[@class='info-area']//div[@class='key-info']//span[@class='price']")
     
110. crawler1(url,xpath)
     
111. #测试属性值
     
112. url<-"http://data.caixin.com/macro/macro_indicator_more.html?id=F0001&cpage=2&pageSize=30&url=macro_indicator_more.html#top";
     
113. xpath<-"//meta[@name='keywords']"
     
114. content<-"content"
     
115. crawler1(url,xpath,content)
     
116. 
     
117. #测试crawler2
     
118. url<-"http://list.taobao.com/itemlist/bao.htm?spm=567.116925.155171.105.9ZYYMX&cat=50072693&isprepay=1&viewIndex=1&yp4p_page=0&commend=all&atype=b&style=grid&olu=yes&isnew=2&smc=1&mSelect=false&user_type=0&fl=50072693#!cat=50072693&isprepay=1&user_type=0&as=0&viewIndex=1&yp4p_page=0&commend=all&atype=b&style=grid&olu=yes&isnew=2&mSelect=false&smc=1&json=on&tid=0"
     
119. xpath<-"//li[@class='list-item list-item-grid']"
     
120. content<-"data-commenturl"
     
121. crawler2(url1,xpath,content)
     
122. #疑难：如何破解data-commenturl="{{item.commendHref}}"
     
123. #<li class="list-item list-item-grid" data-isrush="{{item.isLimitPromotion}}" data-ismall="{{item.isMall}}" data-item="{{item.itemId}}" data-#params="sellerId={{item.sellerId}}&ip={{extraInfo.userIp}}" data-comment="{{item.commend}}" data-commenturl="{{item.commendHref}}" data-#virtual="{{item.isVirtual}}">
     
124. 
     
125. url2<-"D://r//lab//网页爬虫//data//bao.htm"
     
126. crawler2(url2,xpath,content)

复制代码

转自 http://www.bassary.com/?p=1107

beardman

如何使用呢