R语言读取淘宝的单品页的名称和价格

genechip

1. #lab1
   
2. library(XML);
   
3. url1<-"http://data.caixin.com/macro/macro_indicator_more.html?id=F0001&cpage=2&pageSize=30&url=macro_indicator_more.html#top";
   
4. url<-htmlParse(url1,encoding="UTF-8")#把html文件读入r语言中并解析
   
5. 
   
6. #找结点
   
7. test <- getNodeSet(url,'//meta[@name]')#xpath语法找到html部件#显示的中文正常
   
8. #读取结点的内容：xmlValue内部参数只能是一个字符串
   
9. test_text_list<-sapply(test, xmlValue)#提取内容，多个的化以向量形式存储
   
10. test_text<-xmlValue(test[[2]])#把test的第2个中的内容提取出来=test_text_list[2].注意，即时test只有一组数据也要使用test[[1]],不可以直接使用test（不是字符串）
    
11. #读取结点的属性：xmlGetAttr内部参数只能是一个字符串
    
12. content1<-xmlGetAttr(test[[1]], "content")#读取test[[1]]中的content内容。注意直接用test不可以。#显示的中文不正常
    
13. content1<-iconv(content1,"UTF-8","gbk")#解决中文正常显示问题
    
14. 
    
15. 
    
16. #lab2使用R语言爬取淘宝网站的笔记本商品价格和名称
    
17. library(XML);
    
18. url1<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.6.deIiSJ&spuid=205341228&cat=1101"
    
19. url2<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.11.deIiSJ&spuid=203228104&cat=1101"
    
20. read_taobao<-function(url){
    
21.     name_text<-""
    
22.     price_text<-""
    
23.     i<-1
    
24.     for(i_url in url){
    
25.         i_url2<-htmlParse(i_url,encoding="UTF-8")#读取html数据
    
26.         name<- getNodeSet(i_url2,"//div[@id='idetail']//div[@class='info-area']//div[@class='tlt clearfix']//h1")#通过xpath找到网页中的name
    
27.         #xpath://任意位置的  @是属性
    
28.         name_text_tmp<-xmlValue(name[[1]])#提取name的内容
    
29.         price<-getNodeSet(i_url2,"//div[@id='idetail']//div[@class='info-area']//div[@class='key-info']//span[@class='price']")#通过xpath找到网页中的price
    
30.         price_text_tmp<-xmlValue(price[[1]])#提取price的内容
    
31.         name_text[i]<-name_text_tmp
    
32.         price_text[i]<-price_text_tmp
    
33.         i<-i+1
    
34.     }
    
35.     data.frame(name=name_text,price=price_text)
    
36. }
    
37. url<-c(url1,url2)
    
38. read_taobao(url)

复制代码

bitting304

楼主好强大！！！！