国外电商网站snapdeal爬取流程

2021-05-05 05:27

阅读：746

标签：返回 com 思路获取 snap 显示爬取 ref ber

首页爬取

1.首页获取各个目录的url 如所有优惠all_offers的其中urlhttps://www.snapdeal.com/products/men-apparel-shirts?sort=plrty

2.访问他的url获取bcrumbLabelId是由于js简单渲染出来的在id="labelId" value="(.*?) 中,如果取不到值该页面为一个优惠卷页面或者其他页面

3.url重新拼接http://www.snapdeal.com/acors/json/product/get/search/{bcrumbLabelId}/0/20 ,0为起始,20为取的条数(固定)

4.会获得一个商品的页面非json,其中

(.*?)

获取他的总条数

如果起始页码总条数获得总条数-起始页码

如果起始页码>总条数返回的html页面其中一个标签内值为

5.可以通过正则或者xpath获取他的详情页的url

6.访问详情页url,返回的数据与页面显示的内容相同

1.访问https://www.snapdeal.com/search?keyword={搜索的内容}

2.批量http://www.snapdeal.com/acors/json/product/get/search/0/10/20?keyword={搜索的内容} 其中/0/20/20,0为固定,10为起始,20为取的条数(固定),

3.会获得一个商品的页面非json,其中

(.*?)

获取他的总条数

如果起始页码总条数获得总条数-起始页码

如果起始页码>总条数返回的html页面其中一个标签内值为

4.可以通过正则或者xpath获取他的详情页的url

5.访问详情页url,返回的数据与页面显示的内容相同

国外电商网站snapdeal爬取流程

标签：返回 com 思路获取 snap 显示爬取 ref ber

原文地址：https://www.cnblogs.com/pythonywy/p/12111169.html

文章来自：搜素材网的编程语言模块，转载请注明文章出处。
文章标题：国外电商网站snapdeal爬取流程
文章链接：http://soscw.com/index.php/essay/82592.html

亲，登录后才可以留言！