简介: 本项目用于 服务电商运营部门选品,并利用Django框架搭建后台管理系统。数据库将存储所有爬取到的数据并通过后台管理系统可视化。使用人员可以通过后台管理系统通过筛选选出理想的商品。这个功能将有效提高选品的效率,并赋能于公司其他部门。
配置环境: 需要python3以上版本。
所需要的包:requests,selenium,pymysql,threading,lxml, oss2, goto
Django版本: 2.2 (根据需求以及兼容性适当做出些修改)
goto安装不上可以安装goto-statement
当前已有爬虫代码的南非独立站:KIKUU, FIX, JJHOUSE, LOVELYWHOLE, KILIMALL, VALUECO, JUMIA, BIDORBUY, ACKERMANS, CJDROPSHIPPING, MRP, ZANDO, YELLOWSUBTRADING d等(不排除这些网站会更新而导致代码没法用的情况)。
如果该网站是基于shopify建站,则可通过 https://github.com/lagenar/shopify-scraper.git 内的代码完成爬取。不需要重新编写爬虫代码。所有的爬虫代码在crawl/stage1 里面呈现。
爬虫代码分为三个阶段。第一阶段是爬取南非独立站,我们获得每个商品独立的ID,标题,价格,和最重要的图片链接。ID作为唯一的标识符,可以用作去重的标准。
第二阶段通过调取1688api: https://open.1688.com/api/apiTool.htm?ns=com.alibaba.linkplus&n=alibaba.cross.similar.offer.search&v=1 ,从而通过图片获取相关供应商的信息。可以按照公司的需求选取销量优先还是价格低廉优先。
第三阶段:当拥有1688供应商的链接后,通过爬取每个供应商页面的相关信息作为选取商品的标准。代码中选取的标准为:已售商品数量、服务能力、回头率、旺旺响应、厂房面积、员工人数、评价数目、好评率、商品评分、重量、配送速度。
操作方法: 先run任意一个drive
关于电商选品的内容以及其他电商相关内容,欢迎关注ShopShipShake语雀:https://shopshipshake.yuque.com/shopshipshake/commerce_events/niprt0
Project Owner: Alvin Rong
Main Contributor: Chenchuhui Hu, Chenyun Zhang, Alvin Rong, Ruiqing Shi