请求方式:HTTPSGETPOST
请求代码示例,支持高并发请求
接口封装代码
一个例子:
抓取的DIC
the_basic_info = {
"search_keyword": self.keyword, "使用的keyword"
"last_crawling_timestamp": datetime.now(), "当前抓取时间"
"platform": "JD", "抓取平台"
"product_name": product_name, "产品名称"
"seller_name": seller_name, "商家名称"
"sku_id": _data_pid, "产品Id"
"default_price": float(final_price), "最终价格"
"final_price": 0,
"item_url": _http, "商品网页地址"
"comments_ave_score": float(score_avg), "商品评分"
"comments_count": comment_count, "商品评论数量"
"images": img, "商品图片地址"
"current_stock": location_list, "商品存储地址"
"search_rank": rank, "在当前搜索索引下的排名"
"search_order": order, "当前索引(按销量,价格,热度等)"
"seller_url": seller_url, "商家网页地址"
"comments_list": comment_list "具体评论,支持抓取100条评论"
}
公共参数:
key | String | 是 | 调用key(必须以GET方式拼接在URL中) |
secret | String | 是 | 调用密钥 (复制vxin:Taobaoapi2014 ) |
api_name | String | 是 | API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等] |
cache | String | 否 | [yes,no]默认yes,将调用缓存的数据,速度比较快 |
result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读 |
lang | String | 否 | [cn,en,ru]翻译语言,默认cn简体中文 |
version | String | 否 | API版本 |
将jd_monitoring_enginemain方法里面的_keyword,_page_limit,_order改成你想测试的例子。三个参数分别是关键字,搜索页数和搜索索引。
测试?
if __name__ == "__main__":
j = JDMonitoringEngine()
j.set_searching_url(_keyword="dell", _page_limit=1, _order=["sales"])
url_list = j.url_list
for _index, url_dict in enumerate(url_list):
logger.info("Sending {0}/{1} url dict to basic info extraction".format(
(_index + 1), len(url_list)))
results = list(map(lambda x: j.get_basic_info(x), url_dict))
京东,淘宝,天猫,,淘特,拼多多,阿里巴巴,168抖音,苏宁,亚马逊中国,lazada,速卖通等全球50多个知名平台抓取数据,存储到database并进行分析
文章为作者独立观点,不代表股票交易接口观点