-
Notifications
You must be signed in to change notification settings - Fork 5
/
Copy pathprice_mongo.py
441 lines (405 loc) · 40.2 KB
/
price_mongo.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
# coding:utf-8 ctrl+/ 注释
import urllib2
import time
from bs4 import BeautifulSoup
import sys
import pymongo
reload(sys)
sys.setdefaultencoding("utf-8")
connection = pymongo.MongoClient()
tdb = connection.o2o
post_info = tdb.good
dictCollect = {"上海市江桥批发市场": ["上海市","上海市","普陀区"], \
"上海农产品中心批发市场有限公司": ["上海市","上海市","浦东新区"], \
"大丰市丰收大地农产品价格信息中心":["江苏省","盐城市","大丰区"], \
"江苏常州宣塘桥水产品交易市场":["江苏省","常州市","钟楼区"], \
"江苏丰县南关农贸市场":["江苏省","徐州市","丰县"], \
"江苏淮海蔬菜批发市场":["江苏省","徐州市","鼓楼区"], \
"江苏建湖水产批发市场":["江苏省","盐城市","建湖县"], \
"江苏凌家塘农副产品批发市场":["江苏省","常州市","钟楼区"], \
"江苏无锡朝阳市场":["江苏省","无锡市","梁溪区"], \
"江苏无锡天鹏集团公司":["江苏省","无锡市","崇安区"], \
"江苏徐州七里沟农副产品中心":["江苏省","徐州市","泉山区"], \
"江苏扬州联谊农副产品批发市场":["江苏省","扬州市","广陵区"], \
"江苏宜兴蔬菜副食品批发市场":["江苏省","无锡市","宜兴市"], \
"南京高淳县水产批发市场有限公司":["江苏省","南京市","高淳区"], \
"南京农副产品物流中心":["江苏省","南京市","江宁区"], \
"南京紫金山批发市场":["江苏省","南京市","玄武区"], \
"苏州市南环桥农副产品批发市场":["江苏省","苏州市","吴中区"]}
ary_base_market = [[13075, '黄瓜', 20410], [13080, '活草鱼', 8754711], [13079, '鸡蛋', 13245], [13077, '玫瑰(月季)', 13279],
[13073, '面粉', 13095], [13076, '香蕉', 13103], [13080, '白鲢活鱼', 8754710], [13076, '富士苹果', 13097],
[13077, '菊花', 13280], [13073, '绿豆', 13096], [13075, '西红柿', 20414], [13079, '猪肉(白条猪)', 13233],
[13075, '大白菜', 20409], [13080, '活鲫鱼', 8754722], [13077, '康乃磬', 13282], [13079, '内三元母猪', 16027054],
[13079, '内三元生猪', 16027050], [13079, '内三元仔猪', 16027052], [13079, '牛肉', 13235], [13073, '色拉油', 13119],
[13079, '外三元母猪', 16027055], [13079, '外三元生猪', 16027051], [13079, '外三元仔猪', 16027053],
[13076, '西瓜', 13106], [13073, '大豆', 13087], [13076, '哈密瓜', 13107], [13080, '活鲤鱼', 8754705],
[13077, '唐昌蒲(剑兰)', 13284], [13075, '土豆', 20413], [13079, '羊肉', 13237], [13079, '白条鸡', 13240],
[13076, '菠萝', 13105], [13077, '东方百合', 13288], [13080, '黄鳝', 13137], [13075, '芹菜', 20411],
[13073, '一级豆油(散装)', 8754698], [13076, '伽师瓜', 15002880], [13073, '红小豆', 13099],
[13076, '巨峰葡萄', 13139], [13075, '青椒', 13811], [13080, '武昌鱼', 13144], [13079, '鸭蛋', 13248],
[13077, '亚洲百合', 13292], [13080, '带鱼', 13118], [13079, '活鸡', 13243], [13073, '粳米(普通)', 8754673],
[13075, '韭菜', 13515], [13076, '蜜桔', 13098], [13077, '麝香百合', 13295], [13073, '菜油(散装)', 8754689],
[13077, '非洲菊(扶郎花)', 13299], [13080, '黑鱼', 13134], [13075, '茄子', 13509], [13079, '乌鸡', 13257],
[13076, '鸭梨', 13102], [13073, '标准粉', 13104], [13075, '大葱', 15637], [13077, '热带兰(石斛兰)', 13302],
[13079, '猪心', 13310], [13076, '猕猴桃', 13201], [13080, '鲈鱼', 13151], [13073, 'S33(油葵)', 15060703],
[13076, '白桃', 15052348], [13075, '大蒜', 13520], [13073, '高粱', 15052308], [13073, '黑中片籽瓜子', 15060735],
[13076, '红马奶葡萄干', 15060784], [13079, '基础母牛(500斤左右)', 15060767], [13076, '金丝枣', 15052307],
[13076, '菱角', 15060639], [13076, '龙眼(储良)', 15059625], [13076, '龙眼(石硖)', 15059632],
[13076, '绿马奶葡萄干', 15060783], [13079, '麻花公鸡', 15058263], [13077, '满天星', 13305],
[13076, '芒果(红象牙9号)', 15052357], [13076, '芒果(农院3号)', 15052363], [13076, '芒果(台农一号)', 15052367],
[13080, '泥鳅', 13135], [13073, '西葫芦白瓜籽(炒货)', 15060369], [13080, '小黄鱼', 15011220],
[13073, '玉米', 13086], [13080, '章鱼', 15052322], [13080, '沼虾', 15002873], [13079, '猪肝', 13312],
[13073, '芸豆', 15060184], [13076, '柚', 13197], [13075, '白萝卜', 20408], [13080, '大带鱼', 13124],
[13073, '大米', 13084], [13076, '脐橙', 13150], [13077, '情人草', 13309], [13079, '猪肚', 13313],
[13073, '花生油', 13094], [13080, '人工甲鱼', 13179], [13075, '生姜', 15641], [13077, '勿忘我', 13311],
[13076, '香梨', 13133], [13079, '猪后腿肌肉', 13296], [13075, '葱头', 15638], [13076, '红提子', 13244],
[13077, '红掌', 13315], [13079, '三黄公鸡', 15092423], [13079, '三黄鸡', 13328], [13073, '香油', 13113],
[13080, '养殖鲶鱼', 13140], [13075, '菜苔', 8753469], [13080, '大黄鱼', 13129], [13079, '活鸭', 13261],
[13077, '马蹄莲', 13318], [13076, '芒果', 13228], [13073, '特一粉', 13108], [13075, '菜花', 13514],
[13079, '肥膘', 13298], [13077, '鹤望兰', 13321], [13073, '花生仁', 13125], [13076, '龙眼(桂圆)', 13226],
[13080, '马鲅鱼', 15052298], [13080, '小带鱼', 13127], [13075, '胡萝卜', 13512], [13077, '蛇鞭菊', 13324],
[13076, '桃子', 13206], [13080, '小黄花鱼', 13713], [13079, '猪前腿肌肉', 13293], [13073, '籼米(晚籼米)', 8754660],
[13076, '草莓', 13167], [13077, '观赏向日葵', 13327], [13073, '花生', 13122], [13080, '牛蛙', 13168],
[13075, '香菜', 13504], [13079, '猪肺', 13314], [13075, '冬瓜', 15643], [13076, '甘蔗', 13224],
[13080, '基围虾', 13189], [13077, '睡莲', 13330], [13079, '猪大排肌肉', 13294], [13073, '棕榈油', 13115],
[13076, '椪柑', 13155], [13080, '草鱼', 13093], [13075, '豆角', 13510], [13073, '豆油', 13090],
[13077, '富贵竹', 13334], [13076, '广柑', 15002905], [13076, '芦柑', 13153], [13079, '猪大肠', 13317],
[13075, '菠菜', 13508], [13073, '菜油', 13088], [13076, '金龙芒', 15092406], [13077, '九里香', 13338],
[13076, '芒果(农院5号)', 15092392], [0, '畜产品', 13079], [13076, '雪梨', 13123], [13079, '猪颈背肌肉', 13289],
[13080, '鲫鱼', 13117], [13076, '红枣', 13185], [13077, '山茜', 13341], [13075, '蒜薹', 13517],
[13073, '特二粉', 13111], [13079, '猪肾', 13316], [13080, '鲢鱼', 13089], [13073, '粳米', 13085],
[13079, '老母鸡', 13329], [13080, '罗非鱼', 13146], [13077, '肾蕨', 13342], [13076, '香瓜', 13164],
[13075, '油菜', 20416], [13079, '活鹅', 8754641], [13080, '鲤鱼', 13091], [13073, '糯米', 8754700],
[13076, '山竹', 13260], [13075, '洋白菜', 13511], [13077, '针葵叶', 13346], [13080, '大平鱼', 13131],
[13077, '米兰', 13350], [13076, '酥梨', 13130], [13075, '西葫芦', 13366], [13079, '仔猪', 13253],
[13073, '籼米', 13083], [13076, '核桃', 13176], [13077, '黄小鸟', 13354], [13079, '活兔', 13266],
[13080, '活鳜鱼', 13147], [13073, '葵花籽', 8756521], [13075, '生菜', 13495], [13073, '黑大片葵花籽', 8756539],
[13075, '莲藕', 13503], [13079, '毛猪', 13250], [13076, '柿子', 13192], [13077, '文心兰(小)', 13357],
[13080, '小平鱼', 13132], [13080, '白鳝鱼', 13156], [13079, '柴鸡', 13259], [13077, '黄樱', 13358],
[13076, '蛇果', 13236], [13073, '晚籼稻', 9060839], [13075, '莴笋', 15642], [13080, '对虾', 13121],
[13077, '凤尾', 13359], [13079, '黄牛', 13304], [13075, '绿尖椒', 15640], [13076, '油桃', 13215],
[13073, '早籼稻', 9060841], [13080, '草虾', 13191], [13079, '肥猪', 13255], [13077, '桔梗', 13361],
[13075, '苦瓜', 13499], [13076, '柠檬', 13246], [13073, '芝麻(白芝麻)', 9060826], [13076, '黄河蜜', 15060243],
[13079, '黄花母鸡', 15092420], [13077, '龙柳', 13362], [13075, '南瓜', 13519], [13079, '蛇', 15060257],
[13076, '石榴', 13230], [0, '水产品', 13080], [13080, '梭子蟹', 13175], [13075, '条形辣椒干(二荆条)', 15060812],
[13075, '条形辣椒干(小米椒)', 15060815], [13075, '圆形辣椒干(草莓椒)', 15060819], [13075, '圆形辣椒干(子弹头)', 15060821],
[13079, '猪小肠', 13319], [13080, '虹鳟鱼', 13149], [13076, '玫瑰香葡萄', 13143], [13079, '山羊', 13268],
[13075, '香菇', 13365], [13079, '红皮鸡蛋', 13263], [13080, '扇贝', 13165], [13075, '小白菜', 13370],
[13076, '伊丽沙白瓜', 13158], [13075, '平菇', 13217], [13076, '甜橙', 13100], [13079, '猪皮', 8754625],
[13080, '蛏子', 13204], [13079, '白皮鸡蛋', 13264], [13080, '蛤蜊', 13200], [13076, '国光苹果', 13092],
[13075, '丝瓜', 13498], [13080, '澳洲龙虾', 13196], [13079, '绵羊', 13308], [13076, '青提子', 13241],
[13075, '西兰花', 13497], [13076, '马奶葡萄', 13145], [13075, '山药', 13214], [13080, '野生甲鱼', 13182],
[13079, '育肥牛', 13307], [13080, '海参', 13159], [13076, '荔枝', 13194], [13076, '荔枝(白腊)', 15002887],
[13076, '荔枝(桂味)', 15002889], [13076, '荔枝(黑叶)', 15002886], [13076, '荔枝(妃子笑)', 8754866],
[13079, '水牛', 13306], [13075, '茼蒿', 13225], [13079, '驴肉', 13239], [13076, '山楂', 13173],
[13080, '石斑鱼', 13152], [13075, '西洋芹', 13374], [13076, '板栗', 13180], [13080, '青蟹', 13177],
[13079, '肉羊', 13351], [13075, '蒜苗', 13518], [0, '粮油', 13073], [13079, '肉牛', 13349],
[13075, '小葱', 13367], [13080, '野生鲶鱼', 13141], [13076, '樱桃', 13169], [13080, '海鳗', 13160],
[13076, '红毛丹', 13249], [13079, '活驴', 13343], [13075, '芋头', 13491], [13080, '花鲢活鱼', 8754743],
[13079, '肉马', 13337], [13076, '杏子', 13220], [13075, '油麦菜', 13496], [13075, '红椒', 13223],
[13080, '江蟹', 13172], [13076, '青苹果', 13238], [13079, '肉鸡苗(只)', 13326], [13080, '海蛎', 13202],
[13076, '黄元帅苹果', 13114], [13079, '骡子', 13332], [13075, '豇豆', 13368], [13080, '鲍鱼', 13186],
[13076, '布朗', 13258], [13079, '耕骡', 13333], [13075, '红萝卜', 13208], [13079, '耕马', 13339],
[13075, '空心菜', 13494], [13076, '李子', 13221], [13080, '乌龟', 13183], [13079, '耕驴', 13344],
[13075, '荷兰豆', 13486], [13076, '人参果', 13256], [13080, '田鸡', 13170], [13079, '鸡苗(只)', 13303],
[13080, '加吉鱼', 13154], [13075, '金针菇', 13218], [13076, '杨桃', 13252], [13079, '黄花公鸡(只)', 13353],
[13075, '韭黄', 13516], [13076, '苹果梨', 13120], [13080, '鲅鱼', 8754735], [13076, '大枣', 15092411],
[13076, '丰水梨', 13138], [0, '果品', 13076], [13076, '乔纳金苹果', 15002896], [13080, '肉蟹', 13171],
[13079, '猪皮(张)', 13320], [13075, '茴香', 15639], [13076, '红星苹果', 13109], [13075, '黄豆芽', 13231],
[13079, '役马', 13336], [13080, '紫菜', 13209], [13075, '长茄子', 13487], [13076, '黄香蕉苹果', 13112],
[13079, '驴板肠', 13347], [13080, '美洲龙虾', 13198], [13075, '毛豆', 13493], [13079, '山羯羊', 13270],
[13076, '椰子', 13188], [13080, '鲨鱼', 13212], [13075, '绿豆芽', 13242], [13079, '山母羊', 13286],
[13080, '土虾', 13193], [13076, '蟠桃', 13210], [13080, '淡菜(鲜)', 13203], [13076, '冬枣', 22216],
[13075, '尖椒', 13489], [13079, '驴皮(张)', 13345], [13075, '红尖椒', 13490], [13076, '葡萄干(通货)', 8754795],
[13079, '鸭苗(只)', 13301], [13080, '野生大黄鱼', 13711], [13075, '茭白', 13501], [13080, '鳗鱼干', 13207],
[13076, '麒麟西瓜', 8754813], [13076, '白梨', 13128], [13080, '深水网箱大黄鱼', 13712], [13075, '圆茄子', 13488],
[13080, '真鲷', 13163], [13075, '瓠子', 13222], [13075, '佛手瓜', 13211], [0, '蔬菜', 13075],
[13076, '杨梅', 13136], [13080, '鮸鱼', 13157], [13075, '木耳菜', 13513], [13076, '秦冠苹果', 13110],
[13075, '樱桃西红柿', 20415], [13076, '枇杷', 13267], [13076, '特小凤西瓜', 8754804], [13075, '苋菜', 13229],
[13076, '黑美人西瓜', 8754833], [13075, '青冬瓜', 13484], [13075, '韭苔', 13372], [13076, '网纹瓜', 8754773],
[13076, '常山胡柚', 13116], [13075, '韭菜花', 13371], [13075, '鸡腿菇', 13184], [13076, '沙田柚', 20421],
[13076, '嘎拉苹果', 8754842], [13075, '芥菜', 13373], [13076, '红香蕉苹果', 8754761], [13075, '青笋', 15644],
[13075, '水萝卜', 20412], [13076, '甜瓜', 8754856], [13075, '菜瓜', 13500], [13076, '早春红玉瓜', 8754776],
[13076, '龙眼葡萄', 13142], [13075, '香椿', 13483], [13076, '雪莲果', 8754784], [13075, '荸荠', 13502],
[13075, '慈菇', 13219], [13076, '京欣西瓜', 8754822], [13075, '黑木耳', 13174], [13076, '葡萄干(特级)', 8754791],
[13076, '象牙芒', 13148], [13075, '玉米棒', 18501], [13075, '良薯', 20419], [13076, '砂糖橘', 8756564],
[13075, '茶树菇', 13187], [13076, '华兰氏瓜', 13161], [13075, '草菇', 13199], [13076, '黄金瓜', 8754770],
[13075, '光皮黄瓜', 13485], [13076, '年桔', 8756566], [13075, '冬笋', 15646], [13076, '芒果(金煌芒)', 8754876],
[13076, '白糖罐甜瓜', 8754846], [13075, '辣椒干', 13227], [13076, '红肖梨', 13126], [13075, '银耳', 13162],
[13075, '杏鲍菇', 13195], [13076, '芒果(象芽22号)', 13262], [13075, '竹笋', 15645], [13075, '白灵菇', 13181],
[13076, '石榴(大籽石榴)', 13234], [13076, '芒果(红象芽9号)', 20427], [13075, '豌豆', 8754028],
[13075, '凤尾菇', 13178], [13076, '干枣', 22219], [13075, '豌豆尖', 8753869], [13076, '鲜枣', 22215],
[13075, '莲蓬', 15060236], [13076, '葡萄干(二级)', 9060834], [13075, '折耳根', 8753866], [13075, '福鼎芋', 13492],
[13076, '葡萄干(一级)', 9060833], [13075, '猴头菇', 13190], [13075, '毛木耳', 13166], [13075, '菜用仙人掌', 13364],
[13075, '枸杞二级', 13205], [13075, '菜薹', 20420], [13075, '白蒜5.0公分', 8754211],
[13075, '红蒜5.0公分', 8754197], [13075, '蘑菇', 16027048], [13075, '白蒜6.0公分', 8754222],
[13075, '马蹄', 16026976], [13075, '红蒜6.0公分', 9060807], [13075, '心里美萝卜', 16007742],
[13075, '萝卜丝', 20428], [13075, '枸杞一级', 9060853], [13073, '白芝麻', 16007828], [13080, '大黄花鱼', 16007643],
[13076, '海棠果', 16007932], [13076, '花盖梨', 16026921], [13076, '菱枣', 16007602], [13076, '木瓜', 16007628],
[13076, '葡萄', 16007712], [13076, '青枣', 16007579], [13175, '梭子蟹（公蟹）', 6402806],
[13175, '梭子蟹（母蟹）', 6402802], [13076, '香水梨', 16007912], [13080, '鳊鱼', 16026950]]
ary_eud = [[0, '安徽省', 34], [0, '北京市', 11], [0, '福建省', 35], [0, '甘肃省', 62], [0, '广东省', 44], [0, '广西壮族自治区', 45],
[0, '贵州省', 52], [0, '海南省', 46], [0, '河北省', 13], [0, '河南省', 41], [0, '黑龙江省', 23], [0, '湖北省', 42],
[0, '湖南省', 43], [0, '吉林省', 22], [0, '江苏省', 32], [0, '江西省', 36], [0, '辽宁省', 21], [0, '内蒙古自治区', 15],
[0, '宁夏回族自治区', 64], [0, '青海省', 63], [0, '山东省', 37], [0, '山西省', 14], [0, '陕西省', 61], [0, '上海市', 31],
[0, '四川省', 51], [0, '天津市', 12], [0, '西藏自治区', 54], [0, '新疆建设兵团', 99], [0, '新疆维吾尔自治区', 65], [0, '云南省', 53],
[0, '浙江省', 33], [0, '重庆市', 50], [11, '北京昌平水屯农副产品批发市场', 2576578], [11, '北京朝阳区大洋路农副产品批发市场', 20540],
[11, '北京城北回龙观商品交易市场', 21451], [11, '北京丰台区新发地农产品批发市场', 20531], [11, '北京市华垦岳各庄批发市场', 20532],
[11, '北京市锦绣大地农副产品批发市场', 20543], [11, '北京市锦绣大地玉泉路粮油批发市场', 20546], [11, '北京市日上综合商品批发市场', 20548],
[11, '北京市通州八里桥农产品中心批发市场', 20536], [11, '北京顺义区顺鑫石门农产品批发市场', 20551], [12, '天津范庄子蔬菜批发市场', 8763836],
[12, '天津何庄子批发市场', 20553], [12, '天津市东丽区金钟蔬菜市场', 20556], [12, '天津市武清区大沙河蔬菜批发市场', 20555],
[12, '天津市西青区当城蔬菜批发市场', 20571], [12, '天津市西青区红旗农贸批发市场', 20570], [13, '沧州红枣交易市场', 2547920],
[13, '荷花坑批发市场', 9348019], [13, '河北保定工农路蔬菜果品批发市场', 20620], [13, '河北沧州市红枣批发市场', 45060],
[13, '河北邯郸（魏县）天仙果品农贸批发交易市场', 20615], [13, '河北衡水市东明蔬菜批发市场', 20654], [13, '河北乐亭县冀东果蔬批发市场', 20599],
[13, '河北秦皇岛（昌黎）农副产品批发市场', 20613], [13, '河北秦皇岛海阳农副产品批发市场', 20610], [13, '河北饶阳县瓜菜果品交易市场', 20660],
[13, '河北三河市建兴农副产品批发市场', 20651], [13, '河北省邯郸市（馆陶）金凤禽蛋农贸批发市场', 45276], [13, '河北省怀来县京西果菜批发市场', 45328],
[13, '河北省威县瓜菜批发市场', 45807], [13, '河北省永年县南大堡市场', 2576544], [13, '石家庄桥西蔬菜中心批发市场', 20576],
[14, '晋城绿盛农业技术开发有限公司', 2550347], [14, '晋新绛蔬菜批发市场', 2576593], [14, '晋运城果品中心市场', 2576584],
[14, '山西长治市金鑫瓜果批发市场', 45065], [14, '山西长治市紫坊农副产品综合交易市场', 20707], [14, '山西汾阳市晋阳农副产品批发市场', 20741],
[14, '山西晋城绿欣农产品批发市场', 20712], [14, '山西省大同市南郊区振华蔬菜批发市场', 20697], [14, '山西省汇隆商城', 9513388],
[14, '山西省临汾市襄汾县农副产品批发市场', 20766], [14, '山西省临汾市尧丰农副产品批发市场', 20762], [14, '山西省吕梁离石马茂庄农贸批发市场', 8763884],
[14, '山西省朔州市朔城区大运蔬菜批发市场', 20717], [14, '山西朔州市应县南河种蔬菜批发市场', 20731], [14, '山西太原市城东利民果菜批发市场', 20693],
[14, '山西孝义蔬菜批发交易市场', 20746], [14, '山西忻州市五台县东冶镇蔬菜瓜果批发市场', 20735], [14, '山西阳泉蔬菜瓜果批发市场', 20702],
[14, '山西右玉玉羊批发市场', 20721], [14, '山西运城市蔬菜批发市场', 20726], [14, '太原市河西农副产品市场', 2550411],
[15, '呼和浩特市东瓦窑批发市场', 20779], [15, '内蒙古包头市友谊蔬菜批发市场', 2543558], [15, '内蒙古赤峰西城蔬菜批发市场', 20801],
[15, '内蒙古美通食品批发市场', 2576564], [21, '大连双兴批发市场', 20869], [21, '辽宁鞍山宁远农产品批发市场', 20876],
[21, '辽宁阜新蔬菜农产品综合批发市场', 8763807], [21, '辽宁省朝阳果菜批发市场', 2576573], [21, '中国北方杂粮加工物流中心', 49319130],
[22, '长春蔬菜中心批发市场', 20897], [22, '吉林长春果品中心批发市场', 45651], [22, '吉林长春江山绿特优农产品储运批发市场', 20899],
[22, '吉林辽源市物流园区仙城水果批发市场', 20909], [22, '吉林松原市三井子杂粮杂豆产地批发市场', 45646], [23, '黑龙江哈尔滨哈达果菜批发市场有限公司', 20926],
[23, '黑龙江鹤岗万圃源蔬菜批发市场', 2604441], [23, '黑龙江牡丹江市蔬菜批发市场', 20938], [23, '齐齐哈尔中心批发市场', 20929],
[31, '上海农产品中心批发市场有限公司', 20547], [31, '上海市江桥批发市场', 20542], [32, '大丰市丰收大地农产品价格信息中心', 37576569],
[32, '江苏常州宣塘桥水产品交易市场', 20958], [32, '江苏丰县南关农贸市场', 20962], [32, '江苏淮海蔬菜批发市场', 20966],
[32, '江苏建湖水产批发市场', 45591], [32, '江苏凌家塘农副产品批发市场', 20959], [32, '江苏无锡朝阳市场', 20969],
[32, '江苏无锡天鹏集团公司', 2576431], [32, '江苏徐州七里沟农副产品中心', 20965], [32, '江苏扬州联谊农副产品批发市场', 45612],
[32, '江苏宜兴蔬菜副食品批发市场', 20968], [32, '南京高淳县水产批发市场有限公司', 8755899], [32, '南京农副产品物流中心', 22346058],
[32, '南京紫金山批发市场', 20972], [32, '苏州市南环桥农副产品批发市场', 20956], [33, '杭州农副产品物流中心', 45569], [33, '嘉兴水果市场', 20885],
[33, '宁波江北名特优农副产品批发交易市场', 15001796], [33, '浙江嘉善浙北果蔬菜批发交易', 20880], [33, '浙江嘉兴蔬菜批发交易市场', 20884],
[33, '浙江宁波市蔬菜副食品批发交易市场', 45586], [33, '浙江农都农副产品批发市场', 20904], [33, '浙江绍兴蔬菜果品批发交易中心', 20877],
[33, '浙江省杭州笕桥蔬菜批发交易市场', 20907], [33, '浙江省金华农产品批发市场', 45578], [33, '浙江温州菜篮子集团', 20895],
[33, '浙江义乌农贸城', 20871], [34, '安徽安庆市龙狮桥蔬菜批发市场', 20843], [34, '安徽蚌埠蔬菜批发市场', 20857],
[34, '安徽和县皖江蔬菜批发大市场', 45559], [34, '安徽合肥周谷堆农产品批发市场', 20859], [34, '安徽六安裕安区紫竹林农产品批发市场', 45544],
[34, '安徽马鞍山安民农副产品批发交易市场', 20849], [34, '安徽省阜阳农产品中心批发市场', 20840], [34, '安徽舒城蔬菜大市场', 20822],
[34, '安徽亳州蔬菜批发市场', 20825], [34, '安徽濉溪县中瑞农副产品批发市场', 45482], [34, '安徽砀山农产品中心惠丰批发市场', 9060946],
[35, '福建福鼎闽浙边界农贸中心市场', 20799], [35, '福建同安闽南果蔬批发市场', 45539], [35, '海峡农副产品批发物流中心', 20819],
[36, '江西赣州南北蔬菜大市场', 20777], [36, '江西九江市浔阳蔬菜批发大市场', 45528], [36, '江西乐平市蔬菜开发总公司', 20784],
[36, '江西南昌农产品中心批发市场', 20792], [36, '江西上饶市赣东北农产品批发大市场', 20765], [36, '江西永丰县蔬菜中心批发市场', 45527],
[36, '南方粮食交易市场', 15060112], [37, '济南七里堡蔬菜综合批发市场', 20756], [37, '青岛抚顺路蔬菜副食品批发市场', 20747],
[37, '青岛黄河路农产品批发市场', 22346051], [37, '山东滨州市滨城区(六街)鲁北无公害蔬菜批发', 20652], [37, '山东德州黑马农产品批发市场', 45432],
[37, '山东肥城蔬菜批发市场', 20674], [37, '山东冠县社庄江北第一蔬菜批发市场', 20639], [37, '山东济南市堤口果品批发市场', 2604461],
[37, '山东金乡县蔬菜批发市场', 20689], [37, '山东匡山农产品综合交易市场', 19982077], [37, '山东临邑县临南蔬菜大市场', 20633],
[37, '山东龙口果蔬批发市场', 20700], [37, '山东宁津县东崔蔬菜市场合作社', 20662], [37, '山东宁阳县白马蔬菜批发市场', 20677],
[37, '山东青岛城阳蔬菜水产品批发市场', 20734], [37, '山东青岛莱西东庄头蔬菜批发', 20743], [37, '山东青岛平度市南村蔬菜批发市场', 20732],
[37, '山东青岛市沧口蔬菜副食品批发市场', 20740], [37, '山东省威海市农副产品批发市场', 20667], [37, '山东省威海市水产品批发市场', 20663],
[37, '山东省淄博市鲁中果品批发市场', 20722], [37, '山东寿光农产品物流园', 20696], [37, '山东章丘刁镇蔬菜批发市场', 20749],
[37, '山东滕州蔬菜批发市场', 20715], [41, '河南安阳豫北蔬菜批发市场', 20595], [41, '河南三门峡西原店蔬菜批发市场', 20619],
[41, '河南商丘市农产品中心批发市场', 20632], [41, '河南省濮阳市王助蔬菜瓜果批发市场', 20614], [41, '河南新野县蔬菜批发交易市场', 20628],
[41, '河南信阳市平桥区豫信花生制品有限公司', 2547851], [41, '河南郑州毛庄蔬菜批发市场', 20582], [41, '河南郑州市农产品物流配送中心', 20584],
[41, '豫南阳果品批发交易中心', 2547980], [42, '鄂襄樊蔬菜批发市场', 2547955], [42, '湖北洪湖市农贸市场', 20687],
[42, '湖北黄冈黄州商城蔬菜批发市场', 20692], [42, '湖北荆州两湖平原农产品交易物流中心', 8756123], [42, '湖北潜江市江汉农产品大市场', 20698],
[42, '湖北省鄂州市蟠龙蔬菜批发交易市场', 20673], [42, '湖北省黄石市农副产品批发交易公司', 20664], [42, '湖北十堰市堰中蔬菜批发市场', 20668],
[42, '湖北武汉白沙洲农副产品大市场', 20661], [42, '湖北孝感市南大批发市场', 2550029], [42, '湖北宜昌金桥蔬菜果品批发市场', 20670],
[42, '湖北浠水市城北农产品批发大市场', 20690], [42, '武汉市皇经堂批发市场', 20653], [43, '湖南常德甘露寺蔬菜批发市场', 20728],
[43, '湖南长沙红星农副产品大市场', 20704], [43, '湖南长沙马王堆蔬菜批发市场', 2543746], [43, '湖南衡阳西园蔬菜批发市场', 20716],
[43, '湖南邵阳市江北农产品大市场', 20719], [43, '湖南省吉首市蔬菜果品批发大市场', 20736], [43, '湖南益阳市团洲蔬菜批发市场', 20733],
[43, '湖南岳阳花板桥批发市场', 20723], [44, '广东东莞大京九农副产品中心批发市场', 45271], [44, '广东东莞果菜副食交易市场', 20835],
[44, '广东江门市水产冻品副食批发市场', 45296], [44, '广东江门市新会区水果食品批发市场有限公司', 20776], [44, '广东汕头农副产品批发中心', 20754],
[44, '广东省广州市江南农副产品市场', 20742], [44, '阳春市三农生猪猪苗批发市场', 32370712], [45, '广西柳州柳邕农副产品批发市场', 20989],
[45, '广西南宁五里亭蔬菜批发市场', 2576518], [45, '广西田阳县果蔬菜批发市场', 20992], [50, '重庆观农贸批发市场', 45217],
[51, '四川成都龙泉聚和果蔬菜交易中心', 21010], [51, '四川成都西部禽蛋批发市场', 21006], [51, '四川广安邻水县农产品交易中心', 8757132],
[51, '四川汉源县九襄农产品批发市场', 45218], [51, '四川凉山州会东县堵格乡牲畜交易市场', 21036], [51, '四川凉山州西昌市广平农副土特产品市场', 15002168],
[51, '四川绵阳市高水蔬菜批发市场', 21019], [51, '四川南充北川农产品批发市场', 2549825], [51, '四川省成都市农产品批发中心', 45233],
[51, '四川省江油仔猪批发市场', 8757171], [51, '四川泸州仔猪批发市场', 21014], [52, '贵州贵阳市五里冲农副产品批发市场', 21047],
[52, '贵州铜仁地区玉屏畜禽产地批发市场', 21063], [52, '贵州遵义坪丰农副产综合批发市场', 21055], [52, '贵州遵义市虾子辣椒批发市场', 21052],
[53, '云南省呈贡县龙城蔬菜批发市场', 45195], [53, '云南省元谋县蔬菜批发市场', 32904608], [53, '云南通海金山蔬菜批发市场', 21081],
[61, '陕西汉中过街楼蔬菜批发市场', 21041], [61, '陕西西安朱雀农产品交易中心', 45669], [61, '陕西咸阳市新阳光农副产品批发市场', 21053],
[61, '陕西泾阳县云阳蔬菜批发市场', 21048], [61, '西部欣桥农产品物流中心市场', 32902062], [62, '甘肃定西市安定区马铃薯批发市场', 8756299],
[62, '甘肃靖远县瓜果蔬菜批发市场', 21124], [62, '甘肃酒泉春光农产品市场', 15001931], [62, '甘肃秦安县果品市场', 21120],
[62, '甘肃省陇西县首阳镇蔬菜果品批发市场', 45682], [62, '甘肃省武山县洛门蔬菜批发市场', 21119], [62, '甘肃腾胜农产品集团', 2550066],
[62, '甘肃天水瀛池果菜批发市场', 21121], [62, '兰州大青山蔬菜瓜果批发市场', 21129], [63, '青海省西宁市海湖路蔬菜瓜果综合批发市场', 45134],
[63, '青海省西宁市仁杰粮油批发市场', 45117], [64, '宁夏银川市北环批发市场', 21051], [64, '吴忠市鑫鲜农副产品市场有限公司', 21045],
[65, '新疆博乐市农五师三和市场', 21015], [65, '新疆米泉通汇农产品批发市场', 45088], [65, '新疆石河子西部绿珠果蔬菜批发市场', 20985],
[65, '新疆吐鲁番盛达葡萄干市场', 21028], [65, '新疆维吾尔自治区克拉玛依农副产品批发市场', 2576419], [65, '新疆乌尔禾蔬菜批发市场', 8763855],
[65, '新疆乌鲁木齐北园春批发市场', 21035], [65, '新疆乌鲁木齐市凌庆蔬菜果品有限公司', 21033], [65, '新疆焉耆县光明农副产品综合批发市场', 45078],
[65, '新疆伊犁哈萨克族自治州霍城县界梁子66团农贸市场', 20995], [99, '新疆兵团农二师库尔勒市孔雀农副产品综合批发市场', 9348188]]
cityValue = {"安徽省": "34", \
"北京市": "11", \
"福建省": "35", \
"甘肃省": "62", \
"广东省": "44", \
"广西壮族自治区": "45", \
"贵州省": "52", \
"海南省": "46", \
"河北省": "13", \
"河南省": "41", \
"黑龙江省": "23", \
"湖北省": "42", \
"湖南省": "43", \
"吉林省": "22", \
"江苏省": "32", \
"江西省": "36", \
"辽宁省": "21", \
"内蒙古自治区": "15", \
"宁夏回族自治区": "64", \
"青海省": "63", \
"山东省": "37", \
"山西省": "14", \
"陕西省": "61", \
"上海市": "31", \
"四川省": "51", \
"天津市": "12", \
"西藏自治区": "54", \
"新疆维吾尔自治区": "65", \
"云南省": "53", \
"浙江省": "33", \
"重庆市": "50"}
productCategory = {"畜产品": "13079", \
"水产品": "13080", \
"粮油": "13073", \
"果品": "13076", \
"蔬菜": "13075"}
# 全国农产品商务信息公共服务平台
def find_data_1(tmp_productCategory, tmp_city, tmp_startTime, tmp_endTime):
vegetable_list=[]
for tm in ary_base_market:
if tm[0] == int(productCategory[tmp_productCategory]):
vegetable_list.append(tm[2])
print vegetable_list
#对于每一种蔬菜，访问当天价格
for vegetableNum in vegetable_list:
global totalValue
global current_info
totalValue=0
current_info=[]
for pageNum in range(1,12):
# par_craft_index是产品大类，craft_index是产品小类，par_p_index是城市
f_url = "http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml?\
par_craft_index=" + productCategory[tmp_productCategory] + \
"&craft_index="+str(vegetableNum)+ \
"&startTime=" + tmp_startTime + \
"&endTime=" + tmp_endTime + \
"&par_p_index=" + cityValue[tmp_city] + \
"&page="+str(pageNum)
print f_url
proxy_support = urllib2.ProxyHandler({"http":"180.123.68.82:8118"})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
f_page = urllib2.urlopen(f_url)
f_soup = BeautifulSoup(f_page, "html.parser")
table_soup = f_soup.find('table')
proxy_list = table_soup.findAll('tr')[1:]
if len(proxy_list)>0:
#用一个数组存放数据
for tr in proxy_list:
td_list = tr.findAll('td')
date = td_list[3]
date_str = date.string.strip()
if date_str<tmp_endTime and date_str>tmp_startTime:
species = td_list[0]
species_str = species.string.strip()
#print species_str
price = td_list[1]
price_str = price.string.strip()
#print price_str
market = td_list[2].find('a')
market_str = "".join(market.string.split()).strip()
#print market_str
location_str = dictCollect[market_str.encode("utf-8")]
province_str=unicode(location_str[0], "utf-8")
#print province_str
city_str=unicode(location_str[1], "utf-8")
#print city_str
region_str=unicode(location_str[2], "utf-8")
#print region_str
if len(current_info)==0:
current_info.append([species_str,price_str,market_str,province_str,city_str,region_str,date_str])
print current_info
elif len(current_info)>0 and date_str==current_info[len(current_info)-1][6]:
current_info.append([species_str,price_str,market_str,province_str,city_str,region_str,date_str])
else:
totalValue=0
print current_info
if len(current_info)>0:
for info in current_info:
totalValue=totalValue+float(info[1])
print "品种："+info[0]
print "价格："+info[1]
print "批发市场："+info[2]
print "省："+info[3]
print "市："+info[4]
print "区："+info[5]
print "日期："+info[6]
province_avg=totalValue/len(current_info)
print "省平均价格:"+str(province_avg)
for out in current_info:
data = {"species": out[0], "price": float(out[1]), "market": out[2],
"province_str":out[3],"city_str":out[4],"region_str":out[5],"date": out[6],"province_avg":province_avg}
post_info.save(data)
current_info=[]
current_info.append([species_str,price_str,market_str,province_str,city_str,region_str,date_str])
print end
find_data_1("蔬菜", "上海市", "2016-09-20", "2016-12-20")
# 上海农业
def find_data_2(tmp_url):
f_url = tmp_url
f_page = urllib2.urlopen(f_url)
f_soup = BeautifulSoup(f_page, "html.parser")
a_soup_list = f_soup.findAll('a')[1:]
for a in a_soup_list:
a_onclick = a.attrs['onclick']
cut_1 = a_onclick.index("'")
cut_2 = a_onclick[cut_1 + 1:len(a_onclick) - 1].index("'")
product_number = a_onclick[cut_1 + 1:cut_1 + cut_2 + 1]
cut_3 = a_onclick[cut_1 + cut_2 + 2:len(a_onclick) - 1].index("'")
cut_4 = a_onclick[cut_1 + cut_2 + cut_3 + 3:len(a_onclick) - 1].index("'")
product_name = a_onclick[cut_1 + cut_2 + cut_3 + 3:cut_1 + cut_2 + cut_3 + cut_4 + 3]
new_url = tmp_url + product_number
new_page = urllib2.urlopen(new_url)
new_soup = BeautifulSoup(new_page, "html.parser")
table_soup = new_soup.findAll('table')[1:]
use_table = table_soup[0]
proxy_list = use_table.findAll('tr')[0:]
for tr in proxy_list:
td_list = tr.findAll('td')
current_date = time.strftime('%Y-%m-%d', time.localtime(time.time()))
print "{\"species\":\"%s\", \"price\":\"%s\",\"market\":\"%s\",\"date\":\"%s\"}" % (
product_name, td_list[2].string, td_list[0].string, current_date)
data = {"city": "上海市", "species": product_name, "price": float(td_list[2].string),
"market": td_list[0].string, "date": current_date}
post_info.save(data)
return
# 中国惠农网
def find_data_3(tmp_url, tmp_num):
tmp_page = 1
f_url = tmp_url + tmp_num + '/'
f_page = urllib2.urlopen(f_url)
f_soup = BeautifulSoup(f_page, "html.parser")
page_soup = f_soup.find('div', class_="page mt_40")
pageNumALabel = page_soup.findAll('a')[1:]
pageNum = pageNumALabel[len(pageNumALabel) - 2].get_text()
print(pageNum)
while (tmp_page < int(pageNum)):
f_url = tmp_url + tmp_num + '/' + str(tmp_page)
f_page = urllib2.urlopen(f_url)
f_soup = BeautifulSoup(f_page, "html.parser")
table_soup = f_soup.find('div', class_="column-other")
proxy_list = table_soup.findAll('ul')[1:]
for tr in proxy_list:
td_list = tr.findAll('li')[0:]
species = td_list[0].find('a').get_text()
dateIndex = td_list[1].get_text().index("20")
date = td_list[1].get_text()[dateIndex:dateIndex + 10]
market = td_list[2].get_text()
max_price = td_list[3].get_text()
min_price = td_list[4].get_text()
avg_price = td_list[5].get_text()
print(species + " " + date + " " + market + " " + max_price + " " + min_price + " " + avg_price)
tmp_page += 1
print("end")
while True:
current_time = time.localtime(time.time())
if ((current_time.tm_hour == 21) and (current_time.tm_min == 51) and (current_time.tm_sec == 0)):
find_data_1('/channel/gxdj/jghq/jg_detail.shtml?id=20542', 100)
find_data_1('/channel/gxdj/jghq/jg_detail.shtml?id=20547', 220)
find_data_2('http://116.228.18.49:8888/jgjcDemo/sqkd-pfjg.jsp?pfjfl=')
find_data_3('http://news.cnhnb.com/hangqing/0/key%3d/', '9')
time.sleep(1)