python抓取安居客小區(qū)數(shù)據(jù)
作者: 鄭曉 分類: Python 發(fā)布于: 2015-07-28 21:01 瀏覽：82,058 評(píng)論(8)
某功能需要一套城市所有小區(qū)的位置信息數(shù)據(jù)，一開(kāi)始是使用的百度地圖api來(lái)進(jìn)行關(guān)鍵詞搜索，勉強(qiáng)能用，但數(shù)據(jù)量非常少，還是有大量的社區(qū)/小區(qū)搜不到。
周末在家上網(wǎng)時(shí)發(fā)現(xiàn)安居客上直接就有每個(gè)城市的小區(qū)大全，欣喜若狂，于是就立即寫(xiě)了個(gè)爬蟲(chóng)試試。
以下貼代碼，python2.7，lxml+request庫(kù)。
#coding=utf-8
#author : zx
#date : 2015/07/27
import requests
import MySQLdb
import time
import string
import random
from lxml import etree
#ua頭信息 get時(shí)可以隨機(jī)使用
headers = [
{ "User-Agent":"Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30"},
{ "User-Agent":"Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)"},
{ "User-Agent":"Mozilla/5.0 (BB10; Touch) AppleWebKit/537.10+ (KHTML, like Gecko) Version/10.0.9.2372 Mobile Safari/537.10+"},
{ "User-Agent":"Mozilla/5.0 (Linux; Android 4.4.2; GT-I9505 Build/JDQ39) AppleWebKit/537.36 (KHTML, like Gecko) Version/1.5 Chrome/28.0.1500.94 Mobile Safari/537.36"}
]
#城市入口頁(yè)面
#我只抓的青島本地
#其它城市或全國(guó)城市可通過(guò)這個(gè)頁(yè)面抓取城市列表http://m.anjuke.com/cityList
url = 'http://m.anjuke.com/qd/xiaoqu/'
req = requests.get(url)
cookie = req.cookies.get_dict()
#鏈接數(shù)據(jù)庫(kù)
conn = MySQLdb.connect('localhost', '*****', '******', '***', charset='utf8')
cursor = conn.cursor()
sql = "insert into xiaoqu (name, lat, lng, address, district) values (%s, %s, %s, %s, %s)"
sql_v = []
page = etree.HTML(req.text)
districtHTML = page.xpath(u"http://div[@class='listcont cont_hei']")[0]
#采集目標(biāo)城市的各行政區(qū)域url
#當(dāng)然如果不想?yún)^(qū)分行政區(qū)可以直接抓“全部” 即上面url中的所有小區(qū)及分頁(yè)
districtUrl = {}
i = 0
for a in districtHTML:
if i==0:
i = 1
continue
districtUrl[a.text] = a.get('href')
#開(kāi)始采集
total_all = 0
for k,u in districtUrl.items():
p = 1 #分頁(yè)
while True:
header_i = random.randint(0, len(headers)-1)
url_p = u.rstrip('/') + '-p' + str(p)
r = requests.get(url_p, cookies=cookie, headers=headers[header_i])
page = etree.HTML(r.text) #這里轉(zhuǎn)換大小寫(xiě)要按情況...
communitysUrlDiv = page.xpath(u"http://div[@class='items']")[0]
total = len(communitysUrlDiv)
i = 0
for a in communitysUrlDiv:
i+=1
r = requests.get(a.get('href'), cookies=cookie, headers=headers[header_i])
#抓取時(shí)發(fā)現(xiàn)有少量404頁(yè)會(huì)直接導(dǎo)致程序報(bào)錯(cuò)退出- -!
#唉 說(shuō)明代碼寫(xiě)的還不夠健壯啊
#加了if判斷和try， 錯(cuò)誤時(shí)可以跳過(guò)或做一些簡(jiǎn)單處理和調(diào)試...
if r.status_code == 404:
continue
page = etree.HTML(r.text)
try:
name = page.xpath(u"http://h1[@class='f1']")[0].text
except:
print a.get('href')
print r.text
raw_input()
#有少量小區(qū)未設(shè)置經(jīng)緯度信息
#只能得到它的地址了
try:
latlng = page.xpath(u"http://a[@class='comm_map']")[0]
lat = latlng.get('lat')
lng = latlng.get('lng')
address = latlng.get('address')
except:
lat = ''
lng = ''
address = page.xpath(u"http://span[@class='rightArea']/em")[0].text
sql_v.append((name, lat, lng, address, k))
print "\r\r\r",
print u"正在下載 %s 的數(shù)據(jù),第 %d 頁(yè),共 %d 條，當(dāng)前:".encode('gbk') %(k.encode('gbk'),p, total) + string.rjust(str(i),3).encode('gbk'),
time.sleep(0.5) #每次抓取停頓
#執(zhí)行插入數(shù)據(jù)庫(kù)
cursor.executemany(sql, sql_v)
sql_v = []
time.sleep(5) #每頁(yè)完成后停頓
total_all += total
print ''
print u"成功入庫(kù) %d 條數(shù)據(jù)，總數(shù) %d".encode('gbk') % (total, total_all)
if total < 500:
break
else:
p += 1
#及時(shí)關(guān)閉數(shù)據(jù)庫(kù) 做個(gè)好孩子 任務(wù)完成~
cursor.close()
conn.close()
print u'所有數(shù)據(jù)采集完成! 共 %d 條數(shù)據(jù)'.encode('gbk') % (total_all)
raw_input()
注釋我覺(jué)得已經(jīng)寫(xiě)的很詳細(xì)了，在cmd中顯示，字符串當(dāng)然要轉(zhuǎn)一下碼。
以下是運(yùn)行狀態(tài)和得到的數(shù)據(jù)截圖。
本文采用知識(shí)共享署名-非商業(yè)性使用 3.0 中國(guó)大陸許可協(xié)議進(jìn)行許可，轉(zhuǎn)載時(shí)請(qǐng)注明出處及相應(yīng)鏈接。
本文永久鏈接: http://m.yjfs.org.cn/python-xiaoqu-data.html
傳哥哥：
加我微信8344290