当前位置 : 首页 » 博文聚焦 » 正文

使用pandas清洗数据(中文字符串的正则使用)

分类 : 博文聚焦 | 发布时间 : 2018-01-08 10:26:24 | 浏览 : 1188

      对于之前的从链家网爬取下来的福田区二手房的数据,只是为了提取信息。但是如果要进行数据分析必须对数据进行清理和转换。python的pandas库可以说是中等规模数据处理最好用的工具。下面我就来演示如何对以下数据进行处理:

环境:

win10 pro

python3.6

pandas,re

26 105100952283  长城一花园南北通透精装三房拓出飘窗好楼层好采光 长城花园   | 3室1厅 | 104.7平米 | 南 北 | 精装 | 有电梯 低楼层(共17层)1987年建塔楼  -   百花 41人关注 / 共39次带看 / 4个月以前发布 距离3号线(龙岗线)华新站1151米 房本满五年 780 万 单价74499元 https://image1.ljcdn.com/440300-inspection/6ef5054c-c0bc-4979-89b7-2d3c07b6b8d4.jpg.280x210.jpg.232x174.jpg
27 105101016387  红树绿洲,南向通透两房看花园,看房方便 房主自荐 红树绿洲   | 2室1厅 | 58.98平米 | 东南 | 精装 | 有电梯 低楼层(共28层)2007年建板塔结合  -   福田保税区 43人关注 / 共29次带看 / 2个月以前发布 距离3号线(龙岗线)益田站1176米 房本满五年 365 万 单价61886元 https://image1.ljcdn.com/440300-inspection/b8154d56-7fe9-43f0-a89d-fd32a93422a5.JPG.280x210.jpg.232x174.jpg

      首先介绍我对于在中文字符串中使用正则式的一点小经验(关于正则表达式的基本使用方法和正则表达式的函数在本章不做说明):

示例:

an=' 绿景新美域 大两房 东南向 地铁口物业 业主诚心卖 绿景花园二期   | 2室1厅 | 72.68平米 | 南 | 精装 低楼层(共29层)2005年建板塔结合  -  房本满五年 472 万 单价64943元'
print (re.findall(r'\s.{5}\s',an))
#用空格隔开,且有五个字符的字符串
print (re.search(r'\s(.{5,6})(?:期)\s+',an).group())
#找到首个有六个字符串短语  
print (re.search(r'\s(?:低)(.{10,20})(?:合)|(?:结)\s+',an).group())
#以低开始并以合结束的,中间10到20个字符的字符串
sp_an=[x for  x  in re.split(' ',an) if str(x) !='' and str(x).find('东')!=-1]
print (sp_an)
#字符串的find方法应用。用空格分割整个字符串并找到含有东这个字的字符串
sp_bn=[x for  x  in re.split(' ',an) if str(x) !='' and str(x).__contains__('房本')]
print (sp_bn)
#用空格分割字符串并找到含有房本这两个字的字符
print ([x for x in re.findall('\S+',an) if str(x).__contains__('室')])
#找到字符串中不是空格的字符,并找到其中含有室这个字的字符串
print(re.match('(?P<de1>.*)\|(?P<de2>.*)\|(?P<de3>.*)\|(?P<de4>.*)\|(?P<de5>.*)-(?P<de6>.*)',an).group('de6'))
print (re.split('\s',an))
print (re.split('(口|业)',an))
print (re.search(r'\s(?:低|业)(.{3,20})(?:合|卖)\s+',an).group())
print (re.search(r'\d+(?:平米)',an).group())

如此我就能很轻松的将中间一列的信息切割成我需要的片段

import pandas as pd
import re
import numpy as np
import xlwings as xw

#########################################################
'''
该模块主要清洗上述链家福田二手数据以便于分析,并将数据输出到目标excel表格

结构化数据如下,利用正则表达式进行提取
大房间,大阳台,满五年,无增值税,视野开阔 益田村   | 3室2厅 | 105.43平米 | 北 | 其他 中楼层(共24层)2002年建板塔结合  -   石厦 50人关注 / 共91次带看 / 4个月以前发布 距离3号线(龙岗线)益田站205米 房本满五年 随时看房 600 万
'''

#####################################################################
lian=pd.read_excel(r'd:\\lianjia_ershou_futian_100.xlsx',sheet_name='Sheet1')
# 用正则将数据分割成为了9列数据
patt=r'(?P<desc>.*)\s{3}\|(?P<room>.*?)\|(?P<size>.*?)\|(?P<direct>.*?)\|(?P<floor>.*)-\s{3}(?P<area>.*)\s{1}(?P<foucs>\d{1,4}.*)\/(?P<watch>.*)\/(?P<pubtime>.*)'
# print (lian['dec'].apply(lambda x:re.match(patt,x).group('direct')))
# 利用正则将dec分成9列数据
# 将dec列分成village和review
new_table=lian['dec'].str.extract(patt,expand=True)
new_table['village']=new_table['desc'].str.split(' ').str[-1]
new_table['review']=new_table['desc'].str.strip().str.split(' ').str[:-1].apply(lambda x:''.join(x))

# 将pubtime分成下面三列
new_table['pub_month']=new_table['pubtime'].str.split(' ').str[1]
new_table['price']=new_table['pubtime'].str.split(' ').str[-3:].apply(lambda x:''.join(x))
new_table['tr_other']=new_table['pubtime'].str.split(' ').str[2:-3].apply(lambda x:''.join(x))

# 将两个表格合并并除去不需要的列
all_infor=pd.concat([lian,new_table],axis=1)
# print (all_infor.columns)
all_infor=all_infor[['code', 'review', 'village', 'area', 'room', 'size', 'direct', 'floor',
       'foucs', 'watch', 'pub_month', 'price',
       'tr_other', 'img']]



####################################################
# 将表格插入到存在的excel表格中
def table_insert_excel_sheets():
    book=xw.Book(r'd:\\lianjia_ershou_futian_100.xlsx')
# 下面这句话的意思是如果sheet是中含有名字是details的工作表,删除该工作表。
    for a in book.sheets:
        if a.name in ['details']:
            a.delete()
    sht2=book.sheets.add('details')
    sht2.activate()
    sht2.range('a1').value=all_infor
    rng = sht2.range('A1').current_region
    rng.autofit()
    book.save()
    book.close()

table_insert_excel_sheets()


 

最后分割完成以后得到以下的形式:

  code review village area room size direct floor foucs watch pub_month price tr_other img
0 1.05101E+11 大房间,大阳台,满五年,无增值税,视野开阔 益田村 石厦  3室2厅   105.43平米   北   其他 中楼层(共24层)2002年建板塔结合   50人关注   共91次带看  4个月以前发布 600万单价56910元 距离3号线(龙岗线)益田站205米房本满五年随时看房 https://image1.ljcdn.com/440300-inspection/61a23ca4-1051-44dc-8821-b643bd6efe51.jpg.280x210.jpg.232x174.jpg
1 1.05101E+11 新洲大厦精装三房,朝南向,满五唯一红本在手,有钥匙房主自荐 新洲大厦 新洲  3室1厅   108.81平米   西南   精装 | 有电梯 高楼层(共33层)1996年建板塔结合   196人关注   共94次带看  7个月以前发布 450万单价41357元 距离3号线(龙岗线)石厦站858米房本满五年随时看房 https://image1.ljcdn.com/440300-inspection/ca66cec8-dbaa-4e5e-a67b-754beba94d00.JPG.280x210.jpg.232x174.jpg
2 1.05101E+11 京基御景华城2室1厅265万 京基御景华城 赤尾  2室1厅   45.72平米   西北   其他 | 有电梯 中楼层(共34层)2005年建板塔结合   80人关注   共35次带看  9天以前发布 265万单价57962元 距离7号线赤尾站189米房本满五年随时看房 https://image1.ljcdn.com/440300-inspection/af4e1303-8aa1-444d-a451-6eb172cb68bf.jpg.280x210.jpg.232x174.jpg
3 1.05101E+11 梅林一村多层围合南向高层三房无遮挡采光好 梅林一村八区 梅林  3室2厅   92.39平米   南 西南   简装 | 有电梯 高楼层(共9层)1998年建板塔结合   4人关注   共33次带看  1个月以前发布 710万单价76849元 距离9号线下梅林站698米房本满五年随时看房 https://image1.ljcdn.com/440300-inspection/30e3a8b7-40f2-4f81-b9d1-6276c1443bf4.jpg.280x210.jpg.232x174.jpg
4 1.05101E+11 高层,看海景通风流畅给您一个舒适又便宜的家庭 新洲大厦 新洲  4室1厅   108.81平米   西南   毛坯 中楼层(共33层)1996年建板塔结合   44人关注   共24次带看  9天以前发布 430万单价39519元 距离3号线(龙岗线)石厦站898米房本满五年 https://image1.ljcdn.com/440300-inspection/37c48102-5921-4331-abf5-dfbab3927e63.jpg.280x210.jpg.232x174.jpg
5 1.05101E+11 正规大2房,赠送18平大阳台可改3房,满五年唯一税费少房主自荐 尚书苑 梅林  2室1厅   55.12平米   西北   简装 低楼层(共16层)2005年建板塔结合   8人关注   共6次带看  8天以前发布 375万单价68034元 距离9号线梅景站227米房本满五年 https://image1.ljcdn.com/440300-inspection/019bfc1c-b44f-427f-a595-9c84c3c76aed.jpg.280x210.jpg.232x174.jpg
6 1.05101E+11 红树林边上海景刚需小户型这价格不能错过满五唯一 红树家邻 上下沙  2室1厅   55.36平米   南   其他 | 有电梯 高楼层(共9层)2003年建板楼   373人关注   共80次带看  5个月以前发布 315万单价56901元 距离9号线下沙站766米房本满五年 https://image1.ljcdn.com/440300-inspection/5cc9b66a-c261-49d1-ace9-2fd8faf0a282.jpg.280x210.jpg.232x174.jpg
7 1.05101E+11 水木澜山居南向两房客厅赠送大阳台安静08年较新小区 水木澜山居 梅林  2室1厅   74.23平米   南   简装 | 有电梯 低楼层(共31层)2008年建板塔结合   41人关注   共87次带看  2个月以前发布 525万单价70727元 距离9号线孖岭站565米房本满五年随时看房 https://image1.ljcdn.com/440300-inspection/a0232395-6213-411d-a306-c27d7c77598b.jpg.280x210.jpg.232x174.jpg
这些只是数据的清洗工作。需要按照需要做进一步的转化和抽取。我会在下一篇文章中写出实际的操作。

如有意见,请留言或者联系本人rwangnqian@126.com




相关阅读:

用pandas清洗数据具体步骤(基础篇一)

用pandas清洗数据具体步骤(基础篇二)

使用pandas清洗数据(中文字符串的正则使用)

使用pandas清洗数据(中文字符串的正则使用)

使用pandas清洗数据(中文字符串的正则使用)

使用pandas清洗数据(中文字符串的正则使用)