2014年1月 – Perchouli 的 Blog

很常见的分析需求：日志中记录有访客IP（国内），现在要根据IP地址得出访客的地理位置，精确到市县一级，数据量平均是每天15G，需要统计日、周、月的结果。最后的实现方式是，先找到IP地理位置数据库，包含每个ip段对应的地址：1.1.0.0,1.1.0.255,福建省然后把它转成具体每个IP对应的地址，即：1.1.0.1,福建省。这样在Pig中用JOIN的方式，就可以获得这个IP实际对应的地址了。 IP Database 12年成立的中国广告协会互动网络分会IP地理信息标准委员会（简称IPB）已经发布了IP地理信息标准库，委员会成员和大广告公司都有一份。也可以下载全球城市ip库，取其中CN部分：文件信息：cn.csv 大小：1.26MB 有效时间：永久读取这个文件，把ip转成数字，起止ip的差，就是这个ip段所包含的主机数，用range函数生成，主要的python代码如下：

# coding: utf-8
def ip2long(ip_string):
    return ip_string.find('.') != -1 and reduce(lambda a, b: a<<8 | b, map(int, ip_string.split("."))) or ip_string
 
if __name__ == '__main__':
    OUTPUT = open(r'out.csv', 'a')
    INPUT = open(r'cn.csv')
    for l in INPUT.readlines():
        s, e, city = map(ip2long, l.split(','))
        if city.strip() == 'area': continue
        for i in range(s, e+1):
            OUTPUT.write('%s,%s'%(str(i), city))
    OUTPUT.close()
    INPUT.close()

# coding: utf-8

def ip2long(ip_string):

return ip_string.find('.') != -1 and reduce(lambda a, b: a<<8 | b, map(int, ip_string.split("."))) or ip_string

if __name__ == '__main__':

OUTPUT = open(r'out.csv', 'a')

INPUT = open(r'cn.csv')

for l in INPUT.readlines():

s, e, city = map(ip2long, l.split(','))

if city.strip() == 'area': continue

for i in range(s, e+1):

OUTPUT.write('%s,%s'%(str(i), city))

OUTPUT.close()

INPUT.close()

处理结果会保存在out.csv文件中，中国地区总共有3亿个IP，生成的文件是7.9G，gz默认压缩后是900MB左右，按Map需求进行分割。 Pig Latin LOAD …

Perchouli 的 Blog

月份：2014年1月

Hadoop(Pig)统计IP地理位置