Python解析nginx日志示例 Python项目的一个需求是解析nginx的日志文件，这里给出详细过程解析。日志规则描述首先要明确自己的Nginx的日志格式，这里采用默认Nginx日志格式：log_format main '$remote_addr - $remote_user [$time_local] "$request" '          '$status $body_bytes_sent "$http_referer" '          '"$http_user_agent" "$http_x_forwarded_for"';其中一条真实记录样例如下：代码如下:172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"其中，客户端型号信息用XXXXXXX代替。项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下：ID-ID-YYMMDD-hhmmss并且所有的日志文件存放在统一路径下。解决思路获取所有日志文件path这里使用Python的glob模块来获取日志文件pathimport glob def readfile(path):   return glob.glob(path + '*-*-*-*')获取日志文件中每一行的内容使用Python的linecache模块来获取文件行的内容import linecache     def readline(path):   return linecache.getlines(path)注意：linecache模块使用了缓存，所以存在以下问题：在使用linecache模块读取文件内容以后，如果文件发生了变化，那么需要使用linecache.updatecache(filename)来更新缓存，以获取最新变化。linecache模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。当然，作为优化，这里可以利用生成器来进行优化。暂且按下不表。处理日志条目一条日志信息就是一个特定格式的字符串，因此使用正则表达式来解析，这里使用Python的re模块。下面，一条一条建立规则：规则  ip = r"?P<ip>[\d.]*"   date = r"?P<date>\d+"   month = r"?P<month>\w+"   year = r"?P<year>\d+"   log_time = r"?P<time>\S+"   method = r"?P<method>\S+"   request = r"?P<request>\S+"   status = r"?P<status>\d+"   bodyBytesSent = r"?P<bodybytessent>\d+"   refer = r"""?P<refer>        [^\"]*        """   userAgent=r"""?P<useragent>         .*         """ </useragent></refer></bodybytessent></status></request></method></time></year></month></date></ip>解析代码如下:p = re.compile(r"(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\S]+\]\ \"(%s)?[\s]?(%s)?.*?\"\ (%s)\ (%s)\  \"(%s)\"\ \"(%s).*?\""   %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ),\   re.VERBOSE) m = re.findall(p, logline)这样，就可以得到日志条目中各个要素的原始数据。格式及内容转化得到日志原始数据之后，需要根据业务要求，对原始数据进行格式及内容转化。这里需要处理的内容包括：时间，request，userAgent时间格式转化在日志信息原始数据中存在Dec这样的信息，利用Python的time模块可以方便的进行解析import time def parsetime(date, month, year, log_time):   time_str = '%s%s%s %s' %(year, month, date, log_time)   return time.strptime(time_str, '%Y%b%d %H:%M:%S')解析request在日志信息原始数据中得到的request的内容格式为：/report?XXXXXX这里只需要根据协议取出XXXXXX即可。这里仍然采用Python的re模块import re def parserequest(rqst):   param = r"?P<param>.*"   p = re.compile(r"/report\?(%s)" %param, re.VERBOSE)   return re.findall(p, rqst)接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码，然后再利用struct模块解构内容：import struct import base64 def parseparam(param):   decodeinfo = base64.b64decode(param)   s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')   return s.unpack(decodeinfo)解析userAgent在日志信息原始数据中userAgent数据的格式为：XXX; XXX; XXX; XXX根据业务要求，只需要取出最后一项即可。这里采用re模块来解析。import re def parseuseragent(useragent):   agent = r"?P<agent>.*"   p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)   return re.findall(p, useragent)至此，nginx日志文件解析基本完成。剩下的工作就是根据业务需要，对获得的基本信息进行处理。

Python举例实现马耳可夫链算法 python实现马耳可夫链算法有个简便的方法，通过实现马耳可夫链算法，来通过输入的文本，“随机”的生成一些有用的文本。说明：1. 程序使用了字典，字典和散列可不是一个东西，字典是键值对的集合，而散列是一种能够常数阶插入，删除，不过可以用散列来实现字典。2. 字典的setdefault()方法使得程序少了许多条件判断。3. random.choice()可以随机取出一个序列中的元素。4. 每两个前缀词确定一个后缀。实现代码：import random import sys MAXGEN = 10000 NONWORD = '\n' w1 = w2 = NONWORD statetab = {} text = sys.stdin.read() words = text.split() for word in words:   statetab.setdefault((w1, w2),[]).append(word)   w1, w2 = w2, word # add tail statetab.setdefault((w1, w2),[]).append(NONWORD) # show mar words w1 = w2 = NONWORD for i in xrange(MAXGEN):   suf = statetab[(w1,w2)]   t = random.choice(suf)   if t == NONWORD:  break   print t   w1, w2 = w2, t

Python中的多态怎么理解？ Python是一门面向对象的编程语言，在Python中一切皆对象，面向对象有三大特性：封装、继承、多态。在Python中什么是多态呢？顾名思义，多态就是多种表现形态的意思。它是一种机制、一种能力，而非某个关键字。它在类的继承中得以实现，在类的方法调用中得以体现。多态意味着变量并不知道引用的对象是什么，根据引用对象的不同表现不同的行为方式。我们先看一个简单的例子，运算符多态：a=34 b=57 print(a+b) a="世界" b="你好" print(a+b)我们不知道+法运算符左右两个变量是什么类型，当我们给的是int类型时，它就进行加法运算。当我们给的是字符串类型时，它就返回的是两个字符串拼接的结果。也就是根据变量类型的不同，表现不能的形态。我们再来看一个例子，方法多态：我们首先创建一个名为MyClass.py的文件，代码如下__author__= 'MXi4oyu' classPeople:   def say(self):     print("大家好！") classStudent:   def say(self):     print("老师好！")我们再创建一个Main.py的文件，代码如下：__author__= 'MXi4oyu' fromrandom import choice importMyClass p1=MyClass.People() stu1=MyClass.Student() #通过choice方法我们可以随机选择列表中的某一项 obj=choice([p1,stu1])  print(type(obj)) obj.say()我们创建的临时对象obj是由随机函数取出来的，我们不知道它的具体类型，但是我们可以对它进行相同的操作。即让它调用say方法，然后根据其类型的不同，它所表现的行为不同。这就是多态。

利用Python的Matplotlib库进行数据可视化 Matplotlib是一个Python工具箱，用于科学计算的数据可视化。借助它，Python可以绘制如Matlab和Octave多种多样的数据图形。最初是模仿了Matlab图形命令, 但是与Matlab是相互独立的。通过Matplotlib中简单的接口可以快速的绘制2D图表初试MatplotlibMatplotlib中的pyplot子库提供了和matlab类似的绘图API.代码如下:import matplotlib.pyplot as plt #导入pyplot子库 plt.figure(figsize=(8, 4)) #创建一个绘图对象, 并设置对象的宽度和高度, 如果不创建直接调用plot, Matplotlib会直接创建一个绘图对象 plt.plot([1, 2, 3, 4]) #此处设置y的坐标为[1, 2, 3, 4], 则x的坐标默认为[0, 1, 2, 3]在绘图对象中进行绘图, 可以设置label, color和linewidth关键字参数 plt.ylabel('some numbers') #给y轴添加标签, 给x轴加标签用xlable plt.title("hello"); #给2D图加标题 plt.show() #显示2D图基础绘图绘制折线图与所选点的坐标有关代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  x = [0, 1, 2, 4, 5, 6] y = [1, 2, 3, 2, 4, 1] plt.plot(x, y, '-*r') # 虚线, 星点, 红色 plt.xlabel("x-axis") plt.ylabel("y-axis") plt.show()更改线的样式查看plot函数参数设置 多线图只需要在plot函数中传入多对x-y坐标对就能画出多条线代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  x = [0, 1, 2, 4, 5, 6] y = [1, 2, 3, 2, 4, 1] z = [1, 2, 3, 4, 5, 6] plt.plot(x, y, '--*r', x, z, '-.+g') plt.xlabel("x-axis") plt.ylabel("y-axis") plt.title("hello world") plt.show()柱状图代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  x = [0, 1, 2, 4, 5, 6] y = [1, 2, 3, 2, 4, 1] z = [1, 2, 3, 4, 5, 6] plt.bar(x, y) plt.xlabel("x-axis") plt.ylabel("y-axis") plt.show()子图subplot()函数指明numrows行数, numcols列数, fignum图个数. 图的个数不能超过行数和列数之积代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  x = [0, 1, 2, 4, 5, 6] y = [1, 2, 3, 2, 4, 1] z = [1, 2, 3, 4, 5, 6] plt.figure(1) plt.subplot(211) plt.plot(x, y, '-+b') plt.subplot(212) plt.plot(x, z, '-.*r') plt.show()文本添加当需要在图片上调价文本时需要使用text()函数, 还有xlabel(), ylabel(), title()函数text()函数返回matplotlib.text.Text, 函数详细解释代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  x = [0, 1, 2, 4, 5, 6] y = [1, 2, 3, 2, 4, 1] plt.plot(x, y, '-.*r')  plt.text(1, 2, "I'm a text") //前两个参数表示文本坐标, 第三个参数为要添加的文本 plt.show()图例简介legend()函数实现了图例功能, 他有两个参数, 第一个为样式对象, 第二个为描述字符代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  line_up, = plt.plot([1,2,3], label='Line 2') line_down, = plt.plot([3,2,1], label='Line 1') plt.legend(handles=[line_up, line_down]) plt.show()或者调用set_label()添加图例代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  line, = plt.plot([1, 2, 3]) line.set_label("Label via method") plt.legend() plt.show()同时对多条先添加图例代码如下:# -*- coding: utf-8 -*- #!/usr/bin/env python import numpy as np import matplotlib.pyplot as plt  line1, = plt.plot([1, 2, 3]) line2, = plt.plot([3, 2, 1], '--b') plt.legend((line1, line2), ('line1', 'line2')) plt.show()

Python中的center()是怎么用的 center()方法返回集中在长度宽度的字符串。填充是通过使用specifiedfillchar。默认填充字符是一个空格。语法以下是center()方法的语法：str.center(width[, fillchar])参数width -- 这是字符串的总宽度。fillchar -- 这是填充符。返回值此方法返回集中在长度宽度的字符串。例子下面的示例演示center()方法的使用。#!/usr/bin/python   str = "this is string example....wow!!!";   print "str.center(40, 'a') : ", str.center(40, 'a')当我们运行上面的程序，它会产生以下结果：str.center(40, 'a') : aaaathis is string example....wow!!!aaaa