Python Flask 代码执行效率问题

vianvio · 2015年03月24日 · 最后由 michael 回复于 2015年07月05日 · 11 次阅读

近期刚开始用flask,所以遇到些奇怪问题想请教一下。

从别人那里拿到了数据分析的代码,直接console里运行.py文件的情况下,运行时间在1~2秒 而我将这段代码放到flask里,写了一个路由,间接执行这段代码的时候,运行时间是之前的6~10倍。。。

为了确保执行情况一致,我将用到的数据hardcode在代码中,并且在flask的service调用时,用multiprocess新建了一个单独进程去跑,结果还是相差6~10倍。

我有将时间log打在最耗时的代码前后,发现直接python xxx.py的运行情况下耗时在15000mircoseconds左右,而通过service,会高出10倍到20倍。

单独开进程跑的情况下应该已经将flask框架相关的影响去除了吧?感觉理论上应该和console里执行是一样的,可是为什么还是差那么多? 还请高手指点个方向,谢谢!

共收到 9 条回复

😪 你还是去py的国内邮件列表或者v2ex吧,这里的人大多玩ruby.

#1楼 @flowerwrong 感觉ruby大神多阿。。。而且感觉这个不是单纯的python问题

感觉你应该对比的是“直接 console 里运行 .py 文件的时间”和“service 调用这块代码的时间”

不贴代码能诊断出来问题才怪了。

#3楼 @xiaogui #4楼 @est 代码不能直接贴,公司内部用的,不过大概可以描述 耗时的代码大致内容是string匹配string数组 即类似于 arrTest = ['a', 'b'] if ( 'a' in arrTest): 这样的情况,if内部执行的代码是对panda库的一条记录的一列数据进行附值。 i.e. post # panda object arrTest = ['a', 'b'] if ( 'a' in arrTest): post['colA'][0] = 'a' 并没有其他需要大量运算的代码 我有将时间log打在这段代码前后,发现直接python xxx.py的运行情况下耗时在15000mircoseconds左右,而通过service,会高出10倍到20倍。 所以感觉不是代码复杂度导致的问题,即使贴出代码也并不会有太大帮助,因为两次执行的代码都是一模一样的,区别仅在于调用方式上。目前我查的方向在是不是由于框架本身一些限制导致,或者说httpserver是否都有一些影响效率的情况。但是google了一通又查不到什么东西,关键是这个问题不太好描述

第一次时间和第二次时间分别是怎么取到的?

#6楼 @xiaogui 其他代码不管,只在这段if语句前后打印时间,然后(endTime - startTime).microseconds,conosle里平均15,000,service调用平均300,000 另外我刚才简化的if里的代码,现在if语句的条件也去掉了,只剩下pandas dataFrame object的附值语句 post['a'][0] = 'a' 执行结果还是一样。。。 真是莫名了

看了下api和源码,问题已经解决了,哈哈,但是还有些疑惑,但至少能work了 解决办法: 将原先用于dataFrame对象附值的语句 post['a'][0] = 'test' 用dataFrame本身的set_value方法改写 post.set_value(0, 'a', 'test) 执行时间按microseconds计算,上面一种平均20万,下面一种方法,平均50 但是造成这么大差距的原因需要继续深挖源码,暂时还不清楚。。。有待高手

profile一下

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册