Python 代码加速:实用小技巧

Python 代码加速:实用小技巧

Python几乎是必学的编程语言,它编写容易,上手简单,也有丰富的软件工具包。

然而,Python素来被人诟病效率低下。确实,相比于C/C++,裸写的Python确实很慢。

不过,在机器学习/深度学习的场景下,Python其实更像一个“胶水”语言,用来串联各类工具包和组件,一般不会成为主要的效率瓶颈。

但是,我们也经常用Python来处理数据:要么离线处理,要么在DataLoader里动态处理。很多时候这些代码的运行效率也很低,尤其是在数据处理逻辑复杂的情况下。

本文将教大家一些简单的使用技巧,来加速你的Python代码。

  1. Profiling:定位瓶颈
  2. LRU Cache:一行代码加速
  3. JIT:静态语言性能
  4. 多进程:解放多核性能
  5. 共享内存:避免多进程内存爆炸

1. Profiling: 定位瓶颈

定位瓶颈永远是最关键的一步,只有知道瓶颈在哪,才能有针对性地进行优化。

除了理论分析,在实践中,我们也可以借助各种工具,来定位瓶颈在哪。

大家最熟悉的方法也就是直接统计运行的时间。

import timeit

timeit.timeit("1 + 2")

timeit 是很常见的一个统计方法,但局限也比较明显,只能统计一些简单的语句,对于复杂的函数或已有的代码不太方便使用。

另一个常用的是 profile,可以统计更复杂的函数。

import profile

def sum(a, b):
    return a + b

def test_sum(n=100):
    s = 0
    for i in range(n):
        s = sum(s, i)
    return s

profile.run("test_sum(100000)")

我们更推荐用profile,因为它支持更复杂的输入,也可以分析出函数的层级调用,并给出详细的统计。

如果你需要一些更细节的统计,也可以用line_profiler和memory_profiler,分别得到每一行代码的运行统计,及对应的内存占用。

在本文,我们主要关心运行时间,所以也简单实现了一个装饰器,用于统计函数的运行时间。

from functools import wraps
import time


def timeit(func):
    @wraps(func)
    def timeit_wrapper(*args, **kwargs):
        start_time = time.perf_counter()
        result = func(*args, **kwargs)
        end_time = time.perf_counter()
        total_time = end_time - start_time
        print(f'Function {func.__name__} Took {total_time:.8f} seconds')
        return result
    return timeit_wrapper

@timeit
def test_sum(n=100):
    s = 0
    for i in range(n):
        s += i
    return s

test_sum(100000)

这个装饰器的使用非常简单,只需要在函数前加一个@timeit,就会自动执行timeit_wrapper里实现的在函数调用前后插入的计时统计代码。

此外,还可以通过LRU Cache,JIT,多进程,共享内存来进行加速,此处就不展开细说了,可自行点击查看

image.png

评论

暂无评论