10. Краткий обзор Стандартной библиотеки

10.1. Интерфейс с операционной системой

Модуль os предоставляет десятки функций для взаимодействия с операционной системой:

>>> import os
>>> os.getcwd()      # Возвращает текущий рабочий каталог
'C:\\Python38'
>>> os.chdir('/server/accesslogs')   # Изменяем текущий рабочий каталог
>>> os.system('mkdir today')   # Запускаем команду mkdir в системной оболочке
0

Обязательно используйте стиль import os вместо from os import *. Это сохранит os.open() от затенения встроенной функции open(), имеющей несколько иное назначение.

Встроенные функции dir() и help() полезны в качестве интерактивных вспомогательные средства для работы с большими модулями, такими как os:

>>> import os
>>> dir(os)
<returns a list of all module functions>
>>> help(os)
<returns an extensive manual page created from the module's docstrings>

Для управления файлами и каталогами удобный высокоуровневый интерфейс предоставляет модуль shutil:

>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'

10.2. Файловые вайлдкарды

Модуль glob предоставляет функцию для получения списка файлов на основе заданного шаблона:

>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']

10.3. Аргументы командной строки

Сценарии общего назначения часто нуждаются в аргументах командной строки. Эти аргументы хранятся в атрибуте argv модуля sys в виде списка. Например, при запуске python demo.py one two three в командной строке шелла для сценария demo.py будет выведено следующее:

>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']

Модуль argparse обеспечивает более сложный механизм обработки аргументов командной строки. Следующий сценарий извлекает одно или несколько имен файлов и дополнительное количество отображаемых строк:

import argparse

parser = argparse.ArgumentParser(prog = 'top',
    description = 'Show top lines from each file')
parser.add_argument('filenames', nargs='+')
parser.add_argument('-l', '--lines', type=int, default=10)
args = parser.parse_args()
print(args)

При запуске в командной строке с python top.py --lines=5 alpha.txt beta.txt сценарий устанавливает для args.lines значение 5 и args.filenames в ['alpha.txt', 'beta.txt'].

10.4. Ошибка при перенаправлении вывода и завершении программы

Модуль sys также содержит атрибуты для stdin, stdout и stderr. Последнее полезно для передачи предупреждений и сообщений об ошибках, чтобы сделать их видимым даже при перенаправлении stdout:

>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one

Самый прямой способ завершить сценарий — использовать sys.exit().

10.5. Соответствие строковому образцу

Модуль re предоставляет инструментарий для работы с регулярными выражениями для нетривиальной обработки текста. С помощью регулярных выражений можно создавать выразительные и оптимизированные решения для поиска и обработки строк.

>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'

Когда требуются более простые возможности, методы строковых объектов предпочтительнее, т.к. их легче читать и отлаживать:

>>> 'tea for too'.replace('too', 'two')
'tea for two'

10.6. Математика

Модуль math предоставляет доступ к базовым функциям библиотеки C для математики с плавающей запятой:

>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0

Модуль random предоставляет инструменты для случайного выбора:

>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10)   # сэмплирование без замены
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # случайное число с плавающей точкой
0.17970987693706186
>>> random.randrange(6)    # случайное целое число, выбранное из range(6)
4

Модуль statistics вычисляет основные статистические свойства (среднее значение, медиана, дисперсия и т.д.) числовых данных:

>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095

Проект SciPy содержит много других модулей для числовых вычислений.

10.7. Доступ в интернет

Имеется ряд модулей для доступа в интернет и обработки интернет протоколов. Два из самых простых: urllib.request для получения данных из URL-адресов и smtplib для отправки почты:

>>> from urllib.request import urlopen
>>> with urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl') as response:
...     for line in response:
...         line = line.decode('utf-8')  # Декодирование двоичных данных в текст.
...         if 'EST' in line or 'EDT' in line:  # поиск восточного времени
...             print(line)

<BR>Nov. 25, 09:43:32 PM EST

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('[email protected]', '[email protected]',
... """To: [email protected]
... From: [email protected]
...
... Beware the Ides of March.
... """)
>>> server.quit()

(Обратите внимание, что во втором примере требуется сервер почты, запущенный на локальном компьютере.)

10.8. Дата и время

Модуль datetime предлагает классы для работы с датами и временем как в простых, так и сложных случаях. Кроме поддержки календарной арифметики, реализация обращает особенное внимание на эффективность вычисления составных частей для вывода и дальнейших манипуляций. Модуль также предлагает объекты с поддержкой временных зон.

>>> # даты легко конструируются и форматируются
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # даты поддерживают календарную арифметику
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368

10.9. Сжатие данных

Наиболее распространённые форматы сжатия и архивации напрямую поддерживаются модулями стандартной библиотеки, включая: zlib, gzip, bz2, lzma, zipfile и tarfile.

>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979

10.10. Замеры производительности

Некоторым пользователям Python интересно знать относительную производительность различных подходов к решению одной и той же проблемы. Python предлагает инструмент для немедленного ответа на эти вопросы.

Например, очень заманчиво использовать присваивание кортежей вместо традиционного подхода к замене значений переменных местами. Модуль timeit быстро продемонстрирует незначительное превосходство кортежей:

>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791

В отличие от высокого разрешения модуля timeit, модули profile и pstats предлагают возможность обнаружить критические по времени участки в больших фрагментах кода.

10.11. Контроль качества

Один из подходов к разработке высококачественного программного обеспечения заключается в написании тестов для каждой функции при её разработке и регулярном запуске этих тестов во время всего процесса разработки.

Модуль doctest имеет средства для просмотра модуля и проверки результатов тестов, заложенных в строках документации. Написание теста для функции заключается в копировании и вставке типичного вызова функции и ее результатов в строку документации. Это улучшает документацию, предоставляя пользователю реальный пример, а модуль doctest проверяет, что код соответствует документации.

def average(values):
    """Вычисляет среднее арифметическое списка чисел.

    >>> print(average([20, 30, 70]))
    40.0
    """
    return sum(values) / len(values)

import doctest
doctest.testmod()   # автоматически проверять встроенные тесты

Модуль unittest не менее прост в использовании чем doctest, но позволяет создавать более полный набор тестов, располагающийся в отдельном файле:

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        with self.assertRaises(ZeroDivisionError):
            average([])
        with self.assertRaises(TypeError):
            average(20, 30, 70)

unittest.main()  # Вызов из командной строки вызывает все тесты

10.12. Батарейки идут в комплекте

Python руководствуется философией «батарейки в комплекте». Это можно проследить по сложным и устойчивым к ошибкам возможностям его пакетов побольше. Например:

Модули xmlrpc.client и xmlrpc.server делают реализацию удаленных вызовов процедур почти тривиальной задачей. Несмотря на названия модулей, не требуется непосредственного знания или обработки XML.
Пакет email — это библиотека для работы с сообщениями электронной почты, включая MIME и другие основанные на RFC 2822 документы-сообщения. В отличие от smtplib и poplib, которые занимаются непосредственно отправкой и приёмом сообщений, пакет email является полным набором инструментов для построения и декодирования сообщений сложной структуры (включая вложения) и для реализации интернетного кодирования и протокола заголовков.
Пакет json обеспечивает надежную поддержку синтаксического анализа этого популярного формата обмена данными. Модуль csv поддерживает прямое чтение и запись файлов в формате «Значения, разделенные запятыми», который обычно поддерживается базами данных и электронными таблицами. Обработка XML поддерживается пакетами xml.etree.ElableTree, xml.dom и xml.sax. Вместе эти модули и пакеты значительно упрощают обмен данными между Python приложениями и другими приложениями.
Модуль sqlite3 является обёрткой над библиотекой базы данных SQLite, предоставляя базу данных, которая доступна и обновляема, используя несколько нестандартный синтаксис SQL.
Интернационализация поддерживается благодаря ряду модулей, включая gettext, locale и пакет codecs.