`test` — Пакет регрессионных тестов для Python

Примечание

Пакет test предназначен только для внутреннего использования Python. Он задокументирован для разработчиков ядра Python. Любое использование этого пакета за пределами стандартной библиотеки Python не рекомендуется, поскольку упомянутый здесь код может быть изменён или удален без предварительного уведомления между выпусками Python.

Пакет test содержит все регрессионные тесты для Python, а также модули test.support и test.regrtest. test.support используется для улучшения ваших тестов, а test.regrtest управляет набором тестов.

Каждый модуль в пакете test, имя которого начинается с test_, представляющий собой наборы для тестирования определённого модуля или функции. Все новые тесты должны быть написаны с использованием модуля unittest или doctest. Некоторые старые тесты написаны с использованием «традиционного» стиля тестирования, в котором выходные данные сравниваются с sys.stdout; данный стиль теста считается устаревшим.

См.также

Модуль unittest: Написание регрессионных тестов PyUnit.
Модуль doctest: Тесты, встроенные в строки документации.

Написание модульных тестов для пакета `test`

Предпочтительно, чтобы использующие модуль unittest тесты, соответствовали нескольким рекомендациям. Один из них — назвать тестовый модуль, начав его с test_ и завершив его именем тестируемого модуля. Методы тестирования в тестовом модуле должны начинаться с test_ и заканчиваться описанием того, что метод тестирует. Это нужно для того, чтобы методы распознавались тест-драйвером как методы тестирования. Кроме того, не следует включать строку документации для метода. Комментарий (например, # Функция Tests возвращает только True или False) следует использовать для предоставления документации по методам тестирования. Это делается потому, что строки документации распечатываются, если они существуют, и поэтому не указывается, какой тест выполняется.

Часто используется базовый шаблон:

import unittest
from test import support

class MyTestCase1(unittest.TestCase):

    # Используются setUp() и tearDown() только при необходимости

    def setUp(self):
        ... код для выполнения при подготовке к тестам ...

    def tearDown(self):
        ... код для выполнения очистки после тестов ...

    def test_feature_one(self):
        # Тестовая функция номер один.
        ... код тестирования ...

    def test_feature_two(self):
        # Тестовая функция номер два.
        ... код тестирования ...

    ... больше методов тестирования ...

class MyTestCase2(unittest.TestCase):
    ... та же структура, что и у MyTestCase1 ...

... больше тестовых классов ...

if __name__ == '__main__':
    unittest.main()

Данный шаблон кода позволяет запускать множество для тестирования с помощью test.regrtest, как сценарий, поддерживающий интерфейс командной строки unittest, или через интерфейс командной строки python -m unittest.

Цель регрессионного тестирования — попытаться сломать код. Это приводит к нескольким рекомендациям, которым необходимо следовать:

Множество тестов должен использовать все классы, функции и константы. Это включает в себя не только внешний API, который должен быть представлен внешнему миру, но и «частный» код.
Тестирование методом «белого ящика» (проверка тестируемого кода во время написания тестов) предпочтительнее. Тестирование «черного ящика» (тестирование только опубликованного пользовательского интерфейса) недостаточно полно, чтобы убедиться, что проверены все граничные и пограничные случаи.
Убедиться, что проверены все возможные значения, включая недопустимые. Это гарантирует, что не только все допустимые значения являются приемлемыми, но и что неправильные значения обрабатываются правильно.
Исчерпание большего путей кода. Проверяет, где происходит ветвление, и, таким образом, адаптирует входные данные, чтобы убедиться, что используется как можно больше различных путей в коде.
Добавляет явный тест для любых ошибок, обнаруженных в тестируемом коде. Это гарантирует, что ошибка не возникнет снова, если код будет изменён в будущем.
Не забывает выполнить очистку после тестов (например, закрыть и удалить все временные файлы).
Если тест зависит от определённого состояния операционной системы, убедиться, что условие уже существует, прежде чем пытаться выполнить тест.
Импортирует как можно меньше модулей и делайте это как можно скорее. Это сводит к минимуму внешние зависимости тестов, а также сводит к минимуму возможное аномальное поведение из-за побочных эффектов импорта модуля.
Старается максимизировать повторное использование кода. Иногда тесты будут различаться чем-то вроде того, какой тип ввода используется. Сведите к минимуму дублирование кода, создав подкласс базового тестового класса с классом, определяющим входные данные:
```
class TestFuncAcceptsSequencesMixin:

    func = mySuperWhammyFunction

    def test_func(self):
        self.func(self.arg)

class AcceptLists(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = [1, 2, 3]

class AcceptStrings(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = 'abc'

class AcceptTuples(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = (1, 2, 3)
```
При использовании этого шаблона помните, что все классы, наследуемые от unittest.TestCase, запускаются как тесты. Класс Mixin в приведённом выше примере не имеет данных и поэтому не может запускаться сам по себе, поэтому он не наследуется от unittest.TestCase.

См.также

Разработка через тестирование: Книга Кента Бека о написании тестов перед написанием кода.

Запуск тестов с помощью интерфейса командной строки

Пакет test можно запускать как скрипт для запуска набора регрессионных тестов Python благодаря опции -m: python -m test. Под капотом используется test.regrtest; вызов python -m test.regrtest, использовавшийся в предыдущих версиях Python, все ещё работает. Запуск скрипта автоматически запускает все регрессионные тесты в пакете test. Для этого он находит в пакете все модули, имя которых начинается с test_, импортирует их и выполняет функцию test_main(), если она присутствует, или загружает тесты через unittest.TestLoader.loadTestsFromModule, если test_main не существует. Имена тестов для выполнения также могут быть переданы сценарию. Указание одного регрессионного теста (python -m test test_spam) сведет к минимуму выходные данные и напечатает только то, пройдено или не пройдено испытание.

Запуск test напрямую позволяет установить, какие ресурсы доступны для использования тестами. Вы делаете это с помощью параметра командной строки -u. Указание all в качестве значения параметра -u включает все возможные ресурсы: python -m test -uall. Если желательны все ресурсы, кроме одного (более распространенный случай), список нежелательных ресурсов, разделенных запятыми, может быть указан после all. Команда python -m test -uall,-audio,-largefile запустит test со всеми ресурсами, кроме ресурсов audio и largefile. Чтобы получить список всех ресурсов и другие параметры командной строки, запускает python -m test -h.

Некоторые другие способы выполнения регрессионных тестов зависят от того, на какой платформе выполняются тесты. В Unix вы можете запускать make test в каталоге верхнего уровня, где был собран Python. В Windows выполнение rt.bat из вашего каталога PCbuild запустит все регрессионные тесты.

`test` — Пакет регрессионных тестов для Python

Написание модульных тестов для пакета `test`

Запуск тестов с помощью интерфейса командной строки

`test.support` — Утилиты для набора тестов Python

`test.support.script_helper` — Утилиты для выполнения тестов Python

test — Пакет регрессионных тестов для Python

Написание модульных тестов для пакета test

Запуск тестов с помощью интерфейса командной строки

test.support — Утилиты для набора тестов Python

test.support.script_helper — Утилиты для выполнения тестов Python

`test` — Пакет регрессионных тестов для Python

Написание модульных тестов для пакета `test`

`test.support` — Утилиты для набора тестов Python

`test.support.script_helper` — Утилиты для выполнения тестов Python