Инструментирование CPython с помощью DTrace и SystemTap

автор:Дэвид Малькольм
автор:Лукаш Ланга

DTrace и SystemTap — это инструменты мониторинга, каждый из которых предоставляет способ проверить, что делают процессы в компьютерной системе. Оба они используют предметно-ориентированные языки, позволяющие пользователю писать сценарии, которые:

  • фильтровать, какие процессы необходимо наблюдать;
  • собирать данные из интересующих процессов;
  • формировать отчёты по данным.

Начиная с Python 3.6, CPython может быть собран со встроенными «маркерами», также известными как «зонды», которые можно наблюдать с помощью сценария DTrace или SystemTap, что упрощает мониторинг процессов CPython в системе.

Детали реализации CPython: Маркеры DTrace — это детали реализации интерпретатора CPython. Не дается никаких гарантий относительно совместимости зондов между версиями CPython. Скрипты DTrace могут перестать работать или работать некорректно без предупреждения при изменении версии CPython.

Включение статических маркеров

У MacOS есть встроенная поддержка DTrace. В Linux для сборки CPython со встроенными маркерами для SystemTap необходимо установить инструменты разработки SystemTap.

На компьютере с Linux это можно сделать с помощью:

$ yum install systemtap-sdt-devel

или:

$ sudo apt-get install systemtap-sdt-dev

CPython должен быть настроен с --with-dtrace:

checking for --with-dtrace... yes

В macOS вы можете перечислить доступные зонды DTrace, запустив процесс Python в фоновом режиме и перечислив все зонды, предоставленные поставщиком Python:

$ python3.6 -q &
$ sudo dtrace -l -P python$!  # or: dtrace -l -m python3.6

   ID   PROVIDER            MODULE                          FUNCTION NAME
29564 python18035        python3.6          _PyEval_EvalFrameDefault function-entry
29565 python18035        python3.6             dtrace_function_entry function-entry
29566 python18035        python3.6          _PyEval_EvalFrameDefault function-return
29567 python18035        python3.6            dtrace_function_return function-return
29568 python18035        python3.6                           collect gc-done
29569 python18035        python3.6                           collect gc-start
29570 python18035        python3.6          _PyEval_EvalFrameDefault line
29571 python18035        python3.6                 maybe_dtrace_line line

В Linux вы можете проверить, присутствуют ли статические маркеры SystemTap во встроенном двоичном файле, посмотрев, содержит ли он раздел «.note.stapsdt».

$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt        NOTE         0000000000000000 00308d78

Если вы создали Python как общую библиотеку (с –enable-shared), вам нужно вместо этого искать в общей библиотеке. Например:

$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt        NOTE         0000000000000000 00365b68

Достаточно современный readelf умеет печатать метаданные:

$ readelf -n ./python

Displaying notes found at file offset 0x00000254 with length 0x00000020:
    Owner                 Data size          Description
    GNU                  0x00000010          NT_GNU_ABI_TAG (ABI version tag)
        OS: Linux, ABI: 2.6.32

Displaying notes found at file offset 0x00000274 with length 0x00000024:
    Owner                 Data size          Description
    GNU                  0x00000014          NT_GNU_BUILD_ID (unique build ID bitstring)
        Build ID: df924a2b08a7e89f6e11251d4602022977af2670

Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
    Owner                 Data size          Description
    stapsdt              0x00000031          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__start
        Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
        Arguments: -4@%ebx
    stapsdt              0x00000030          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__done
        Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
        Arguments: -8@%rax
    stapsdt              0x00000045          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__entry
        Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
        Arguments: 8@%rbp 8@%r12 -4@%eax
    stapsdt              0x00000046          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__return
        Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
        Arguments: 8@%rbp 8@%r12 -4@%eax

Вышеупомянутые метаданные содержат информацию для SystemTap, определяющую, как он может исправлять стратегически размещенные инструкции машинного кода, чтобы включить отслеживающие перехватчики, используемые сценарием SystemTap.

Статические зонды DTrace

Следующий пример сценария DTrace может использоваться для демонстрации иерархии вызовов/возвратов сценария Python, отслеживая только внутри вызова функции, называемой «start». Другими словами, вызовы функций во время импорта не будут перечислены:

self int indent;

python$target:::function-entry
/copyinstr(arg1) == "start"/
{
        self->trace = 1;
}

python$target:::function-entry
/self->trace/
{
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
        self->indent++;
}

python$target:::function-return
/self->trace/
{
        self->indent--;
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}

python$target:::function-return
/copyinstr(arg1) == "start"/
{
        self->trace = 0;
}

Его можно вызвать так:

$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"

Результат выглядит следующим образом:

156641360502280  function-entry:call_stack.py:start:23
156641360518804  function-entry: call_stack.py:function_1:1
156641360532797  function-entry:  call_stack.py:function_3:9
156641360546807 function-return:  call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365  function-entry: call_stack.py:function_2:5
156641360591757  function-entry:  call_stack.py:function_1:1
156641360605556  function-entry:   call_stack.py:function_3:9
156641360617482 function-return:   call_stack.py:function_3:10
156641360629814 function-return:  call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770  function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853  function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640  function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28

Статические маркеры SystemTap

Низкоуровневый способ использования интеграции SystemTap — это прямое использование статических маркеров. Это требует, чтобы вы явно указали двоичный файл, содержащий их.

Например, сценарий SystemTap можно использовать для отображения иерархии вызовов/возвратов сценария Python:

probe process("python").mark("function__entry") {
     filename = user_string($arg1);
     funcname = user_string($arg2);
     lineno = $arg3;

     printf("%s => %s in %s:%d\\n",
            thread_indent(1), funcname, filename, lineno);
}

probe process("python").mark("function__return") {
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;

    printf("%s <= %s in %s:%d\\n",
           thread_indent(-1), funcname, filename, lineno);
}

Его можно вызвать так:

$ stap \
  show-call-hierarchy.stp \
  -c "./python test.py"

Результат выглядит следующим образом:

11408 python(8274):        => __contains__ in Lib/_abcoll.py:362
11414 python(8274):         => __getitem__ in Lib/os.py:425
11418 python(8274):          => encode in Lib/os.py:490
11424 python(8274):          <= encode in Lib/os.py:493
11428 python(8274):         <= __getitem__ in Lib/os.py:426
11433 python(8274):        <= __contains__ in Lib/_abcoll.py:366

Где столбцы:

  • Время в микросекундах с момента запуска скрипта;
  • Имя исполняемого файла;
  • PID процесса;

остальная часть указывает иерархию вызовов/возвратов по мере выполнения сценария.

Для сборки CPython с параметром –enable-shared маркеры содержатся в общей библиотеке libpython, и пунктирный путь зонда должен это отражать. Например, строка из приведенного выше примера:

probe process("python").mark("function__entry") {

следует читать:

probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {

(Предполагая отладочную сборку CPython 3.6)

Доступны статические маркеры

function__entry(str filename, str funcname, int lineno)

Маркер указывает на начало выполнения функции Python. Он запускается только для функций чистого Python (байт-кода).

Имя файла, имя функции и номер строки передаются сценарию трассировки в качестве позиционных аргументов, к которым необходимо обращаться с помощью $arg1, $arg2, $arg3:

  • $arg1 : (const char *) имя файла, доступное с помощью user_string($arg1)
  • $arg2 : (const char *) имя функции, доступное с помощью user_string($arg2)
  • $arg3 : int номер строки
function__return(str filename, str funcname, int lineno)

Маркер является обратным function__entry() и указывает, что выполнение функции Python завершено (либо через return, либо через исключение). Он запускается только для функций чистого Python (байт-кода).

Аргументы такие же, как для function__entry()

line(str filename, str funcname, int lineno)

Маркер указывает на то, что строка Python вот-вот будет выполнена. Это эквивалент построчной трассировки с помощью профилировщика Python. Он не запускается в функциях C.

Аргументы такие же, как для function__entry().

gc__start(int generation)

Срабатывает, когда интерпретатор Python запускает цикл сборки мусора. arg0 — поколение для сканирования, например gc.collect().

gc__done(long collected)

Срабатывает, когда интерпретатор Python завершает цикл сборки мусора. arg0 - количество собранных объектов.

import__find__load__start(str modulename)

Срабатывает до того, как importlib попытается найти и загрузить модуль. arg0 — имя модуля.

Добавлено в версии 3.7.

import__find__load__done(str modulename, int found)

Загорается после вызова функции importlib find_and_load. arg0 — имя модуля, arg1 указывает, был ли модуль успешно загружен.

Добавлено в версии 3.7.

audit(str event, void *tuple)

Срабатывает при вызове sys.audit() или PySys_Audit(). arg0 — имя события в виде строки C, arg1 — указатель PyObject на объект кортежа.

Добавлено в версии 3.8.

SystemTap Tapsets

Более высокоуровневый способ использования интеграции SystemTap состоит в использовании «tapset»: эквивалента библиотеки SystemTap, который скрывает некоторые низкоуровневые детали статических маркеров.

Вот файл Tapset, основанный на не разделяемой сборке CPython:

/*
   Предоставить высокоуровневую обёртку маркеров function__entry и
   function__return:
 \*/
probe python.function.entry = process("python").mark("function__entry")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}

Если этот файл установлен в каталоге Tapset SystemTap (например, /usr/share/systemtap/tapset), тогда дополнительные точки тестирования становятся доступными:

python.function.entry(str filename, str funcname, int lineno, frameptr)

Точка проверки указывает на то, что выполнение функции Python началось. Он запускается только для функций чистого Python (байт-кода).

python.function.return(str filename, str funcname, int lineno, frameptr)

Точка проверки является противоположностью python.function.return и указывает, что выполнение функции Python завершено (либо через return, либо через исключение). Он запускается только для функций чистого Python (байт-кода).

Примеры

Сценарий SystemTap использует приведенный выше tapset для более чёткой реализации приведенного выше примера трассировки иерархии вызовов функций Python без необходимости напрямую называть статические маркеры:

probe python.function.entry
{
  printf("%s => %s in %s:%d\n",
         thread_indent(1), funcname, filename, lineno);
}

probe python.function.return
{
  printf("%s <= %s in %s:%d\n",
         thread_indent(-1), funcname, filename, lineno);
}

В следующем сценарии используется tapset, приведенный выше, чтобы обеспечить вид сверху всего работающего кода CPython, показывая 20 наиболее часто вводимых фреймов байт-кода каждую секунду во всей системе:

global fn_calls;

probe python.function.entry
{
    fn_calls[pid(), filename, funcname, lineno] += 1;
}

probe timer.ms(1000) {
    printf("\033[2J\033[1;1H") /* clear screen \*/
    printf("%6s %80s %6s %30s %6s\n",
           "PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
    foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
        printf("%6d %80s %6d %30s %6d\n",
            pid, filename, lineno, funcname,
            fn_calls[pid, filename, funcname, lineno]);
    }
    delete fn_calls;
}