使用 DTrace 和 SystemTap 檢測CPython?
- 作者
David Malcolm
- 作者
?ukasz Langa
DTrace和SystemTap是監控工具，它們都提供了一種檢查計算機系統上的進(jìn)程的方法。 它們都使用特定領(lǐng)域的語(yǔ)言，允許用戶(hù)編寫(xiě)腳本，其中：
進(jìn)程監視的過(guò)濾器
從感興趣的進(jìn)程中收集數據
生成有關(guān)數據的報告
從Python 3.6開(kāi)始，CPython可以使用嵌入式“標記”構建，也稱(chēng)為“探測器”，可以通過(guò)DTrace或SystemTap腳本觀(guān)察，從而更容易監視系統上的CPython進(jìn)程正在做什么。
CPython implementation detail: DTrace標記是CPython解釋器的實(shí)現細節。 不保證CPython版本之間的探針兼容性。 更改CPython版本時(shí)，DTrace腳本可能會(huì )停止工作或無(wú)法正常工作而不會(huì )發(fā)出警告。
啟用靜態(tài)標記?
macOS內置了對DTrace的支持。 在Linux上，為了使用SystemTap的嵌入式標記構建CPython，必須安裝SystemTap開(kāi)發(fā)工具。
在Linux機器上，這可以通過(guò)：
$ yum install systemtap-sdt-devel
或者：
$ sudo apt-get install systemtap-sdt-dev
之后 CPython 必須 配置 --with-dtrace 選項:
checking for --with-dtrace... yes
在macOS上，您可以通過(guò)在后臺運行Python進(jìn)程列出可用的DTrace探測器，并列出Python程序提供的所有探測器：
$ python3.6 -q &
$ sudo dtrace -l -P python$! # or: dtrace -l -m python3.6
ID PROVIDER MODULE FUNCTION NAME
29564 python18035 python3.6 _PyEval_EvalFrameDefault function-entry
29565 python18035 python3.6 dtrace_function_entry function-entry
29566 python18035 python3.6 _PyEval_EvalFrameDefault function-return
29567 python18035 python3.6 dtrace_function_return function-return
29568 python18035 python3.6 collect gc-done
29569 python18035 python3.6 collect gc-start
29570 python18035 python3.6 _PyEval_EvalFrameDefault line
29571 python18035 python3.6 maybe_dtrace_line line
在Linux上，您可以通過(guò)查看是否包含“.note.stapsdt”部分來(lái)驗證構建的二進(jìn)制文件中是否存在SystemTap靜態(tài)標記。
$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt NOTE 0000000000000000 00308d78
如果你將 Python 編譯為共享庫（使用 --enable-shared 配置選項），那么你需要改為在共享庫內部查看。 例如:
$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt NOTE 0000000000000000 00365b68
足夠現代的readelf命令可以打印元數據：
$ readelf -n ./python
Displaying notes found at file offset 0x00000254 with length 0x00000020:
Owner Data size Description
GNU 0x00000010 NT_GNU_ABI_TAG (ABI version tag)
OS: Linux, ABI: 2.6.32
Displaying notes found at file offset 0x00000274 with length 0x00000024:
Owner Data size Description
GNU 0x00000014 NT_GNU_BUILD_ID (unique build ID bitstring)
Build ID: df924a2b08a7e89f6e11251d4602022977af2670
Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
Owner Data size Description
stapsdt 0x00000031 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__start
Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
Arguments: -4@%ebx
stapsdt 0x00000030 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__done
Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
Arguments: -8@%rax
stapsdt 0x00000045 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__entry
Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
Arguments: 8@%rbp 8@%r12 -4@%eax
stapsdt 0x00000046 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__return
Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
Arguments: 8@%rbp 8@%r12 -4@%eax
上述元數據包含SystemTap的信息，描述如何修補策略性放置的機器代碼指令以啟用SystemTap腳本使用的跟蹤鉤子。
靜態(tài)DTrace探針?
下面的 DTrace 腳本示例可以用來(lái)顯示一個(gè) Python 腳本的調用/返回層次結構，只在調用名為 "start" 的函數內進(jìn)行跟蹤。換句話(huà)說(shuō)，導入時(shí)的函數調用不會(huì )被列出。
self int indent;
python$target:::function-entry
/copyinstr(arg1) == "start"/
{
self->trace = 1;
}
python$target:::function-entry
/self->trace/
{
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
self->indent++;
}
python$target:::function-return
/self->trace/
{
self->indent--;
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}
python$target:::function-return
/copyinstr(arg1) == "start"/
{
self->trace = 0;
}
它可以這樣調用:
$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"
輸出結果會(huì )像這樣:
156641360502280 function-entry:call_stack.py:start:23
156641360518804 function-entry: call_stack.py:function_1:1
156641360532797 function-entry: call_stack.py:function_3:9
156641360546807 function-return: call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365 function-entry: call_stack.py:function_2:5
156641360591757 function-entry: call_stack.py:function_1:1
156641360605556 function-entry: call_stack.py:function_3:9
156641360617482 function-return: call_stack.py:function_3:10
156641360629814 function-return: call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770 function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853 function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640 function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28
靜態(tài)SystemTap標記?
使用 SystemTap 集成的底層方法是直接使用靜態(tài)標記。 這需要你顯式地說(shuō)明包含它們的二進(jìn)制文件。
例如，這個(gè)SystemTap腳本可以用來(lái)顯示Python腳本的調用/返回層次結構：
probe process("python").mark("function__entry") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s => %s in %s:%d\\n",
thread_indent(1), funcname, filename, lineno);
}
probe process("python").mark("function__return") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s <= %s in %s:%d\\n",
thread_indent(-1), funcname, filename, lineno);
}
它可以這樣調用:
$ stap \
show-call-hierarchy.stp \
-c "./python test.py"
輸出結果會(huì )像這樣:
11408 python(8274): => __contains__ in Lib/_abcoll.py:362
11414 python(8274): => __getitem__ in Lib/os.py:425
11418 python(8274): => encode in Lib/os.py:490
11424 python(8274): <= encode in Lib/os.py:493
11428 python(8274): <= __getitem__ in Lib/os.py:426
11433 python(8274): <= __contains__ in Lib/_abcoll.py:366
其中的列是：
腳本開(kāi)始后經(jīng)過(guò)的微秒數
可執行文件的名字
進(jìn)程的PID
其余部分則表示腳本執行時(shí)的調用/返回層次結構。
對于 CPython 的 --enable-shared 編譯版，這些標記包含在 libpython 共享庫內部，并且 probe 的加點(diǎn)路徑需要反映這個(gè)。 例如，上述示例的這一行:
probe process("python").mark("function__entry") {
應改為：
probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {
(假定為 CPython 3.6 的 調試編譯版)
可用的靜態(tài)標記?
- function__entry(str filename, str funcname, int lineno)
這個(gè)標記表示一個(gè)Python函數的執行已經(jīng)開(kāi)始。它只對純 Python （字節碼）函數觸發(fā)。
文件名、函數名和行號作為位置參數提供給跟蹤腳本，必須使用
$arg1,$arg2,$arg3訪(fǎng)問(wèn)：$arg1:(const char *)文件名，使用user_string($arg1)訪(fǎng)問(wèn)$arg2:(const char *)函數名，使用user_string($arg2)訪(fǎng)問(wèn)$arg3:int行號
- function__return(str filename, str funcname, int lineno)
這個(gè)標記與
function__entry()相反，表示Python函數的執行已經(jīng)結束 (通過(guò)return或者異常)。 它只對純Python (字節碼) 函數觸發(fā)。參數和
function__entry()相同
- line(str filename, str funcname, int lineno)
這個(gè)標記表示一個(gè) Python 行即將被執行。它相當于用 Python 分析器逐行追蹤。它不會(huì )在C函數中觸發(fā)。
參數和
function__entry()相同
- gc__start(int generation)
當Python解釋器啟動(dòng)一個(gè)垃圾回收循環(huán)時(shí)被觸發(fā)。
arg0是要掃描的生成器，如gc.collect()。
- gc__done(long collected)
當Python解釋器完成一個(gè)垃圾回收循環(huán)時(shí)被觸發(fā)。
arg0是收集到的對象的數量。
- import__find__load__start(str modulename)
在
importlib試圖查找并加載模塊之前被觸發(fā)。arg0是模塊名稱(chēng)。3.7 新版功能.
- import__find__load__done(str modulename, int found)
在
importlib的 find_and_load 函數被調用后被觸發(fā) 。arg0是模塊名稱(chēng)，arg1表示模塊是否成功加載。3.7 新版功能.
- audit(str event, void *tuple)
當
sys.audit()或PySys_Audit()被調用時(shí)啟動(dòng)。arg0是事件名稱(chēng)的 C 字符串，arg1是一個(gè)指向元組對象的PyObject指針。3.8 新版功能.
SystemTap Tapsets?
使用SystemTap集成的更高層次的方法是使用 "tapset" 。SystemTap 的等效庫，它隱藏了靜態(tài)標記的一些底層細節。
這里是一個(gè)基于 CPython 的非共享構建的 tapset 文件。
/*
Provide a higher-level wrapping around the function__entry and
function__return markers:
\*/
probe python.function.entry = process("python").mark("function__entry")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
如果這個(gè)文件安裝在 SystemTap 的 tapset 目錄下（例如``/usr/share/systemtap/tapset`` ），那么這些額外的探測點(diǎn)就會(huì )變得可用。
- python.function.entry(str filename, str funcname, int lineno, frameptr)
這個(gè)探針點(diǎn)表示一個(gè)Python函數的執行已經(jīng)開(kāi)始。它只對純Python （字節碼）函數觸發(fā)。
- python.function.return(str filename, str funcname, int lineno, frameptr)
這個(gè)探針點(diǎn)是
python.function.return的反義操作，表示一個(gè) Python 函數的執行已經(jīng)結束（或是通過(guò)return，或是通過(guò)異常）。 它只會(huì )針對純 Python（字節碼）函數觸發(fā)。
例子?
這個(gè)SystemTap腳本使用上面的tapset來(lái)更清晰地實(shí)現上面給出的跟蹤Python函數調用層次結構的例子，而不需要直接命名靜態(tài)標記。
probe python.function.entry
{
printf("%s => %s in %s:%d\n",
thread_indent(1), funcname, filename, lineno);
}
probe python.function.return
{
printf("%s <= %s in %s:%d\n",
thread_indent(-1), funcname, filename, lineno);
}
下面的腳本使用上面的tapset提供了所有運行中的CPython代碼的頂部視圖，顯示了整個(gè)系統中每一秒鐘最頻繁輸入的前20個(gè)字節碼幀。
global fn_calls;
probe python.function.entry
{
fn_calls[pid(), filename, funcname, lineno] += 1;
}
probe timer.ms(1000) {
printf("\033[2J\033[1;1H") /* clear screen \*/
printf("%6s %80s %6s %30s %6s\n",
"PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
printf("%6d %80s %6d %30s %6d\n",
pid, filename, lineno, funcname,
fn_calls[pid, filename, funcname, lineno]);
}
delete fn_calls;
}