С.В. Герасимов, И.В. Машечкин, М.И. Петровский и др. - Инструментальные средства разработки ПО в ОС UNIX, страница 7

Однако более эффективным способом поиска «узких»мест является применение профилировщиков (англ. profiler) –программных средств, собирающих значения статистическиххарактеристик работы программы.ВданномметодическомпособиирассматриваютсяпопулярныймногоцелевойпрофилировщикValgrind(http://valgrind.org) и следующее подмножество инструментов,входящие в его состав:отладчик памяти memcheck;профилировщик кучи massif;профилировщик кэш-памяти и точек ветвления cachegrind;профилировщик вызовов функций callgrind.Принцип работы Valgrind заключается в преобразованиискомпилированной программы в промежуточное представление,динамически транслируемое во время работы инструмента вмашинные команды с одновременным подсчетом необходимойстатистики.

Архитектура Valgrind допускает написание новыхинструментов сторонними разработчиками.Формат командной строки:valgrind [опции] программа-и-ее-аргументыОпция Valgrind--tool=<memcheck|massif|cachegrind|callgrind|…>memcheck][поумолчанию:позволяет выбрать инструментMemcheckMemcheck – исторически первый инструмент Valgrind отладчик памяти, позволяет отслеживать следующие дефектыпрограммы:36утечка памяти – не освобождение памяти, выделенной в куче(ситуация, при которой для блока памяти, выделенногофункцией malloc/new, отсутствует вызов free/delete);обращение к памяти после ее освобождения;выход за границы выделенной памяти;использование неинициализированной памяти.В программе:#include <stdlib.h>int main(){char * p = malloc(10);p[10] = 1; // Ошибка – обращение к памяти «за»// выделенным блокомreturn 0;}memcheck, запущенный с помощью командной строкиvalgrind --leak-check=full ./a.outобнаружит выход за границы памяти и утечку (выделено жирным):==1671== Memcheck, a memory error detector==1671== Copyright (C) 2002-2010, and GNU GPL'd, by Julian Seward etal.==1671== Using Valgrind-3.6.1 and LibVEX; rerun with -h for copyrightinfo==1671== Command: ./a.out==1671====1671== Invalid write of size 1==1671==at 0x8048446: main (memcheck1.c:6)==1671== Address 0x17803a is 0 bytes after a block of size 10alloc'd==1671==at 0x59278: malloc (in/usr/local/lib/valgrind/vgpreload_memcheck-x86-freebsd.so)==1671==by 0x804843C: main (memcheck1.c:5)==1671====1671====1671== HEAP SUMMARY:==1671==in use at exit: 10 bytes in 1 blocks==1671==total heap usage: 1 allocs, 0 frees, 10 bytes allocated==1671====1671== 10 bytes in 1 blocks are definitely lost in loss record 1 of133==1671==at 0x59278: malloc (in/usr/local/lib/valgrind/vgpreload_memcheck-x86-freebsd.so)==1671==by 0x804843C: main (memcheck1.c:5)37==1671====1671== LEAK SUMMARY:==1671==definitely lost: 10 bytes in 1 blocks==1671==indirectly lost: 0 bytes in 0 blocks==1671==possibly lost: 0 bytes in 0 blocks==1671==still reachable: 0 bytes in 0 blocks==1671==suppressed: 0 bytes in 0 blocks==1671====1671== For counts of detected and suppressed errors, rerun with: -v==1671== ERROR SUMMARY: 2 errors from 2 contexts (suppressed: 0 from0)Для получения информации о строке, содержащей проблему,программа должна быть скомпилирована с отладочной информацией(опция gcc -g ).В начале каждой строки выводится номер процесса.Одной из опций memcheck является leak-check:--leak-check=<no|summary|yes|full> [по умолчанию: summary]Опция задает степень детализации отображения информации поутечкам памяти.

No – отсутствие контроля утечек. Full - полнаяинформация по утечкам с указанием конкретных проблемных мест вкоде. Summary и yes – промежуточные режимы.MassifMassif - профилировщик кучи (англ., heap) и стека (англ.,stack). Собирает статистику по использованию памяти в куче и стекечерез фиксированные промежутки времени.Для следующего примера программы:#include <stdlib.h>void f(){malloc(4000);malloc(4000);}int main(){int i;char * p[10];for(i = 0; i < 10; i++)38{p[i] = malloc(1000);}f();for(i = 0; i < 10; i++){free(p[i]);}return 0;}профилировщик, запущенный командной строкойvalgrind --tool=massif --time-unit=B ./a.outсформирует файл с именем massif.out.<PID процесса>, содержащийстатистику использования памяти.Для визуализации отчета можно использовать утилиту ms_print.Командаms_print massif.out.<PID процесса>приведет к выводу на экран графика использования памяти в куче:KB17.75^##|#|# :::|# : ::|# : : :::|::::::::::# : : : :::|:# : : : : ::|:# : : : : : :::|:# : : : : : : ::|::::::::::::# : : : : : : : :::|@@::# : : : : : : : :|@ ::# : : : : : : : : ::|:::@ ::# : : : : : : : : : @|::: @ ::# : : : : : : : : : @|:::: : @ ::# : : : : : : : : : @|:::: : : @ ::# : : : : : : : : : @|::: : : : @ ::# : : : : : : : : : @|:::: : : : : @ ::# : : : : : : : : : @|::: : : : : : @ ::# : : : : : : : : : @| :::: : : : : : : @ ::# : : : : : : : : : @0 +----------------------------------------------------------------------->KB027.67В режиме –time-unit=B сбор статистики производится черезфиксированное число выделенных / освобожденных байт (в режимепо умолчанию, предполагающем замеры расходования памяти через39фиксированные интервалы времени, график может получиться нечитаемым из-за продолжительных временных интервалов, в которыевыделение / освобождение памяти не производилось).

Символом «:»обозначается «нормальный» замер. «@» соответствует подробномузамеру, описание которого находится в листинге ms_print подграфиком. По умолчанию каждый 10-й замер является подробным.Частота замеров регулируется с помощью опции --detailed-freq. Знак«#» соответствует замеру с пиковым расходованием памяти.Под таблицей отображаются характеристики каждого замера:порядковый номер, время, текущий расход памяти, полезный расходпамяти, дополнительная память (обычно выделяется объем памятибольше запрошенного за счет использования памяти под системнуюинформацию либо выравнивание), размер стека. По детальнымзамерам также отображается вклад каждой функции в расходованиепамяти:Number of snapshots: 24Detailed snapshots: [9, 13 (peak), 23]-------------------------------------------------------------------------------ntime(B)total(B)useful-heap(B) extra-heap(B)stacks(B)-------------------------------------------------------------------------------00000011,0161,0161,00016022,0322,0322,00032033,0483,0483,00048044,0644,0644,00064055,0805,0805,00080066,0966,0966,00096077,1127,1127,000112088,1288,1288,000128099,1449,1449,000144098.43% (9,000B) (heap allocation functions) malloc/new/new[], --alloc-fns, etc.->98.43% (9,000B) 0x8048498: main (massif.c:16)-------------------------------------------------------------------------------ntime(B)total(B)useful-heap(B) extra-heap(B)stacks(B)-------------------------------------------------------------------------------1010,16010,16010,00016001114,16814,16814,00016801218,17618,17618,00017601318,17618,17618,000176099.03% (18,000B) (heap allocation functions) malloc/new/new[], --alloc-fns, etc.->55.02% (10,000B) 0x8048498: main (massif.c:16)|->22.01% (4,000B) 0x8048460: f (massif.c:5)| ->22.01% (4,000B) 0x80484AB: main (massif.c:19)|->22.01% (4,000B) 0x804846C: f (massif.c:6)->22.01% (4,000B) 0x80484AB: main (massif.c:19)-------------------------------------------------------------------------------ntime(B)total(B)useful-heap(B) extra-heap(B)stacks(B)-------------------------------------------------------------------------------1419,19217,16017,0001600401520,20816,14416,00014401621,22415,12815,00012801722,24014,11214,00011201823,25613,09613,0009601924,27212,08012,0008002025,28811,06411,0006402126,30410,04810,0004802227,3209,0329,0003202328,3368,0168,00016099.80% (8,000B) (heap allocation functions) malloc/new/new[], --alloc-fns, etc.->49.90% (4,000B) 0x8048460: f (massif.c:5)| ->49.90% (4,000B) 0x80484AB: main (massif.c:19)|->49.90% (4,000B) 0x804846C: f (massif.c:6)| ->49.90% (4,000B) 0x80484AB: main (massif.c:19)|->00.00% (0B) in 1+ places, all below ms_print's threshold (01.00%)В 13-м замере сообщается, что 18000 байт было выделено методамиmalloc, new и т.д., из них 10000 байт были запрошены в функцииmain в 16-й строке и еще 4000 байт были два раза запрошены в 5й и6й строках функцией f().Опция –stacks=yes включает режим профилирования размерастека (по умолчанию, выключен).CachegrindCachegrind – симулятор кэш-памяти и точек ветвления.Эффективность использования кэш-памяти процессором во многихслучаях оказывает существенное влияние на производительностьпрограммы.

При этом узкие места в использовании кэш-памятиобычно скрыты как за алгоритмами трансляции с языка высокогоуровня в ассемблер, так и за особенностями архитектурыпроцессора. Аналогичная ситуация обстоит с предсказанием точекветвления (англ., branch prediction) – механизмом, позволяющимповысить производительность программы за счет досрочногопредсказания и выполнения условных переходов в конвейернойархитектуре.В процессе симуляции работы кэш-памяти cachegrind собираетстатистику по числу промахов (англ., miss) и обращений (англ., ref)для следующих типов кэш-памяти:I1 – кэш команд 1-го уровняD1 – кэш данных 1-го уровня41LL – кэш последнего уровня2Информация об алгоритмах симуляции кэш и предсказаниипереходов приведена в документации на сайте разработчика.Некоторые опции cachegrind:--I1=<размер>,<ассоциативность>,<размер строки>Определяет размер, ассоциативность и размер строки I1 кэш--D1=<размер>,<ассоциативность>,<размер строки>Определяет размер, ассоциативность и размер строки D1 кэш--LL=<размер>,<ассоциативность>,<размер строки>Определяет размер, ассоциативность и размер строки LL кэш--cache-sim=no|yes [по умолчанию: yes]Симуляция и сбор статистики по кэш.--branch-sim=no|yes [по умолчанию: no]Симуляция и сбор статистики по точкам ветвления.Пример программы:#include <stdlib.h>#include <time.h>int main(){int i;int a[1000];double avg = 0.0;srand(time(NULL));for(i = 0; i < 1000; i++)a[i] = rand();for(i = 0; i < 1000; i++)avg += a[i];avg /= 1000;return 0;}2В современных процессорах используются двух- либо трехуровневая кэш-память.

В cachegrindсимулируется первый и последний уровень кэш, т.к. они оказывают наибольшее влияние напроизводительность.42Программа, скомпилированная в исполняемый модуль a.out,может быть проанализирована cachagrind с помощью следующейстроки запуска:valgrind --tool=cachegrind --branch-sim=yes ./a.outИнструмент сформирует следующую информацию:==2752== Cachegrind, a cache and branch-prediction profiler==2752== Copyright (C) 2002-2010, and GNU GPL'd, by NicholasNethercote et al.==2752== Using Valgrind-3.6.1 and LibVEX; rerun with -h for copyrightinfo==2752== Command: ./a.out==2752====2752====2752== Irefs:282,092==2752== I1 misses:412==2752== LLi misses:57==2752== I1 miss rate:0.14%==2752== LLi miss rate:0.02%==2752====2752== Drefs:136,029 (96,662 rd+ 39,367 wr)==2752== D1 misses:2,133 ( 1,685 rd+448 wr)==2752== LLd misses:1,838 ( 1,425 rd+413 wr)==2752== D1 miss rate:1.5% (1.7%+1.1% )==2752== LLd miss rate:1.3% (1.4%+1.0% )==2752====2752== LL refs:2,545 ( 2,097 rd+448 wr)==2752== LL misses:1,895 ( 1,482 rd+413 wr)==2752== LL miss rate:0.4% (0.3%+1.0% )==2752====2752== Branches:43,997 (40,660 cond + 3,337 ind)==2752== Mispredicts:3,032 ( 2,982 cond +50 ind)==2752== Mispred rate:6.8% (7.3%+1.4%)В файл cachegrind.out.<PID процесса> попадут значения счетчиковхарактеристик использовании кэш и предсказания точек ветвления:Ir, I1mr, ILmr, Dr, D1mr, DLmr, Dw, D1mw, DLmw, Bc, Bi,где «m» – означает «промах», «r»/«w» - чтение / записьсоответственно, Bc – условный переход, Bi – косвенный переход(переход по адресу, значение которого заранее неизвестно).Запуск инструмента аннотирования с помощью командыcg_annotate cachegrind.out.2752позволяет получить статистику с разбиением по функциям:Ir I1mr ILmrfile:functionDrD1mrDLmrDw D1mw DLmw43BcBcmBi Bim-------------------------------------------------------------------------------257,536 38234 86,500 1,683 1,423 33,227 400 376 38,580 2,923 3,329 44 ???:???17,03322 9,00911 4,0124636 2,0022200/usr/home/test/valgrind/cachegrind.c:main7,00000 1,00000 2,000000000 ???:randРежим построчного аннотирования позволяет оценитьэффективность использования кэш-памяти и предсказания точекветвления для строк исходных текстов и реализуется опцией –auto=yes:-- Auto-annotated source: /usr/home/test/valgrind/cachegrind.c-------------------------------------------------------------------------------Ir I1mr ILmrDr D1mr DLmrDw D1mw DLmwBc Bcm Bi Bim...........