Язык обработки шаблонов AWK

Язык обработки шаблонов AWK

Используется для пакетной обработки текста на более детальном уровне, его средства позволяют выполнять работу с конкретными полями.AWK применим к текстовым файлам, которые имеют структуру таблицы

1. СТРУКТУРА awk-ПРОГРАММЫ

Программа состоит из операторов (правил), имеющих вид:

      шаблон {действие}

      шаблон {действие}

      . . .

Частные случаи:

{действие} - когда действие выполняется для всех строк.

Рекомендуемые материалы

шаблон - когда выводятся строки с данным шаблоном.

Действие может состоять из последовательности операторов, разделяемой ";" или переводом строки или закрывающей скобкой.

Формат шаблона:

$ №столбца ~ /регулярное выражение/

Возможны комментарии (как в shell "#.........").

Пример:

Напечатать строки, которые начинаются на а.

$ AWK ‘/^a/ {print;}’      f-awk

Существует два оператора специального вида ("BEGIN"- начальные установки и "END" - "последействия"):

BEGIN {действие}

      шаблон {действие}

      шаблон {действие}

      . . .

END {действие}

2. ВЫЗОВ awk

awk –f файл_с_программой

awk ‘программа’

Пример1.

Определить размер файлов в текущем каталоге, имя которого начинается на “е”.

$ ls –l | AWK ’BEGIN {a=0;} | $8`  |^e.*|{a+=$5} END {print a;}’

Пример2.

$ ls –l | AWK ’BEGIN {a=0;}

{ if (NF>2)           # число полей в текущей строчке

{a++; M [a]=$8;} # записывает все файлы в массив

}

END { for (i=1; i<=a; i++ ) print i, M[i] }’

3. awk-ПЕРЕМЕННЫЕ И ВЫРАЖЕНИЯ

В языке awk выделяются две группы переменных: предопределенные и декларированные в программе. Исходные значения предопределенных переменных устанавливаются интерпретатором awk в процессе запуска и выполнения awk-программы.

К предопределенным относятся:                                                        Умолчания:

NR                                   номер текущей строки;

NF                                    число полей в текущей строке;

RS                                    разделитель строк на вводе;                       ""

FS                                     разделитель полей на вводе;                      пробел и/или табуляция

ORS                                 разделитель строк на выводе;                    RS

OFS                                  разделитель полей на выводе;                   FS

OFMT                  формат вывода чиcел;                                 "%.6g"

FILENAME                    имя входного файла.

4. SPLIT

Разбивает строку заданным символом, добавляет поле.

Пример:

Найти все Дни Рождения

-------------------------------------

Валя  25/09/2006 |   20060925

--------------------------------

Добавить поле для сортировки по ДР

Awk ‘{D=split(“/” , $2);

Printf(“%s  %s  %d%d%dn”,$1,$2,D[2], D[1], D[0]);}’

Компиляторы

СС            Cи Компилятор

$ cc t.c                 файл с программой

$ ./a.out     результат вышенаписанного – созданный исполняемый файл

$ cc -о t t.c           t-имя исполняемого файла

$ ./t

-l<библиотека>   подключить библиотеку

-L<пусто>                       путь, где хранится библиотека

-I<пусто>            указываются каталоги для поиска файлов, заданных #include <Ф.h>

-D name [=def ]   задается макрос

-g                          добавить отладочную информацию

                             gdb      отладчик

                             strip чистит отладочную информацию

-с                          сделать только объектный файл

-О                         задать уровень оптимизации

-shared                             подключает разделяемые библиотеки

-static                               подключает статические библиотеки

-fPIC                                генерируется позиционно-независимый код (для создания                                                     разделяемых библиотек)

Отладка программ

Необходима для разрешения ошибок алгоритмов, в частности, зацикливания, неправильного формирования индекса массива и значения указателя (утечка памяти), неверных значений переменных.

Отладка без отладчика

Если отладчик недоступен, используется выдача отладочной информации (значения переменных, этапы выполнения) в файл или стандартный выход. Для того, чтобы отладочную информацию впоследствии не пришлось очищать, используются инструкции препроцессора.

f(int x) {return x+2;}

main () {

int i, r;

#ifdef DEBUG                            (1)

printf(“Begin n”);

#endif

for (i=0; i<10; i++) {

      #if DEBUG > 1                     (2)

      printf(“i=%dn”, i);

      #endif

      r=f(i);

      #if DEBUG > 2                     (3)

      printf(“f(i)=%dn”, r);

      #endif

}

#ifdef DEBUG                            (1)

printf(“End n”);

#endif

}

При отладке определяем макрос:

#define DEBUG  //будет исполняться (1)

Либо при компиляции:

cc-o ex ex.c –DEBUG=2

Отладчик

Функции отладчика:

· пошаговое выполнение программы

· выдача значений переменных

· запуск программы

· установка точек прерывания

· продолжение выполнения

Отладчик gdb

cc –g …

gdb <имя исполняемого кода>

Далее функционирует  отладчик в режиме командной строки.

help - помощь

run – запуск программы

break – установка точек прерывания

      break  <№строки исх. кода>

      break <имя функции>

      break main отладка с самого начала

continue – продолжить выполнение до следующей точки прерывания или до конца

step – пошаговое выполнение с заходом в функции

next – пошаговое выполнение без захода в функции

print  <имя переменной> - выдача значений переменнох

Отладка готового кода

strace – трассирует системные вызовы программ

      strace <имя исполняемого кода>

      strace –p <№ процесса>

Системный вызов ptrace (один из способов взаимодействия процессов) позволяет родительскому процессу управлять выполнением порожденных, а также исследовать и менять данные в образе процессов и значения регистров

ptrace(<действие>, <№процесса>, <адрес>, <данные>)

Действия:

PTRACE_ATTACH                   подцепиться к процессу

PTRACE_DETACH                   отцепиться

PTRACE_TRACEME

PTRACE_KILL              уничтожение

PTRACE_PEEKTEXT   вернуть данные, записанные в адресе в области текста

PTRACE_PEEKDATA  вернуть данные, записанные в адресе в области данных

PTRACE_CONT             продолжить выполнение

PTRACE_SINGLSTEP

PTRACE_SYSCALL

Выполнение отладчика и отлаживаемой программы синхронизируется с помощью сигналов.

Профилирование программ

 - это сбор статистической информации о времени выполнения отдельных частей программы

time <>

time cat f1.txt

gprof

cc –pg

Пример.

############

cycl5() {

int i

for (i=0; i<100000000; i++)

      cycl0();

}

cyci1() {

int i

for (i=0; i<100000000; i++)

}

cycl0() {

int i

for (i=0; i<5; i++)

}

Main() {

cycl1();

cycl5();

}

###########

После вызова gprof

Здесь:

Накопл. секунд – время, прошедшее с момента начала выполнения программы.

Своих секунд – время собственного выполнения

Общее время – время, прошедшее с вызовом функций

Собственное время вызова – время, прошедшее без вызова функции

Построение библиотек с использованием СС

      ##### Kv.c #######

      Kv(int x)

      {

      Return(x*x);

      }

      ################

      ##### T.c #######

      Main()

      {

      Printf(“%d”,Kv(9));

      }

      ################

Сначала создаётся статическая библиотека:

$ cc –o kv.o –c kv.c         компиляция

$ ar r libkv.a kv.o             создаём статическую библиотеку

$ ranlib libkv.a                 подготавливаем библиотеку к использованию

$ cc –o t t.c –L. –lkv

Создание разделяемых библиотек:

$ cc –c –fPIC kv.c           PIC позиционно независимый код.

$ cc –shared –o libkv.so ––fPIC kv.o

$ cc –o t t.c –L. –lkv

При запуске библиотека будет искаться в :

/lib

/usr/lib

/etc/ld.so.conf                              включается программа ldconfig

LD_LIBRARY_PATH               переменная среды

ldd t                                                         выводит динамические библиотеки, которые                                                                           используются в t

Команда Make и её Makefile

 - задаёт правила компиляции.

Утилита 'make' предназначена для автоматического определения частей большой программы, которые необходимо перекомпилировать.

Обычно инструкция для работы make содержится в файле с именем 'Makefile'.

#!/bin/make

OBJ=        “t.o kv.o”                    создаём переменную OBJ, указывая все объектные файлы

kv.o : kv.c

      cc –o kv.o –c kv.c

t.o : t.c

       cc –o t.o –c t.c

#Можно задать следующим образом 

# %oO : %C                                 %O цель         %С зависимость

#cc –o $@ -c $<

Делаем исполняемую программу

 t : ${OBJ}

 cc –o t ${OBJ}

Удаление временных файлов

Clear:

       rm *.o *.b

Вызов:

$ make t

Взаимодействие процессов и сокеты

Listen                   прослушивание порта

Accept                  Приём соединения. Создаёт для достижения соединения новый сокет.

##### Client #########

#include <sys/type.h>

#include <sys/socket.h>

#include <netinet/in.h>

main()

{

 int sd;

 struct sockaddr_in tss_addr;

 sd=socket(AF_INET,SOCK_STREAM,0);

 tss_addr.sin_family=AF_INET;

 tss_addr.sin_port=htons(45000); //номер порта

 tss_addr.sin_addr.s_addr=inet_addr("127.0.0.1");

 connect(sd,&tss_addr,sizeof(tss_addr));

 write(sd, ”hello” ,6 ) ;

}

###################

##### Server #########

main(){

int sd, ns;

int buf_ben;

char buff[256] ;

    struct sockaddr_in s;

    struct sockaddr_in c;

    int c_len;

    sd = socket(AF_INET, SOCK_STREAM, 0); // TCP-протокол

      soc.sin_family = AF_INET;

      soc.sin_port = htons( 45000 );

      soc.sin_addr.s_addr = inet_addr("127.0.0.1");

      bind(sd,&s,sizeof(s));

      listen(sd,1);

      for(;;)

      ns = accept(sd, &soc, &c_len)

          if ( fork()==0)

          {

                close(sd);

          read(ns, buff,256 );

          printf("%s",buff);  

          exit(1);

          }

   close(ns);

      }

}

###################

Обслуживание множества запросов

· Обслуживание систем, которые работают со многими каналами

· Работа с устройствами без прерываний

Системный вызов позволяет обслужить несколько запросов select.

SELECT (число на 1 больше Max/номера дескриптора во множествах/, множество дескрипторов для чтения , множество дескрипторов для записи , множество дескрипторов для ошибок исполнения , тайм аут)

Тайм аут – сколько ждать события, если NULL- ждать до «победы».

Возвращает номер множества ,в котором сработал дескриптор. Во множестве остаются дескрипторы которые сработали.

Ожидаются строки из именованного канала

###############

Int dset ;

Mknode tpip p;     #создание именованного канала

Int fd;

fd=open(“tpip”, O_RDONLY| O_NONBLOCK);

for (;;)

{

FD_ZERO(&dset);

FD_SET(fd,&dset);

FD_SET(sd,&dset);

if (select (5,&dset,NULL,NULL,NULL)!=1) continue ;

if (FD_SET(sd,&dset)) ns=accept(…);

else if  (FD_ISSET(fd,&dset)) {ns=dup(fd);

close(fd);

fd=open(“tpip”, O_RDONLY| O_NONBLOCK);

}

.

.

.

}

###################

                            

Нити = threads, лёгкие процессы.

Что создаётся с помощью fork() – это тяжёлые процессы.

Минусы:

- Затрудненное совместное использование данных;

- Проблемы синхронизации ;

- Порождение процесса ресурсоёмкое ;

- Накладные расходы на переключение процессов.

Для решения проблем fork() используется нити. Они выполняются в том же адресном пространстве что и породивший процесс, имеют отдельные: программный сигнал, стек, маску обработки сигналов,  errno – номер ошибки.

Нити выполняются в режиме корпоративной многозадачности, что решает проблему синхронизации.

Schedule – планировщик.

Pth – библиотека для нитей. Использует clone, она эмулирует API POSIX.1c.

Состояния нити:

Основные функции работы с нитями:

Pth_init()              инициализирует библиотеку;

Pth_kill()              убивает библиотеку;

Pth_ctrl(запрос, аргументы)      информация о нитях : число нитей, приоритет, имя.    

Pth_attr_init(атрибуты)              инициализирует атрибуты

Pth_attr_set(атрибуты, поле, значение)          

Нить = Pth_spaw (атрибуты, функции, аргументы ) создание нити;

Pth_suspend()      зарезервировать нить

Pth_resume()        задействовать ранее зарезервированную нить

Pth_yield()           передает управление нити или планировщику

Pth_exit(значение)  завершение нити.            

######## Threads #########

Static void *nit (void *n)

{

      int a=(int) n;

      for (int i=0;;i++) {printf(“%d”,a);

                                   if(i%5==0)pth_yield(NULL)

                                         }

}

      Main()

{

Pth_attr_t attr;

Pth_init();

Attr=pth_attr_new();

Рекомендуем посмотреть лекцию "5.4 Текстовые области".

Pth_attr_set(attr, PTH,ATTR_NAME, “nit”);

Pth_spawn(attr,nit,34);

Pth_spawn(attr,nit,75);

Pth_sleep(10);

}

########################