(манипулирование файлами данных, выборка и обработка текста )

1. AWK(GAWK) (манипулирование файлами данных, выборка и обработка текста) Преподаватель: Петриков Владимир Дмитриевич

2. Инструмент прикладного программиста: строковый процессор AWK The AWK Programming Language, авторы Aho, Weinberger и Kernighan известны, как родоначальники языка C и операционной системы UNIX. много реализаций - разные ОС: UNIX, WIN, MAC Gawk - это GNU реализация AWK mawk, … - новыйAWK

3. ПРИМЕР 1 Разбор файлов задачного сервера 2006 -2008. Имеется Набор каталогов со сданными решениями и набор файлов с протоколами результатов Необходимы файлы – по именамстудентов по номерам задач

4. Значительная обычная доля работы программиста - преобразовании текстовых файлов: выделении из них определенных частей, преобразовании одних строк в другие, дописывании какой-либо информации, простейшие вычисления с данными, извлекаемыми из этих файлов и т.д., и т.п. Трудоемкость - тысячи строк текста Неунифицируемость - информация не структурирована Для эффективной работы в этой ''серой'' области давно предложен и с успехом применяется строковый процессор awk.

5. ПРИМЕР 2 Преобразование Списка для разных задач.

6. Почти C Для своих действий awk предоставляет в распоряжение программиста развитый язык программирования, напоминающий популярный язык программирования C. Входной язык процессора awk является в определенном смысле ''упрощенным'' C , предоставляя удобный операционный синтаксис для строковых операций, автоматическое преобразование строка-число, автоматический лексический разбор входного потока и т.п.

7. Бонус Одна из самых замечательных особенностей Perl состоит в том, что он представляет собой семантическое надмножество (как минимум) языкаawk. С практической точки зрения это значит, что если вы можете сделать что-либо вawk, вы сможете сделать это и в Perl.

8. Запуск awk-программы Если программа короткая, проще всего включить ее в команду выполнения awk: Linux: awk 'program' input-file1 input-file2 ... WIN: gawk “program” input-file1 input-file2 ... Если программа длинная, обычно удобнее записать ее в файл : gawk -f program-file input-file1 input-file2 ... нет input-file1 ввод со стандартного устройства ввода ( win: клавиатура , CTRL-Z )

9. Технология выполнения заданий ОС: Windows Файловый менеджер: Total Commander Задание : в отдельном каталоге Набор файлов: Zapusk.bat gawk -f p2.awkspisok.txt >new.txt Запуск примера из командного окнатекущего каталога: набрать в TotalCommander внизу - cmd Запуск: >zapusk Редактируем файлp2.awk

10. A B C E EOF - именованная последовательность логических записей, хранящихся на внешнем носителе. Файл запись конца файла Текущая позиция Предыдущая запись Следующая запись (RECORD) Запись - набор знаков, значений; читается или записываетсяцеликом.

11. поле1 FS поле 2 FS FS FS RS Работа awk AWK рассматривает входной поток данных : это записи(строки), разделенные специальными символами (RS - RecordSeparator) - переход на новую строку ('\n'). Запись (строка) считается разделенной на поля специальными символами (FS - FieldSeparator) - по умолчанию - символ пробела Строка <= 256 символов. $0 \n пробел

12. Структура awk-файла Программа на языке awk состоит из пар: образец     действие. (шаблон     действие) Каждая запись проверяется встроенным механизмом awk на соответствие заданному образцуи если текущая запись соответствует этому образцу, выполняется действие. , т.е. интерпретация входной информации идёт построчно …………. Входной Файл …………. выполняется много раз Программа см. Пример 3 - запуск из файла

13. шаблон      {действие } чего-то нет шаблон {действие} действие выполняется для каждой записи шаблон{ print } вывод всей записи для каждого шаблона Сравним примеры 3 и 3а /Иванов/ { if( $0~/Иванов/ ) print $0}

14. Общее в AWK образец     {действие} допускается использование в -- Поля (см.выше) для входных записей -- Переменные (стандартные, Массивы) -- Арифметические выражения

15. Образец (шаблон) -- Регулярное выражение -- Выражение отношения -- Комбинация образцов -- BEGIN и END

16. Действие предложения, разделенные ; или \n (новая строка) Вывод (Печать) Присваивание Управляющая структура Встроенная функция

18. Комментарии Общее в awk - начинаются с символа ``#'' и продолжаются до конца строки. # Print list of word frequencies { for (i = 1; i <= NF; i++) freq[$i]++ #массив слов } END { for (word in freq) printf "%s\t%d\n", word, freq[word] } pr4 pr4a

19. Поля Общее в awk строка ВВОДА состоит из полей строка: Первоеполе Второеполе ……… $0 $1 $2 …. $100$101 максимально Ссылается на всю строку целиком Запись (строка) считается разделенной на поля специальными символами (FS - FieldSeparator) - по умолчанию - символ пробела

20. Поля Общее в awk NR – Number of Record NF – Number of Fields число полей номер строки Record: Первоеполе Второеполе ……… Последнееполе $0 $1 $2 …. gawk “{ print NR }” new.txt gawk “{ print NR NF}” new.txt !!! Вывод Без пробела: NRNF

21. Переменные Общее в awk умолчание x = 1 - число = 0 x = “ab”- строка = “” y + “abc” - число y“abc” - строка

22. Поля как переменные Общее в awk $1 = "3" + $2 используем значение поля меняем значение поля n = 5 $(n+1) вычисляемый номер поля

23. Общее в awk Массивы не объявляются { x[1] = 1 x[3] = $0 } END{ print x[1] print x[3] } используются элементы массива, «как переменные» # подсчёт частоты слов { for (i = 1; i <= NF; i++) freq[$i] = freq[$i]+1#массив «слов» } индексация не числом, а полем (строкой)

24. Общее в awk Арифметические выражения Выражение < Операция> Выражение Переменная (Число - Строка) Число Строка Встроенная функция Выражение (константы) + - * / % остаток Операция склейка строк константы строка строка x = 1.2 - число z = “ab”“cde” z = “abcde” x = “ab”- строка

26. Образец (шаблон) -- Регулярное выражение -- Выражение отношения -- Комбинация образцов -- BEGIN и END

27. Регулярное выражение шаблон позволяет более точно описать класс строк, которые необходимо обработать или напечатать. Программа ( с пустым действием) /Иванов/ напечатает из текстового файла те строки, которые содержат подстроку "Иванов" ( в том числе и "Ивановский машиностроительный завод" ). см. Пример 3

28. ИСТИНА и ЛОЖЬв AWK из C ИСТИНА - любое число, отличное от 0 или любая непустая строка ЛОЖЬ – число 0 или пустая строка “” "0" – истина , т.к. строка не пустая

29. Выражение отношения шаблон < Выражение> < Принадлежность> < Выражение> < Выражение> < Лог. Операция> < Выражение> ~ Содержится !~ Не содержится < <= == != >= > n >= 5 $0~/Иванов/ $1 >= "s" в строке содержится “Иванов” s, t, u, v... строки, начинающиеся с символа s или следующих за ним по порядку

30. шаблон Логические операции < Выражение> < Лог. Операция> < Выражение> && Логическое И || Логическое ИЛИ ! Логическое НЕ (отрицание) $0~/Иванов/ || $0~/Петров/ n >= 5 && n<10 в строке содержится “Иванов” или “Петров” n = 5, 6, 7, 8, 9

31. BEGIN и END шаблон выполняется 1 раз BEGIN { } Входной файл выполняется много раз = количеству строк Программа END { } выполняется 1 раз BEGIN { printf “СТАРТ\n” } /Иванов/ END { printf “\nФИНИШ”}

32. Регулярное выражение /Иванов/ метасимволы (шаблоны) шаблон ^ $ [ ] - + * .(точка) \ ^ -- соответствует началу строки /^A/ - строки, начинающиеся на A $4 ~ /^Иванов/ $ -- соответствует концу строки. /A$/ отвечает строкам, заканчивающимся на A. $4 ~ /вна$/ "^$"соответствует пустой строке.

33. шаблон [ ] -- множество единичных символов [AWK] соответствует множеству из трех букв A, W, K G[AWK] представляет множество строк { GA, GW, GK } --- задаёт диапазон символов (нет переносимости POSIX!) [a-z] соответствует символам от a до z, {a b c d … y z} $4 ~ /^[А-С]/

34. шаблон + -- многократное ( не менее одного) повторение в образце символа, предшествующего + [1-9]00+ -- целые числа, делящиеся на 100 {100 200 …900 1000 …} *-- также многократное, но возможно также и нулевое повторение предыдущего символа. [1-9][0-9]* -- положительные целые числа. {1 2 … 10 …100 …} [1-9]00* -- целые числа, делящиеся на 10 {10 20 …90 100 …} ?-- однократное, но возможно также и нулевое повторение предыдущего символа. [1-9][0-9]?-- положительные целые числа до 99 {1 2 … 10 …99}

35. шаблон • .(точка) -- произвольный единичный символ • .*- обозначает произвольную • комбинацию символов. • "13." - 131 133 134 13_ 13\n 13 • \ -- отменяет специальное значение • последующего символа. • \$ - это символ $ • \\ - это символ \

36. Управляющие последовательности для символов ASCIIс кодами 0 - 31 \a 0x07 BEL Звуковой сигнал Bell \b 0x08 BS Забой Back Space \f 0x0C FF Перевод бланка Form Feed \n 0x0A LF Новая строка (перевод строки) (new line) Line Feed \r 0x0D CRВозвраткареткиCaridge Return \t 0x09 HT Табуляция (горизонтальная) \v 0x0B VT Вертикальная табуляция

37. Символы, используемые в разных «шаблонах» printf("Hello Word !!! \n"); как напечатать\ “ ? \\ 0x5c \ Обратная наклонная черта \/ / Прямая наклонная черта \' 0x27 ' Одинарная кавычка (апостроф) \" 0x22 " Двойная кавычка \? 0x3F ? Вопросительный знак Универсальный способ \ddd строка до трех восьмеричных цифр (0 - 377) \xdd строка шестнадцатеричных цифр (0 - FF)

39. Действие предложения, разделенные ; или \n (новая строка) Вывод (Печать) Присваивание n = 1 Управляющая структура Встроенная функция

40. действие Вывод (Печать) print - выводится вся запись + \n print $0 print $1, $2 - значения полей выводятся через пробел print $1 “abc” - выводится конкатенация значений полей print “”– выводитсяпустая строка формат вывода – по умолчанию

41. действие форматированный вывод printf format, item1, item2, ... функция sprintf(format, item1, item2, ...)

42. Управляющие операторы действие if (условие) оператор [ else оператор] while (условие) оператор do оператор while (условие) for (выражение1; выражение2; выражение3) оператор for (переменная in массив) оператор break continue delete массив[индекс] delete массив exit [ выражение ] { операторы }

43. if (если) действие if( условие ) действие if( условие ) действиеelseдействие Анализ условия на истинность, ==0 if (x % 2 == 0) print "x is even" else print "x is odd"

44. while (пока) действие while (условие ) действие выполнение действия пока значение условия !=0 проверка перед каждым выполнением { i = 1 while(i <= 3){ print $i i=i+1 } }

45. действие do (делай ) do действие while ( условие ) { i = 1 do { print $0 i++ } while (i <= 10) }

46. for (для) действие for (инициализация; условие; приращение) действие for (i = 1; i <= 100; i = i + 2) print i инициализациязадает инициализацию цикла while (условие) проверка перед каждой итерацией { действие приращениечасть итерации }

47. for (для) действие for (переменная in массив) действие # Пишем 1 для каждого встречного слова { for (i = 1; i <= NF; i++) used[$i] = 1 } # Ищем количество разных слов длиннее 10 знаков END { for (x in used) if (length(x) > 10) { num = num +1 } print num, "words longer than 10 characters" }

48. действие break (прерывание) – «досрочный» выход из цикла break - для do, while, for continue (продолжение) – новая итерация - выполнение нового цикла continue

49. Встроенные функции действие Математические функции exp() – экспонента log() - натуральныйлогарифм sqrt()- квадратный корень int() - целая часть числа

50. Строковые функции действие length(arg)- Функция длины arg. length - длина текущей строки substr(s, m, n) - Возвращает подстроку строки s, начиная с позиции m, всего n символов. index(s, t) - Возвращает начальную позицию подстроки t в строке s. (Или 0, если t в s не содержится.)