действие

AWK (GAWK) 2
(манипулирование файлами данных,
выборка и обработка текста )
Преподаватель:
Петриков Владимир Дмитриевич
Регулярное выражение
/Иванов/
метасимволы (шаблоны)
^ $ [ ] - + * .(точка) \
^ -- соответствует началу строки
/^A/ - строки, начинающиеся на A
$4 ~ /^Иванов/
$ -- соответствует концу строки.
/A$/ отвечает строкам, заканчивающимся на A.
$4 ~ /вна$/
"^$"
соответствует пустой строке.
шаблон
шаблон
[ ] -- множество единичных символов
[AWK] соответствует множеству из трех букв A, W, K
G[AWK] представляет множество строк { GA, GW, GK }
- -- задаёт диапазон символов
[a-z] соответствует символам от a до z, {a b c d … y z}
$4 ~ /^[А-С]/
не POSIX – нет переносимости (в Gawk-е не работает)
+ -- предыдущий символ присутствует в образце
многократно ( не менее одного раза)
шаблон
[1-9]00+ -- целые числа, делящиеся на 100
{100 200 …900 1000 …}
* -- предыдущий символ присутствует в образце
ноль или много раз
[1-9][0-9]* -- положительные целые числа.
{1 2 … 10 …100 …}
[1-9]00* -- целые числа, делящиеся на 10
{10 20 …90 100 …}
? -- предыдущий символ присутствует в образце
ноль или 1 раз
[1-9][0-9]* -- положительные целые числа до 99
{1 2 … 10 …99}
шаблон
.(точка) -- произвольный единичный символ
.* - обозначает произвольную
"13." \
комбинацию символов.
131 133 134 13_ 13\n 13
-- отменяет специальное значение
последующего символа.
\$ - это символ $
\/ - это символ /
Управляющие последовательности
для символов ASCII с кодами 0 - 31
\a
\b
\f
0x07 BEL Звуковой сигнал
0x08 BS Забой
0x0C FF Перевод бланка
\n
0x0A LF
\r
0x0D CR
Новая строка (перевод строки) (new line)
Line Feed
Возврат каретки
Caridge Return
\t
\v
0x09 HT
0x0B VT
Табуляция (горизонтальная)
Вертикальная табуляция
Bell
Back Space
Form Feed
Символы, используемые в разных «шаблонах»
printf("Hello Word !!! \n");
\\
\/
\'
\"
\?
0x5c
\
/
0x27 '
0x22 "
0x3F ?
как напечатать \ “ ?
Обратная наклонная черта
Прямая наклонная черта
Одинарная кавычка (апостроф)
Двойная кавычка
Вопросительный знак
Универсальный способ
\ddd
\xdd
строка до трех восьмеричных цифр (0 - 377)
строка шестнадцатеричных цифр (0 - FF)
Выражение
Действие
\с
^
$
.
Символ "с"
Начало строки
Конец строки
Любой символ
[s]
[^s]
r*
Любой символ из набора "s"
Любой символ, не входящий в набор "s"
Ноль или больше
r+
r?
(r)
r1|r2
Один или больше
Ноль или один
r , группировка, при конкатенации строк
r1 или r2
Классы символов POSIX
- для разных стран!
• [:alnum:] -- алфавитные символы и цифры = [A-Za-z0-9] для USA
• [:alpha:] -- символы алфавита = [A-Za-z]
• [:blank:] -- символы пробела и табуляции
• [:cntrl:] -- управляющие символы (control characters).
• [:punct:] -- символы пунктуации
• [:digit:] -- символы десятичных цифр = [0-9]
• [:xdigit:] -- символы шестнадцатиричных цифр = [0-9A-Fa-f]
• [:graph:]
• [:print:]
(печатаемые и псевдографические (видимые) символы) –
без пробела.
(печатаемые символы) + символ пробела
• [:space:] -- пробельные символы (такие как пробел и TAB, FF)
• [:lower:] -- алфавитные символы в нижнем регистре = [a-z]
• [:upper:] -- символы алфавита в верхнем регистре = [A-Z]
символьные классы POSIX ------ / [ класс ] /
в двойные квадратные скобки / [[:alnum:]] /
Область шаблона
pat1
, pat2
{...}
/Canada/ , /Brazil/
от
China 3692 866 Asia
Canada 3852 24 North America
до
USA 3615 219 North America
Brazil 3286 116 South America
BEGIN и END
выполняется
1 раз
BEGIN
Программа
выполняется
1 раз
END
BEGIN { printf “СТАРТ\n” }
/Иванов/
END { printf “\nФИНИШ”}'
выполняется
много раз
Входной
файл
BEGIN { printf "СТАРТ\n\n"}
/Иванов/ {n = n+1}
подсчет строк с /Иванов/
END { printf " %d \n", n
printf "\n\nФИНИШ"}
BEGIN
{
printf "СТАРТ\n\n”
}
WIN
BEGIN {
printf "СТАРТ\n\n”
}
Действие
предложения, разделенные ;
или \n (новая строка)
Вывод (Печать)
Присваивание
n=1
Управляющая структура
Встроенная функция
действие
Вывод (Печать)
print
print
-
выводится вся запись + \n
print $0
$1, $2 - значения полей выводятся через пробел
print $1 “abc” - выводится конкатенация значений полей
print “”
– выводится пустая строка
формат вывода – по умолчанию
действие
форматированный вывод
printf
функция
format, item1, item2, ...
sprintf(format, item1, item2, ...)
Управляющие операторы
действие
if (условие) оператор [ else оператор]
while (условие) оператор
do оператор while (условие)
for (выражение1; выражение2; выражение3) оператор
for (переменная in массив) оператор
break
continue
delete массив[индекс]
delete массив
exit [ выражение ]
{ операторы }
действие
if (если)
if( условие ) действие
if( условие ) действие else действие
Анализ условия на истинность, == 0
if (x % 2 == 0)
print "x is even"
else
print "x is odd"
while (пока)
действие
while (условие ) действие
выполнение действия пока значение условия != 0
проверка перед каждым выполнением
{
i=1
while( i <= 3) {
print $i
i=i+1
}
}
действие
do (делай )
do действие
{
}
while ( условие )
i=1
do {
print $0
i++
} while (i <= 10)
for (для)
действие
for (инициализация; условие; приращение) действие
for (i = 1; i <= 100; i = i + 2)
print i
инициализация
while (условие)
задает инициализацию цикла
проверка перед каждой итерацией
{
действие
приращение
}
часть итерации
for (для)
действие
for (переменная in массив) действие
# Пишем 1 для каждого встречного слова
{
for (i = 1; i <= NF; i++)
used[$i] = 1
}
# Ищем количество разных слов длиннее 10 знаков
END {
for (x in used)
if (length(x) > 10) {
num = num +1
}
print num, "words longer than 10 characters"
}
действие
break (прерывание) – «досрочный» выход из цикла
break
- для do, while, for
continue (продолжение) –
новая итерация - выполнение нового цикла
continue
Типы переменных и их преобразование
Переменные - числа с плавающей запятой
строки
или и то, и другое одновременно
a = 12
b = a ""
print a, b
print a + b
b= a "stroka"
print a, b
print a + b
Тип переменной зависит от контекста.
В числовых выражениях переменная - число,
в строковых
- строка.
12 12
24
12 12stroka
24
b= "stroka"a # b=0
print a, b
12 stroka12
print a + b
12
целые значения всегда
преобразуются как целые
По умолчанию
число = 0
строка = "" (пустая строка
pr6.bat
Операции
=
простое присваивание
x=y=z=5
(переменная = значение)
как в Си
арифметические
+ сложение
- вычитание
* умножение
/
деление - для вещественных чисел
% модуль (остаток при целочисленном делении)
^ возведение в степень ( ** )
-x
+x
унарный минус, отрицание
унарный плюс; выражение преобразуется в число
++ инкремент n++ - n = n+1
-- декремент n-- - n = n-1
могут быть префиксными и постфиксными
сложные виды присваивания
(операция и присваивание)
+=
-=
*=
/=
%=
^=
увеличить на
возведение в степень и присваивание
Условная Операция
условие ? if-true-exp1 : if-false-exp2
if(условие)
exp1
else
x >= 0 ? x : -x
exp2
берём положительное значение x
Побочные эффекты
b=6
print b += b++
или
b=6
b += ++b + b++
print b
не надо так писать!!!
Встроенные арифметические функции
Функция
Возвращаемое значение
exp(x)
log(x)
Экспоненциальная функция x
sqrt(x)
int(x)
sin(x)
Квадрат x
cos(x)
atan2(y,x)
rand()
srand(x)
Косинус x
Натуральный логарифм x
Целая часть x с усеченными лидирующими нулями
Синус x
Арктангенс y/x в пределах от "-пи" до "пи"
псевдо - Случайное число между 0 и 1
[0 1)
x - новое начальное значение для послед. rand( )
Если srand() не имеет аргументов, то начальное
значение производится из времени дня.
Встроенные строковые функции awk
Функция
Описание
length( [ s ] )
Возвращает длину s
sprintf( fmt, expr-list )
Возвращает expr-list, отформатированный в
соответствии с форматом строки fmt
(без печати)
index( s, t )
Возвращает позицию подстроки t в s:
0 - если t нет в s
split( s, a )
Разделяет s на массив a по FS; a[1], a[2], …
возвращает число полей
split( s, a, razdelit )
Разделяет s на массив a по razdelit;
возвращает число полей
( или $0 )
Строковые функции
length(arg) - Функция длины arg.
length- длина текущей строки
substr(s,m,n) - Возвращает подстроку строки s, начиная с позиции m, всего n
символов.
index(s,t) - Возвращает начальную позицию подстроки t в строке s.
(Или 0, если t в s не содержится.)
sprintf(fmt,exp1,exp2,...) - Осуществляет форматированную печать (вывод) в
строку, идентично PRINTF.
split(s,array,sep) - Помещает поля строки s в массив array и возвращает число
заполненных элементов массива. Если указан sep, то при анализе строки он
понимается как разделитель.
Встроенные строковые функции awk
Функция
Описание
sub(regexp,
Замещает первое regexp в текущей записи на
replacement_str, возвращает количество замен
replacement_str)
sub( reg , s , t )
Заменяет первое reg на s в строке t,
возвращает количество замен
substr( s , p )
Возвращает подстроку s, начиная с позиции p
substr( s , p , n )
Возвращает подстроку s, начиная с позиции p
длиной n
gsub( reg , s )
Глобальная замена reg на s в текущей записи;
возвращает количество замененных символов
gsub(reg , s , t )
Глобальная замена reg на s в строке t,
возвращает количество замененных символов
gensub( reg, s,
how [, target ] )
s – не меняется! Возвращается копия $0 [target]
с заменами, how должно быть - “g” | | “G” | |
номер совпадения с reg, для замены
Встроенные строковые функции awk
Функция
Описание
match(string,
regexp)
Возвращает индекс string, где встречается
regexp; 0 - если regexp не встретилось
strtonum(string)
возврат числового значения (dec, oct, hex)
( ~ 0 + str для dec)
tolower(string)
возвращает string,
преобразованную в нижний регистр
toupper(string)
возвращает string,
преобразованную в верхний регистр
Встроенные строковые функции awk
asort(source [, dest])
a["last"]
= "de"
a["first"]
= "sac"
a["middle"] = "cul"
- сортировка
asort(a)
a[1] = "cul"
a[2] = "de"
a[3] = "sac"
a["last"]
= "de"
a["first"]
= "sac"
a["middle"] = "cul"
n = asort( a , b )
b[1] = "cul"
b[2] = "de"
b[3] = "sac"