Коротко о главном
awk идеально подходит для файлов с колонками, журналов и простых отчётов. Программа состоит из шаблонов и действий, которые выполняются для каждой строки. В статье разберём поля, условия, агрегаты и собственные скрипты. Для примеров используется gawk, но базовый синтаксис совместим с другими реализациями.
awk заменяет длинные цепочки cut, grep и sort в типовых задачах. Он работает потоково и не требует загружать файл целиком. Встроенные массивы и арифметика позволяют считать статистику на лету. Это хороший инструмент для быстрых проверок и автоматизации.
awk — инструмент, который стоит освоить, если вы регулярно работаете в Linux. Ниже — путь от установки до уверенной повседневной работы: без предположений, что всё уже настроено само.
Зачем нужен awk
awk решает вполне конкретные задачи: awk — язык обработки текстовых таблиц и потоков, встроенный в Linux. Он умеет выбирать поля, считать суммы и строить отчёты без компиляции. Важно не превращать инструмент в самоцель — если задача проще решается штатными средствами системы, начните с них.
Установка
В Debian, Ubuntu и Linux Mint используется пакетный менеджер APT:
sudo apt install gawk
В Fedora и RHEL-совместимых системах пакет ставится через DNF:
sudo dnf install gawk
В Arch Linux и производных пакет доступен в официальных репозиториях:
sudo pacman -S gawk
Пошаговая настройка
После установки переходите к базовому сценарию. Команды ниже выполняйте от пользователя с достаточными правами, но не запускайте всё под root без необходимости.
1. Выведите нужные колонки
awk автоматически разбивает строку на поля по пробелам. Переменные $1, $2 и так далее содержат значения колонок. Команда print выводит выбранные поля через пробел.
awk '{print $1, $3}' data.txt
2. Отфильтруйте строки по условию
Шаблон перед блоком действия ограничивает обработку. В примере выводятся только записи, где третье поле больше 100. Числовое сравнение не требует преобразования типов.
awk '$3 > 100 {print $1, $3}' data.txt
3. Задайте разделитель полей
Флаг -F устанавливает разделитель входных полей. Для /etc/passwd это двоеточие. Переменная OFS задаёт разделитель в выводе, если нужно сохранить формат.
awk -F: '{print $1}' /etc/passwd
awk -F, 'BEGIN {OFS=","} {print $1, $3}' report.csv
4. Посчитайте сумму и среднее
Блок BEGIN выполняется до чтения данных, а END — после. Переменные можно накапливать по строкам и печатать итог в конце. Используйте printf для контроля количества знаков после запятой.
awk '{sum += $2} END {printf "Сумма: %.2f\n", sum}' data.txt
5. Соберите статистику по ключам
Ассоциативные массивы позволяют считать повторы без сортировки. Цикл for обходит ключи после обработки всех строк. Это удобно для анализа журналов доступа.
awk '{count[$1]++} END {for (k in count) print k, count[k]}' access.log
6. Сохраните программу в файл
Для сложной логики удобно хранить awk-программу отдельно. Shebang с -f позволяет запускать файл как обычный скрипт. Переменная FS задаёт разделитель, а NR > 1 пропускает заголовок.
#!/usr/bin/awk -f
BEGIN { FS = "," }
NR > 1 { total += $3 }
END { printf "Total: %.2f\n", total }
Практические советы
Эти рекомендации проверены на повседневных задачах. Начните с тех, которые закрывают вашу текущую боль, а не со всего списка сразу.
Совет 1. Используйте -v name=value для передачи параметров в awk без изменения
Используйте -v name=value для передачи параметров в awk без изменения текста программы.
Совет 2. printf предпочтительнее print, когда важен формат чисел или выравниван
printf предпочтительнее print, когда важен формат чисел или выравнивание столбцов.
Совет 3. NR — номер строки во всём входе, а FNR — номер строки в текущем файле.
NR — номер строки во всём входе, а FNR — номер строки в текущем файле.
Совет 4. Команда next пропускает оставшиеся правила для текущей строки и упроща
Команда next пропускает оставшиеся правила для текущей строки и упрощает фильтрацию.
Совет 5. Заключайте программу в одинарные кавычки, чтобы оболочка не раскрывала
Заключайте программу в одинарные кавычки, чтобы оболочка не раскрывала $1 и другие поля.
Практический сценарий
Представьте типовую задачу: нужно развернуть awk на одной машине, проверить работу и передать доступ коллеге. Начните с чистой системы или снапшота, чтобы результат был воспроизводим. Запишите все команды в отдельный файл — это одновременно шпаргалка и черновик будущей автоматизации.
Дальше действуйте короткими шагами: установка, минимальная конфигурация, проверка, затем расширение. После каждого шага фиксируйте, что именно изменилось и как это проверить. Такой журнал экономит время, когда через месяц понадобится повторить настройку на другом сервере или объяснить её коллеге.
Порядок работ для этого сценария выглядит так:
- Выведите нужные колонки
- Отфильтруйте строки по условию
- Задайте разделитель полей
- Посчитайте сумму и среднее
- Соберите статистику по ключам
- Сохраните программу в файл
Отдельно продумайте, что произойдёт при сбое. Для awk важно заранее знать, где хранятся данные, как их скопировать и сколько времени займёт восстановление. Если ответа нет, не двигайтесь дальше: сначала закройте этот пробел, потом добавляйте новые возможности.
Типичные ошибки
Ниже — сбои, которые встречаются чаще всего. Перед исправлением сохраните текущие конфиги и запишите, какие изменения вносите: так проще откатиться.
1. awk: syntax error at or near unexpected token.
Проверьте парность фигурных скобок и кавычек. Разделяйте шаблон и действие пробелом, а программу целиком заключайте в одинарные кавычки.
2. Числа с десятичной запятой считаются неправильно.
Запустите команду с LC_ALL=C или приведите разделитель к точке. Локаль влияет на разбор чисел в некоторых реализациях awk.
3. Поля разделены не так, как ожидалось.
Явно задайте -F или переменную FS. Для нескольких возможных разделителей используйте регулярное выражение.
4. Скрипт с shebang не запускается.
Сделайте файл исполняемым через chmod +x и проверьте путь к awk. Shebang должен содержать -f, например #!/usr/bin/awk -f.
Что проверить перед вводом в работу
Перед тем как считать настройку завершённой, пройдитесь по короткому списку. Он не заменяет полноценный аудит, но отсекает большинство очевидных проблем.
Чек-лист
- Версия awk зафиксирована, а обновления не применяются вслепую.
- Есть резервная копия конфигурации и данных, восстановление проверено.
- Доступ ограничен нужными пользователями и сетями, лишние порты закрыты.
- Логи и метрики собираются, понятно, куда смотреть при сбое.
- Изменения описаны в документации и могут быть повторены на другой машине.
- Есть план отката и понятный критерий, по которому вы решите его применить.
Если какой-то пункт вызывает затруднение, это сигнал вернуться к соответствующему разделу, а не откладывать проверку. Настройка, которую нельзя повторить, плохо работает не только у коллег, но и у вас самих через полгода.
Итог
awk — это не «поставил и забыл». Рабочая конфигурация складывается из понимания задачи, аккуратной установки и проверки результата. Начните с базового сценария, затем добавляйте только те возможности, которые действительно используете.