Типичные приемы работы

---

Что такое скрипты, зачем они нужны и как их делать

Что такое скрипт

Скрипт -- это программа на языке shell. Вместо термина скрипт иногда используется термин сценарий.

Скрипт в Unix -- это практически то же самое, что командный файл в Dos (.bat-файлы) и VMS (.com-файлы). Отличие в том, что, поскольку скрипты являются обычными программами, то вызываются они просто по имени (а не специальной командой типа "call" или "@"), могут иметь произвольное имя (специальное расширение типа .bat не нужно), и нет ограничений на глубину вызовов скриптов из других скриптов.

Простейший скрипт -- это несколько обычных команд shell, которые должны выполняться последовательно.

При обычной работе в командной строке shell зачастую приходится писать довольно длинные команды, постоянно набирать которые заново в конце концов попросту надоедает (да и вероятность допустить опечатку тем выше, чем длиннее команда). Некоторые последовательности команд приходится повторять также все снова и снова. Вот такие команды и их последовательности и являются хорошими кандидатами для помещения в скрипты, чтобы потом их можно было вызвать по короткому имени.

Язык shell, однако, довольно мощный -- он позволяет работать с переменными, содержит конструкции типа "while", "for", "if-then-else", функции и другие атрибуты, присущие языкам структурного программирования. Это позволяет выполнять на shell достаточно сложные действия. Многие программы в Unix являются именно скриптами -- например, startx и больщинство программ, выполняющих инициализацию/останов системы (они расположены в /etc/rc.d/).

Хотя термин "скрипт" обычно подразумевает сценарий на языке shell, в Unix есть и другие скрипт-языки, зачастую специализированные. Все они объединяются тем, что являются интерпретаторами -- т.е. программа является текстовым файлом, который исполняется сразу же, не требуя предварительной компиляции в бинарный файл.

В многообразном мире Unix у такого подхода есть большое достоинство: один и тот же скрипт может без всяких изменений использоваться в разных видах Unix (в том числе и браться ими непосредственно из одного файла -- например, по NFS).

Как сделать скрипт

Как говорилось выше, простейший скрипт -- это несколько команд shell, записанных в файл. Создавать файлы скриптов удобнее всего в текстовом редакторе, но можно и при помощи команды "cat >файл" -- при этом cat принимает ввод с клавиатуры до нажатия <Ctrl+D>.

Чтобы дать понять системе, что это исполняемый файл (программа), надо установить для него атрибут "x".

Пример: создание скрипта, содержащего команду "ls -l | less":

bobby:~% cat >lls
ls -l | less
<Ctrl+D>
bobby:~% ls -l lls
-rw-r--r--   1 ivanov   lab5           13 May 14 17:36 lls
bobby:~% chmod +x lls
bobby:~% ls -l lls
-rwxr-xr-x   1 ivanov   lab5           13 May 14 17:36 lls
bobby:~% _

Запустить затем этот скрипт можно, набрав "./lls".

Но, находясь в другой директории, придется вызывать этот скрипт по полному имени (например, "~/lls"), что довольно неудобно. Поэтому следует поместить такую "свежесделанную" программу в одну из директорий, перечисленных в переменной окружения PATH.

Чтобы у каждого пользователя была возможность создавать и удобно запускать свои программы, в переменной PATH всегда присутствует ссылка на поддиректорию bin/ в home-директории пользователя:

bobby:~% echo $PATH
/usr/local/bin:/bin:/usr/bin:/usr/X11R6/bin:/home/users/ivanov/bin
bobby:~% _

Если в home-директории bin/ отсутствует, то ее надо просто создать командой "mkdir ~/bin".

Скрипты (как, впрочем, и любые другие программы), расположенные в ~/bin/, вызываются просто по имени:

bobby:~% lls
zsh: command not found: lls
bobby:~% mkdir bin
bobby:~% mv lls bin/
bobby:~% lls
...Запускается скрипт lls...

Если в первой строчке скрипта стоит "#!/bin/sh"...

Поскольку скрипты написаны на языке shell, то они должны исполняться (интерпретироваться) какой-то программой. По умолчанию в качестве интерпретатора система использует /bin/sh.

Но можно явно указать интерпретатор, если в начале самой первой строки файла поставить символы "#!" ("решетка" и восклицательный знак), а затем -- полный путь к программе-интерпретатору. Например, чтобы воспользоваться в скрипте дополнительными возможностями, предоставляемыми zsh по сравнению с sh, надо поставить первой строкой

#!/bin/zsh

Таким образом, при отсутствии "#!" система ведет себя так, как если бы там стояло "#!/bin/sh". Вообще говоря, хорошим тоном считается в обычных shell-скриптах ставить эту строку, хотя она и не обязательна -- тогда по файлу сразу ясно, что он является shell-скриптом.

В скриптах на других языках в первой строке обязательно указывается программа-интерпретатор -- например, для Perl -- "#!/usr/bin/perl".

Скрипты с параметрами

Поскольку обычные программы могут вызываться с некоторыми параметрами (например, "ls /etc"), то рано или поздно такая же необходимость возникает и в скриптах.

Для подстановки значения первого указанного параметра используется название "$1", второго -- "$2" и т.д. -- аналогично массиву "argv[]" в программах на языке C. Таким образом, если переделать наш скрипт lls из

ls -l | less

ls -l $1| less

Специальное название "$*" означает "все параметры". Таким образом, если переделать наш скрипт в

ls -l $* | less

lls /bin /usr/bin /usr/local/bin

ls -l /bin /usr/bin /usr/local/bin | less

Использование переменных

Как известно из теории программирования, практически любая программа рано или поздно потребует для гибкости использования переменных.

Переменные в языке shell -- это почти то же самое, что переменные окружения. В отличие от таких языков, как C или Pascal, все переменные в shell -- строковые (а не числовые).

Для присвоения переменной значения служит конструкция вида

ИМЯ=значение

Если присваиваемое переменной значение содержит пробелы или какие-либо символы, имеющие специальный смысл для shell (*, <, >, & и т.д.), то значение надо заключить в кавычки.

Для получения значения переменной используется конструкция $ИМЯ (в отличие от Makefile, скобки вокруг имени указывать не следует).

Заметьте, что это очень похоже на использование параметров $1, $2 и т.д. -- для shell они являются псевдопеременными ("псевдо" потому, что значения их изменять нельзя).

Таким образом, и использованием переменных наш скрипт можно переписать следующим образом:

LS="ls -l"
VIEWER=less

$LS $* | $VIEWER

(Конечно, не самый осмысленный пример, но весьма наглядный.)

Другие скрипт-языки

Кроме shell, в Unix существует еще довольно много языков для скриптов. В таблице ниже приведены наиболее распространенные и частоиспользуемые из них.

Замечание. В данной таблице перечислены стандартные пути к интерпретаторам, но в некоторых дистрибутивах они могут и отличаться.

Где можно почитать про создание shell-скриптов

Хорошим пособием является книги Б.Керниган, Р.Пайк "UNIX - универсальная среда программирования", главы 3-5, и У.Дэвис "Операционные системы", М., Мир, 1986.

В качестве справочника по конструкциям языка shell стоит использовать man-страницу на sh или bash (собственно, именно bash "работает" в Linux в качестве sh, в этом легко убедиться при помощи команды "ls -l /bin/sh").

Псевдонимы (aliases)

Для простых частоиспользуемых команд необязательно создавать скрипт -- достаточно сделать "псевдоним" (alias).

Shell всегда проверяет самое первое слово каждой команды (т.е. собственно имя команды), не является ли оно псевдонимом, и если да, то заменяет его "значением" псевдонима.

К примеру, если сделать "ll" псевдонимом для "ls -l", то команда

ll /etc

ls -l /etc

Для определения псевдонимов используется оператор alias. Пример:

alias ll='ls -l'

Посмотреть список псевдонимов можно командой alias без параметров:

bobby:~% alias
ls='/bin/ls --color=tty -F -T 0'
run-help=man
which-command=whence
bobby:~% _

"Разопределить" псевдоним можно командой unalias:

bobby:~% alias
ls='ls --color=tty -F -T 0'
run-help=man
which-command=whence
bobby:~% alias ll='ls -l'
bobby:~% alias
ll='ls -l'
ls='ls --color=tty -F -T 0'
run-help=man
which-command=whence
bobby:~% unalias ll
bobby:~% alias
ls='/bin/ls --color=tty -F -T 0'
run-help=man
which-command=whence
bobby:~% _

У псевдонимов есть две уникальных особенности. Во-первых, shell проверяет, не псевдоним ли это, до того, как начнет искать команду с таким именем. Во-вторых, после "подстановки" значения псевдонима первое слово получившейся команды опять проверяется на предмет того, не является ли оно псевдонимом, но "уже найденные" псевдонимы при этом не учитываются.

Таким образом, можно определить псевдоним с именем уже существующей команды, слегка модифицировав ее поведение или даже полностью заменив ее. В приведенном выше примере команда ls модифицирована так, чтобы всегда автоматически указывались коючи "--color=tty", "-F" и "-T 0".

Поскольку значения псевдонимов также проверяются на псевдонимы, то в приведенном примере при использовании псевдонима ll команде ls будут указываться дополнительные ключи.

Что такое временное исполнение

Под временным исполнением понимается способность системы исполнять указанные команды в указанное время без участия пользователя. При этом требуется лишь, чтобы был включен компьютер и загружена операционная система.

Есть два варианта временного исполнения: однократное исполнение команд в указанный день в указанное время (команда at) и периодическое исполнение одних и тех же команд -- например, раз в сутки (команда crontab).

В обоих случаях можно запускать только неинтерактивные команды -- т.е. такие, которые не взаимодействуют с терминалом, т.к. команды запускаются "сами по себе", без терминала. Хотя, в принципе, можно запускать таким образом X-программы, делать это следует с осторожностью.

Команда at позволяет указать системе, что некую последовательность команд (реально -- скрипт на языке shell) надо исполнить в указанное время. Этот набор команд называется заданием. ("At" в переводе означает "в", т.е. "исполнить В такое-то время".)

Формат вызова at следующий:

at [-f файл-содержащий-команды] <время>

Если есть ключ "-f", то at считает скрипт из указанного файла, если нет -- то со стандартного ввода (обычно с клавиатуры, завершить ввод при этом надо комбинацией <Ctrl+D>).

Время исполнения можно указывать несколькими способами -- почти что на обычном английском языке. Во времени можно указывать собственно время суток и день.

Ниже приведено несколько примеров указания времени. При этом предполагается что они указываются в субботу, 15 мая 1999 года в 18:10.

День указывается после времени. Если день не указан, то подразумевается текущий день или, если это время уже прошло (как во втором примере), следующий. Аналогично, если указанные месяц/день уже прошли, то считается, что они относятся к следующему году.

Пробелы в указании времени неважны, а перед годом обязательно должна стоять запятая.

Если указывается уже прошедшее время, то разные системы ведут себя по разному -- к примеру, в ответ на "03:00 saturday" Linux выполнит скрипт немедленно, а Irix скажет "too late".

Приведенных примеров обычно достаточно, но если хочется посмотреть полную спецификацию формата указания времени, то она есть (в виде специальной формы нотации Бэкуса-Наура) в файле

/usr/doc/at-3.1.7/timespec

Пример использования at:

bobby:~% whoami
ivanov
bobby:~% at 23:00 today
at> who
at> <EOT>
warning: commands will be executed using /bin/sh
job 12 at 1999-05-15 23:00
bobby:~% _

В этом примере в 11 часов вечера текущего дня будет выполнена команда who (показывающая список пользователей), а результат ее исполнения будет отправлен пользователю "ivanov@bobby".

При чтении списка команд не из файла (т.е. без ключа "-f"), at предваряет каждую вводимую строку приглашением "at>". Символы "<EOT>" показывают то место, где мы нажали <Ctrl+D>.

В конце at печатает напоминание, что скрипт будет выполняться при помощи интерпретатора /bin/sh, а также идентификатор задания и время исполнения в виде "год-месяц-день часы:минуты".

Идентификатор задания служит для дальнейших ссылок на него -- он показывается в листинге заданий и должен указываться при необходимости удалить задание. В разных системах идентификаторы заданий имеют разный формат -- в Linux это просто последовательно увеличивающееся число, а в других системах оно может, к примеру, иметь вид "926798400.a" или "947883600.a+500".

Для просмотра списка заданий служит команда atq:

viper:~% atq
12      1999-05-15 23:00 a
viper:~% _

Она отображает номер задания, время исполнения и номер очереди, в которой оно находится. По умолчанию все задания помещаются в очередь "a". У исполняющихся в данный момент заданий вместо очереди отображается символ "=":

bobby:~% at now
at> sleep 120
at> w
at> <EOT>
warning: commands will be executed using /bin/sh
job 14 at 1999-05-15 19:05
bobby:~% atq
12      1999-05-15 23:00 a
14      1999-05-15 19:05 =
bobby:~% _

(Команда sleep "спит" (т.е. ничего не делает) в течение указанного количества секунд.)

Удалить задание из очереди можно командой atrm, ей указывается идентификатор задания:

bobby:~% atq
12      1999-05-15 23:00 a
bobby:~% atrm 12
bobby:~% atq
bobby:~% _

При попытке удалить уже исполняющееся задание выдается сообщение "Warning: deleting running job", и хотя задание из очереди удаляется, оно продолжает исполняться.

Просмотреть содержимое задания можно командой "at -c". Ее выдача довольно показательна: в начало скрипта добавляется настройка переменных окружения (т.е. всем переменным окружения, существующим на момент запуска at, присваиваются такие же значения).

Замечание. В системах клона SystemV (таких, как Solaris и IRIX) вместо команды atrm используется "at -r", а вместо atq -- "at -l". Команда "at -c" в них не поддерживается.

Периодическое исполнение команд -- crontab

Для периодического исполнения команд служит подсистема Cron, а команда для редактирования списка команд используется команда crontab. (Слово "cron" -- это сокращение от "chronograph".)

У каждого пользователя для управления периодическим исполнением своих команд есть собственный так называемый crontab-файл ("crontab" -- "CRON driving TABle" -- "таблица управления Cron'ом). Этот (изначально пустой) файл расположен в недоступной для самого пользователя директории, и может просматриваться и редактироваться только при помощи команды crontab.

У команды crontab есть четыре варианта вызова:

Для редактирования по умолчанию вызывается vi (причем в RedHat 5.2 crontab его не находит и "обламывается"). Чтобы использовать другой текстовый редактор (например, joe), надо указать его в переменной окружения EDITOR:

bobby:~% export EDITOR=joe
bobby:~% crontab -e

В каждой строке crontab-файла указывается команда и периодичность ее запуска. Пустые строки и строки, начинающиеся с символа "#", игнорируются.

Каждая строка состоит из шести полей, разделенных пробелами или символами табуляции. Формат строки следующий:

Минута Час ДеньМесяца Месяц ДеньНедели Команда

Например, строка

0 23 * * 0 /usr/bin/who

Команды могут быть любыми, а не только скриптами. Вообще говоря, могут указываться любые сложные команды, допустимые в языке shell, в том числе содержащие перенаправление ввода/вывода. Но команды следует указывать с полным путем -- т.е. /home/users/ivanov/bin/mystatcmd, а не просто "mystatcmd". (Другой вариант -- присвоить в начале crontab-файла значение переменной окружения PATH, но мы это рассматривать не будем.)

Замечание. Узнать полный путь программы можно при помощи команды which. Например, команда "which finger" выдаст "/usr/bin/finger".

Месяцы нумеруются с 1 по 12, дни недели -- с 0 по 6 (0 -- воскресенье, 1 -- понедельник, 6 -- суббота). В Linux месяцы и дни недели можно указывать трехсимвольными именами (т.е. Jan, Feb, Mar...; Sun, Mon, Tue...).

Cron исполняет команду тогда, когда значения всех полей Минута, Час, Месяц и ДеньНедели или ДеньМесяца совпадают с текущим временем. Символ "*" означает "любое" или "каждое". Можно указывать несколько значений через запятую, например "10,30,50" в поле Минута означает "в 10, 30 и 50 минут". Допускаются также диапазоны через дефис, например, "1-5" в поле ДеньНедели означает "с понедельника по пятницу".

Для указания дня служат два поля: ДеньМесяца и ДеньНедели. Команда будет запускаться, когда значение любого из этих полей совпадает с текущим днем. Например, строка

30 4 1,15 * 5 /usr/bin/vmstat

Несколько примеров:

# Запускать df каждый день в 7:00 утра 
0 7 * * * /bin/df

# Заказывать кофе каждый рабочий день в 10:00, 13:00 и 17:00
0 10,13,17 * * 1-5 echo Now| mail -s "Coffee, please" waitor@restaurant

# Производить подсчет своего бюджета 6 и 21 числа каждого месяца
0 14 6,21 * * /home/users/ivanov/bin/calcbudget

Очень хорошая и полная документация на crontab-файлы есть в man-странице crontab(5) (т.е. для просмотра надо набрать "man 5 crontab").

Замечание. В старых BSD-системах пользоваться подсистемой Cron может только "root" (если только стандартный пакет Cron не заменен на Vixie-Cron, что, впрочем, в последнее время стало почти правилом).

Команды для поиска файлов

Для поиска файлов в Unix предназначены две команды -- find и locate. Первая выполняет поиск непосредственно в момент запуска, а вторая делает поиск по списку файлов (базе данных), который обновляется обычно раз в сутки (в большинстве систем -- поздно ночью или рано утром).

У обеих команд есть как достоинства, так и недостатки. Так, find выдает результаты по текущему, "мгновенному" состоянию диска, но, к примеру, поиск по всему диску может занимать очень много времени. Напротив, locate выполняет поиск очень быстро, но во-первых, в базе данных может быть несколько устаревшая информация, а во-вторых, база данных составляется "из-под" пользователя "nobody" и не содержит информации о тех директориях, которые для него закрыты.

Что такое wget

Wget -- это программа для "вытягивания" файлов из Internet при помощи протоколов HTTP или FTP.

Основные достоинства Wget:

Пакет mtools

Для копирования информации между компьютерами и в качестве архива очень часто используются дискеты. Хотя в принципе у каждой операционной системы (Dos/Windows, MacOS, SunOS/Solaris, Linux и т.д.) есть свой формат для дискет, чаще всего используются дискеты с разметкой MS-Dos.

Хотя самый прямой способ работы с дискетами Dos в Linux -- это просто смонтировать дискету, например, командой

mount -t msdos /dev/fd0 /mnt/floppy

Программы из этого пакета позволяют работать как с дискетами 3.5 и 5.25 дюйма, так и с дисками Zip и Jaz. Причем поддерживаются длинные имена файлов Windows95/NT (т.е. расширения файловой системы VFAT).

Пакет Mtools содержит следующие основные программы, выполняющие те же действия, что и аналогичные программы MS-Dos: mdir, mcopy, mren, mdel, mmd, mrd, mformat и еще некоторые.

Несколько общих правил и отличий от MS-Dos:

• Вместо символа "\" (обратная косая черта) в качестве разделителя директорий следует использовать "/" (прямая косая черта), т.к. "\" является специальным символом для shell.
• Шаблоны имен Dos, содержащие "*" и "?" следует "закавычивать", т.е. вместо команды

  mdir a:*.txt

  следует использовать

  mdir "a:*.txt"

  Кроме того, Mtools следует принятому в Unix соглашению о шаблонах -- "любой файл" это не "*.*", а просто "*".

• По умолчанию A: означает первый флоппи-диск (устройство /dev/fd0), а B: -- второй (устройство /dev/fd1), причем в Linux тип диска (3.5/5.25) и его разметка определяются автоматически.
• При доступе к дискетам программы из Mtools обращаются к соответствующим устройствам из директории /dev/, при этом используются права доступа этих устройств. По умолчанию доступ на чтение открыт всем, а доступ на запись -- только пользователю "root" и группе "floppy" (которая пуста):

  bobby:~% ls -l /dev/fd? brw-rw-r-- 1 root floppy 2, 0 May 6 1998 /dev/fd0 brw-rw-r-- 1 root floppy 2, 1 May 6 1998 /dev/fd1 bobby:~% _

  Таким образом, любой пользователь может просматривать директорию с дискеты и копировать оттуда файлы, но не писать туда:

  bobby:~% mcopy a:autoexec.bat . bobby:~% mcopy files.bbs a: Can't open /dev/fd0: Permission denied Cannot initialize 'A:' Bad target a: bobby:~% _

  Чтобы дать возможность записи, надо или открыть эти устройства всем на запись командой

  chmod 666 /dev/fd?

  или, что гораздо правильнее, занести тех, кто должен иметь возможность писать на дискеты, в группу "floppy"; всем остальным при этом лучше даже убрать право на чтение --

  chmod 660 /dev/fd?

• Форматирование дискет.
  • В отличие от команды format в Dos, команда mformat не выполняет низкоуровневого форматирования (т.е. mformat -- это эквивалент команды Dos "format /q"), поэтому оно должно быть выполнено заранее. В Unix для этого служит программа fdformat.
  • Программе fdformat следует указывать "плотность" дискеты. Это делается путем указания правильного файла устройства -- к примеру, /dev/fd0H1440 означает "дискета на 1.44М".
  • В свою очередь, программе mformat надо указывать количество дорожек, секторов и сторон (эти числа пишет fdformat при низкоуровневом форматировании). Это делается при помощи ключей "-t", "-s" и "-h" соответственно.
  • Кроме того, mformat не проверяет диск на испорченные блоки (bad-блоки), для этого служит программа mbadblocks. Впрочем, практически любой Unix (и Linux здесь не исключение) очень плохо относится к испорченным дискетам, так что лучше их просто выкидывать.

Практические задания