Python для сетевых инженеров. Выпуск 3.0 [Автор неизвестен] (pdf) читать онлайн

Python для сетевых инженеров
Выпуск 3.0

апр. 16, 2021

Оглавление

1

Введение

3

О книге . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

Для кого эта книга . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

Зачем Вам учиться программировать? . . . . . . . . . . . . . . . . . . . . . .

3

Требуемые версии ОС и Python

. . . . . . . . . . . . . . . . . . . . . . . . . .

4

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

Вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

Презентации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

Форматы файлов книги

Примеры

2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

Обсуждение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

Часто задаваемые вопросы (FAQ) . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

Будет ли печатная версия книги? . . . . . . . . . . . . . . . . . . . . . . . . .

6

Почему в книге нет темы X? . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

Чем это отличается от обычного вводного курса по Python? . . . . . . . . . .

6

Я сетевик. Для чего мне нужна эта книга? . . . . . . . . . . . . . . . . . . . .

6

Почему книга именно для сетевых инженеров? . . . . . . . . . . . . . . . . .

7

Почему именно Python?

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

Нужный мне модуль не поддерживает Python 3 . . . . . . . . . . . . . . . . .

8

Я не знаю, нужно ли мне это. . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

Зачем сетевому инженеру программирование? . . . . . . . . . . . . . . . . .

9

Книга будет когда-то платной? . . . . . . . . . . . . . . . . . . . . . . . . . .

10

Благодарности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

Ресурсы для обучения по книге

11

Подготовка рабочего окружения . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

Задания

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

Тесты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

Дополнительные материалы . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

i

3

I. Основы Python

15

1. Подготовка к работе . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

Подготовка рабочего окружения . . . . . . . . . . . . . . . . . . . . . . . . .

17

ОС и редактор

20

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Система управления пакетами pip

. . . . . . . . . . . . . . . . . . . . . . . .

21

Виртуальные окружения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

Интерпретатор Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

26

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

2. Использование Git и GitHub
Основы Git

. . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

Отображение статуса репозитория в приглашении . . . . . . . . . . . . . . .

30

Работа с Git . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

Дополнительные возможности

. . . . . . . . . . . . . . . . . . . . . . . . . .

35

. . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

Аутентификация на GitHub

Работа со своим репозиторием заданий

. . . . . . . . . . . . . . . . . . . . .

40

Работа с репозиторием заданий и примеров . . . . . . . . . . . . . . . . . . .

43

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

46

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3. Начало работы с Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

Синтаксис Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

Интерпретатор Python. IPython

. . . . . . . . . . . . . . . . . . . . . . . . . .

50

Специальные команды ipython

. . . . . . . . . . . . . . . . . . . . . . . . . .

55

Переменные

ii

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

4. Типы данных в Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62

Числа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62

Строки (Strings) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

Список (List) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

79

Словарь (Dictionary)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

84

Кортеж (Tuple) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

Множество (Set)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

95

Булевы значения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

97

Преобразование типов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

98

Проверка типов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

100

Вызов методов цепочкой . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

102

Основы сортировки данных . . . . . . . . . . . . . . . . . . . . . . . . . . . .

104

Дополнительные материалы

104

. . . . . . . . . . . . . . . . . . . . . . . . . . .

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

106

5. Создание базовых скриптов . . . . . . . . . . . . . . . . . . . . . . . . . . . .

110

Исполняемый файл . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

110

Передача аргументов скрипту (argv) . . . . . . . . . . . . . . . . . . . . . . .

111

Ввод информации пользователем . . . . . . . . . . . . . . . . . . . . . . . . .

112

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

114

6. Контроль хода программы . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

123

if/elif/else

4

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

123

for . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

129

while . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

136

break, continue, pass . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

138

for/else, while/else . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

141

Работа с исключениями try/except/else/finally . . . . . . . . . . . . . . . . . . .

143

Дополнительные материалы

149

. . . . . . . . . . . . . . . . . . . . . . . . . . .

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

151

7. Работа с файлами . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

154

Открытие файлов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

154

Чтение файлов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

155

Запись файлов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

160

Закрытие файлов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

163

Конструкция with . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

164

Примеры работы с файлами . . . . . . . . . . . . . . . . . . . . . . . . . . . .

167

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

173

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

174

8. Примеры использования основ . . . . . . . . . . . . . . . . . . . . . . . . . . .

178

Форматирование строк с помощью f-строк . . . . . . . . . . . . . . . . . . . .

178

Распаковка переменных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

183

List, dict, set comprehensions . . . . . . . . . . . . . . . . . . . . . . . . . . . .

189

Дополнительные материалы

197

. . . . . . . . . . . . . . . . . . . . . . . . . . .

II. Повторное использование кода

199

9. Функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

200

Создание функций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

200

Пространства имен. Области видимости . . . . . . . . . . . . . . . . . . . . .

205

Параметры и аргументы функций . . . . . . . . . . . . . . . . . . . . . . . . .

206

Аргументы, которые можно передавать только как ключевые . . . . . . . . .

221

Распространенные проблемы/нюансы работы с функциями

. . . . . . . . . .

222

. . . . . . . . . . . . . . . . . . . . . . . . . . .

225

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

226

Дополнительные материалы
10. Полезные функции

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

233

Функция print . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

233

Функция range

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

236

Функция sorted . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

239

enumerate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

243

Функция zip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

245

Функция all . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

248

Функция any

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

249

Анонимная функция (лямбда-выражение) . . . . . . . . . . . . . . . . . . . .

250

Функция map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

251

Функция filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

253

11. Модули . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

255

Импорт модуля . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

255

iii

Создание своих модулей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

258

if __name__ == "__main__" . . . . . . . . . . . . . . . . . . . . . . . . . . . .

260

Пути поиска модулей

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

262

Рекомендации по поводу расположения функций в коде . . . . . . . . . . . .

264

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

265

12. Полезные модули . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

270

Модуль subprocess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

270

Модуль os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

275

Модуль ipaddress . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

277

Модуль tabulate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

282

Модуль pprint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

286

Дополнительные материалы

291

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

292

13. Итераторы, итерируемые объекты и генераторы . . . . . . . . . . . . . . . .

294

Итерируемый объект . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

294

Итераторы

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Генератор (generator)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Дополнительные материалы
5

6

iv

. . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . .

295
297
299

III. Регулярные выражения

301

14. Синтаксис регулярных выражений . . . . . . . . . . . . . . . . . . . . . . . .

302

Синтаксис регулярных выражений . . . . . . . . . . . . . . . . . . . . . . . .

302

Наборы символов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

304

Символы повторения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

305

Специальные символы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

310

Жадность символов повторения

. . . . . . . . . . . . . . . . . . . . . . . . .

315

Группировка выражений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

316

Разбор вывода команды show ip dhcp snooping с помощью именованных групп

318

Группа без захвата . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

321

Повторение захваченного результата

322

. . . . . . . . . . . . . . . . . . . . . .

15. Модуль re . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

324

Объект Match . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

324

Функция search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

331

Функция match . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

336

Функция finditer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

338

Функция findall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

342

Функция compile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

344

Флаги . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

348

Функция re.split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

351

Функция re.sub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

353

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

354

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

356

IV. Запись и передача данных

361

16. Unicode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

363

Стандарт Юникод

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

363

Юникод в Python 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

364

Конвертация между байтами и строками . . . . . . . . . . . . . . . . . . . . .

367

Примеры конвертации между байтами и строками . . . . . . . . . . . . . . .

368

Ошибки при конвертации . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

372

Дополнительные материалы

7

. . . . . . . . . . . . . . . . . . . . . . . . . . .

375

17. Работа с файлами в формате CSV, JSON, YAML . . . . . . . . . . . . . . . . . .

376

Работа с файлами в формате CSV . . . . . . . . . . . . . . . . . . . . . . . . .

376

Работа с файлами в формате JSON

. . . . . . . . . . . . . . . . . . . . . . . .

382

Работа с файлами в формате YAML . . . . . . . . . . . . . . . . . . . . . . . .

389

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

394

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

395

V. Работа с сетевым оборудованием

401

18. Подключение к оборудованию . . . . . . . . . . . . . . . . . . . . . . . . . .

402

Ввод пароля . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

403

Модуль pexpect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

404

Модуль telnetlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

413

Модуль paramiko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

422

Модуль netmiko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

427

Модуль scrapli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

435

Дополнительные материалы

447

. . . . . . . . . . . . . . . . . . . . . . . . . . .

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

449

19. Одновременное подключение к нескольким устройствам . . . . . . . . . . .

457

Измерение времени выполнения скрипта
Процессы и потоки в Python (CPython)

. . . . . . . . . . . . . . . . . . . .

457

. . . . . . . . . . . . . . . . . . . . . .

458

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

460

Потоковая безопасность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

461

Модуль logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

463

Модуль concurrent.futures . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

465

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

482

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

484

Количество потоков

20. Шаблоны конфигураций с Jinja2

. . . . . . . . . . . . . . . . . . . . . . . . .

491

Начало работы с Jinja2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

491

Пример использования Jinja . . . . . . . . . . . . . . . . . . . . . . . . . . . .

493

Синтаксис шаблонов Jinja2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

495

Наследование шаблонов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

520

Дополнительные материалы

. . . . . . . . . . . . . . . . . . . . . . . . . . .

525

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

526

21. Обработка вывода команд TextFSM
Начало работы с TextFSM

. . . . . . . . . . . . . . . . . . . . . . .

531

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

531

Синтаксис шаблонов TextFSM . . . . . . . . . . . . . . . . . . . . . . . . . . .

533

Правила состояний . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

536

Примеры использования TextFSM . . . . . . . . . . . . . . . . . . . . . . . . .

538

TextFSM CLI Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

555

v

Дополнительные материалы

8

. . . . . . . . . . . . . . . . . . . . . . . . . . .

560

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

561

VI. Основы объектно-ориентированного программирования

565

22. Основы ООП . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

566

Основы ООП . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

566

Создание класса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

568

Создание метода . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

569

Параметр self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

571

Метод __init__ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

573

Пример класса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

575

Область видимости . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

576

Переменные класса

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

576

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

579

23. Специальные методы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

589

Подчеркивание в именах

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

589

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

593

Поддержка арифметических операторов . . . . . . . . . . . . . . . . . . . . .

595

Протоколы

598

Методы __str__, __repr__

9

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

612

24. Наследование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

617

Основы наследования . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

617

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

622

VII. Работа с базами данных

629

25. Работа с базами данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

630

SQL

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

630

SQLite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

631

Основы SQL (в sqlite3 CLI)

633

Модуль sqlite3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Дополнительные материалы

679

Задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

680

10 VIII. Дополнительная информация

695

Модуль argparse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

695

Вложенные парсеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

700

Форматирование строк с оператором %

. . . . . . . . . . . . . . . . . . . . . . .

707

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

708

Имена переменных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

709

Имена модулей и пакетов . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

709

Имена функций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

709

Соглашение об именах

Имена классов

vi

653

. . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

709

Подчеркивание в именах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

710

Подчеркивание как имя . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

710

Два подчеркивания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

712

Два подчеркивания перед именем

712

. . . . . . . . . . . . . . . . . . . . . . . .

Два подчеркивания перед и после имени
Отличия Python 2.7 и Python 3.6
Unicode

. . . . . . . . . . . . . . . . . . . .

713

. . . . . . . . . . . . . . . . . . . . . . . . . . .

715

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

715

Функция print . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

715

input вместо raw_input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

716

range вместо xrange

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

716

Методы словарей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

717

Распаковка переменных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

718

Итератор вместо списка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

718

subprocess.run

719

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Jinja2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

719

Модули pexpect, telnetlib, paramiko . . . . . . . . . . . . . . . . . . . . . . . .

719

Мелочи

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

719

Дополнительная информация . . . . . . . . . . . . . . . . . . . . . . . . . . .

720

Проверка заданий с помощью утилиты pyneng . . . . . . . . . . . . . . . . . . .

721

Где решать задания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

721

Установка скрипта pyneng . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

721

Скрипт pyneng

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Проверка заданий тестами

722

. . . . . . . . . . . . . . . . . . . . . . . . . . . .

722

Получение ответов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

723

Вывод pyneng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

723

Проверка заданий с помощью pytest . . . . . . . . . . . . . . . . . . . . . . . . .

726

Основы pytest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

726

Особенности использования pytest для проверки заданий . . . . . . . . . . .

731

pytest-clarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

736

11 Продолжение обучения
Написание скриптов для автоматизации рабочих процессов

739
. . . . . . . . . . .

739

Python для автоматизации работы с сетевым оборудованием . . . . . . . . . . .

740

Python без привязки к сетевому оборудованию . . . . . . . . . . . . . . . . . . .

741

Книги . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

741

Курсы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

742

Сайты с задачами

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

742

Подкасты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

742

Документация

742

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12 Отзывы читателей книги и слушателей курса

743

Ян Коробов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

743

Сергей Забабурин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

744

Александр Романов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

745

Денис Карпушин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

745

Евгений Овчинников . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

745

Олег Востриков

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

747

Эмиль Гарипов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

747

Илья про книгу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

748

vii

Алексей Кириллов про онлайн курс

. . . . . . . . . . . . . . . . . . . . . . . . .

748

Слава Скороход про онлайн курс . . . . . . . . . . . . . . . . . . . . . . . . . . .

749

Марат Сибгатулин про онлайн курс

. . . . . . . . . . . . . . . . . . . . . . . . .

750

Кирилл Плетнёв про книгу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

750

Алексей про книгу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

751

13 Скачать PDF/Epub

viii

753

Python для сетевых инженеров, Выпуск 3.0

В книге рассматриваются основы Python с примерами и заданиями построенными на сетевой
тематике.
С одной стороны, книга достаточно базовая, чтобы её мог одолеть любой желающий, а с другой стороны, в книге рассматриваются все основные темы, которые позволят дальше расти
самостоятельно. Книга не ставит своей целью глубокое рассмотрение Python. Задача книги
– объяснить понятным языком основы Python и дать понимание необходимых инструментов
для его практического использования. Всё, что рассматривается в книге, ориентировано на
сетевое оборудование и работу с ним. Это даёт возможность сразу использовать в работе
сетевого инженера то, что было изучено на курсе. Все примеры показываются на примере
оборудования Cisco, но, конечно же, они применимы и для любого другого оборудования.

Примечание: В книге используется Python 3.7.

При желании, вы можете сказать «спасибо» автору книги.

1

Python для сетевых инженеров, Выпуск 3.0

2

1
Введение

О книге
Если «в двух словах», то это такой CCNA по Python. С одной стороны, книга достаточно базовая, чтобы её мог одолеть любой желающий, а с другой стороны, в книге рассматриваются
все основные темы, которые позволят дальше расти самостоятельно. Книга не ставит своей
целью глубокое рассмотрение Python. Задача книги – объяснить понятным языком основы
Python и дать понимание необходимых инструментов для его практического использования.
Всё, что рассматривается в книге, ориентировано на сетевое оборудование и работу с ним.
Это даёт возможность сразу использовать в работе сетевого инженера то, что было изучено
на курсе. Все примеры показываются на примере оборудования Cisco, но, конечно же, они
применимы и для любого другого оборудования.

Для кого эта книга
Для сетевых инженеров с опытом программирования и без. Все примеры и домашние задания
будут построены с уклоном на сетевое оборудование. Эта книга будет полезна сетевым инженерам, которые хотят автоматизировать задачи, с которыми сталкиваются каждый день
и хотели заняться программированием, но не знали, с какой стороны подойти.
Ещё не решили, нужно ли читать книгу? Почитайте отзывы.

Зачем Вам учиться программировать?
Знание программирования для сетевого инженера сравнимо со знанием английского. Если вы
знаете английский хотя бы на уровне, который позволяет читать техническую документацию,
вы сразу же расширяете свои возможности:
• доступно в несколько раз больше литературы, форумов и блогов;

3

Python для сетевых инженеров, Выпуск 3.0

• практически для любого вопроса или проблемы достаточно быстро находится решение,
если вы ввели запрос в Google.
Знание программирования в этом очень похоже. Если вы знаете, например, Python хотя бы
на базовом уровне, вы уже открываете массу новых возможностей для себя. Аналогия с английским подходит ещё и потому, что можно работать сетевым инженером и быть хорошим
специалистом без знания английского. Английский просто даёт возможности, но он не является обязательным требованием.

Требуемые версии ОС и Python
Все примеры и выводы терминала в книге показываются на Debian Linux. В книге используется Python 3.7, но для большинства примеров подойдет и Python 3.x. Только в некоторых
примерах требуется версия 3.6 или выше чем 3.5. Это всегда явно указано и, как правило,
касается дополнительных возможностей.

Примеры
Все примеры, которые используются в книге, располагаются в репозитории. Примеры, которые рассматриваются в разделах книги, являются обучающими. Это значит, что они не обязательно показывают лучший вариант решения задачи, так как они основаны только на той
информации, которая рассматривалась в предыдущих главах книги. Кроме того, довольно
часто примеры, которые давались в разделах, развиваются в заданиях. То есть, в заданиях вам нужно будет сделать лучшую, более универсальную, и, в целом, более правильную
версию кода. Если есть возможность, лучше набирать код, который используется в книге,
самостоятельно, или, как минимум, скачать примеры и попробовать что-то в них изменить
– так информация будет лучше запоминаться. Если такой возможности нет, например, когда вы читаете книгу в дороге, лучше повторить примеры самостоятельно позже. В любом
случае, обязательно нужно делать задания вручную.

Задания
Все задания и вспомогательные файлы можно скачать в репозитории, том же, где располагаются примеры кода. Если в заданиях раздела есть задания с буквами (например, 5.2a), то
нужно выполнить сначала задания без букв, а затем с буквами. Задания с буквами, как правило, немного сложнее заданий без букв и развивают идею в соответствующем задании без
буквы. Если получается, лучше делать задания по порядку. В книге специально не приведены
ответы на задания, так как, к сожалению, когда есть ответы, очень часто вместо того, чтобы
попытаться решить сложное задание самостоятельно, подглядывают в них. Конечно, иногда
возникает ситуация, когда никак не получается решить задание – попробуйте отложить его,
задать вопрос в Slack и сделать какое-либо другое.

4

Глава 1. Введение

Python для сетевых инженеров, Выпуск 3.0

Примечание: На Stack Overflow есть ответы практически на любые вопросы. Так что, если
Google отправил Вас на него, это, с большой вероятностью значит, что ответ найден. Запросы,
конечно же, лучше писать на английском – по Python очень много материалов и, как правило,
подсказку найти легко

Ответы могли бы показать, как ещё можно выполнить задание или же как лучше это сделать. Но на этот счёт не следует переживать, так как, скорее всего, в следующих разделах
встретится пример, в котором будет показано, как писать такой код.

Вопросы
Для части тем книги созданы вопросы:
• Типы данных. Часть 1
• Типы данных. Часть 2
• Контроль хода программы. Часть 1
• Контроль хода программы. Часть 2
• Функции и модули. Часть 1
• Функции и модули. Часть 2
• Регулярные выражения. Часть 1
• Регулярные выражения. Часть 2
• Базы данных
Эти вопросы можно использовать как для проверки знаний, так и в роли заданий. Очень полезно поотвечать на вопросы после прочтения соответствующей темы. Они позволят вам
вспомнить материал темы, а также увидеть на практике разные аспекты работы с Python.
Постарайтесь сначала ответить самостоятельно, а затем подсмотреть ответы в IPython по
тем вопросам, в которых вы сомневаетесь.

Презентации
Для всех тем книги есть презентации в репозитории. По ним удобно быстро просматривать
информацию и повторять. Если вы знаете основы Python, то стоит их пролистать.
Скачать все презентации в формате PDF можно в специальном репозитории

О книге

5

Python для сетевых инженеров, Выпуск 3.0

Форматы файлов книги
Книгу можно скачать в двух форматах: PDF, Epub. Они автоматически обновляются, поэтому
всегда содержат одинаковую информацию.

Обсуждение
Для обсуждения книги, заданий, а также связанных вопросов используется Slack. Все вопросы, предложения и замечания по книге также пишите в Slack.

Часто задаваемые вопросы (FAQ)
Здесь собраны вопросы, которые наиболее часто возникают при чтении книги.

Будет ли печатная версия книги?
Нет. Книга существует в каком-то виде с 2015 года. Все это время книга менялась. Мне нравится эта возможность менять книгу, писать что-то по-другому.

Почему в книге нет темы X?
Полезных тем еще огромное количество и просто невозможно все их вместить в одну книгу.
Конечно, у каждого читателя есть приоритеты и кажется именно этот модуль очень нужен
всем, но таких тем/модулей очень много. Глобально в книге уже ничего не будет менятся,
новые темы добавляться не будут.

Чем это отличается от обычного вводного курса по Python?
Основных отличий три:
• основы даются достаточно коротко;
• подразумевается определённая предметная область знаний (сетевое оборудование);
• все примеры, по возможности, ориентированы на сетевое оборудование.

Я сетевик. Для чего мне нужна эта книга?
В первую очередь – для автоматизации рутинных задач. Автоматизация даёт несколько преимуществ:

6

Глава 1. Введение

Python для сетевых инженеров, Выпуск 3.0

• высокоуровневое мышление – проще подняться над всем, когда вы свободны от рутинной работы. У Вас появится время и возможность думать об улучшениях;
• доверие – вы не будете бояться делать изменения, которые, как правило, сопряжены с
риском, так как сеть это основа работы всех приложений и цена ошибки высока;
• консистентная конфигурация – вы сможете автоматизированно создавать файлы настроек сетевого оборудования, от пользователей и подписей интерфейсов до функционала безопасности, и будете меньше переживать о том, забыли ли вы нечто.
Конечно, не будет такого, что после прочтения книги, вы «всё автоматизируете и наступит
счастье», но это шаг в данном направлении. Я ни в коем случае не агитирую за то, чтобы
автоматизация выполнялась кучей самописных скриптов. Если есть софт, который решает
нужные Вам задачи, это отлично, используйте его. Но если его нет, или если вы просто ещё
о таком не думали, попробуйте начать с простого – Ansible, например, позволит выполнять
многие задачи практически «из коробки».
Зачем тогда учить Python? Дело в том, что тот же Ansible не решит все вопросы. И, возможно,
вам понадобится добавить какой-то функционал самостоятельно. Кроме непосредственной
настройки оборудования, есть ежедневные рутинные задачи, которые можно автоматизировать с помощью Python. Скажем так, если вы не хотите разбираться с Python, но хотите
автоматизировать процесс настройки и работы с оборудованием, обратите своё внимание
на Ansible. Даже «из коробки» он будет очень полезен. Если же вы потом войдете во вкус и
захотите добавить своё, чего нет в Ansible, возвращайтесь :-)
И ещё, этот курс не только о том, как использовать Python для подключения к оборудованию
и его настройке. Он и о том, как решать задачи, которые не касаются подключения к оборудованию, например, изменить что-то в нескольких файлах конфигурации, или обработать
log-файл – Python поможет вам решать в том числе и подобные задачи.

Почему книга именно для сетевых инженеров?
Есть несколько причин:
• сетевые инженеры уже обладают опытом работы в ИТ, и часть концепций им знакома,
и, скорее всего, какие-то основы программирования большинству уже будут знакомы.
Это означает, что будет гораздо проще разобраться с Python;
• работа в командной строке и написание скриптов вряд ли испугает их;
• у сетевых инженеров есть знакомая им предметная область, на которую можно опираться при составлении примеров и заданий.
Если рассказывать на абстрактных примерах «о котиках и зайчиках», это одно. Но когда в
примерах есть возможность использовать идеи из предметной области, всё становится проще, рождаются конкретные идеи, как улучшить какую-либо программу, скрипт. А когда человек пытается её улучшить, он начинает разбираться с новым - это очень сильно помогает
продвигаться вперёд.

Часто задаваемые вопросы (FAQ)

7

Python для сетевых инженеров, Выпуск 3.0

Почему именно Python?
Причины следующие:
• в контексте работы с сетевым оборудованием, сейчас часто используется именно Python;
• на некотором оборудовании Python встроен или есть API, который поддерживает Python;
• Python достаточно прост для изучения (конечно, это относительно, и более простым может казаться другой язык, но, скорее, это будет из-за имеющегося опыта работы с языком, а не потому, что Python сложный);
• с Python вы вряд ли быстро дойдете до границ возможностей языка;
• Python может использоваться не только для написания скриптов, но и для разработки
приложений. Разумеется, это не является задачей этой книги, но, по крайней мере, вы
потратите время на язык, который позволит вам легко шагнуть дальше, чем написание
простых скриптов;
• из программ, связанных с сетями, на Python написан, например, GNS3.
И еще один момент – в контексте книги, Python нужно рассматривать не как единственно
правильный вариант, и не как «правильный» язык. Нет, Python это просто инструмент, как
отвёртка например, и мы учимся им пользоваться для конкретных задач. То есть, никакой
идеологической подоплеки здесь нет, никакого «только Python» и никакого поклонения тем
более. Странно поклоняться отвертке :-) Всё просто - есть хороший и удобный инструмент,
который подойдет к разным задачам. Он не лучший во всём и далеко не единственный язык
в принципе. Начните с него, и потом вы сможете самостоятельно выбрать нечто другое, если
захотите – эти знания всё равно не пропадут.

Нужный мне модуль не поддерживает Python 3
Есть несколько вариантов решения:
• попробуйте найти альтернативный модуль, который поддерживает Python 3 (не обязательно последней версии языка);
• попробуйте найти community-версию этого модуля для Python 3. Возможно, официальной версии нет, но сообщество могло перевести его самостоятельно на версию 3, особенно если этот модуль популярен;
• используйте Python 2.7, ничего страшного не произойдет. Если вы не собираетесь писать огромное приложение, а просто используете Python для автоматизации своих задач, Python 2.7 совершенно точно подойдет.

8

Глава 1. Введение

Python для сетевых инженеров, Выпуск 3.0

Я не знаю, нужно ли мне это.
Я, конечно же, считаю, что нужно :-) Иначе я бы не писала эту книгу. Совсем не факт, что вам
захочется погружаться во всё это, поэтому для начала попробуйте разобраться с Ansible. Возможно, вам хватит надолго его возможностей. Начните с простых команд show, попробуйте
подключиться сначала к тестовому оборудованию (виртуальным машинам), затем попробуйте выполнить команду show на реальной сети, на 2-3 устройствах, потом на большем количестве. Если вам этого будет достаточно, можно остановиться на этом. Следующим шагом я
бы попробовала использование Ansible для генерации шаблонов конфигурации.

Зачем сетевому инженеру программирование?
На мой взгляд, для сетевого инженера умение программировать очень важно, и не потому,
что сейчас все об этом говорят, или пугают SDN, потерей работы или чем-то подобным, а
потому, что сетевой инженер постоянно сталкивается с:
• рутинными задачами;
• проблемами и решениями, которые надо протестировать;
• большим объёмом однотипных и повторяющихся задач;
• большим количеством оборудования;
На текущий момент большое количество оборудования по-прежнему предлагает нам только
интерфейс командной строки и неструктурированный вывод команд. Управляющий софт часто ограничен вендором, дорого стоит и имеет урезанные возможности – в итоге мы вручную
снова и снова делаем одно и то же. Даже такие банальные вещи, как отправить одну и ту же
команду show на 20 устройств, не всегда просто сделать. Допустим, ваш SSH-клиент поддерживает эту возможность. А если вам теперь надо проанализировать вывод? Мы ограничены
теми средствами, которые нам дали, а знание программирования, даже самое базовое, позволяет нам расширить наши средства и даже создавать новые. Я не считаю, что всем надо
торопиться учиться программировать, но для инженера это очень важный навык. Именно для
инженера, а не для всех на свете.
Сейчас явно наблюдается тенденция, которую можно описать фразой «все учимся программировать», и это, в целом, хорошо. Но программирование это не что-то элементарное, это
сложно, в это нужно вкладывать много времени, особенно если вы никогда не имели отношения к техническому миру. Может сложиться впечатление, что достаточно пройти «вот эти
вот курсы» и через 3 месяца вы крутой программист с высокой зарплатой. Нет, этот книга не
об этом :-) Мы не говорим в ней о программировании как профессии и не ставим такую цель,
мы говорим о программировании как инструменте, таком как, например, знание CLI Linux.
Дело не в том, что инженеры какие-то особенные, просто, как правило:
• они уже имеют техническое образование;
• многие работают, так или иначе, с командной строкой;

Часто задаваемые вопросы (FAQ)

9

Python для сетевых инженеров, Выпуск 3.0

• они сталкивались, как минимум, с одним языком программирования;
• у них «инженерный склад ума».
Это не значит, что всем остальным «не дано». Просто инженерам это будет проще.

Книга будет когда-то платной?
Нет, эта книга всегда будет бесплатной. Я читаю платно онлайн курс «Python для сетевых
инженеров», но это не будет влиять на эту книгу - она всегда будет бесплатной.

Благодарности
Спасибо всем, кто проявил интерес к первому анонсу курса – ваш интерес подтвердил, что
это будет кому-то нужно.
Павел Пасынок, спасибо тебе за то, что согласился на курс. С вами было интересно работать,
и это добавило мне мотивации завершить курс, и я особенно рада, что знания, которые вы
получили на курсе, нашли практическое применение.
Алексей Кириллов, самое большое спасибо тебе :-) Я всегда могла обсудить с тобой любой
вопрос по курсу. Ты помогал мне поддерживать мотивацию и не уходить в дебри. Общение
с тобой вдохновляло меня продолжать, особенно в сложные моменты. Спасибо тебе за вдохновение, положительные эмоции и поддержку!
Спасибо всем, кто писал комментарии к книге – благодаря вам в книге не только стало меньше опечаток и ошибок, но и содержание книги стало лучше.
Спасибо всем слушателям онлайн-курса – благодаря вашим вопросам книга стала намного
лучше.
Слава Скороход, спасибо тебе огромное, что вызвался быть редактором – количество ошибок
теперь стремится к нулю :-)

10

Глава 1. Введение

2
Ресурсы для обучения по книге

Ресурсы, которые пригодятся в процессе обучения:
• репозиторий с примерами, заданиями
• репозиторий с ответами
• вопросы (мини-задания)
• в чате slack PyNEng можно задать вопросы

Подготовка рабочего окружения
Для выполнения заданий книги можно использовать несколько вариантов:
• взять подготовленную виртуалку vmware или vagrant (virtualbox)
• подготовить виртуалку самостоятельно
• использовать вм или какой-то сервис в облаке
• работать без создания виртуальной машины
Подробнее о подготовке рабочего окружения Подготовка рабочего окружения.

Задания
Все задания и вспомогательные файлы можно скачать в репозитории. Задания продублированы в книге исключительно для удобного обзора всех заданий раздела. Так как все вспомогательные файлы, код и тесты находятся в репозитории заданий, лучше делать задания в
копии репозитория. Как сделать копию описано во втором разделе.

11

Python для сетевых инженеров, Выпуск 3.0

Иногда, какой-то раздел может оказаться особенно сложным, в этом случае, можно остановиться на минимуме заданий. Это позволит двигаться дальше и не забрасывать учебу. А
позже можно вернуться и доделать задания. В целом, конечно лучше делать все задания,
так как практика это единственный способ нормально разобраться с темой, но иногда лучше
сделать меньше заданий и продолжать учебу, чем застрять на одной теме и забросить все.

Раздел

Минимум заданий

Все задания

04_data_structures

4.1, 4.2, 4.3, 4.6

4.1, 4.2, 4.3, 4.4, 4.5, 4.6, 4.7, 4.8

05_basic_scripts

5.1, 5.1a, 5.2, 5.2a

5.1, 5.1a, 5.1b, 5.1c, 5.1d, 5.2, 5.2a, 5.3,
5.3a

06_control_structures 6.1, 6.2, 6.3

6.1, 6.2, 6.2a, 6.2b, 6.3

07_files

7.1, 7.2, 7.3

7.1, 7.2, 7.2a, 7.2b, 7.2c, 7.3, 7.3a, 7.3b

09_functions

9.1, 9.1a, 9.2, 9.2a, 9.3

9.1, 9.1a, 9.2, 9.2a, 9.3, 9.3a, 9.4

11_modules

11.1, 11.2

11.1, 11.2

12_useful_modules

12.1, 12.2

12.1, 12.2, 12.3

15_module_re

15.1, 15.2, 15.3, 15.4

15.1, 15.1a, 15.1b, 15.2, 15.2a, 15.3, 15.4,
15.5

17_serialization

17.1, 17.2, 17.3

17.1, 17.2, 17.3, 17.3a, 17.3b, 17.4

18_ssh_telnet

18.1, 18.1a, 18.2, 18.2a,

18.1, 18.1a, 18.1b, 18.2, 18.2a, 18.2b,

18.2b, 18.3

18.2c, 18.3

19_concurrent_connections
19.1, 19.2, 19.3

19.1, 19.2, 19.3, 19.3a, 19.4

20_jinja2

20.1, 20.2, 20.3

20.1, 20.2, 20.3, 20.4, 20.5, 20.5a

21_textfsm

21.1, 21.1a, 21.2, 21.3,

21.1, 21.1a, 21.2, 21.3, 21.4, 21.5

21.4
22_oop_basics

22.1, 22.1a, 22.1b, 22.2,

22.1, 22.1a, 22.1b, 22.1c, 22.1d, 22.2,

22.2a

22.2a, 22.2b, 22.2c

23_oop_special_methods
23.1, 23.1a, 23.2

23.1, 23.1a, 23.2, 23.3, 23.3a

24_oop_inheritance

24.1, 24.1a, 24.2, 24.2a, 24.2b, 24.2c,

24.1, 24.2, 24.2a

24.2d
25_db

25.1, 25.2, 25.3

25.1, 25.2, 25.3, 25.4, 25.5, 25.5a, 25.6

Тесты
В репозитории заданий для проверки заданий есть автоматические тесты. Они помогают
проверить все ли соответствует поставленной задаче, а также дают обратный отклик по
тому, что не соответствует задаче. Как правило, после первого периода адаптации к тестам,
становится проще делать задания с тестами.
Как работать с тестами.

12

Глава 2. Ресурсы для обучения по книге

Python для сетевых инженеров, Выпуск 3.0

Дополнительные материалы
Почти в каждой части книги есть глава «Дополнительные материалы», в которой находятся
полезные материалы и ссылки по теме, а также ссылки на документацию. Кроме того, я сделала подборку ресурсов по Python для сетевых инженеров, где можно найти много полезных
статей, книг, видео курсов и подкастов.

Дополнительные материалы

13

Python для сетевых инженеров, Выпуск 3.0

14

Глава 2. Ресурсы для обучения по книге

3
I. Основы Python

Первая часть книги посвящена основам Python. В ней рассматриваются:
• типы данных Python;
• как создавать базовые скрипты;
• контроль хода программы;
• работа с файлами.

15

Python для сетевых инженеров, Выпуск 3.0

1. Подготовка к работе
Для того, чтобы начать работать с Python, надо определиться с несколькими вещами:
• какая операционная система будет использоваться
• какой редактор будет использоваться
• какая версия Python будет использоваться
В книге используется Debian Linux (в других ОС вывод может незначительно отличаться) и
Python 3.7.
Ещё один важный момент – выбор редактора. В следующем разделе приведены примеры
редакторов для разных ОС. Вместо редактора можно использовать IDE. IDE это хорошая вещь,
но не стоит переходить на IDE из-за таких вещей как:
• подсветка кода
• подсказки синтаксиса
• автоматические отступы (важно для Python)
Всё это есть в любом хорошем редакторе, но для этого может потребоваться установить
дополнительные модули. В начале работы может получиться так, что IDE будет только отвлекать вас обилием возможностей. Список IDE для Python можно можно посмотреть здесь.
Например, можно выбрать PyCharm или Spyder для Windows.

16

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Подготовка рабочего окружения
Для выполнения заданий книги можно использовать несколько вариантов:
• взять подготовленную виртуалку vmware или vagrant (virtualbox)
• подготовить виртуалку самостоятельно
• использовать вм или какой-то сервис в облаке
• работать без создания виртуальной машины

Подготовленные VM
Подготовлены виртуальные машины, в которых установлены:
• Debian 9.9
• Python 3.7 и 3.8 в виртуальном окружении
• IPython и другие модули, которыепотребуются для выполнения заданий
• текстовые редакторы vim, Geany, Mu
• GNS3 для работы с сетевым оборудованием
Есть два варианта подготовленных виртуальных машин (по ссылкам инструкции для каждого
варианта, в которых есть ссылки на образ и инструкция как работать с GNS3):
• vagrant
• vmware

Подготовка виртуальной машины/хоста самостоятельно
• Инструкция для подготовки Linux
• Нюансы подготовки и выполнения заданий на Windows
Список модулей, которые нужно установить:
pip install pytest pytest-clarity pyyaml tabulate jinja2 textfsm pexpect netmiko␣
,→graphviz

Также надо установить graphviz принятым способом в ОС (пример для debian):
apt-get install graphviz

1. Подготовка к работе

17

Python для сетевых инженеров, Выпуск 3.0

Облачные сервисы
Ещё один вариант – использовать один из следующих сервисов:
• repl.it – этот сервис предоставляет онлайн-интерпретатор Python, а также графический
редактор. Пример использования.
• PythonAnywhere - выделяет отдельную виртуалку, но в бесплатном варианте вы можете
работать только из командной строки, то есть, нет графического текстового редактора;

Сетевое оборудование
К 18 разделу книги, нужно подготовить виртуальное или реальное сетевое оборудование.
Все примеры и задания, в которых встречается сетевое оборудование, используют одинаковое количество устройств: три маршрутизатора с такими базовыми настройками:
• пользователь: cisco
• пароль: cisco
• пароль на режим enable: cisco
• SSH версии 2 (обязательно именно версия 2), Telnet
• IP-адреса маршрутизаторов: 192.168.100.1, 192.168.100.2, 192.168.100.3
• IP-адреса должны быть доступны из виртуалки на которой вы выполняете задания и
могут быть назначены на физических/логических/loopback интерфейсах
Топология может быть произвольной. Пример топологии:

Базовый конфиг:
18

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

hostname R1
!
no ip domain lookup
ip domain name pyneng
!
crypto key generate rsa modulus 1024
ip ssh version 2
!
username cisco password cisco
enable secret cisco
!
line vty 0 4
logging synchronous
login local
transport input telnet ssh
На каком-то интерфейсе надо настроить IP-адрес
interface ...
ip address 192.168.100.1 255.255.255.0
Алиасы (по желанию)
!
alias configure sh do sh
alias exec ospf sh run | s ^router ospf
alias exec bri show ip int bri | exc unass
alias exec id show int desc
alias exec top sh proc cpu sorted | excl 0.00%__0.00%__0.00%
alias exec c conf t
alias exec diff sh archive config differences nvram:startup-config system:running,→config

alias exec desc sh int desc | ex down
alias exec bgp sh run | s ^router bgp
При желании можно настроить EEM applet для отображения команд, которые вводит пользователь:
!
event manager applet COMM_ACC
event cli pattern ".*" sync no skip no occurs 1
action 1 syslog msg "User $_cli_username entered $_cli_msg on device $_cli_host "
!

1. Подготовка к работе

19

Python для сетевых инженеров, Выпуск 3.0

ОС и редактор
Можно выбрать любую ОС и любой редактор, но желательно использовать Python версии 3.7,
так как в книге используется именно эта версия.
Все примеры в книге выполнялись на Debian, на других ОС вывод может незначительно отличаться. Для выполнения заданий из книги можно использовать Linux, macOS или Windows.
Однако, стоит учитывать, что, например, Ansible можно установить только на Linux/macOS.
Для работы с Python можно выбрать любой текстовый редактор или IDE, который поддерживает Python. Как правило, для работы с Python требуется минимум настройки редактора и
часто редактор по умолчанию распознает Python.

Редактор Mu
Отдельно стоит упомянуть редактор Mu: это редактор для начинающих изучать Python (он
поддерживает только Python).
С одной стороны, в нём нет ничего лишнего, что поначалу может сильно отвлекать и путать.
В то же время, в нём есть такие важные функции как проверка кода на соблюдение PEP 8 и
debugger. Плюс, Mu работает на разных ОС (macOS, Windows, Linux).

Примечание: Записи лекций по редактору Mu: Основы работы с Mu, Использование debugger
в Mu

IDE PyCharm
PyCharm — интегрированная среда разработки для Python. Для начинающих изучать язык может оказаться сложным вариантом из-за обилия настроек, но это зависит от личных предпочтений. В PyCharm поддерживается огромное количество возможностей, даже в бесплатной
версии.
PyCharm прекрасный IDE, но, на мой взгляд, он сложноват для начинающих. Я бы не советовала использовать его, если вы с ним не знакомы и только начинаете учить Python. Вы всегда
сможете перейти на него после книги, но пока что лучше попробовать что-то другое.

Geany
Geany - текстовый редактор, который поддерживает разные языки программирования, среди них Python. Также является кроссплатформенным редактором и поддерживает ОС Linux,
macOS, Windows.

20

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Примечание: Варианты редакторов выше приведены для примера, вместо них можно использовать любой текстовый редактор, который поддерживает Python.

Система управления пакетами pip
Для установки пакетов Python будет использоваться pip. Это система управления пакетами,
которая используется для установки пакетов из Python Package Index (PyPI). Скорее всего,
если у вас уже установлен Python, то установлен и pip.
Проверка версии pip:
$ pip --version
pip 19.1.1 from /home/vagrant/venv/pyneng-py3-7/lib/python3.7/site-packages/pip␣
,→(python

3.7)

Если команда выдала ошибку, значит, pip не установлен. Установка pip описана в документации

Установка модулей
Для установки модулей используется команда pip install:
$ pip install tabulate
Удаление пакета выполняется таким образом:
$ pip uninstall tabulate
Кроме того, иногда необходимо обновить пакет:
$ pip install --upgrade tabulate

pip или pip3
В зависимости от того, как установлен и настроен Python в системе, может потребоваться
использовать pip3 вместо pip. Чтобы проверить, какой вариант используется, надо выполнить
команду pip --version.
Вариант, когда pip соответствует Python 2.7:
$ pip --version
pip 9.0.1 from /usr/local/lib/python2.7/dist-packages (python 2.7)

1. Подготовка к работе

21

Python для сетевых инженеров, Выпуск 3.0

Вариант, когда pip3 соответствует Python 3.7:
$ pip3 --version
pip 19.1.1 from /home/vagrant/venv/pyneng-py3-7/lib/python3.7/site-packages/pip␣
,→(python

3.7)

Если в системе используется pip3, то каждый раз, когда в книге устанавливается модуль
Python, нужно будет заменить pip на pip3.
Также можно использовать альтернативный вариант вызова pip:
$ python3.7 -m pip install tabulate
Таким образом, всегда понятно для какой именно версии Python устанавливается пакет.

Виртуальные окружения
Виртуальные окружения:
• позволяют изолировать различные проекты друг от друга;
• пакеты, которые нужны разным проектам, находятся в разных местах – если, например,
в одном проекте требуется пакет версии 1.0, а в другом проекте требуется тот же пакет,
но версии 3.1, то они не будут мешать друг другу;
• пакеты, которые установлены в виртуальных окружениях, не перебивают глобальные
пакеты.

Примечание: В Python есть несколько вариантов для создания виртуальных окружений.
Использовать можно любой из них. Для начала можно использовать virtualenvwrapper, а затем
со временем уже разбираться с тем, какие еще есть варианты.

virtualenvwrapper
Виртуальные окружения создаются с помощью virtualenvwrapper.
Установка virtualenvwrapper с помощью pip:
$ sudo pip3.7 install virtualenvwrapper
После установки, в файле .bashrc, находящимся в домашней папке текущего пользователя,
нужно добавить несколько строк:

22

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

export VIRTUALENVWRAPPER_PYTHON=/usr/local/bin/python3.7
export WORKON_HOME=~/venv
. /usr/local/bin/virtualenvwrapper.sh
Если

вы

используете

поддерживается

ли

командный

он

в

интерпретатор,

документации

отличный

virtualenvwrapper.

от

bash,

Переменная

посмотрите,
окружения

VIRTUALENVWRAPPER_PYTHON указывает на бинарный файл командной строки Python,
WORKON_HOME – на расположение виртуальных окружений. Третья строка указывает, где
находится скрипт, установленный с пакетом virtualenvwrapper. Для того, чтобы скрипт
virtualenvwrapper.sh выполнился и можно было работать с виртуальными окружениями, надо
перезапустить bash.
Перезапуск командного интерпретатора:
$ exec bash
Такой вариант может быть не всегда правильным. Подробнее на Stack Overflow.

Работа с виртуальными окружениями
Создание нового виртуального окружения, в котором Python 3.7 используется по умолчанию:
$ mkvirtualenv --python=/usr/local/bin/python3.7 pyneng
New python executable in PyNEng/bin/python
Installing distribute........................done.
Installing pip...............done.
(pyneng)$
В скобках перед стандартным приглашением отображается имя виртуального окружения.
Это означает, что вы находитесь в нём. В virtualenvwrapper по Tab работает автодополнение имени виртуального окружения. Это особенно удобно в тех случаях, когда виртуальных окружений много. Теперь в том каталоге, который был указан в переменной окружения
WORKON_HOME, создан каталог pyneng:
(pyneng)$ ls -ls venv
total 52
....
4 -rwxr-xr-x 1 nata nata

99 Sep 30 16:41 preactivate

4 -rw-r--r-- 1 nata nata

76 Sep 30 16:41 predeactivate

4 -rwxr-xr-x 1 nata nata

91 Sep 30 16:41 premkproject

4 -rwxr-xr-x 1 nata nata

130 Sep 30 16:41 premkvirtualenv

4 -rwxr-xr-x 1 nata nata

111 Sep 30 16:41 prermvirtualenv

4 drwxr-xr-x 6 nata nata 4096 Sep 30 16:42 pyneng
Выход из виртуального окружения:
1. Подготовка к работе

23

Python для сетевых инженеров, Выпуск 3.0

(pyneng)$ deactivate
$
Для перехода в созданное виртуальное окружение надо выполнить команду workon:
$ workon pyneng
(pyneng)$
Если необходимо перейти из одного виртуального окружения в другое, то необязательно
делать deactivate, можно перейти сразу через workon:
$ workon Test
(Test)$ workon pyneng
(pyneng)$
Если виртуальное окружение нужно удалить, то надо использовать команду rmvirtualenv:
$ rmvirtualenv Test
Removing Test...
$
Посмотреть, какие пакеты установлены в виртуальном окружении можно командой
lssitepackages:
(pyneng)$ lssitepackages
ANSI.py

pexpect-3.3-py2.7.egg-info

ANSI.pyc

pickleshare-0.5-py2.7.egg-info

decorator-4.0.4-py2.7.egg-info

pickleshare.py

decorator.py

pickleshare.pyc

decorator.pyc

pip-1.1-py2.7.egg

distribute-0.6.24-py2.7.egg

pxssh.py

easy-install.pth

pxssh.pyc

fdpexpect.py

requests

fdpexpect.pyc

requests-2.7.0-py2.7.egg-info

FSM.py

screen.py

FSM.pyc

screen.pyc

IPython

setuptools.pth

ipython-4.0.0-py2.7.egg-info

simplegeneric-0.8.1-py2.7.egg-info

ipython_genutils

simplegeneric.py

ipython_genutils-0.1.0-py2.7.egg-info

simplegeneric.pyc

path.py

test_path.py

path.py-8.1.1-py2.7.egg-info

test_path.pyc

path.pyc

traitlets

pexpect

traitlets-4.0.0-py2.7.egg-info

24

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Встроенный модуль venv
Начиная с версии 3.5, в Python рекомендуется использовать модуль venv для создания виртуальных окружений:
$ python3.7 -m venv new/pyneng
Вместо python3.7 может использоваться python или python3, в зависимости от того, как установлен Python 3.7. Эта команда создаёт указанный каталог и все необходимые каталоги внутри него, если они не были созданы.
Команда создаёт следующую структуру каталогов:
$ ls -ls new/pyneng
total 16
4 drwxr-xr-x 2 vagrant vagrant 4096 Aug 21 14:50 bin
4 drwxr-xr-x 2 vagrant vagrant 4096 Aug 21 14:50 include
4 drwxr-xr-x 3 vagrant vagrant 4096 Aug 21 14:50 lib
4 -rw-r--r-- 1 vagrant vagrant

75 Aug 21 14:50 pyvenv.cfg

Для перехода в виртуальное окружение надо выполнить команду:
$ source new/pyneng/bin/activate
Для выхода из виртуального окружения используется команда deactivate:
$ deactivate
Подробнее о модуле venv в документации.

Установка пакетов
Например, установим в виртуальном окружении пакет simplejson.
(pyneng)$ pip install simplejson
...
Successfully installed simplejson
Cleaning up...
Если перейти в интерпретатор Python и импортировать simplejson, то он доступен и никаких
ошибок нет:
(pyneng)$ python
>>> import simplejson
>>> simplejson
(continues on next page)

1. Подготовка к работе

25

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)



>>>
Но если выйти из виртуального окружения и попытаться сделать то же самое, то такого
модуля нет:
(pyneng)$ deactivate
$ python
>>> import simplejson
Traceback (most recent call last):
File "", line 1, in
ModuleNotFoundError: No module named 'simplejson'
>>>

Интерпретатор Python
Перед началом работы надо проверить, что при вызове интерпретатора Python вывод будет
таким:
$ python
Python 3.7.3 (default, May 13 2019, 15:44:23)
[GCC 4.9.2] on linux
Type "help", "copyright", "credits" or "license" for more information.
Вывод показывает, что установлен Python 3.7. Приглашение >>>, это стандартное приглашение интерпретатора Python. Вызов интерпретатора выполняется командой python, а чтобы
выйти, нужно набрать quit(), либо нажать Ctrl+D.

Примечание: В книге, вместо стандартного интерпретатора Python, будет использоваться
ipython

Дополнительные материалы
Документация:
• Python Setup and Usage
• pip
• venv
26

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

• virtualenvwrapper
Редакторы и IDE:
• PythonEditors
• IntegratedDevelopmentEnvironments
• VIM and Python - a Match Made in Heaven

1. Подготовка к работе

27

Python для сетевых инженеров, Выпуск 3.0

Задания
Задание 1.1
Единственное задание в этом разделе: подготовка к работе.
Для этого нужно:
• определиться с ОС, которую вы будете использовать
– так как все примеры в курсе ориентированы на Linux (Debian), желательно использовать его
– желательно использовать новую виртуальную машину, чтобы было спокойней экспериментировать
• установить Python 3.7, 3.8 или 3.9 (3.7, если будете использовать редактор Mu). Проверить, что Python и pip установлены
• создать виртуальное окружение, в котором вы будете работать весь курс
• определиться с редактором/IDE
• начиная с раздела 18, в заданиях надо будет подключаться к оборудованию. Поэтому
нужно подготовить виртуальное или реальное оборудование

28

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

2. Использование Git и GitHub
В книге достаточно много заданий и нужно где-то их хранить. Один из вариантов – использование для этого Git и GitHub. Конечно, можно использовать для этого и другие средства, но
используя GitHub, можно постепенно разобраться с ним и затем использовать его для других задач. Задания и примеры из книги находятся в отдельном репозитории на GitHub. Их
можно скачать как zip-архив, но лучше работать с репозиторием с помощью Git, тогда можно
будет посмотреть внесённые изменения и легко обновить репозиторий. Если изучать Git с
нуля и, особенно, если это первая система контроля версий, с которой Вы работаете, информации может быть очень много, поэтому в этой главе всё нацелено на практическую сторону
вопроса, и рассказывается:
• как начать использовать Git и GitHub;
• как выполнить базовые настройки;
• как посмотреть информацию и/или изменения.
Теории в этом подразделе будет мало, но будут даны ссылки на полезные ресурсы. Попробуйте сначала провести все базовые настройки для выполнения заданий, а потом продолжайте
читать книгу. И в конце, когда базовая работа с Git и GitHub будет уже привычным делом,
почитайте о них подробнее. Для чего может пригодиться Git:
• для хранения конфигураций и всех изменений в них;
• для хранения документации и всех её версий;
• для хранения схем и всех их версий;
• для хранения кода и его версий.
GitHub позволяет централизованно хранить все перечисленные выше вещи, но следует учитывать, что эти ресурсы будут доступны и другим. У GitHub есть и приватные репозитории
(платные), но даже в них, пожалуй, не стоит выкладывать такую информацию, как пароли.
Конечно, основное использование GitHub — размещение кода различных проектов. Кроме
этого, GitHub ещё и:
• хостинг для вашего сайта (GitHub Pages);
• хостинг для онлайн-презентаций и инструмент для их создания (GitPitch);
• вместе с GitBook, это ещё и платформа для публикации книг, документации или подобного тому.

Основы Git
Git — это распределённая система контроля версий (Version Control System, VCS), которая
широко используется и выпущена под лицензией GNU GPL v2. Она может:
• отслеживать изменения в файлах;
2. Использование Git и GitHub

29

Python для сетевых инженеров, Выпуск 3.0

• хранить несколько версий одного файла;
• отменять внесённые изменения;
• регистрировать, кто и когда сделал изменения.
Git хранит изменения как снимок (snapshot) всего репозитория. Этот снимок выполняется
после каждого коммита (commit).
Установка Git:
$ sudo apt-get install git

Первичная настройка Git
Для начала работы с Git, необходимо указать имя и e-mail пользователя, которые будут использоваться для синхронизации локального репозитория с репозиторием на GitHub:
$ git config --global user.name "username"
$ git config --global user.email "username.user@example.com"
Посмотреть настройки Git можно таким образом:
$ git config --list

Инициализация репозитория
Инициализация репозитория выполняется с помощью команды git init:
[~/tools/first_repo]
$ git init
Initialized empty Git repository in /home/vagrant/tools/first_repo/.git/
После выполнения этой команды, в текущем каталоге создаётся папка .git, в которой содержатся служебные файлы, необходимые для Git.

Отображение статуса репозитория в приглашении

Примечание: Пропускаем эту часть на Windows.

Это дополнительный функционал, который не требуется для работы с Git, но очень помогает
в этом. При работе с Git очень удобно, когда можно сразу определить, находитесь вы в обычном каталоге или в репозитории Git. Кроме того, было бы хорошо понимать статус текущего

30

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

репозитория. Для этого нужно установить специальную утилиту, которая будет показывать
статус репозитория. Для установки утилиты надо скопировать её репозиторий в домашний
каталог пользователя, под которым вы работаете:
cd ~
git clone https://github.com/magicmonty/bash-git-prompt.git .bash-git-prompt -,→depth=1

А затем добавить в конец файла .bashrc такие строки:
GIT_PROMPT_ONLY_IN_REPO=1
source ~/.bash-git-prompt/gitprompt.sh
Для того, чтобы изменения применились, перезапустить bash:
exec bash
В моей конфигурации приглашение командной строки разнесено на несколько строк, поэтому у вас оно будет отличаться. Главное, обратите внимание на то, что появляется дополнительная информация при переходе в репозиторий.
Теперь, если вы находитесь в обычном каталоге, приглашение выглядит так:
[~]
vagrant@jessie-i386:
$
Если же перейти в репозиторий Git:

Работа с Git
Для управления Git используются различные команды, смысл которых поясняется далее.

git status
При работе с Git, важно понимать текущий статус репозитория. Для этого в Git есть команда
git status

2. Использование Git и GitHub

31

Python для сетевых инженеров, Выпуск 3.0

Git сообщает, что мы находимся в ветке master (эта ветка создаётся сама и используется по
умолчанию), и что ему нечего добавлять в коммит. Кроме этого, Git предлагает создать или
скопировать файлы и после этого воспользоваться командой git add, чтобы Git начал за ними
следить.
Создание файла README и добавление в него строки «test»
$ vi README
$ echo "test" >> README
После этого приглашение выглядит таким образом

В приглашении показано, что есть два файла, за которыми Git ещё не следит

Два файла получилось из-за того, что у меня настроены undo-файлы для Vim. Это специальные файлы, благодаря которым можно отменять изменения не только в текущей сессии
файла, но и прошлые. Обратите внимание, что Git сообщает, что есть файлы, за которыми он
не следит и подсказывает, какой командой это сделать.

32

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Файл .gitignore
Undo-файл .README.un~ – служебный файл, который не нужно добавлять в репозиторий. В Git
есть возможность указать, какие файлы или каталоги нужно игнорировать. Для этого нужно
создать соответствующие шаблоны в файле .gitignore в каталоге репозитория.
Для того, чтобы Git игнорировал undo-файлы Vim, можно добавить, например, такую строку
в файл .gitignore
*.un~
Это значит, что Git должен игнорировать все файлы, которые заканчиваются на «.un~».
После этого, git status показывает

Обратите внимание, что теперь в выводе нет файла .README.un~. Как только в репозиторий
был добавлен файл .gitignore, файлы, которые указаны в нём, стали игнорироваться.

git add
Для того, чтобы Git начал следить за файлами, используется команда git add.
Можно указать что надо следить за конкретным файлом

Или за всеми файлами

2. Использование Git и GitHub

33

Python для сетевых инженеров, Выпуск 3.0

Вывод git status

Теперь файлы находятся в секции под названием «Changes to be committed».

git commit
После того, как все нужные файлы были добавлены в staging, можно закоммитить изменения.
Staging — это совокупность файлов, которые будут добавлены в следующий коммит. У команды git commit есть только один обязательный параметр – флаг «-m». Он позволяет указать
сообщение для этого коммита.

После этого git status отображает

34

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Фраза «nothing to commit, working directory clean» обозначает, что нет изменений, которые
нужно добавить в Git или закоммитить.

Дополнительные возможности
git diff
Команда git diff позволяет посмотреть разницу между различными состояниями. Например,
на данный момент, в репозитории внесены изменения в файл README и .gitignore.
Команда git status показывает, что оба файла изменены

Команда git diff показывает, какие изменения были внесены с момента последнего коммита

2. Использование Git и GitHub

35

Python для сетевых инженеров, Выпуск 3.0

Если добавить изменения, внесённые в файлы, в staging командой git add и ещё раз выполнить команду git diff, то она ничего не покажет

Чтобы показать отличия между staging и последним коммитом, надо добавить параметр
--staged

Закоммитим изменения

git log
Команда git log показывает, когда были выполнены последние изменения
36

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

По умолчанию команда показывает все коммиты, начиная с ближайшего по времени. С помощью дополнительных параметров можно не только посмотреть информацию о коммитах, но
и то, какие именно изменения были внесены.
Флаг -p позволяет отобразить отличия, которые были внесены каждым коммитом

2. Использование Git и GitHub

37

Python для сетевых инженеров, Выпуск 3.0

Более короткий вариант вывода можно вывести с флагом --stat

38

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Аутентификация на GitHub
Для того, чтобы начать работать с GitHub, надо на нём зарегистрироваться. Для безопасной
работы с GitHub лучше использовать аутентификацию по ключам SSH.
Генерация нового SSH-ключа (используйте e-mail, который привязан к GitHub):
$ ssh-keygen -t rsa -b 4096 -C "github_email@gmail.com"
На всех вопросах достаточно нажать Enter (более безопасно использовать ключ с passphrase,
но можно и без, если нажать Enter при вопросе, тогда passphrase не будет запрашиваться у
вас постоянно при операциях с репозиторием).
SSH-агент используется для хранения ключей в памяти и удобен тем, что нет необходимости
вводить пароль passphrase каждый раз при взаимодействии с удаленным хостом (в данном
случае - github.com).
Запуск SSH-агента (пропускаем на Windows):
$ eval "$(ssh-agent -s)"
Добавить ключ в SSH-агент (пропускаем на Windows):
$ ssh-add ~/.ssh/id_rsa

2. Использование Git и GitHub

39

Python для сетевых инженеров, Выпуск 3.0

Добавление SSH-ключа на GitHub
Для добавления ключа надо его скопировать.
Например, таким образом можно отобразить ключ для копирования:
$ cat ~/.ssh/id_rsa.pub
После копирования надо перейти на GitHub. Находясь на любой странице GitHub, в правом верхнем углу нажмите на картинку вашего профиля и в выпадающем списке выберите
«Settings». В списке слева надо выбрать поле «SSH and GPG keys». После этого надо нажать
«New SSH key» и в поле «Title» написать название ключа (например «Home»), а в поле «Key»
вставить содержимое, которое было скопировано из файла ~/.ssh/id_rsa.pub.

Примечание: Если GitHub запросит пароль, введите пароль своего аккаунта на GitHub.

Чтобы проверить, всё ли прошло успешно, попробуйте выполнить команду ssh -T
git@github.com.
Вывод должен быть таким:
$ ssh -T git@github.com
Hi username! You've successfully authenticated, but GitHub does not provide shell␣
,→access.

Теперь вы готовы работать с Git и GitHub.

Работа со своим репозиторием заданий
В данной главе описывается, как создать свой репозиторий с копией файлов заданий для
курса.

Создание репозитория на GitHub
Для создания своего репозитория на основе шаблона нужно:
• залогиниться на GitHub
• открыть репозиторий с заданиями
• нажать «Use this template» и создать новый репозиторий на основе этого шаблона
• в открывшемся окне надо ввести название репозитория
• после этого готов новый репозиторий с копией всех файлов из исходного репозитория
с заданиями

40

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Клонирование репозитория с GitHub
Для локальной работы с репозиторием его нужно клонировать.
Для этого используется команда git clone:
$ git clone ssh://git@github.com/pyneng/online-2-natasha-samoylenko.git
Cloning into 'online-2-natasha-samoylenko'...
remote: Counting objects: 241, done.
remote: Compressing objects: 100% (191/191), done.
remote: Total 241 (delta 43), reused 239 (delta 41), pack-reused 0
Receiving objects: 100% (241/241), 119.60 KiB | 0 bytes/s, done.
Resolving deltas: 100% (43/43), done.
Checking connectivity... done.
По сравнению с приведённой в этом листинге командой, вам нужно изменить:
• имя пользователя pyneng на имя своего пользователя на GitHub;
• имя репозитория online-2-natasha-samoylenko на имя своего репозитория на GitHub.
В итоге, в текущем каталоге, в котором была выполнена команда git clone, появится каталог с
именем репозитория, в моём случае – «online-2-natasha-samoylenko». В этом каталоге теперь
находится содержимое репозитория на GitHub.

Работа с репозиторием
Предыдущая команда не просто скопировала репозиторий чтобы использовать его локально,
но и настроила соответствующим образом Git:

2. Использование Git и GitHub

41

Python для сетевых инженеров, Выпуск 3.0

• создан каталог .git
• скачаны все данные репозитория
• скачаны все изменения, которые были в репозитории
• репозиторий на GitHub настроен как remote для локального репозитория
Теперь готов полноценный локальный репозиторий Git, в котором вы можете работать. Обычно последовательность работы будет такой:
• перед началом работы, синхронизация локального содержимого с GitHub командой git
pull
• изменение файлов репозитория
• добавление изменённых файлов в staging командой git add
• фиксация изменений через коммит командой git commit
• передача локальных изменений в репозитории на GitHub командой git push
При работе с заданиями на работе и дома, надо обратить особое внимание на первый и последний шаг:
• первый шаг – обновление локального репозитория
• последний шаг – загрузка изменений на GitHub

Синхронизация локального репозитория с удалённым
Все команды выполняются внутри каталога репозитория (в примере выше - online-2-natashasamoylenko).
Если содержимое локального репозитория одинаково с удалённым, вывод будет таким:
$ git pull
Already up-to-date.
Если были изменения, вывод будет примерно таким:
$ git pull
remote: Counting objects: 5, done.
remote: Compressing objects: 100% (1/1), done.
remote: Total 5 (delta 4), reused 5 (delta 4), pack-reused 0
Unpacking objects: 100% (5/5), done.
From ssh://github.com/pyneng/online-2-natasha-samoylenko
89c04b6..fc4c721

master

-> origin/master

Updating 89c04b6..fc4c721
Fast-forward
(continues on next page)

42

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

exercises/03_data_structures/task_3_3.py | 2 ++
1 file changed, 2 insertions(+)

Добавление новых файлов или изменений в существующих
Если необходимо добавить конкретный файл (в данном случае – README.md), нужно дать команду git add README.md. Добавление всех файлов текущей директории производится командой git add ..

Коммит
При выполнении коммита обязательно надо указать сообщение. Лучше, если сообщение будет со смыслом, а не просто «update» или подобное. Коммит делается командой, подобной
git commit -m "Сделаны задания 4.1-4.3".

Push на GitHub
Для загрузки всех локальных изменений на GitHub используется команда git push:
$ git push origin master
Counting objects: 5, done.
Compressing objects: 100% (5/5), done.
Writing objects: 100% (5/5), 426 bytes | 0 bytes/s, done.
Total 5 (delta 4), reused 0 (delta 0)
remote: Resolving deltas: 100% (4/4), completed with 4 local objects.
To ssh://git@github.com/pyneng/online-2-natasha-samoylenko.git
fc4c721..edcf417

master -> master

Перед выполнением git push можно выполнить команду git log -p origin/master.. – она
покажет, какие изменения вы собираетесь добавлять в свой репозиторий на GitHub.

Работа с репозиторием заданий и примеров
Все примеры и задания книги выложены в отдельном репозитории.

Копирование репозитория с GitHub
Примеры и задания иногда обновляются, поэтому будет удобнее клонировать этот репозиторий на свою машину и периодически обновлять его.

2. Использование Git и GitHub

43

Python для сетевых инженеров, Выпуск 3.0

Для копирования репозитория с GitHub выполните команду git clone:
$ git clone https://github.com/natenka/pyneng-examples-exercises
Cloning into 'pyneng-examples-exercises'...
remote: Counting objects: 1263, done.
remote: Compressing objects: 100% (504/504), done.
remote: Total 1263 (delta 735), reused 1263 (delta 735), pack-reused 0
Receiving objects: 100% (1263/1263), 267.10 KiB | 444.00 KiB/s, done.
Resolving deltas: 100% (735/735), done.
Checking connectivity... done.

Обновление локальной копии репозитория
При необходимости обновить локальный репозиторий, чтобы синхронизировать его с версией
на GitHub, надо выполнить git pull, находясь внутри созданного каталога pyneng-examplesexercises.
Если обновлений не было, вывод будет таким:
$ git pull
Already up-to-date.
Если обновления были, вывод будет примерно таким:
$ git pull
remote: Counting objects: 3, done.
remote: Compressing objects: 100% (1/1), done.
remote: Total 3 (delta 2), reused 3 (delta 2), pack-reused 0
Unpacking objects: 100% (3/3), done.
From https://github.com/natenka/pyneng-examples-exercises
49e9f1b..1eb82ad

master

-> origin/master

Updating 49e9f1b..1eb82ad
Fast-forward
README.md | 2 +1 file changed, 1 insertion(+), 1 deletion(-)
Обратите внимание на информацию о том, что изменился только файл README.md.

Просмотр изменений
Если вы хотите посмотреть, какие именно изменения были внесены, можно воспользоваться
командой git log:

44

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

$ git log -p -1
commit 98e393c27e7aae4b41878d9d979c7587bfeb24b4
Author: Наташа Самойленко
Date:

Fri Aug 18 17:32:07 2017 +0300

Update task_24_4.md
diff --git a/exercises/24_ansible_for_network/task_24_4.md b/exercises/24_ansible_
,→for_network/task_24_4.md

index c4307fa..137a221 100644
--- a/exercises/24_ansible_for_network/task_24_4.md
+++ b/exercises/24_ansible_for_network/task_24_4.md
@@ -13,11 +13,12 @@
* применить ACL к интерфейсу
ACL должен быть таким:
+
ip access-list extended INET-to-LAN
permit tcp 10.0.1.0 0.0.0.255 any eq www
permit tcp 10.0.1.0 0.0.0.255 any eq 22
permit icmp any any
+
Проверьте работу playbook на маршрутизаторе R1.
В этой команде флаг -p указывает, что надо отобразить вывод утилиты Linux diff для внесённых изменений, а не только сообщение коммита. В свою очередь, -1 указывает, что надо
показать только один самый свежий коммит.

Просмотр изменений, которые будут синхронизированы
Прошлый вариант git log опирается на количество коммитов, но это не всегда удобно. До
выполнения команды git pull можно посмотреть, какие изменения были выполнены с момента
последней синхронизации.
Для этого используется следующая команда:
$ git log -p ..origin/master
commit 4c1821030d20b3682b67caf362fd777d098d9126
Author: Наташа Самойленко
Date:

Mon May 29 07:53:45 2017 +0300
(continues on next page)

2. Использование Git и GitHub

45

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Update README.md
diff --git a/tools/README.md b/tools/README.md
index 2b6f380..4f8d4af 100644
--- a/tools/README.md
+++ b/tools/README.md
@@ -1 +1,4 @@
+
+Тут находятся PDF версии руководств по настройке инструментов, которые␣
,→используются

на курсе.

В данном случае изменения были только в одном файле. Эта команда будет очень полезна
для того, чтобы посмотреть, какие изменения были внесены в формулировку заданий и каких
именно заданий. Так будет легче ориентироваться, и понимать, касается ли это заданий,
которые вы уже сделали, и если касается, то надо ли их изменять.

Примечание: «..origin/master» в команде git log -p ..origin/master означает показать
все коммиты, которые есть в origin/master (в данном случае, это GitHub), но которых нет в
локальной копии репозитория

Если изменения были в тех заданиях, которые вы ещё не делали, этот вывод подскажет,
какие файлы нужно скопировать с репозитория курса в ваш личный репозиторий (а может
быть и весь раздел, если вы ещё не делали задания из этого раздела).

Дополнительные материалы
Документация:
• Informative git prompt for bash and fish;
• Authenticating to GitHub;
• Connecting to GitHub with SSH.
Про Git/GitHub:
• GitHowTo - интерактивный howto на русском;
• git/github guide. a minimal tutorial - минимально необходимые знания для работы с Git и
GitHub;
• Pro Git book. Эта же книга на русском;
• Системы контроля версий (GIT) (курс на Hexlet).

46

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Задания
Задание 2.1
В этом задании необходимо:
• создать свой репозиторий для выполнения заданий на GitHub
• клонировать его на свою виртуалку/хост
Создать свой репозиторий на основе шаблона репозиторий с заданиями и примерами.

Примечание: Как создать репозиторий на основе шаблона.

2. Использование Git и GitHub

47

Python для сетевых инженеров, Выпуск 3.0

3. Начало работы с Python
В этом разделе рассматриваются:
• синтаксис Python
• работа в интерактивном режиме
• переменные в Python

Синтаксис Python
Первое, что, как правило, бросается в глаза, если говорить о синтаксисе в Python, это то, что
отступы имеют значение:
• они определяют, какой код попадает в блок;
• когда блок кода начинается и заканчивается.
Пример кода Python:
a = 10
b = 5
if a > b:
print("A больше B")
print(a - b)
else:
print("B больше или равно A")
print(b - a)
print("Конец")
def open_file(filename):
print("Чтение файла", filename)
with open(filename) as f:
return f.read()
print("Готово")

Примечание: Этот код показан для демонстрации синтаксиса. И, несмотря на то, что ещё
не рассматривалась конструкция if/else, скорее всего, суть кода будет понятной.

Python понимает, какие строки относятся к if на основе отступов. Выполнение блока if a >
b заканчивается, когда встречается строка с тем же отступом, что и сама строка if a > b.

48

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Аналогично с блоком else. Вторая особенность Python: после некоторых выражений должно
идти двоеточие (например, после if a > b и после else).
Несколько правил и рекомендаций по отступам:
• В качестве отступов могут использоваться табы или пробелы (лучше использовать пробелы, а точнее, настроить редактор так, чтобы таб был равен 4 пробелам – тогда при
использовании клавиши табуляции будут ставиться 4 пробела, вместо 1 знака табуляции).
• Количество пробелов должно быть одинаковым в одном блоке (лучше, чтобы количество
пробелов было одинаковым во всём коде – популярный вариант, это использовать 2-4
пробела, так, например, в этой книге используются 4 пробела).
Ещё одна особенность приведённого кода, это пустые строки. С их помощью код форматируется, чтобы его было проще читать. Остальные особенности синтаксиса будут показаны в
процессе знакомства со структурами данных в Python.

Примечание: В Python есть специальный документ, в котором описано как лучше писать
код Python PEP 8 - the Style Guide for Python Code.

Комментарии
При написании кода часто нужно оставить комментарий, например, чтобы описать особенности работы кода.
Комментарии в Python могут быть однострочными:
# Очень важный комментарий
a = 10
b = 5 # Очень нужный комментарий
Однострочные комментарии начинаются со знака решётки. Обратите внимание, что комментарий может быть как в строке, где находится сам код, так и в отдельной строке.
При необходимости написать несколько строк с комментариями, чтобы не ставить перед каждой решётку, можно сделать многострочный комментарий:
"""
Очень важный
и длинный комментарий
"""
a = 10
b = 5

3. Начало работы с Python

49

Python для сетевых инженеров, Выпуск 3.0

Для многострочного комментария можно использовать три двойные или три одинарные кавычки. Комментарии могут использоваться как для того, чтобы комментировать, что происходит в коде, так и для того, чтобы исключить выполнение определённой строки или блока
кода (то есть закомментировать их).

Интерпретатор Python. IPython
Интерпретатор позволяет получать моментальный отклик на выполненные действия. Можно сказать, что интерпретатор работает как CLI (Command Line Interface) сетевых устройств:
каждая команда будет выполняться сразу же после нажатия Enter. Однако есть исключение
– более сложные объекты (например циклы или функции) выполняются только после двухкратного нажатия Enter.
В предыдущем разделе, для проверки установки Python вызывался стандартный интерпретатор. Кроме него, есть и усовершенствованный интерпретатор IPython. IPython позволяет
намного больше, чем стандартный интерпретатор, который вызывается по команде python.
Несколько примеров (возможности IPython намного шире):
• автодополнение команд по Tab или подсказка, если вариантов команд несколько;
• более структурированный и понятный вывод команд;
• автоматические отступы в циклах и других объектах;
• можно передвигаться по истории выполнения команд, или же посмотреть её «волшебной» командой %history.
Установить IPython можно с помощью pip (установка будет производиться в виртуальном
окружении, если оно настроено):
pip install ipython
После этого, перейти в IPython можно следующим образом:
$ ipython
Python 3.7.3 (default, May 13 2019, 15:44:23)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.5.0 -- An enhanced Interactive Python. Type '?' for help.
In [1]:
Для выхода используется команда quit. Далее описывается, как будет использоваться
IPython.
Для знакомства с интерпретатором можно попробовать использовать его как калькулятор:

50

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

In [1]: 1 + 2
Out[1]: 3
In [2]: 22*45
Out[2]: 990
In [3]: 2**3
Out[3]: 8
В IPython ввод и вывод помечены:
• In – входные данные пользователя
• Out – результат, который возвращает команда (если он есть)
• числа после In или Out – это порядковые номера выполненных команд в текущей сессии
IPython
Пример вывода строки функцией print():
In [4]: print('Hello!')
Hello!
Когда в интерпретаторе создаётся, например, цикл, то внутри цикла приглашение меняется
на многоточие. Для выполнения цикла и выхода из этого подрежима необходимо дважды
нажать Enter:
In [5]: for i in range(5):
...:

print(i)

...:
0
1
2
3
4

help()
В IPython есть возможность посмотреть справку по произвольному объекту, функции или методу с помощью help():
In [1]: help(str)
Help on class str in module builtins:
class str(object)
(continues on next page)

3. Начало работы с Python

51

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

|

str(object='') -> str

|

str(bytes_or_buffer[, encoding[, errors]]) -> str

|
|

Create a new string object from the given object. If encoding or

|

errors is specified, then the object must expose a data buffer

|

that will be decoded using the given encoding and error handler.

...
In [2]: help(str.strip)
Help on method_descriptor:
strip(...)
S.strip([chars]) -> str
Return a copy of the string S with leading and trailing
whitespace removed.
If chars is given and not None, remove characters in chars instead.
Второй вариант:
In [3]: ?str
Init signature: str(self, /, *args, **kwargs)
Docstring:
str(object='') -> str
str(bytes_or_buffer[, encoding[, errors]]) -> str
Create a new string object from the given object. If encoding or
errors is specified, then the object must expose a data buffer
that will be decoded using the given encoding and error handler.
Otherwise, returns the result of object.__str__() (if defined)
or repr(object).
encoding defaults to sys.getdefaultencoding().
errors defaults to 'strict'.
Type:

type

In [4]: ?str.strip
Docstring:
S.strip([chars]) -> str
Return a copy of the string S with leading and trailing
whitespace removed.
If chars is given and not None, remove characters in chars instead.
Type:

52

method_descriptor

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

print()
Функция print() позволяет вывести информацию на стандартный поток вывода (текущий
экран терминала). Если необходимо вывести строку, то её нужно обязательно заключить в
кавычки (двойные или одинарные). Если же нужно вывести, например, результат вычисления
или просто число, то кавычки не нужны:
In [6]: print('Hello!')
Hello!
In [7]: print(5*5)
25
Если нужно вывести подряд несколько значений через пробел, то нужно перечислить их через запятую:
In [8]: print(1*5, 2*5, 3*5, 4*5)
5 10 15 20
In [9]: print('one', 'two', 'three')
one two three
По умолчанию в конце каждого выражения, переданного в print(), будет перевод строки. Если
необходимо, чтобы после вывода каждого выражения не было бы перевода строки, надо в
качестве последнего выражения в print() указать дополнительный аргумент end.
См.также:
Дополнительные параметры функции print Функция print

dir()
Функция dir() может использоваться для того, чтобы посмотреть, какие имеются атрибуты
(переменные, привязанные к объекту) и методы (функции, привязанные к объекту).
Например, для числа вывод будет таким (обратите внимание на различные методы, которые
позволяют делать арифметические операции):
In [10]: dir(5)
Out[10]:
['__abs__',
'__add__',
'__and__',
...
'bit_length',
(continues on next page)

3. Начало работы с Python

53

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'conjugate',
'denominator',
'imag',
'numerator',
'real']
Аналогично для строки:
In [11]: dir('hello')
Out[11]:
['__add__',
'__class__',
'__contains__',
...
'startswith',
'strip',
'swapcase',
'title',
'translate',
'upper',
'zfill']
Если выполнить dir() без передачи значения, то она показывает существующие методы, атрибуты и переменные, определённые в текущей сессии интерпретатора:
In [12]: dir()
Out[12]:
[ '__builtin__',
'__builtins__',
'__doc__',
'__name__',
'_dh',
...
'_oh',
'_sh',
'exit',
'get_ipython',
'i',
'quit']
Например, после создания переменной a и test():
In [13]: a = 'hello'
(continues on next page)

54

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [14]: def test():
....:

print('test')

....:
In [15]: dir()
Out[15]:
...
'a',
'exit',
'get_ipython',
'i',
'quit',
'test']

Специальные команды ipython
В IPython есть специальные команды, которые упрощают работу с интерпретатором. Все они
начинаются со знака процента.

%history
Например, команда %history позволяет просмотреть историю введённых пользователем команд в текущей сессии IPython:
In [1]: a = 10
In [2]: b = 5
In [3]: if a > b:
...:

print("A is bigger")

...:
A is bigger
In [4]: %history
a = 10
b = 5
if a > b:
print("A is bigger")
%history
С помощью %history можно скопировать нужный блок кода.

3. Начало работы с Python

55

Python для сетевых инженеров, Выпуск 3.0

%time
Команда %time показывает сколько секунд выполнялось выражение:
In [5]: import subprocess
In [6]: def ping_ip(ip_address):
..:

reply = subprocess.run(['ping', '-c', '3', '-n', ip_address],

..:

stdout=subprocess.PIPE,

..:

stderr=subprocess.PIPE,

..:
..:

encoding='utf-8')
if reply.returncode == 0:

..:
..:

return True
else:

..:

return False

..:
In [7]: %time ping_ip('8.8.8.8')
CPU times: user 0 ns, sys: 4 ms, total: 4 ms
Wall time: 2.03 s
Out[7]: True
In [8]: %time ping_ip('8.8.8')
CPU times: user 0 ns, sys: 8 ms, total: 8 ms
Wall time: 12 s
Out[8]: False
In [9]: items = [1, 3, 5, 7, 9, 1, 2, 3, 55, 77, 33]
In [10]: %time sorted(items)
CPU times: user 0 ns, sys: 0 ns, total: 0 ns
Wall time: 8.11 µs
Out[10]: [1, 1, 2, 3, 3, 5, 7, 9, 33, 55, 77]
Подробнее об IPython можно почитать в документации IPython.
Коротко информацию можно посмотреть в самом IPython командой %quickref:
IPython -- An enhanced Interactive Python - Quick Reference Card
===========================================================
obj?, obj??

: Get help, or more help for object (also works as
?obj, ??obj).

?foo.*abc*

: List names in 'foo' containing 'abc' in them.

%magic

: Information about IPython's 'magic' % functions.
(continues on next page)

56

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Magic functions are prefixed by % or %%, and typically take their arguments
without parentheses, quotes or even commas for convenience.

Line magics take a

single % and cell magics are prefixed with two %%.
Example magic function calls:
%alias d ls -F

: 'd' is now an alias for 'ls -F'

alias d ls -F

: Works if 'alias' not a python name

alist = %alias

: Get list of aliases to 'alist'

cd /usr/share

: Obvious. cd - to choose from visited dirs.

%cd??

: See help AND source for magic %cd

%timeit x=10

: time the 'x=10' statement with high precision.

%%timeit x=2**100
x**100

: time 'x**100' with a setup of 'x=2**100'; setup code is not
counted.

This is an example of a cell magic.

System commands:
!cp a.txt b/

: System command escape, calls os.system()

cp a.txt b/

: after %rehashx, most system commands work without !

cp ${f}.txt $bar : Variable expansion in magics and system commands
files = !ls /usr : Capture sytem command output
files.s, files.l, files.n: "a b c", ['a','b','c'], 'a\nb\nc'
History:
_i, _ii, _iii

: Previous, next previous, next next previous input

_i4, _ih[2:5]

: Input history line 4, lines 2-4

exec _i81

: Execute input history line #81again

%rep 81

: Edit input history line #81

_, __, ___

: previous, next previous, next next previous output

_dh

: Directory history

_oh

: Output history

%hist

: Command history of current session.

%hist -g foo

: Search command history of (almost) all sessions for 'foo'.

%hist -g

: Command history of (almost) all sessions.

%hist 1/2-8

: Command history containing lines 2-8 of session 1.

%hist 1/ ~2/

: Command history of session 1 and 2 sessions before current.

3. Начало работы с Python

57

Python для сетевых инженеров, Выпуск 3.0

Переменные
Переменные в Python не требуют объявления типа переменной (так как Python – язык с динамической типизацией) и являются ссылками на область памяти. Правила именования переменных:
• имя переменной может состоять только из букв, цифр и знака подчёркивания;
• имя не может начинаться с цифры;
• имя не может содержать специальных символов @, $, %.
Пример создания переменных в Python:
In [1]: a = 3
In [2]: b = 'Hello'
In [3]: c, d = 9, 'Test'
In [4]: print(a,b,c,d)
3 Hello 9 Test
Обратите внимание, что в Python не нужно указывать, что «a» это число, а «b» это строка.
Переменные являются ссылками на область памяти. Это можно продемонстрировать с помощью id(), которая показывает идентификатор объекта:
In [5]: a = b = c = 33
In [6]: id(a)
Out[6]: 31671480
In [7]: id(b)
Out[7]: 31671480
In [8]: id(c)
Out[8]: 31671480
В этом примере видно, что все три имени ссылаются на один и тот же идентификатор, то
есть, это один и тот же объект, на который указывают три ссылки – «a», «b» и «c». С числами
у Python есть одна особенность, которая может немного сбить с понимания: числа от -5 до
256 заранее созданы и хранятся в массиве (списке). Поэтому при создании числа из этого
диапазона фактически создаётся ссылка на число в созданном массиве.

Примечание: Эта особенность характерна именно для реализации CPython, которая рас-

58

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

сматривается в книге

Это можно проверить таким образом:
In [9]: a = 3
In [10]: b = 3
In [11]: id(a)
Out[11]: 4400936168
In [12]: id(b)
Out[12]: 4400936168
In [13]: id(3)
Out[13]: 4400936168
Обратите внимание, что у a, b и числа 3 имеют одинаковые идентификаторы. Все они являются ссылками на существующее число в списке.
Если сделать то же самое с числом больше 256, идентификаторы у всех будут разные:
In [14]: a = 500
In [15]: b = 500
In [16]: id(a)
Out[16]: 140239990503056
In [17]: id(b)
Out[17]: 140239990503032
In [18]: id(500)
Out[18]: 140239990502960
При этом, если сделать присваивание переменных друг другу, то идентификаторы будут у
всех одинаковые (в таком варианте a, b и c ссылаются на один и тот же объект):
In [19]: a = b = c = 500
In [20]: id(a)
Out[20]: 140239990503080
In [21]: id(b)
Out[21]: 140239990503080
(continues on next page)

3. Начало работы с Python

59

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [22]: id(c)
Out[22]: 140239990503080

Имена переменных
Имена переменных не должны пересекаться с названиями операторов и модулей или же других зарезервированных слов. В Python есть рекомендации по именованию функций, классов
и переменных:
• имена переменных обычно пишутся или полностью большими или полностью маленькими буквами (например DB_NAME, db_name);
• имена функций задаются маленькими буквами, с подчёркиваниями между словами (например, get_names);
• имена классов задаются словами с заглавными буквами без пробелов, это так называемый CamelCase (например, CiscoSwitch).

60

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Задания
Задание 3.1
Выполните установку IPython в виртуальном окружении или глобально в системе, если виртуальные окружения не используются. После установки, по команде ipython должен открываться интерпретатор IPython (вывод может незначительно отличаться):
$ ipython
Python 3.8.0 (default, Nov

9 2019, 12:40:50)

Type 'copyright', 'credits' or 'license' for more information
IPython 7.18.1 -- An enhanced Interactive Python. Type '?' for help.
In [1]:

3. Начало работы с Python

61

Python для сетевых инженеров, Выпуск 3.0

4. Типы данных в Python
В Python есть несколько стандартных типов данных:
• Numbers (числа)
• Strings (строки)
• Lists (списки)
• Dictionaries (словари)
• Tuples (кортежи)
• Sets (множества)
• Boolean (логический тип данных)
Эти типы данных можно, в свою очередь, классифицировать по нескольким признакам:
• изменяемые (списки, словари и множества)
• неизменяемые (числа, строки и кортежи)
• упорядоченные (списки, кортежи, строки и словари)
• неупорядоченные (множества)
Содержание раздела:

Числа
С числами можно выполнять различные математические операции.
In [1]: 1 + 2
Out[1]: 3
In [2]: 1.0 + 2
Out[2]: 3.0
In [3]: 10 - 4
Out[3]: 6
In [4]: 2**3
Out[4]: 8
Деление int и float:

62

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

In [5]: 10/3
Out[5]: 3.3333333333333335
In [6]: 10/3.0
Out[6]: 3.3333333333333335
С помощью функции round можно округлять числа до нужного количества знаков:
In [9]: round(10/3.0, 2)
Out[9]: 3.33
In [10]: round(10/3.0, 4)
Out[10]: 3.3333
Остаток от деления:
In [11]: 10 % 3
Out[11]: 1
Операторы сравнения
In [12]: 10 > 3.0
Out[12]: True
In [13]: 10 < 3
Out[13]: False
In [14]: 10 == 3
Out[14]: False
In [15]: 10 == 10
Out[15]: True
In [16]: 10 1 f"IP: {ip}, mask: {mask}"
NameError: name 'ip' is not defined
Кроме подстановки значений переменных, в фигурных скобках можно писать выражения:
In [5]: first_name = 'William'
In [6]: second_name = 'Shakespeare'
In [7]: f"{first_name.upper()} {second_name.upper()}"
Out[7]: 'WILLIAM SHAKESPEARE'
После двоеточия в f-строках можно указывать те же значения, что и при использовании
format:
In [9]: oct1, oct2, oct3, oct4 = [10, 1, 1, 1]
In [10]: print(f'''
...: IP address:
...: {oct1: ' + r1[key])

...:
ios => 15.4
ip => 10.255.0.1
hostname => london_r1
location => 21 New Globe Walk
model => 4451
vendor => Cisco
Или воспользоваться методом items, который позволяет проходиться в цикле сразу по паре
ключ-значение:
In [37]: for key, value in r1.items():
...:

print(key + ' => ' + value)

...:
ios => 15.4
ip => 10.255.0.1
hostname => london_r1
location => 21 New Globe Walk
model => 4451
vendor => Cisco
Метод items возвращает специальный объект view, который отображает пары ключ-значение:
In [38]: r1.items()
Out[38]: dict_items([('ios', '15.4'), ('ip', '10.255.0.1'), ('hostname', 'london_
,→r1'),

('location', '21 New Globe Walk'), ('model', '4451'), ('vendor', 'Cisco

,→')])

6. Контроль хода программы

133

Python для сетевых инженеров, Выпуск 3.0

Вложенные for
Циклы for можно вкладывать друг в друга.
В этом примере в списке commands хранятся команды, которые надо выполнить для каждого
из интерфейсов в списке fast_int:
In [7]: commands = ['switchport mode access', 'spanning-tree portfast', 'spanning,→tree

bpduguard enable']

In [8]: fast_int = ['0/1','0/3','0/4','0/7','0/9','0/10','0/11']
In [9]: for intf in fast_int:
...:

print('interface FastEthernet {}'.format(intf))

...:

for command in commands:

...:

print(' {}'.format(command))

...:
interface FastEthernet 0/1
switchport mode access
spanning-tree portfast
spanning-tree bpduguard enable
interface FastEthernet 0/3
switchport mode access
spanning-tree portfast
spanning-tree bpduguard enable
interface FastEthernet 0/4
switchport mode access
spanning-tree portfast
spanning-tree bpduguard enable
...
Первый цикл for проходится по интерфейсам в списке fast_int, а второй по командам в списке
commands.

Совмещение for и if
Рассмотрим пример совмещения for и if.
Файл generate_access_port_config.py:
1

access_template = ['switchport mode access',

2

'switchport access vlan',

3

'spanning-tree portfast',

4

'spanning-tree bpduguard enable']

5
6

access = {'0/12': 10, '0/14': 11, '0/16': 17, '0/17': 150}}
(continues on next page)

134

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)
7
8
9
10
11
12
13
14

for intf, vlan in access.items():
print('interface FastEthernet' + intf)
for command in access_template:
if command.endswith('access vlan'):
print(' {} {}'.format(command, vlan))
else:
print(' {}'.format(command))
Комментарии к коду:
• В первом цикле for перебираются ключи и значения во вложенном словаре access
• Текущий ключ, на данный момент цикла, хранится в переменной intf
• Текущее значение, на данный момент цикла, хранится в переменной vlan
• Выводится строка interface FastEthernet с добавлением к ней номера интерфейса
• Во втором цикле for перебираются команды из списка access_template
• Так как к команде switchport access vlan надо добавить номер VLAN:
– внутри второго цикла for проверяются команды
– если команда заканчивается на access vlan
∗ выводится команда, и к ней добавляется номер VLAN
– во всех остальных случаях просто выводится команда
Результат выполнения скрипта:
$ python generate_access_port_config.py
interface FastEthernet0/12
switchport mode access
switchport access vlan 10
spanning-tree portfast
spanning-tree bpduguard enable
interface FastEthernet0/14
switchport mode access
switchport access vlan 11
spanning-tree portfast
spanning-tree bpduguard enable
interface FastEthernet0/16
switchport mode access
switchport access vlan 17
spanning-tree portfast
(continues on next page)

6. Контроль хода программы

135

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

spanning-tree bpduguard enable
interface FastEthernet0/17
switchport mode access
switchport access vlan 150
spanning-tree portfast
spanning-tree bpduguard enable

while
Цикл while - это еще одна разновидность цикла в Python.
В цикле while, как и в выражении if, надо писать условие. Если условие истинно, выполняются
действия внутри блока while. При этом, в отличие от if, после выполнения кода в блоке, while
возвращается в начало цикла.
При использовании циклов while необходимо обращать внимание на то, будет ли достигнуто
такое состояние, при котором условие цикла будет ложным.
Рассмотрим простой пример:
In [1]: a = 5
In [2]: while a > 0:
...:

print(a)

...:

a -= 1 # Эта запись равнозначна a = a - 1

...:
5
4
3
2
1
Сначала создается переменная а со значением 5.
Затем, в цикле while указано условие a > 0. То есть, пока значение а больше 0, будут выполняться действия в теле цикла. В данном случае, будет выводиться значение переменной
а.
Кроме того, в теле цикла при каждом прохождении значение а становится на единицу меньше.

Примечание: Запись a -= 1 может быть немного необычной. Python позволяет использовать такой формат вместо a = a - 1.

136

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Аналогичным образом можно писать: a += 1, a *= 2, a /= 2.

Так как значение а уменьшается, цикл не будет бесконечным, и в какой-то момент выражение
a > 0 станет ложным.
Следующий пример построен на основе примера про пароль из раздела о конструкции if
Пример использования конструкции if/elif/else. В том примере приходилось заново запускать
скрипт, если пароль не соответствовал требованиям.
С помощью цикла while можно сделать так, что скрипт сам будет запрашивать пароль заново,
если он не соответствует требованиям.
Файл check_password_with_while.py:
# -*- coding: utf-8 -*username = input('Введите имя пользователя: ')
password = input('Введите пароль: ')
password_correct = False
while not password_correct:
if len(password) < 8:
print('Пароль слишком короткий\n')
password = input('Введите пароль еще раз: ')
elif username in password:
print('Пароль содержит имя пользователя\n')
password = input('Введите пароль еще раз: ')
else:
print(f'Пароль для пользователя {username} установлен')
password_correct = True
В этом случае цикл while полезен, так как он возвращает скрипт снова в начало проверок,
позволяет снова набрать пароль, но при этом не требует перезапуска самого скрипта.
Теперь скрипт отрабатывает так:
$ python check_password_with_while.py
Введите имя пользователя: nata
Введите пароль: nata
Пароль слишком короткий
Введите пароль еще раз: natanata
Пароль содержит имя пользователя
Введите пароль еще раз: 123345345345
(continues on next page)

6. Контроль хода программы

137

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Пароль для пользователя nata установлен

break, continue, pass
В Python есть несколько операторов, которые позволяют менять поведение циклов по умолчанию.

Оператор break
Оператор break позволяет досрочно прервать цикл:
• break прерывает текущий цикл и продолжает выполнение следующих выражений
• если используется несколько вложенных циклов, break прерывает внутренний цикл и
продолжает выполнять выражения, следующие за блоком * break может использоваться
в циклах for и while
Пример с циклом for:
In [1]: for num in range(10):
...:

if num < 7:

...:
...:

print(num)
else:

...:

break

...:
0
1
2
3
4
5
6
Пример с циклом while:
In [2]: i = 0
In [3]: while i < 10:
...:
...:
...:

if i == 5:
break
else:

...:

print(i)

...:

i += 1

...:
(continues on next page)

138

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

0
1
2
3
4
Использование break в примере с запросом пароля (файл check_password_with_while_break.py):
username = input('Введите имя пользователя: ')
password = input('Введите пароль: ')
while True:
if len(password) < 8:
print('Пароль слишком короткий\n')
elif username in password:
print('Пароль содержит имя пользователя\n')
else:
print('Пароль для пользователя {} установлен'.format(username))
# завершает цикл while
break
password = input('Введите пароль еще раз: ')
Теперь можно не повторять строку password = input('Введите пароль еще раз: ') в каждом ответвлении, достаточно перенести ее в конец цикла.
И, как только будет введен правильный пароль, break выведет программу из цикла while.

Оператор continue
Оператор continue возвращает управление в начало цикла. То есть, continue позволяет «перепрыгнуть» оставшиеся выражения в цикле и перейти к следующей итерации.
Пример с циклом for:
In [4]: for num in range(5):
...:
...:
...:
...:

if num == 3:
continue
else:
print(num)

...:
0
1
2
4

6. Контроль хода программы

139

Python для сетевых инженеров, Выпуск 3.0

Пример с циклом while:
In [5]: i = 0
In [6]: while i < 6:
....:

i += 1

....:

if i == 3:

....:

print("Пропускаем 3")

....:

continue

....:

print("Это никто не увидит")

....:

else:

....:

print("Текущее значение: ", i)

....:
Текущее значение:

1

Текущее значение:

2

Пропускаем 3
Текущее значение:

4

Текущее значение:

5

Текущее значение:

6

Использование

continue

в

примере

с

запросом

пароля

(файл

check_password_with_while_continue.py):
username = input('Введите имя пользователя: ')
password = input('Введите пароль: ')
password_correct = False
while not password_correct:
if len(password) < 8:
print('Пароль слишком короткий\n')
elif username in password:
print('Пароль содержит имя пользователя\n')
else:
print('Пароль для пользователя {} установлен'.format(username))
password_correct = True
continue
password = input('Введите пароль еще раз: ')
Тут выход из цикла выполнятся с помощью проверки флага password_correct. Когда был введен правильный пароль, флаг выставляется равным True, и с помощью continue выполняется
переход в начало цикла, перескочив последнюю строку с запросом пароля.
Результат выполнения будет таким:
$ python check_password_with_while_continue.py
(continues on next page)

140

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Введите имя пользователя: nata
Введите пароль: nata12
Пароль слишком короткий
Введите пароль еще раз: natalksdjflsdjf
Пароль содержит имя пользователя
Введите пароль еще раз: asdfsujljhdflaskjdfh
Пароль для пользователя nata установлен

Оператор pass
Оператор pass ничего не делает. Фактически, это такая заглушка для объектов.
Например, pass может помочь в ситуации, когда нужно прописать структуру скрипта. Его
можно ставить в циклах, функциях, классах. И это не будет влиять на исполнение кода.
Пример использования pass:
In [6]: for num in range(5):
....:
....:
....:
....:

if num < 3:
pass
else:
print(num)

....:
3
4

for/else, while/else
В циклах for и while опционально может использоваться блок else.

for/else
В цикле for:
• блок else выполняется в том случае, если цикл завершил итерацию списка
• но else не выполняется, если в цикле был выполнен break
Пример цикла for с else (блок else выполняется после завершения цикла for):

6. Контроль хода программы

141

Python для сетевых инженеров, Выпуск 3.0

In [1]: for num in range(5):
....:

print(num)

....: else:
....:

print("Числа закончились")

....:
0
1
2
3
4
Числа закончились
Пример цикла for с else и break в цикле (из-за break блок else не выполняется):
In [2]: for num in range(5):
....:

if num == 3:

....:
....:

break
else:

....:

print(num)

....: else:
....:

print("Числа закончились")

....:
0
1
2
Пример цикла for с else и continue в цикле (continue не влияет на блок else):
In [3]: for num in range(5):
....:

if num == 3:

....:

continue

....:

else:

....:

print(num)

....: else:
....:

print("Числа закончились")

....:
0
1
2
4
Числа закончились

142

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

while/else
В цикле while:
• блок else выполняется в том случае, если цикл завершил итерацию списка
• но else не выполняется, если в цикле был выполнен break
Пример цикла while с else (блок else выполняется после завершения цикла while):
In [4]: i = 0
In [5]: while i < 5:
....:

print(i)

....:

i += 1

....: else:
....:

print("Конец")

....:
0
1
2
3
4
Конец
Пример цикла while с else и break в цикле (из-за break блок else не выполняется):
In [6]: i = 0
In [7]: while i < 5:
....:

if i == 3:

....:
....:

break
else:

....:

print(i)

....:

i += 1

....: else:
....:

print("Конец")

....:
0
1
2

Работа с исключениями try/except/else/finally

6. Контроль хода программы

143

Python для сетевых инженеров, Выпуск 3.0

try/except
Если вы повторяли примеры, которые использовались ранее, то наверняка были ситуации,
когда выскакивала ошибка. Скорее всего, это была ошибка синтаксиса, когда не хватало,
например, двоеточия.
Как правило, Python довольно понятно реагирует на подобные ошибки, и их можно исправить.
Тем не менее, даже если код синтаксически написан правильно, могут возникать ошибки. В
Python эти ошибки называются исключения (exceptions).
Примеры исключений:
In [1]: 2/0
----------------------------------------------------ZeroDivisionError: division by zero
In [2]: 'test' + 2
----------------------------------------------------TypeError: must be str, not int
В данном случае возникло два исключения: ZeroDivisionError и TypeError.
Чаще всего можно предсказать, какого рода исключения возникнут во время исполнения
программы.
Например, если программа на вход ожидает два числа, а на выходе выдает их сумму, а пользователь ввел вместо одного из чисел строку, появится ошибка TypeError, как в примере выше.
Python позволяет работать с исключениями. Их можно перехватывать и выполнять определенные действия в том случае, если возникло исключение.

Примечание: Когда в программе возникает исключение, она сразу завершает работу.

Для работы с исключениями используется конструкция try/except:
In [3]: try:
...:

2/0

...: except ZeroDivisionError:
...:

print("You can't divide by zero")

...:
You can't divide by zero
Конструкция try работает таким образом:
• сначала выполняются выражения, которые записаны в блоке try

144

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

• если при выполнения блока try не возникло никаких исключений, блок except пропускается, и выполняется дальнейший код
• если во время выполнения блока try в каком-то месте возникло исключение, оставшаяся
часть блока try пропускается
– если в блоке except указано исключение, которое возникло, выполняется код в блоке except
– если исключение, которое возникло, не указано в блоке except, выполнение программы прерывается и выдается ошибка
Обратите внимание, что строка Cool! в блоке try не выводится:
In [4]: try:
...:

print("Let's divide some numbers")

...:

2/0

...:

print('Cool!')

...: except ZeroDivisionError:
...:

print("You can't divide by zero")

...:
Let's divide some numbers
You can't divide by zero
В конструкции try/except может быть много except, если нужны разные действия в зависимости от типа ошибки.
Например, скрипт divide.py делит два числа введенных пользователем:
# -*- coding: utf-8 -*try:
a = input("Введите первое число: ")
b = input("Введите второе число: ")
print("Результат: ", int(a)/int(b))
except ValueError:
print("Пожалуйста, вводите только числа")
except ZeroDivisionError:
print("На ноль делить нельзя")
Примеры выполнения скрипта:
$ python divide.py
Введите первое число: 3
Введите второе число: 1
Результат:

3
(continues on next page)

6. Контроль хода программы

145

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

$ python divide.py
Введите первое число: 5
Введите второе число: 0
На ноль делить нельзя
$ python divide.py
Введите первое число: qewr
Введите второе число: 3
Пожалуйста, вводите только числа
В данном случае исключение ValueError возникает, когда пользователь ввел строку вместо
числа, во время перевода строки в число.
Исключение ZeroDivisionError возникает в случае, если второе число было равным 0.
Если

нет

необходимости

выводить

различные

сообщения

на

ошибки

ValueError

и

ZeroDivisionError, можно сделать так (файл divide_ver2.py):
# -*- coding: utf-8 -*try:
a = input("Введите первое число: ")
b = input("Введите второе число: ")
print("Результат: ", int(a)/int(b))
except (ValueError, ZeroDivisionError):
print("Что-то пошло не так...")
Проверка:
$ python divide_ver2.py
Введите первое число: wer
Введите второе число: 4
Что-то пошло не так...
$ python divide_ver2.py
Введите первое число: 5
Введите второе число: 0
Что-то пошло не так...

Примечание: В блоке except можно не указывать конкретное исключение или исключения.
В таком случае будут перехватываться все исключения.
Это делать не рекомендуется!

146

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

try/except/else
В конструкции try/except есть опциональный блок else. Он выполняется в том случае, если не
было исключения.
Например, если необходимо выполнять в дальнейшем какие-то операции с данными, которые
ввел пользователь, можно записать их в блоке else (файл divide_ver3.py):
# -*- coding: utf-8 -*try:
a = input("Введите первое число: ")
b = input("Введите второе число: ")
result = int(a)/int(b)
except (ValueError, ZeroDivisionError):
print("Что-то пошло не так...")
else:
print("Результат в квадрате: ", result**2)
Пример выполнения:
$ python divide_ver3.py
Введите первое число: 10
Введите второе число: 2
Результат в квадрате:

25

$ python divide_ver3.py
Введите первое число: werq
Введите второе число: 3
Что-то пошло не так...

try/except/finally
Блок finally - это еще один опциональный блок в конструкции try. Он выполняется всегда,
независимо от того, было ли исключение или нет.
Сюда ставятся действия, которые надо выполнить в любом случае. Например, это может быть
закрытие файла.
Файл divide_ver4.py с блоком finally:
# -*- coding: utf-8 -*try:
a = input("Введите первое число: ")
(continues on next page)

6. Контроль хода программы

147

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

b = input("Введите второе число: ")
result = int(a)/int(b)
except (ValueError, ZeroDivisionError):
print("Что-то пошло не так...")
else:
print("Результат в квадрате: ", result**2)
finally:
print("Вот и сказочке конец, а кто слушал - молодец.")
Проверка:
$ python divide_ver4.py
Введите первое число: 10
Введите второе число: 2
Результат в квадрате:

25

Вот и сказочке конец, а кто слушал - молодец.
$ python divide_ver4.py
Введите первое число: qwerewr
Введите второе число: 3
Что-то пошло не так...
Вот и сказочке конец, а кто слушал - молодец.
$ python divide_ver4.py
Введите первое число: 4
Введите второе число: 0
Что-то пошло не так...
Вот и сказочке конец, а кто слушал - молодец.

Когда использовать исключения
Как правило, один и тот же код можно написать и с использованием исключений, и без них.
Например, этот вариант кода:
while True:
a = input("Введите число: ")
b = input("Введите второе число: ")
try:
result = int(a)/int(b)
except ValueError:
print("Поддерживаются только числа")
except ZeroDivisionError:
(continues on next page)

148

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

print("На ноль делить нельзя")
else:
print(result)
break
Можно переписать таким образом без try/except (файл try_except_divide.py):
while True:
a = input("Введите число: ")
b = input("Введите второе число: ")
if a.isdigit() and b.isdigit():
if int(b) == 0:
print("На ноль делить нельзя")
else:
print(int(a)/int(b))
break
else:
print("Поддерживаются только числа")
Но далеко не всегда аналогичный вариант без использования исключений будет простым и
понятным.
Важно в каждой конкретной ситуации оценивать, какой вариант кода более понятный, компактный и универсальный - с исключениями или без.
Если вы раньше использовали какой-то другой язык программирования, есть вероятность,
что в нём использование исключений считалось плохим тоном. В Python это не так. Чтобы
немного больше разобраться с этим вопросом, посмотрите ссылки на дополнительные материалы в конце этого раздела.

raise
Иногда в коде надо сгенерировать исключение, это можно сделать так:
raise ValueError("При выполнении команды возникла ошибка")

Дополнительные материалы
Документация:
• Compound statements (if, while, for, try)
• break, continue

6. Контроль хода программы

149

Python для сетевых инженеров, Выпуск 3.0

• Errors and Exceptions
• Built-in Exceptions
Статьи:
• Write Cleaner Python: Use Exceptions
• Robust exception handling
• Python Exception Handling Techniques
Stack Overflow:
• Why does python use „else“ after for and while loops?
• Is it a good practice to use try-except-else in Python?

150

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 6.1
Список mac содержит MAC-адреса в формате XXXX:XXXX:XXXX. Однако, в оборудовании cisco
MAC-адреса используются в формате XXXX.XXXX.XXXX.
Написать код, который преобразует MAC-адреса в формат cisco и добавляет их в новый список
result. Полученный список result вывести на стандартный поток вывода (stdout) с помощью
print.
Ограничение: Все задания надо выполнять используя только пройденные темы.
mac = ["aabb:cc80:7000", "aabb:dd80:7340", "aabb:ee80:7000", "aabb:ff80:7000"]

Задание 6.2
1. Запросить у пользователя ввод IP-адреса в формате 10.0.1.1
2. В зависимости от типа адреса (описаны ниже), вывести на стандартный поток вывода:
• «unicast» - если первый байт в диапазоне 1-223
• «multicast» - если первый байт в диапазоне 224-239
• «local broadcast» - если IP-адрес равен 255.255.255.255
• «unassigned» - если IP-адрес равен 0.0.0.0
• «unused» - во всех остальных случаях
Ограничение: Все задания надо выполнять используя только пройденные темы.

Задание 6.2a
Сделать копию скрипта задания 6.2.

6. Контроль хода программы

151

Python для сетевых инженеров, Выпуск 3.0

Добавить проверку введенного IP-адреса. Адрес считается корректно заданным, если он:
• состоит из 4 чисел (а не букв или других символов)
• числа разделенны точкой
• каждое число в диапазоне от 0 до 255
Если адрес задан неправильно, выводить сообщение: «Неправильный IP-адрес». Сообщение
«Неправильный IP-адрес» должно выводиться только один раз, даже если несколько пунктов
выше не выполнены.
Ограничение: Все задания надо выполнять используя только пройденные темы.

Задание 6.2b
Сделать копию скрипта задания 6.2a.
Дополнить скрипт: Если адрес был введен неправильно, запросить адрес снова.
Ограничение: Все задания надо выполнять используя только пройденные темы.

Задание 6.3
В скрипте сделан генератор конфигурации для access-портов. Сделать аналогичный генератор конфигурации для портов trunk.
В транках ситуация усложняется тем, что VLANов может быть много, и надо понимать, что с
ним делать. Поэтому в соответствии каждому порту стоит список и первый (нулевой) элемент
списка указывает как воспринимать номера VLAN, которые идут дальше.
Пример значения и соответствующей команды:
• [«add», «10», «20»] - команда switchport trunk allowed vlan add 10,20
• [«del», «17»] - команда switchport trunk allowed vlan remove 17
• [«only», «11», «30»] - команда switchport trunk allowed vlan 11,30
Задача для портов 0/1, 0/2, 0/4:
• сгенерировать конфигурацию на основе шаблона trunk_template
• с учетом ключевых слов add, del, only
Код не должен привязываться к конкретным номерам портов. То есть, если в словаре trunk
будут другие номера интерфейсов, код должен работать.
Для данных в словаре trunk_template вывод на стандартный поток вывода должен быть таким:

152

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

interface FastEthernet 0/1
switchport trunk encapsulation dot1q
switchport mode trunk
switchport trunk allowed vlan add 10,20
interface FastEthernet 0/2
switchport trunk encapsulation dot1q
switchport mode trunk
switchport trunk allowed vlan 11,30
interface FastEthernet 0/4
switchport trunk encapsulation dot1q
switchport mode trunk
switchport trunk allowed vlan remove 17
Ограничение: Все задания надо выполнять используя только пройденные темы.
access_template = [
"switchport mode access",
"switchport access vlan",
"spanning-tree portfast",
"spanning-tree bpduguard enable",
]
trunk_template = [
"switchport trunk encapsulation dot1q",
"switchport mode trunk",
"switchport trunk allowed vlan",
]
access = {"0/12": "10", "0/14": "11", "0/16": "17", "0/17": "150"}
trunk = {"0/1": ["add", "10", "20"], "0/2": ["only", "11", "30"], "0/4": ["del",
,→"17"]}

for intf, vlan in access.items():
print("interface FastEthernet" + intf)
for command in access_template:
if command.endswith("access vlan"):
print(f" {command} {vlan}")
else:
print(f" {command}")

6. Контроль хода программы

153

Python для сетевых инженеров, Выпуск 3.0

7. Работа с файлами
В реальной жизни для того чтобы полноценно использовать всё, что рассматривалось до
этого раздела, надо разобраться как работать с файлами.
При работе с сетевым оборудованием (и не только), файлами могут быть:
• конфигурации (простые, не структурированные текстовые файлы)
– работа с ними рассматривается в этом разделе
• шаблоны конфигураций
– как правило, это какой-то специальный формат файлов.
– в разделе Шаблоны конфигураций с Jinja рассматривается использование Jinja2 для
создания шаблонов конфигураций
• файлы с параметрами подключений
– как правило, это структурированные файлы, в каком-то определенном формате:
YAML, JSON, CSV
∗ в разделе Сериализация данных рассматривается, как работать с такими файлами
• другие скрипты Python
– в разделе Модули рассматривается, как работать с модулями (другими скриптами
Python)
В этом разделе рассматривается работа с простыми текстовыми файлами. Например, конфигурационный файл Cisco.
В работе с файлами есть несколько аспектов:
• открытие/закрытие
• чтение
• запись
В этом разделе рассматривается только необходимый минимум для работы с файлами. Подробнее в документации Python.

Открытие файлов
Для начала работы с файлом, его надо открыть.

154

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

open
Для открытия файлов, чаще всего, используется функция open:
file = open('file_name.txt', 'r')
В функции open():
• 'file_name.txt' - имя файла
• тут можно указывать не только имя, но и путь (абсолютный или относительный)
• 'r' - режим открытия файла
Функция open создает объект file, к которому потом можно применять различные методы,
для работы с ним.
Режимы открытия файлов:
• r - открыть файл только для чтения (значение по умолчанию)
• r+ - открыть файл для чтения и записи
• w - открыть файл для записи
• если файл существует, то его содержимое удаляется
• если файл не существует, то создается новый
• w+ - открыть файл для чтения и записи
• если файл существует, то его содержимое удаляется
• если файл не существует, то создается новый
• a - открыть файл для дополнения записи. Данные добавляются в конец файла
• a+ - открыть файл для чтения и записи. Данные добавляются в конец файла

Примечание: r - read; a - append; w - write

Чтение файлов
В Python есть несколько методов чтения файла:
• read - считывает содержимое файла в строку
• readline - считывает файл построчно
• readlines - считывает строки файла и создает список из строк
Посмотрим как считывать содержимое файлов, на примере файла r1.txt:

7. Работа с файлами

155

Python для сетевых инженеров, Выпуск 3.0

!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!

read
Метод read - считывает весь файл в одну строку.
Пример использования метода read:
In [1]: f = open('r1.txt')
In [2]: f.read()
Out[2]: '!\nservice timestamps debug datetime msec localtime show-timezone␣
,→year\nservice

timestamps log datetime msec localtime show-timezone␣

,→year\nservice

password-encryption\nservice sequence-numbers\n!\nno ip domain␣

,→lookup\n!\nip

ssh version 2\n!\n'

In [3]: f.read()
Out[3]: ''
При повторном чтении файла в 3 строке, отображается пустая строка. Так происходит изза того, что при вызове метода read, считывается весь файл. И после того, как файл был
считан, курсор остается в конце файла. Управлять положением курсора можно с помощью
метода seek.

readline
Построчно файл можно считать с помощью метода readline:
In [4]: f = open('r1.txt')
In [5]: f.readline()
Out[5]: '!\n'
(continues on next page)

156

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [6]: f.readline()
Out[6]: 'service timestamps debug datetime msec localtime show-timezone year\n'
Но чаще всего проще пройтись по объекту file в цикле, не используя методы read...:
In [7]: f = open('r1.txt')
In [8]: for line in f:
...:

print(line)

...:
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!

readlines
Еще один полезный метод - readlines. Он считывает строки файла в список:
In [9]: f = open('r1.txt')
In [10]: f.readlines()
Out[10]:
['!\n',
'service timestamps debug datetime msec localtime show-timezone year\n',
'service timestamps log datetime msec localtime show-timezone year\n',
'service password-encryption\n',
(continues on next page)

7. Работа с файлами

157

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'service sequence-numbers\n',
'!\n',
'no ip domain lookup\n',
'!\n',
'ip ssh version 2\n',
'!\n']
Если нужно получить строки файла, но без перевода строки в конце, можно воспользоваться
методом split и как разделитель, указать символ \n:
In [11]: f = open('r1.txt')
In [12]: f.read().split('\n')
Out[12]:
['!',
'service timestamps debug datetime msec localtime show-timezone year',
'service timestamps log datetime msec localtime show-timezone year',
'service password-encryption',
'service sequence-numbers',
'!',
'no ip domain lookup',
'!',
'ip ssh version 2',
'!',
'']
Обратите внимание, что последний элемент списка - пустая строка.
Если перед выполнением split, воспользоваться методом rstrip, список будет без пустой
строки в конце:
In [13]: f = open('r1.txt')
In [14]: f.read().rstrip().split('\n')
Out[14]:
['!',
'service timestamps debug datetime msec localtime show-timezone year',
'service timestamps log datetime msec localtime show-timezone year',
'service password-encryption',
'service sequence-numbers',
'!',
'no ip domain lookup',
'!',
'ip ssh version 2',
(continues on next page)

158

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'!']

seek
До сих пор, файл каждый раз приходилось открывать заново, чтобы снова его считать. Так
происходит из-за того, что после методов чтения, курсор находится в конце файла. И повторное чтение возвращает пустую строку.
Чтобы ещё раз считать информацию из файла, нужно воспользоваться методом seek, который перемещает курсор в необходимое положение.
Пример открытия файла и считывания содержимого:
In [15]: f = open('r1.txt')
In [16]: print(f.read())
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!
Если вызывать ещё раз метод read, возвращается пустая строка:
In [17]: print(f.read())
Но с помощью метода seek можно перейти в начало файла (0 означает начало файла):
In [18]: f.seek(0)
После того как с помощью seek курсор был переведен в начало файла, можно опять считывать содержимое:
In [19]: print(f.read())
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
(continues on next page)

7. Работа с файлами

159

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

!
no ip domain lookup
!
ip ssh version 2
!

Запись файлов
При записи, очень важно определиться с режимом открытия файла, чтобы случайно его не
удалить:
• w - открыть файл для записи. Если файл существует, то его содержимое удаляется
• a - открыть файл для дополнения записи. Данные добавляются в конец файла
При этом оба режима создают файл, если он не существует.
Для записи в файл используются такие методы:
• write - записать в файл одну строку
• writelines - позволяет передавать в качестве аргумента список строк

write
Метод write ожидает строку, для записи.
Для примера, возьмем список строк с конфигурацией:
In [1]: cfg_lines = ['!',
...:

'service timestamps debug datetime msec localtime show-timezone year',

...:

'service timestamps log datetime msec localtime show-timezone year',

...:

'service password-encryption',

...:

'service sequence-numbers',

...:

'!',

...:

'no ip domain lookup',

...:

'!',

...:

'ip ssh version 2',

...:

'!']

Открытие файла r2.txt в режиме для записи:
In [2]: f = open('r2.txt', 'w')
Преобразуем список команд в одну большую строку с помощью join:

160

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

In [3]: cfg_lines_as_string = '\n'.join(cfg_lines)
In [4]: cfg_lines_as_string
Out[4]: '!\nservice timestamps debug datetime msec localtime show-timezone␣
,→year\nservice

timestamps log datetime msec localtime show-timezone␣

,→year\nservice

password-encryption\nservice sequence-numbers\n!\nno ip domain␣

,→lookup\n!\nip

ssh version 2\n!'

Запись строки в файл:
In [5]: f.write(cfg_lines_as_string)
Аналогично можно добавить строку вручную:
In [6]: f.write('\nhostname r2')
После завершения работы с файлом, его необходимо закрыть:
In [7]: f.close()
Так как ipython поддерживает команду cat, можно легко посмотреть содержимое файла:
In [8]: cat r2.txt
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!
hostname r2

writelines
Метод writelines ожидает список строк, как аргумент.
Запись списка строк cfg_lines в файл:
In [1]: cfg_lines = ['!',
...:

'service timestamps debug datetime msec localtime show-timezone year',

...:

'service timestamps log datetime msec localtime show-timezone year',
(continues on next page)

7. Работа с файлами

161

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

'service password-encryption',

...:

'service sequence-numbers',

...:

'!',

...:

'no ip domain lookup',

...:

'!',

...:

'ip ssh version 2',

...:

'!']

In [9]: f = open('r2.txt', 'w')
In [10]: f.writelines(cfg_lines)
In [11]: f.close()
In [12]: cat r2.txt
!service timestamps debug datetime msec localtime show-timezone yearservice␣
,→timestamps

log datetime msec localtime show-timezone yearservice password-

,→encryptionservice

sequence-numbers!no ip domain lookup!ip ssh version 2!

В результате все строки из списка записались в одну строку файла, так как в конце строк не
было символа \n.
Добавить перевод строки можно по-разному. Например, можно просто обработать список в
цикле:
In [13]: cfg_lines2 = []
In [14]: for line in cfg_lines:
....:

cfg_lines2.append(line + '\n')

....:
In [15]: cfg_lines2
Out[15]:
['!\n',
'service timestamps debug datetime msec localtime show-timezone year\n',
'service timestamps log datetime msec localtime show-timezone year\n',
'service password-encryption\n',
'service sequence-numbers\n',
'!\n',
'no ip domain lookup\n',
'!\n',
'ip ssh version 2\n',
Если итоговый список записать заново в файл, то в нём уже будут переводы строк:

162

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

In [18]: f = open('r2.txt', 'w')
In [19]: f.writelines(cfg_lines2)
In [20]: f.close()
In [21]: cat r2.txt
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!

Закрытие файлов

Примечание: В реальной жизни для закрытия файлов чаще всего используется конструкция
with. Её намного удобней использовать, чем закрывать файл явно. Но, так как в жизни можно
встретить и метод close, в этом разделе рассматривается как его использовать.

После завершения работы с файлом, его нужно закрыть. В некоторых случаях Python может
самостоятельно закрыть файл. Но лучше на это не рассчитывать и закрывать файл явно.

close
Метод close встречался в разделе запись файлов. Там он был нужен для того, чтобы содержимое файла было записано на диск.
Для этого, в Python есть отдельный метод flush. Но так как в примере с записью файлов, не
нужно было больше выполнять никаких операций, файл можно было закрыть.
Откроем файл r1.txt:
In [1]: f = open('r1.txt', 'r')
Теперь можно считать содержимое:

7. Работа с файлами

163

Python для сетевых инженеров, Выпуск 3.0

In [2]: print(f.read())
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!
У объекта file есть специальный атрибут closed, который позволяет проверить, закрыт файл
или нет. Если файл открыт, он возвращает False:
In [3]: f.closed
Out[3]: False
Теперь закрываем файл и снова проверяем closed:
In [4]: f.close()
In [5]: f.closed
Out[5]: True
Если попробовать прочитать файл, возникнет исключение:
In [6]: print(f.read())
-----------------------------------------------------------------ValueError

Traceback (most recent call last)

in ()
----> 1 print(f.read())
ValueError: I/O operation on closed file

Конструкция with
Конструкция with называется менеджер контекста.
В Python существует более удобный способ работы с файлами, чем те, которые использовались до сих пор - конструкция with:

164

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

In [1]: with open('r1.txt', 'r') as f:
....:

for line in f:

....:

print(line)

....:
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!
Кроме того, конструкция with гарантирует закрытие файла автоматически.
Обратите внимание на то, как считываются строки файла:
for line in f:
print(line)
Когда с файлом нужно работать построчно, лучше использовать такой вариант.
В предыдущем выводе, между строками файла были лишние пустые строки, так как print
добавляет ещё один перевод строки.
Чтобы избавиться от этого, можно использовать метод rstrip:
In [2]: with open('r1.txt', 'r') as f:
....:
....:

for line in f:
print(line.rstrip())

....:
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
(continues on next page)

7. Работа с файлами

165

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!
In [3]: f.closed
Out[3]: True
И конечно же, с конструкцией with можно использовать не только такой построчный вариант
считывания, все методы, которые рассматривались до этого, также работают:
In [4]: with open('r1.txt', 'r') as f:
....:

print(f.read())

....:
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!

Открытие двух файлов
Иногда нужно работать одновременно с двумя файлами. Например, надо записать некоторые
строки из одного файла, в другой.
В таком случае, в блоке with можно открывать два файла таким образом:
In [5]: with open('r1.txt') as src, open('result.txt', 'w') as dest:
...:
...:
...:

for line in src:
if line.startswith('service'):
dest.write(line)

...:
In [6]: cat result.txt
service timestamps debug datetime msec localtime show-timezone year
(continues on next page)

166

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
Это равнозначно таким двум блокам with:
In [7]: with open('r1.txt') as src:
...:

with open('result.txt', 'w') as dest:

...:

for line in src:

...:
...:

if line.startswith('service'):
dest.write(line)

...:

Примеры работы с файлами
В этом подразделе рассматривается работа с файлами и объединяются темы: файлы, циклы
и условия.
При обработке вывода команд или конфигурации часто надо будет записать итоговые данные в словарь. Не всегда очевидно, как обрабатывать вывод команд и каким образом в целом
подходить к разбору вывода на части. В этом подразделе рассматриваются несколько примеров, с возрастающим уровнем сложности.

Разбор вывода столбцами
В этом примере будет разбираться вывод команды sh ip int br. Из вывода команды нам надо
получить соответствия имя интерфейса - IP-адрес. То есть имя интерфейса - это ключсловаря,
а IP-адрес - значение. При этом, соответствие надо делать только для тех интерфейсов, у
которых назначен IP-адрес.
Пример вывода команды sh ip int br (файл sh_ip_int_br.txt):
R1#show ip interface brief
Interface

IP-Address

OK? Method Status

FastEthernet0/0

15.0.15.1

YES manual up

up

FastEthernet0/1

10.0.12.1

YES manual up

up

FastEthernet0/2

10.0.13.1

YES manual up

up

FastEthernet0/3

unassigned

YES unset

down

Loopback0

10.1.1.1

YES manual up

up

Loopback100

100.0.0.1

YES manual up

up

␣

,→Protocol

up

Файл working_with_dict_example_1.py:

7. Работа с файлами

167

Python для сетевых инженеров, Выпуск 3.0

result = {}
with open('sh_ip_int_br.txt') as f:
for line in f:
line = line.split()
if line and line[1][0].isdigit():
interface, address, *other = line
result[interface] = address
print(result)
Команда sh ip int br отображает вывод столбцами. Значит нужные поля находятся в одной
строке. Скрипт обрабатывает вывод построчно и каждую строку разбивает с помощью метода
split.
Полученный в итоге список содержит столбцы вывода. Так как из всего вывода нужны только
интерфейсы на которых настроен IP-адрес, выполняется проверка первого символа второго
столбца: если первый символ число, значит на интерфейсе назначен адрес и эту строку надо
обрабатывать.
В строке interface, address, *other = line выполняется распаковка переменных. В переменную interface попадет имя интерфейса, в address попадет IP-адрес, а в other все остальные
поля.
Так как для каждой строки есть пара ключ и значение, они присваиваются в словарь:
result[interface] = address.
Результатом выполнения скрипта будет такой словарь (тут он разбит на пары ключ-значение
для удобства, в реальном выводе скрипта словарь будет отображаться в одну строку):
{'FastEthernet0/0': '15.0.15.1',
'FastEthernet0/1': '10.0.12.1',
'FastEthernet0/2': '10.0.13.1',
'Loopback0': '10.1.1.1',
'Loopback100': '100.0.0.1'}

Получение ключа и значения из разных строк вывода
Очень часто вывод команд выглядит таким образом, что ключ и значение находятся в разных строках. И надо придумать каким образом обрабатывать вывод, чтобы получить нужное
соответствие.
Например, из вывода команды sh ip interface надо получить соответствие имя интерфейса
- MTU (файл sh_ip_interface.txt):

168

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Ethernet0/0 is up, line protocol is up
Internet address is 192.168.100.1/24
Broadcast address is 255.255.255.255
Address determined by non-volatile memory
MTU is 1500 bytes
Helper address is not set
...
Ethernet0/1 is up, line protocol is up
Internet address is 192.168.200.1/24
Broadcast address is 255.255.255.255
Address determined by non-volatile memory
MTU is 1500 bytes
Helper address is not set
...
Ethernet0/2 is up, line protocol is up
Internet address is 19.1.1.1/24
Broadcast address is 255.255.255.255
Address determined by non-volatile memory
MTU is 1500 bytes
Helper address is not set
...
Имя интерфейса находится в строке вида Ethernet0/0 is up, line protocol is up, а MTU
в строке вида MTU is 1500 bytes.
Например, попробуем запоминать каждый раз интерфейс и выводить его значение, когда
встречается MTU, вместе со значением MTU:
In [2]: with open('sh_ip_interface.txt') as f:
...:
...:

for line in f:
if 'line protocol' in line:

...:
...:

interface = line.split()[0]
elif 'MTU is' in line:

...:

mtu = line.split()[-2]

...:

print('{:15}{}'.format(interface, mtu))

...:
Ethernet0/0

1500

Ethernet0/1

1500

Ethernet0/2

1500

Ethernet0/3

1500

Loopback0

1514

Вывод организован таким образом, что всегда сначала идет строка с интерфейсом, а затем
через несколько строк - строка с MTU. Если запоминать имя интерфейса каждый раз, когда
оно встречается, то на момент когда встретится строка с MTU, последний запомненный ин-

7. Работа с файлами

169

Python для сетевых инженеров, Выпуск 3.0

терфейс - это тот к которому относится MTU.
Теперь, если необходимо создать словарь с соответствием интерфейс - MTU, достаточно записать значения на момент, когда был найден MTU.
Файл working_with_dict_example_2.py:
result = {}
with open('sh_ip_interface.txt') as f:
for line in f:
if 'line protocol' in line:
interface = line.split()[0]
elif 'MTU is' in line:
mtu = line.split()[-2]
result[interface] = mtu
print(result)
Результатом выполнения скрипта будет такой словарь (тут он разбит на пары ключ-значение
для удобства, в реальном выводе скрипта словарь будет отображаться в одну строку):
{'Ethernet0/0': '1500',
'Ethernet0/1': '1500',
'Ethernet0/2': '1500',
'Ethernet0/3': '1500',
'Loopback0': '1514'}
Этот прием будет достаточно часто полезен, так как вывод команд, в целом, организован
очень похожим образом.

Вложенный словарь
Если из вывода команды надо получить несколько параметров, очень удобно использовать
словарь с вложенным словарем.
Например, из вывода `sh ip interface` надо получить два параметра: IP-адрес и MTU. Для
начала, вывод информации:
Ethernet0/0 is up, line protocol is up
Internet address is 192.168.100.1/24
Broadcast address is 255.255.255.255
Address determined by non-volatile memory
MTU is 1500 bytes
Helper address is not set
(continues on next page)

170

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...
Ethernet0/1 is up, line protocol is up
Internet address is 192.168.200.1/24
Broadcast address is 255.255.255.255
Address determined by non-volatile memory
MTU is 1500 bytes
Helper address is not set
...
Ethernet0/2 is up, line protocol is up
Internet address is 19.1.1.1/24
Broadcast address is 255.255.255.255
Address determined by non-volatile memory
MTU is 1500 bytes
Helper address is not set
...
На первом этапе каждое значение запоминается в переменную, а затем, выводятся все три
значения. Значения выводятся, когда встретилась строка с MTU, потому что она идет последней:
In [2]: with open('sh_ip_interface.txt') as f:
...:
...:

for line in f:
if 'line protocol' in line:

...:
...:

interface = line.split()[0]
elif 'Internet address' in line:

...:
...:

ip_address = line.split()[-1]
elif 'MTU' in line:

...:

mtu = line.split()[-2]

...:

print('{:15}{:17}{}'.format(interface, ip_address, mtu))

...:
Ethernet0/0

192.168.100.1/24 1500

Ethernet0/1

192.168.200.1/24 1500

Ethernet0/2

19.1.1.1/24

Ethernet0/3

192.168.230.1/24 1500

Loopback0

4.4.4.4/32

1500
1514

Тут используется такой же прием, как в предыдущем примере, но добавляется еще одна
вложенность словаря:
result = {}
with open('sh_ip_interface.txt') as f:
for line in f:
(continues on next page)

7. Работа с файлами

171

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

if 'line protocol' in line:
interface = line.split()[0]
result[interface] = {}
elif 'Internet address' in line:
ip_address = line.split()[-1]
result[interface]['ip'] = ip_address
elif 'MTU' in line:
mtu = line.split()[-2]
result[interface]['mtu'] = mtu
print(result)
Каждый раз, когда встречается интерфейс, в словаре `result` создается ключ с именем интерфейса, которому соответствует пустой словарь. Эта заготовка нужна для того, чтобы на
момент когда встретится IP-адрес или MTU можно было записать параметр во вложенный
словарь соответствующего интерфейса.
Результатом выполнения скрипта будет такой словарь (тут он разбит на пары ключ-значение
для удобства, в реальном выводе скрипта словарь будет отображаться в одну строку):
{'Ethernet0/0': {'ip': '192.168.100.1/24', 'mtu': '1500'},
'Ethernet0/1': {'ip': '192.168.200.1/24', 'mtu': '1500'},
'Ethernet0/2': {'ip': '19.1.1.1/24', 'mtu': '1500'},
'Ethernet0/3': {'ip': '192.168.230.1/24', 'mtu': '1500'},
'Loopback0': {'ip': '4.4.4.4/32', 'mtu': '1514'}}

Вывод с пустыми значениями
Иногда, в выводе будут попадаться секции с пустыми значениями. Например, в случае с выводом `sh ip interface`, могут попадаться интерфейсы, которые выглядят так:
Ethernet0/1 is up, line protocol is up
Internet protocol processing disabled
Ethernet0/2 is administratively down, line protocol is down
Internet protocol processing disabled
Ethernet0/3 is administratively down, line protocol is down
Internet protocol processing disabled
Соответственно тут нет MTU или IP-адреса.
И если выполнить предыдущий скрипт для файла с такими интерфейсами, результат будет
таким (вывод для файла sh_ip_interface2.txt):

172

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

{'Ethernet0/0': {'ip': '192.168.100.2/24', 'mtu': '1500'},
'Ethernet0/1': {},
'Ethernet0/2': {},
'Ethernet0/3': {},
'Loopback0': {'ip': '2.2.2.2/32', 'mtu': '1514'}}
Если необходимо добавлять интерфейсы в словарь только, когда на интерфейсе назначен IPадрес, надо перенести создание ключа с именем интерфейса на момент, когда встречается
строка с IP-адресом (файл working_with_dict_example_4.py):
result = {}
with open('sh_ip_interface2.txt') as f:
for line in f:
if 'line protocol' in line:
interface = line.split()[0]
elif 'Internet address' in line:
ip_address = line.split()[-1]
result[interface] = {}
result[interface]['ip'] = ip_address
elif 'MTU' in line:
mtu = line.split()[-2]
result[interface]['mtu'] = mtu
print(result)
В этом случае результатом будет такой словарь:
{'Ethernet0/0': {'ip': '192.168.100.2/24', 'mtu': '1500'},
'Loopback0': {'ip': '2.2.2.2/32', 'mtu': '1514'}}

Дополнительные материалы
Документация:
• Reading and Writing Files
• The with statement
Статьи:
• The Python «with» Statement by Example
Stack Overflow:
• What is the python “with” statement designed for?

7. Работа с файлами

173

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 7.1
Обработать строки из файла ospf.txt и вывести информацию по каждой строке в таком виде
на стандартный поток вывода:
Prefix

10.0.24.0/24

AD/Metric

110/41

Next-Hop

10.0.13.3

Last update

3d18h

Outbound Interface

FastEthernet0/0

Ограничение: Все задания надо выполнять используя только пройденные темы.

Задание 7.2
Создать скрипт, который будет обрабатывать конфигурационный файл config_sw1.txt. Имя
файла передается как аргумент скрипту.
Скрипт должен возвращать на стандартный поток вывода команды из переданного конфигурационного файла, исключая строки, которые начинаются с !.
Вывод должен быть без пустых строк.
Ограничение: Все задания надо выполнять используя только пройденные темы.
Пример вывода:
$ python task_7_2.py config_sw1.txt
Current configuration : 2033 bytes
version 15.0
service timestamps debug datetime msec
service timestamps log datetime msec
no service password-encryption
(continues on next page)

174

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

hostname sw1
interface Ethernet0/0
duplex auto
interface Ethernet0/1
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 100
switchport mode trunk
duplex auto
spanning-tree portfast edge trunk
interface Ethernet0/2
duplex auto
interface Ethernet0/3
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 100
duplex auto
switchport mode trunk
spanning-tree portfast edge trunk
...

Задание 7.2a
Сделать копию скрипта задания 7.2.
Дополнить скрипт: Скрипт не должен выводить команды, в которых содержатся слова, которые указаны в списке ignore.
При этом скрипт также не должен выводить строки, которые начинаются на !.
Проверить работу скрипта на конфигурационном файле config_sw1.txt. Имя файла передается как аргумент скрипту.
Ограничение: Все задания надо выполнять используя только пройденные темы.
ignore = ["duplex", "alias", "configuration"]

Задание 7.2b
Переделать скрипт из задания 7.2a: вместо вывода на стандартный поток вывода, скрипт
должен записать полученные строки в файл
Имена файлов нужно передавать как аргументы скрипту:
• имя исходного файла конфигурации
• имя итогового файла конфигурации

7. Работа с файлами

175

Python для сетевых инженеров, Выпуск 3.0

При этом, должны быть отфильтрованы строки, которые содержатся в списке ignore и строки,
которые начинаются на „!“.
Ограничение: Все задания надо выполнять используя только пройденные темы.
ignore = ["duplex", "alias", "configuration"]

Задание 7.3
Скрипт должен обрабатывать записи в файле CAM_table.txt. Каждая строка, где есть MACадрес, должна быть обработана таким образом, чтобы на стандартный поток вывода была
выведена таблица вида:
100

01bb.c580.7000

Gi0/1

200

0a4b.c380.7c00

Gi0/2

300

a2ab.c5a0.700e

Gi0/3

10

0a1b.1c80.7000

Gi0/4

500

02b1.3c80.7b00

Gi0/5

200

1a4b.c580.7000

Gi0/6

300

0a1b.5c80.70f0

Gi0/7

10

01ab.c5d0.70d0

Gi0/8

1000

0a4b.c380.7d00

Gi0/9

Ограничение: Все задания надо выполнять используя только пройденные темы.

Задание 7.3a
Сделать копию скрипта задания 7.3.
Переделать скрипт: Отсортировать вывод по номеру VLAN В результате должен получиться
такой вывод:
10

01ab.c5d0.70d0

Gi0/8

10

0a1b.1c80.7000

Gi0/4

100

01bb.c580.7000

Gi0/1

200

0a4b.c380.7c00

Gi0/2

200

1a4b.c580.7000

Gi0/6

300

0a1b.5c80.70f0

Gi0/7

300

a2ab.c5a0.700e

Gi0/3

500

02b1.3c80.7b00

Gi0/5

1000

0a4b.c380.7d00

Gi0/9

Обратите внимание на vlan 1000 - он должен выводиться последним. Правильной сортировки
можно добиться, если vlan будет числом, а не строкой.

176

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

Ограничение: Все задания надо выполнять используя только пройденные темы.

Задание 7.3b
Сделать копию скрипта задания 7.3a.
Переделать скрипт:
• Запросить у пользователя ввод номера VLAN.
• Выводить информацию только по указанному VLAN.
Пример работы скрипта:
Enter VLAN number: 10
10

0a1b.1c80.7000

Gi0/4

10

01ab.c5d0.70d0

Gi0/8

Ограничение: Все задания надо выполнять используя только пройденные темы.

7. Работа с файлами

177

Python для сетевых инженеров, Выпуск 3.0

8. Примеры использования основ
В этом разделе собраны те темы, которые не вошли в предыдущие разделы, а также приведены примеры использования основ Python для решения задач.
Хотя большинство примеров будет ориентировано на работу с файлами, те же принципы
обработки информации будут применимы и при работе с сетевым оборудованием. Только
часть с чтением из файла будет заменена на получение вывода с оборудования.

Форматирование строк с помощью f-строк
В Python 3.6 добавился новый вариант форматирования строк - f-строки или интерполяция
строк. F-строки позволяют не только подставлять какие-то значения в шаблон, но и позволяют выполнять вызовы функций, методов и т.п.
Во многих ситуациях f-строки удобней и проще использовать, чем format, кроме того, f-строки
работают быстрее, чем format и другие методы форматирования строк.

Синтаксис
F-строки - это литерал строки с буквой f перед ним. Внутри f-строки в паре фигурных скобок
указываются имена переменных, которые надо подставить:
In [1]: ip = '10.1.1.1'
In [2]: mask = 24
In [3]: f"IP: {ip}, mask: {mask}"
Out[3]: 'IP: 10.1.1.1, mask: 24'
Аналогичный

результат

с

format

можно

получить

так:

"IP: {ip}, mask: {mask}".

format(ip=ip, mask=mask).
Очень важное отличие f-строк от format: f-строки это выражение, которое выполняется, а не
просто строка. То есть, в случае с ipython, как только мы написали выражение и нажали Enter,
оно выполнилось и вместо выражений {ip} и {mask} подставились значения переменных.
Поэтому, например, нельзя сначала написать шаблон, а затем определить переменные, которые используются в шаблоне:
In [1]: f"IP: {ip}, mask: {mask}"
--------------------------------------------------------------------------NameError

Traceback (most recent call last)

in ()
(continues on next page)

178

Глава 3. I. Основы Python

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

----> 1 f"IP: {ip}, mask: {mask}"
NameError: name 'ip' is not defined
Кроме подстановки значений переменных, в фигурных скобках можно писать выражения:
In [1]: octets = ['10', '1', '1', '1']
In [2]: mask = 24
In [3]: f"IP: {'.'.join(octets)}, mask: {mask}"
Out[3]: 'IP: 10.1.1.1, mask: 24'
После двоеточия в f-строках можно указывать те же значения, что и при использовании
format:
In [9]: oct1, oct2, oct3, oct4 = [10, 1, 1, 1]
In [10]: print(f'''
...: IP address:
...: {oct1:sh ip int br',

...:

'r1-london-core# sh ip route']

...:
In [13]: for line in commands:
...:

match = re.search(r'^.+[>#]', line)

...:

if match:

...:

print(match.group())

...:
SW1#
SW1>
r1-london-core#
В квадратных скобках можно указывать диапазоны символов. Например, таким образом можно указать, что нас интересует любая цифра от 0 до 9:
312

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

In [14]: line = "100

aa12.35fe.a5d3

FastEthernet0/1"

In [15]: re.search(r'[0-9]+', line).group()
Out[15]: '100'
Аналогичным образом можно указать буквы:
In [16]: line = "100

aa12.35fe.a5d3

FastEthernet0/1"

In [17]: re.search(r'[a-z]+', line).group()
Out[17]: 'aa'
In [18]: re.search(r'[A-Z]+', line).group()
Out[18]: 'F'
В квадратных скобках можно указывать несколько диапазонов:
In [19]: line = "100

aa12.35fe.a5d3

FastEthernet0/1"

In [20]: re.search(r'[a-f0-9]+\.[a-f0-9]+\.[a-f0-9]+', line).group()
Out[20]: 'aa12.35fe.a5d3'
Выражение [a-f0-9]+\.[a-f0-9]+\.[a-f0-9]+ описывает три группы символов, разделенных точкой. Символами в каждой группе могут быть буквы a-f или цифры 0-9. Это выражение
описывает MAC-адрес.
Еще одна особенность квадратных скобок - специальные символы внутри квадратных скобок
теряют свое специальное значение и обозначают просто символ. Например, точка внутри
квадратных скобок будет обозначать точку, а не любой символ.
Выражение [a-f0-9]+[./][a-f0-9]+ описывает три группы символов:
1. буквы a-f или цифры от 0 до 9
2. точка или слеш
3. буквы a-f или цифры от 0 до 9
Для строки line совпадением будет такая подстрока:
In [21]: line = "100

aa12.35fe.a5d3

FastEthernet0/1"

In [22]: re.search(r'[a-f0-9]+[./][a-f0-9]+', line).group()
Out[22]: 'aa12.35fe'
Если после открывающейся квадратной скобки указан символ ^, совпадением будет любой
символ, кроме указанных в скобках:

14. Синтаксис регулярных выражений

313

Python для сетевых инженеров, Выпуск 3.0

In [23]: line = 'FastEthernet0/0

15.0.15.1

YES manual up

up'

In [24]: re.search(r'[^a-zA-Z]+', line).group()
Out[24]: '0/0

15.0.15.1

'

В данном случае выражение описывает все, кроме букв.

|
Вертикальная черта работает как „или“:
In [25]: line = "100

aa12.35fe.a5d3

FastEthernet0/1"

In [26]: re.search(r'Fast|0/1', line).group()
Out[26]: 'Fast'
Обратите внимание на то, как срабатывает | - Fast и 0/1 воспринимаются как целое выражение. То есть, в итоге выражение означает, что мы ищем Fast или 0/1, а не то, что мы ищем
Fas, затем t или 0 и 0/1.

()
Скобки используются для группировки выражений. Как и в математических выражениях, с
помощью скобок можно указать, к каким элементам применяется операция.
Например, выражение [0-9]([a-f]|[0-9])[0-9] описывает три символа: цифра, потом буква
или цифра и цифра:
In [27]: line = "100

aa12.35fe.a5d3

FastEthernet0/1"

In [28]: re.search(r'[0-9]([a-f]|[0-9])[0-9]', line).group()
Out[28]: '100'
Скобки позволяют указывать, какое выражение является одним целым. Это особенно полезно
при использовании символов повторения:
In [29]: line = 'FastEthernet0/0

15.0.15.1

YES manual up

up'

In [30]: re.search(r'([0-9]+\.)+[0-9]+', line).group()
Out[30]: '15.0.15.1'
Скобки позволяют не только группировать выражения. Строка, которая совпала с выражением в скобках, запоминается. Ее можно получить отдельно с помощью специальных методов
groups и group(n). Это рассматривается в подразделе «Группировка выражений».

314

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

Жадность символов повторения
По умолчанию символы повторения в регулярных выражениях жадные (greedy). Это значит,
что результирующая подстрока, которая соответствует шаблону, будет наиболее длинной.
Пример жадного поведения:
In [1]: import re
In [2]: line = ' some text>'
In [3]: match = re.search(r'', line)
In [4]: match.group()
Out[4]: ' some text>'
То есть, в данном случае выражение захватило максимально возможный кусок символов,
заключенный в .
Если нужно отключить жадность, достаточно добавить знак вопроса после символов повторения:
In [5]: line = ' some text>'
In [6]: match = re.search(r'', line)
In [7]: match.group()
Out[7]: ''
Зачастую жадность наоборот полезна. Например, без отключения жадности последнего плюса, выражение \d+\s+\S+ описывает такую строку:
In [8]: line = '1500

aab1.a1a1.a5d3

FastEthernet0/1'

In [9]: re.search(r'\d+\s+\S+', line).group()
Out[9]: '1500

aab1.a1a1.a5d3'

Символ \S обозначает все, кроме пробельных символов. Поэтому выражение \S+ с жадным
символом повторения описывает максимально длинную строку до первого whitespace символа. В данном случае - до первого пробела.
Если отключить жадность, результат будет таким:
In [10]: re.search(r'\d+\s+\S+?', line).group()
Out[10]: '1500

a'

14. Синтаксис регулярных выражений

315

Python для сетевых инженеров, Выпуск 3.0

Группировка выражений
Группировка выражений указывает, что последовательность символов надо рассматривать
как одно целое. Однако это не единственное преимущество группировки.
Кроме этого, с помощью групп можно получать только определенную часть строки, которая
была описана выражением. Это очень полезно в ситуациях, когда надо описать строку достаточно подробно, чтобы отобрать нужные строки, но в то же время из самой строки надо
получить только определенное значение.
Например, из log-файла надо отобрать строки, в которых встречается «%SW_MATM-4MACFLAP_NOTIF», а затем из каждой такой строки получить MAC-адрес, VLAN и интерфейсы.
В этом случае регулярное выражение просто должно описывать строку, а все части строки,
которые надо получить в результате, просто заключаются в скобки.
В Python есть два варианта использования групп:
• Нумерованные группы
• Именованные группы

Нумерованные группы
Группа определяется помещением выражения в круглые скобки ().
Внутри выражения группы нумеруются слева направо, начиная с 1. Затем к группам можно
обращаться по номерам и получать текст, который соответствует выражению в группе.
Пример использования групп:
In [8]: line = "FastEthernet0/1

10.0.12.1

YES manual up

␣

up"

,→

In [9]: match = re.search(r'(\S+)\s+([\w.]+)\s+.*', line)
В данном примере указаны две группы:
• первая группа - любые символы, кроме пробельных
• вторая группа - любая буква или цифра (символ \w) или точка
Вторую группу можно было описать так же, как и первую. Другой вариант сделан просто для
примера
Теперь можно обращаться к группам по номеру. Группа 0 - это строка, которая соответствует
всему шаблону:
In [10]: match.group(0)
Out[10]: 'FastEthernet0/1
,→

10.0.12.1

YES manual up

␣

up'
(continues on next page)

316

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [11]: match.group(1)
Out[11]: 'FastEthernet0/1'
In [12]: match.group(2)
Out[12]: '10.0.12.1'
При необходимости можно перечислить несколько номеров групп:
In [13]: match.group(1, 2)
Out[13]: ('FastEthernet0/1', '10.0.12.1')
In [14]: match.group(2, 1, 2)
Out[14]: ('10.0.12.1', 'FastEthernet0/1', '10.0.12.1')
Начиная с версии Python 3.6, к группам можно обращаться таким образом:
In [15]: match[0]
Out[15]: 'FastEthernet0/1
,→

10.0.12.1

YES manual up

␣

up'

In [16]: match[1]
Out[16]: 'FastEthernet0/1'
In [17]: match[2]
Out[17]: '10.0.12.1'
Для вывода всех подстрок, которые соответствуют указанным группам, используется метод
groups:
In [18]: match.groups()
Out[18]: ('FastEthernet0/1', '10.0.12.1')

Именованные группы
Когда выражение сложное, не очень удобно определять номер группы. Плюс, при дополнении выражения, может получиться так, что порядок групп изменился, и придется изменить
и код, который ссылается на группы.
Именованные группы позволяют задавать группе имя.
Синтаксис именованной группы (?Pregex):

14. Синтаксис регулярных выражений

317

Python для сетевых инженеров, Выпуск 3.0

In [19]: line = "FastEthernet0/1
,→

10.0.12.1

YES manual up

␣

up"

In [20]: match = re.search(r'(?P\S+)\s+(?P[\d.]+)\s+', line)
Теперь к этим группам можно обращаться по имени:
In [21]: match.group('intf')
Out[21]: 'FastEthernet0/1'
In [22]: match.group('address')
Out[22]: '10.0.12.1'
Также очень полезно то, что с помощью метода groupdict(), можно получить словарь, где
ключи - имена групп, а значения - подстроки, которые им соответствуют:
In [23]: match.groupdict()
Out[23]: {'address': '10.0.12.1', 'intf': 'FastEthernet0/1'}
И в таком случае можно добавить группы в регулярное выражение и полагаться на их имя, а
не на порядок:
In [24]: match = re.search(r'(?P\S+)\s+(?P[\d\.]+)\s+\w+\s+\w+\s+(?
,→Pup|down)\s+(?Pup|down)',

line)

In [25]: match.groupdict()
Out[25]:
{'address': '10.0.12.1',
'intf': 'FastEthernet0/1',
'protocol': 'up',
'status': 'up'}

Разбор вывода команды show ip dhcp snooping с помощью именованных групп
Рассмотрим еще один пример использования именованных групп. В этом примере задача в
том, чтобы получить из вывода команды show ip dhcp snooping binding поля: MAC-адрес, IPадрес, VLAN и интерфейс.
В файле dhcp_snooping.txt находится вывод команды show ip dhcp snooping binding:
MacAddress

IpAddress

Lease(sec)

Type

VLAN

Interface

------------------

------------

----------

-------------

----

---------------

,→-----

318

(continues on next page)

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

00:09:BB:3D:D6:58

10.1.10.2

86250

dhcp-snooping

10

FastEthernet0/

10.1.5.2

63951

dhcp-snooping

5

FastEthernet0/

10.1.5.4

63253

dhcp-snooping

5

FastEthernet0/

10.1.10.6

76260

dhcp-snooping

10

FastEthernet0/

,→1

00:04:A3:3E:5B:69
,→10

00:05:B3:7E:9B:60
,→9

00:09:BC:3F:A6:50
,→3

Total number of bindings: 4
Для начала попробуем разобрать одну строку:
In [1]: line = '00:09:BB:3D:D6:58

10.1.10.2 86250

dhcp-snooping

10 ␣

,→FastEthernet0/1'

В регулярном выражении именованные группы используются для тех частей вывода, которые
нужно запомнить:
In [2]: match = re.search(r'(?P\S+) +(?P\S+) +\d+ +\S+ +(?P\d+) +(?
,→P\S+)',

line)

Комментарии к регулярному выражению:
• (?P\S+) + - в группу с именем „mac“ попадают любые символы, кроме пробельных.
Получается, что выражение описывает последовательность любых символов до пробела
• (?P\S+) + - тут аналогично: последовательность любых непробельных символов до
пробела. Имя группы „ip“
• \d+ + - числовая последовательность (одна или более цифр), а затем один или более
пробелов
• сюда попадет значение Lease
• \S+ +- последовательность любых символов, кроме пробельных
• сюда попадает тип соответствия (в данном случае все они dhcp-snooping)
• (?P\d+) + - именованная группа „vlan“. Сюда попадают только числовые последовательности с одним или более символами
• (?P.\S+) - именованная группа „port“. Сюда попадают любые символы, кроме
whitespace
В результате, метод groupdict вернет такой словарь:
In [3]: match.groupdict()
Out[3]:
(continues on next page)

14. Синтаксис регулярных выражений

319

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

{'int': 'FastEthernet0/1',
'ip': '10.1.10.2',
'mac': '00:09:BB:3D:D6:58',
'vlan': '10'}
Так как регулярное выражение отработало как нужно, можно создавать скрипт. В скрипте
перебираются все строки файла dhcp_snooping.txt, и на стандартный поток вывода выводится
информация об устройствах.
Файл parse_dhcp_snooping.py:
# -*- coding: utf-8 -*import re
#'00:09:BB:3D:D6:58

10.1.10.2

86250

dhcp-snooping

10

␣

,→FastEthernet0/1'

regex = r'(?P\S+) +(?P\S+) +\d+ +\S+ +(?P\d+) +(?P\S+)'
result = []
with open('dhcp_snooping.txt') as data:
for line in data:
match = re.search(regex, line)
if match:
result.append(match.groupdict())
print('К коммутатору подключено {} устройства'.format(len(result)))
for num, comp in enumerate(result, 1):
print('Параметры устройства {}:'.format(num))
for key in comp:
print('{:10}: {:10}'.format(key, comp[key]))
Результат выполнения:
$ python parse_dhcp_snooping.py
К коммутатору подключено 4 устройства
Параметры устройства 1:
int:
ip:
mac:
vlan:

FastEthernet0/1
10.1.10.2
00:09:BB:3D:D6:58
10

Параметры устройства 2:
int:
ip:

FastEthernet0/10
10.1.5.2
(continues on next page)

320

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

mac:
vlan:

00:04:A3:3E:5B:69
5

Параметры устройства 3:
int:
ip:
mac:
vlan:

FastEthernet0/9
10.1.5.4
00:05:B3:7E:9B:60
5

Параметры устройства 4:
int:
ip:
mac:
vlan:

FastEthernet0/3
10.1.10.6
00:09:BC:3F:A6:50
10

Группа без захвата
По умолчанию все, что попало в группу, запоминается. Это называется группа с захватом.
Иногда скобки нужны для указания части выражения, которое повторяется. И, при этом, не
нужно запоминать выражение.
Например, надо получить MAC-адрес, VLAN и порты из такого лог-сообщения:
In [1]: log = 'Jun
,→in

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.7ad7␣

vlan 10 is flapping between port Gi0/5 and port Gi0/15'

Регулярное выражение, которое описывает нужные подстроки:
In [2]: match = re.search(r'((\w{4}\.){2}\w{4}).+vlan (\d+).+port (\S+).+port␣
,→(\S+)',

log)

Выражение состоит из таких частей:
• ((\w{4}\.){2}\w{4}) - сюда попадет MAC-адрес
• \w{4}\. - эта часть описывает 4 буквы или цифры и точку
• (\w{4}\.){2} - тут скобки нужны, чтобы указать, что 4 буквы или цифры и точка повторяются два раза
• \w{4} - затем 4 буквы или цифры
• .+vlan (\d+) - в группу попадет номер VLAN
• .+port (\S+) - первый интерфейс
• .+port (\S+) - второй интерфейс
Метод groups вернет такой результат:
14. Синтаксис регулярных выражений

321

Python для сетевых инженеров, Выпуск 3.0

In [3]: match.groups()
Out[3]: ('f03a.b216.7ad7', 'b216.', '10', 'Gi0/5', 'Gi0/15')
Второй элемент, по сути, лишний. Он попал в вывод из-за скобок в выражении (\w{4}\.){2}.
В этом случае нужно отключить захват в группе. Это делается добавлением ?: после открывающейся скобки группы.
Теперь выражение выглядит так:
In [4]: match = re.search(r'((?:\w{4}\.){2}\w{4}).+vlan (\d+).+port (\S+).+port␣
,→(\S+)',

log)

И, соответственно, группы:
In [5]: match.groups()
Out[5]: ('f03a.b216.7ad7', '10', 'Gi0/5', 'Gi0/15')

Повторение захваченного результата
При работе с группами можно использовать результат, который попал в группу, дальше в
этом же выражении.
Например, в выводе sh ip bgp последний столбец описывает атрибут AS Path (через какие
автономные системы прошел маршрут):
In [1]: bgp = '''
...: R9# sh ip bgp | be Network
...:

Network

Next Hop

...: *

192.168.66.0/24

192.168.79.7

0 500 500 500 i

192.168.89.8

0 800 700 i

...: *>
...: *

192.168.67.0/24

...: *>
...: *

192.168.79.7

Metric LocPrf Weight Path

0

192.168.89.8
192.168.88.0/24

...: *>

0 800 700 i

192.168.79.7
192.168.89.8

0 700 700 700 i
0 700 700 700 i

0

0 800 800 i

...: '''
Допустим, надо получить те префиксы, у которых в пути несколько раз повторяется один и
тот же номер AS.
Это можно сделать с помощью ссылки на результат, который был захвачен группой. Например, такое выражение отображает все строки, в которых один и тот же номер повторяется
хотя бы два раза:

322

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

In [2]: for line in bgp.split('\n'):
...:

match = re.search(r'(\d+) \1', line)

...:

if match:

...:

print(line)

...:
*

192.168.66.0/24

192.168.79.7

*

192.168.67.0/24

192.168.79.7

*

192.168.88.0/24

192.168.79.7

*>

192.168.89.8

0 500 500 500 i
0

0 700 700 700 i
0 700 700 700 i

0

0 800 800 i

В этом выражении обозначение \1 подставляет результат, который попал в группу. Номер
один указывает на конкретную группу. В данном случае это группа 1, она же единственная.
Аналогичным образом можно описать строки, в которых один и тот же номер встречается
три раза:
In [3]: for line in bgp.split('\n'):
...:

match = re.search(r'(\d+) \1 \1', line)

...:

if match:

...:

print(line)

...:
*

192.168.66.0/24

192.168.79.7

*

192.168.67.0/24

192.168.79.7

*

192.168.88.0/24

192.168.79.7

0 500 500 500 i
0

0 700 700 700 i
0 700 700 700 i

Аналогичным образом можно ссылаться на результат, который попал в именованную группу:
In [129]: for line in bgp.split('\n'):
...:

match = re.search(r'(?P\d+) (?P=as)', line)

...:

if match:

...:

print(line)

...:
*

192.168.66.0/24

192.168.79.7

*

192.168.67.0/24

192.168.79.7

*

192.168.88.0/24

192.168.79.7

*>

192.168.89.8

14. Синтаксис регулярных выражений

0 500 500 500 i
0

0 700 700 700 i
0 700 700 700 i

0

0 800 800 i

323

Python для сетевых инженеров, Выпуск 3.0

15. Модуль re
В Python для работы с регулярными выражениями используется модуль re.
Основные функции модуля re:
• match - ищет последовательность в начале строки
• search - ищет первое совпадение с шаблоном
• findall - ищет все совпадения с шаблоном. Возвращает результирующие строки в виде
списка
• finditer - ищет все совпадения с шаблоном. Возвращает итератор
• compile - компилирует регулярное выражение. К этому объекту затем можно применять
все перечисленные функции
• fullmatch - вся строка должна соответствовать описанному регулярному выражению
Кроме функций для поиска совпадений, в модуле есть такие функции:
• re.sub - для замены в строках
• re.split - для разделения строки на части

Объект Match
В модуле re несколько функций возвращают объект Match, если было найдено совпадение:
• search
• match
• finditer возвращает итератор с объектами Match
В этом подразделе рассматриваются методы объекта Match.
Пример объекта Match:
In [1]: log = 'Jun
,→in

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.7ad7␣

vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [2]: match = re.search(r'Host (\S+) in vlan (\d+) .* port (\S+) and port (\S+)
,→',

log)

In [3]: match
Out[3]: 1 match.group(5)
IndexError: no such group

15. Модуль re

325

Python для сетевых инженеров, Выпуск 3.0

Если вызвать метод с несколькими номерами групп, результатом будет кортеж со строками,
которые соответствуют совпадениям:
In [11]: match.group(1, 2, 3)
Out[11]: ('f03a.b216.7ad7', '10', 'Gi0/5')
В группу может ничего не попасть, тогда ей будет соответствовать пустая строка:
In [12]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [13]: match = re.search(r'Host (\S+) in vlan (\D*)', log)
In [14]: match.group(2)
Out[14]: ''
Если группа описывает часть шаблона и совпадений было несколько, метод отобразит последнее совпадение:
In [15]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [16]: match = re.search(r'Host (\w{4}\.)+', log)
In [17]: match.group(1)
Out[17]: 'b216.'
Такой вывод получился из-за того, что выражение в скобках описывает 4 буквы или цифры,
точка и после этого стоит плюс. Соответственно, сначала с выражением в скобках совпала
первая часть MAC-адреса, потом вторая. Но запоминается и возвращается только последнее
выражение.
Если в выражении использовались именованные группы, методу group можно передать имя
группы и получить соответствующую подстроку:
In [18]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [19]: match = re.search(r'Host (?P\S+) '
...:

r'in vlan (?P\d+) .* '

...:

r'port (?P\S+) '

...:

r'and port (?P\S+)',

...:

log)

...:
(continues on next page)

326

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [20]: match.group('mac')
Out[20]: 'f03a.b216.7ad7'
In [21]: match.group('int2')
Out[21]: 'Gi0/15'
При этом группы доступны и по номеру:
In [22]: match.group(3)
Out[22]: 'Gi0/5'
In [23]: match.group(4)
Out[23]: 'Gi0/15'

groups
Метод groups возвращает кортеж со строками, в котором элементы - это те подстроки, которые попали в соответствующие группы:
In [24]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [25]: match = re.search(r'Host (\S+) '
...:

r'in vlan (\d+) .* '

...:

r'port (\S+) '

...:

r'and port (\S+)',

...:

log)

...:
In [26]: match.groups()
Out[26]: ('f03a.b216.7ad7', '10', 'Gi0/5', 'Gi0/15')
У метода groups есть опциональный параметр - default. Он срабатывает в ситуации, когда
все, что попадает в группу, опционально.
Например, при такой строке, совпадение будет и в первой группе, и во второй:
In [26]: line = '100

aab1.a1a1.a5d3

FastEthernet0/1'

In [27]: match = re.search(r'(\d+) +(\w+)?', line)
In [28]: match.groups()
Out[28]: ('100', 'aab1')

15. Модуль re

327

Python для сетевых инженеров, Выпуск 3.0

Если же в строке нет ничего после пробела, в группу ничего не попадет. Но совпадение будет,
так как в регулярном выражении описано, что группа опциональна:
In [30]: line = '100

'

In [31]: match = re.search(r'(\d+) +(\w+)?', line)
In [32]: match.groups()
Out[32]: ('100', None)
Соответственно, для второй группы значением будет None.
Если передать методу groups значение default, оно будет возвращаться вместо None:
In [33]: line = '100

'

In [34]: match = re.search(r'(\d+) +(\w+)?', line)
In [35]: match.groups(default=0)
Out[35]: ('100', 0)
In [36]: match.groups(default='No match')
Out[36]: ('100', 'No match')

groupdict
Метод groupdict возвращает словарь, в котором ключи - имена групп, а значения - соответствующие строки:
In [37]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [38]: match = re.search(r'Host (?P\S+) '
...:

r'in vlan (?P\d+) .* '

...:

r'port (?P\S+) '

...:

r'and port (?P\S+)',

...:

log)

...:
In [39]: match.groupdict()
Out[39]: {'int1': 'Gi0/5', 'int2': 'Gi0/15', 'mac': 'f03a.b216.7ad7', 'vlan': '10
,→'}

328

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

start, end
Методы start и end возвращают индексы начала и конца совпадения с регулярным выражением.
Если методы вызываются без аргументов, они возвращают индексы для всего совпадения:
In [40]: line = '

10

aab1.a1a1.a5d3

FastEthernet0/1

'

In [41]: match = re.search(r'(\d+) +([0-9a-f.]+) +(\S+)', line)
In [42]: match.start()
Out[42]: 2
In [43]: match.end()
Out[43]: 42
In [45]: line[match.start():match.end()]
Out[45]: '10

aab1.a1a1.a5d3

FastEthernet0/1'

Методам можно передавать номер или имя группы. Тогда они возвращают индексы для этой
группы:
In [46]: match.start(2)
Out[46]: 9
In [47]: match.end(2)
Out[47]: 23
In [48]: line[match.start(2):match.end(2)]
Out[48]: 'aab1.a1a1.a5d3'
Аналогично для именованных групп:
In [49]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [50]: match = re.search(r'Host (?P\S+) '
...:

r'in vlan (?P\d+) .* '

...:

r'port (?P\S+) '

...:

r'and port (?P\S+)',

...:

log)

...:
In [51]: match.start('mac')
(continues on next page)

15. Модуль re

329

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Out[51]: 52
In [52]: match.end('mac')
Out[52]: 66

span
Метод span возвращает кортеж с индексом начала и конца подстроки. Он работает аналогично методам start, end, но возвращает пару чисел.
Без аргументов метод span возвращает индексы для всего совпадения:
In [53]: line = '

10

aab1.a1a1.a5d3

FastEthernet0/1

'

In [54]: match = re.search(r'(\d+) +([0-9a-f.]+) +(\S+)', line)
In [55]: match.span()
Out[55]: (2, 42)
Но ему также можно передать номер группы:
In [56]: line = '

10

aab1.a1a1.a5d3

FastEthernet0/1

'

In [57]: match = re.search(r'(\d+) +([0-9a-f.]+) +(\S+)', line)
In [58]: match.span(2)
Out[58]: (9, 23)
Аналогично для именованных групп:
In [59]: log = 'Jun
,→7ad7

3 14:39:05.941: %SW_MATM-4-MACFLAP_NOTIF: Host f03a.b216.

in vlan 10 is flapping between port Gi0/5 and port Gi0/15'

In [60]: match = re.search(r'Host (?P\S+) '
...:

r'in vlan (?P\d+) .* '

...:

r'port (?P\S+) '

...:

r'and port (?P\S+)',

...:

log)

...:
In [64]: match.span('mac')
Out[64]: (52, 66)
(continues on next page)

330

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [65]: match.span('vlan')
Out[65]: (75, 77)

Функция search
Функция search:
• используется для поиска подстроки, которая соответствует шаблону
• возвращает объект Match, если подстрока найдена
• возвращает None, если подстрока не найдена
Функция search подходит в том случае, когда надо найти только одно совпадение в строке,
например, когда регулярное выражение описывает всю строку или часть строки.
Рассмотрим пример использования функции search в разборе лог-файла.
В файле log.txt находятся лог-сообщения с информацией о том, что один и тот же MAC слишком быстро переучивается то на одном, то на другом интерфейсе. Одна из причин таких
сообщений - петля в сети.
Содержимое файла log.txt:
%SW_MATM-4-MACFLAP_NOTIF: Host 01e2.4c18.0156 in vlan 10 is flapping between port␣
,→Gi0/16

and port Gi0/24

%SW_MATM-4-MACFLAP_NOTIF: Host 01e2.4c18.0156 in vlan 10 is flapping between port␣
,→Gi0/16

and port Gi0/24

%SW_MATM-4-MACFLAP_NOTIF: Host 01e2.4c18.0156 in vlan 10 is flapping between port␣
,→Gi0/24

and port Gi0/19

%SW_MATM-4-MACFLAP_NOTIF: Host 01e2.4c18.0156 in vlan 10 is flapping between port␣
,→Gi0/24

and port Gi0/16

При этом MAC-адрес может прыгать между несколькими портами. В таком случае очень важно знать, с каких портов прилетает MAC.
Попробуем вычислить, между какими портами и в каком VLAN образовалась проблема. Проверка регулярного выражения с одной строкой из log-файла:
In [1]: import re
In [2]: log = '%SW_MATM-4-MACFLAP_NOTIF: Host 01e2.4c18.0156 in vlan 10 is␣
,→flapping

between port Gi0/16 and port Gi0/24'

In [3]: match = re.search(r'Host \S+ '
...:

r'in vlan (\d+) '
(continues on next page)

15. Модуль re

331

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

r'is flapping between port '

...:

r'(\S+) and port (\S+)', log)

...:
Регулярное выражение для удобства чтения разбито на части. В нём есть три группы:
• (\d+) - описывает номер VLAN
• (\S+) and port (\S+) - в это выражение попадают номера портов
В итоге, в группы попали такие части строки:
In [4]: match.groups()
Out[4]: ('10', 'Gi0/16', 'Gi0/24')
В итоговом скрипте файл log.txt обрабатывается построчно, и из каждой строки собирается
информация о портах. Так как порты могут дублироваться, сразу добавляем их в множество,
чтобы получить подборку уникальных интерфейсов (файл parse_log_search.py):
import re
regex = (r'Host \S+ '
r'in vlan (\d+) '
r'is flapping between port '
r'(\S+) and port (\S+)')
ports = set()
with open('log.txt') as f:
for line in f:
match = re.search(regex, line)
if match:
vlan = match.group(1)
ports.add(match.group(2))
ports.add(match.group(3))
print('Петля между портами {} в VLAN {}'.format(', '.join(ports), vlan))
Результат выполнения скрипта такой:
$ python parse_log_search.py
Петля между портами Gi0/19, Gi0/24, Gi0/16 в VLAN 10

332

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

Обработка вывода show cdp neighbors detail
Попробуем получить параметры устройств из вывода sh cdp neighbors detail.
Пример вывода информации для одного соседа:
SW1#show cdp neighbors detail
------------------------Device ID: SW2
Entry address(es):
IP address: 10.1.1.2
Platform: cisco WS-C2960-8TC-L,

Capabilities: Switch IGMP

Interface: GigabitEthernet1/0/16,

Port ID (outgoing port): GigabitEthernet0/1

Holdtime : 164 sec
Version :
Cisco IOS Software, C2960 Software (C2960-LANBASEK9-M), Version 12.2(55)SE9,␣
,→RELEASE

SOFTWARE (fc1)

Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2014 by Cisco Systems, Inc.
Compiled Mon 03-Mar-14 22:53 by prod_rel_team
advertisement version: 2
VTP Management Domain: ''
Native VLAN: 1
Duplex: full
Management address(es):
IP address: 10.1.1.2
Задача получить такие поля:
• имя соседа (Device ID: SW2)
• IP-адрес соседа (IP address: 10.1.1.2)
• платформу соседа (Platform: cisco WS-C2960-8TC-L)
• версию IOS (Cisco IOS Software, C2960 Software (C2960-LANBASEK9-M), Version 12.2(55)SE9,
RELEASE SOFTWARE (fc1))
И для удобства надо получить данные в виде словаря. Пример итогового словаря для коммутатора SW2:
{'SW2': {'ip': '10.1.1.2',
'platform': 'cisco WS-C2960-8TC-L',
'ios': 'C2960 Software (C2960-LANBASEK9-M), Version 12.2(55)SE9'}}
Пример проверяется на файле sh_cdp_neighbors_sw1.txt.

15. Модуль re

333

Python для сетевых инженеров, Выпуск 3.0

Первый вариант решения (файл parse_sh_cdp_neighbors_detail_ver1.py):
import re
from pprint import pprint

def parse_cdp(filename):
result = {}
with open(filename) as f:
for line in f:
if line.startswith('Device ID'):
neighbor = re.search(r'Device ID: (\S+)', line).group(1)
result[neighbor] = {}
elif line.startswith('

IP address'):

ip = re.search(r'IP address: (\S+)', line).group(1)
result[neighbor]['ip'] = ip
elif line.startswith('Platform'):
platform = re.search(r'Platform: (\S+ \S+),', line).group(1)
result[neighbor]['platform'] = platform
elif line.startswith('Cisco IOS Software'):
ios = re.search(r'Cisco IOS Software, (.+), RELEASE',
line).group(1)
result[neighbor]['ios'] = ios
return result

pprint(parse_cdp('sh_cdp_neighbors_sw1.txt'))
Тут нужные строки отбираются с помощью метода строк startswith. И в строке с помощью регулярного выражения получается требуемая часть строки. В итоге все собирается в словарь.
Результат выглядит так:
$ python parse_sh_cdp_neighbors_detail_ver1.py
{'R1': {'ios': '3800 Software (C3825-ADVENTERPRISEK9-M), Version 12.4(24)T1',
'ip': '10.1.1.1',
'platform': 'Cisco 3825'},
'R2': {'ios': '2900 Software (C3825-ADVENTERPRISEK9-M), Version 15.2(2)T1',
'ip': '10.2.2.2',
'platform': 'Cisco 2911'},
'SW2': {'ios': 'C2960 Software (C2960-LANBASEK9-M), Version 12.2(55)SE9',
'ip': '10.1.1.2',
'platform': 'cisco WS-C2960-8TC-L'}}

334

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

Все получилось как нужно, но эту задачу можно решить более компактно.
Вторая версия решения (файл parse_sh_cdp_neighbors_detail_ver2.py):
import re
from pprint import pprint

def parse_cdp(filename):
regex = (r'Device ID: (?P\S+)'
r'|IP address: (?P\S+)'
r'|Platform: (?P\S+ \S+),'
r'|Cisco IOS Software, (?P.+), RELEASE')
result = {}
with open(filename) as f:
for line in f:
match = re.search(regex, line)
if match:
if match.lastgroup == 'device':
device = match.group(match.lastgroup)
result[device] = {}
elif device:
result[device][match.lastgroup] = match.group(
match.lastgroup)
return result

pprint(parse_cdp('sh_cdp_neighbors_sw1.txt'))
Пояснения ко второму варианту:
• в регулярном выражении описаны все варианты строк через знак или |
• без проверки строки ищется совпадение
• если совпадение найдено, проверяется метод lastgroup
• метод lastgroup возвращает имя последней именованной группы в регулярном выражении, для которой было найдено совпадение
• если было найдено совпадение для группы device, в переменную device записывается
значение, которое попало в эту группу
• иначе в словарь записывается соответствие „имя группы“: соответствующее значение
Результат будет таким же:

15. Модуль re

335

Python для сетевых инженеров, Выпуск 3.0

$ python parse_sh_cdp_neighbors_detail_ver2.py
{'R1': {'ios': '3800 Software (C3825-ADVENTERPRISEK9-M), Version 12.4(24)T1',
'ip': '10.1.1.1',
'platform': 'Cisco 3825'},
'R2': {'ios': '2900 Software (C3825-ADVENTERPRISEK9-M), Version 15.2(2)T1',
'ip': '10.2.2.2',
'platform': 'Cisco 2911'},
'SW2': {'ios': 'C2960 Software (C2960-LANBASEK9-M), Version 12.2(55)SE9',
'ip': '10.1.1.2',
'platform': 'cisco WS-C2960-8TC-L'}}

Функция match
Функция match():
• используется для поиска в начале строки подстроки, которая соответствует шаблону
• возвращает объект Match, если подстрока найдена
• возвращает None, если подстрока не найдена
Функция match отличается от search тем, что match всегда ищет совпадение в начале строки. Например, еслиповторить пример, который использовался для функции search, но уже с
match:
In [2]: import re
In [3]: log = '%SW_MATM-4-MACFLAP_NOTIF: Host 01e2.4c18.0156 in vlan 10 is␣
,→flapping

between port Gi0/16 and port Gi0/24'

In [4]: match = re.match(r'Host \S+ '
...:

r'in vlan (\d+) '

...:

r'is flapping between port '

...:

r'(\S+) and port (\S+)', log)

...:
Результатом будет None:
In [6]: print(match)
None
Так получилось из-за того, что match ищет слово Host в начале строки. Но это сообщение
находится в середине.
В данном случае можно легко исправить выражение, чтобы функция match находила совпадение:
336

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

In [4]: match = re.match(r'\S+: Host \S+ '
...:

r'in vlan (\d+) '

...:

r'is flapping between port '

...:

r'(\S+) and port (\S+)', log)

...:
Перед словом Host добавлено выражение \S+:. Теперь совпадение будет найдено:
In [11]: print(match)


In [12]: match.groups()
Out[12]: ('10', 'Gi0/16', 'Gi0/24')
Пример аналогичен тому, который использовался в функции search, с небольшими изменениями (файл parse_log_match.py):
import re
regex = (r'\S+: Host \S+ '
r'in vlan (\d+) '
r'is flapping between port '
r'(\S+) and port (\S+)')
ports = set()
with open('log.txt') as f:
for line in f:
match = re.match(regex, line)
if match:
vlan = match.group(1)
ports.add(match.group(2))
ports.add(match.group(3))
print('Петля между портами {} в VLAN {}'.format(', '.join(ports), vlan))
Результат:
$ python parse_log_match.py
Петля между портами Gi0/19, Gi0/24, Gi0/16 в VLAN 10

15. Модуль re

337

Python для сетевых инженеров, Выпуск 3.0

Функция finditer
Функция finditer():
• используется для поиска всех непересекающихся совпадений в шаблоне
• возвращает итератор с объектами Match
• finditer возвращает итератор даже в том случае, когда совпадение не найдено
Функция finditer отлично подходит для обработки тех команд, вывод которых отображается
столбцами. Например, sh ip int br, sh mac address-table и др. В этом случае его можно применять ко всему выводу команды.
Пример вывода sh ip int br:
In [8]: sh_ip_int_br = '''
...: R1#show ip interface brief
...: Interface

IP-Address

OK? Method Status

Protocol

...: FastEthernet0/0

15.0.15.1

YES manual up

up

...: FastEthernet0/1

10.0.12.1

YES manual up

up

...: FastEthernet0/2

10.0.13.1

YES manual up

up

...: FastEthernet0/3

unassigned

YES unset

up

up

...: Loopback0

10.1.1.1

YES manual up

up

...: Loopback100

100.0.0.1

YES manual up

up

...: '''
Регулярное выражение для обработки вывода:
In [9]: result = re.finditer(r'(\S+) +'
...:

r'([\d.]+) +'

...:

r'\w+ +\w+ +'

...:

r'(up|down|administratively down) +'

...:

r'(up|down)',

...:

sh_ip_int_br)

...:
В переменной result находится итератор:
In [12]: result
Out[12]:
В итераторе находятся объекты Match:
In [16]: groups = []
In [18]: for match in result:
(continues on next page)

338

Глава 5. III. Регулярные выражения

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

print(match)

...:

groups.append(match.groups())

...:




show cdp neighbors
Capability Codes: R - Router, T - Trans Bridge, B - Source Route Bridge
S - Switch, H - Host, I - IGMP, r - Repeater
Device ID

Local Intrfce

Holdtme

SW1

Eth 0/0

140

Capability
S I

Platform

Port ID

WS-C3750-

Eth 0/1

Для интерфейса Eth 0/0 надо сгенерировать такое описание description Connected to SW1
port Eth 0/1.
Функция должна возвращать словарь, в котором ключи - имена интерфейсов, а значения команда задающая описание интерфейса:
"Eth 0/0": "description Connected to SW1 port Eth 0/1"
Проверить работу функции на файле sh_cdp_n_sw1.txt.

360

Глава 5. III. Регулярные выражения

6
IV. Запись и передача данных

В этой части книги рассматриваются вопросы сохранения и передачи данных. Данными могут
быть, например:
• вывод команд
• обработанный вывод команд в виде словаря, списка и подобного
• информация полученная из системы мониторинга
До сих пор рассматривался только самый простой вариант - запись информации в обычный
текстовый файл.
В этой части рассматривается чтение и запись данных в форматах CSV, JSON и YAML:
• CSV - это табличный формат представления данных. Он может быть получен, например,
при экспорте данных из таблицы или базе данных. Аналогичным образом данные могут
быть записаны в этом формате для последующего импорта в таблицу.
• JSON - это формат, который очень часто используется в API. Кроме того, этот формат позволит сохранить такие структуры данных как словари или списки в структурированном
формате и затем прочитать их из файла в формате JSON и получить те же структуры
данных в Python.
• Формат YAML очень часто используется для описания сценариев. Например, он используется в Ansible. Кроме того, в этом формате удобно записывать вручную параметры,
которые должны считывать скрипты.

Примечание: Python позволяет записывать объекты самого языка в файлы и считывать их
с помощью модуля Pickle, но этот аспект в книге не рассматривается.

Также в этой части рассматриваются базы данных. Хотя данные можно записать с соблюдением структуры и в CSV или JSON, запрашивать нужную информацию из файлов в этом

361

Python для сетевых инженеров, Выпуск 3.0

формате не всегда удобно. Особенно, когда речь идет о более сложных запросах, в которых
указаны несколько критериев.
Для задач такого рода отлично подходят базы данных. В разделе 25 рассматривается СУБД
SQLite, а также основы языка SQL.

362

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

16. Unicode
Программы, которые мы пишем, не изолированы в себе. Они скачивают данные из Интернета,
читают и записывают данные на диск, передают данные через сеть.
Поэтому очень важно понимать разницу между тем, как компьютер хранит и передает данные, и как эти данные воспринимает человек. Мы воспринимаем текст, а компьютер - байты.
В Python 3, соответственно, есть две концепции:
• текст - неизменяемая последовательность Unicode-символов. Для хранения этих символов используется тип строка (str)
• данные - неизменяемая последовательность байтов. Для хранения используется тип
bytes

Примечание: Более корректно будет сказать, что текст - это неизменяемая последовательность кодов (codepoints) Unicode.

Стандарт Юникод
Юникод - это стандарт, который описывает представление и кодировку почти всех языков и
других символов.
Несколько фактов про Юникод:
• стандарт версии 12.1 (май 2019) описывает 137 994 кодов
• каждый код - это номер, который соответствует определенному символу
• стандарт также определяет кодировки - способ представления кода символа в байтах
Каждому символу в Юникод соответствует определенный код. Это число, которое обычно
записывается таким образом: U+0073, где 0073 - это шестнадцатеричные цифры.
Кроме кода, у каждого символа есть свое уникальное имя. Например, букве «s» соответствует
код U+0073 и имя «LATIN SMALL LETTER S».
Примеры кодов, имен и соответствующих символов:
• U+0073, «LATIN SMALL LETTER S» - s
• U+00F6, «LATIN SMALL LETTER O WITH DIAERESIS» - ö
• U+1F383, «JACK-O-LANTERN» • U+2615, «HOT BEVERAGE» - ☕
• U+1f600, «GRINNING FACE» - 😀

16. Unicode

363

Python для сетевых инженеров, Выпуск 3.0

Кодировки
Кодировки позволяют записывать код символа в байтах.
Юникод поддерживает несколько кодировок:
• UTF-8
• UTF-16
• UTF-32
Одна из самых популярных кодировок на сегодняшний день - UTF-8. Эта кодировка использует переменное количество байт для записи символов Юникод.
Примеры символов Юникод и их представление в байтах в кодировке UTF-8:
• H - 48
• i - 69
•

- 01 f6 c0

•

- 01 f6 80

• ☃ - 26 03

Юникод в Python 3
В Python 3 есть:
• строки - неизменяемая последовательность Unicode-символов. Для хранения этих символов используется тип строка (str)
• байты - неизменяемая последовательность байтов. Для хранения используется тип bytes

Строки
Примеры строк:
In [11]: hi = 'привет'
In [12]: hi
Out[12]: 'привет'
In [15]: type(hi)
Out[15]: str
In [13]: beautiful = 'schön'
(continues on next page)

364

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [14]: beautiful
Out[14]: 'schön'
Так как строки - это последовательность кодов Юникод, можно записать строку разными
способами.
Символ Юникод можно записать, используя его имя:
In [1]: "\N{LATIN SMALL LETTER O WITH DIAERESIS}"
Out[1]: 'ö'
Или использовав такой формат:
In [4]: "\u00F6"
Out[4]: 'ö'
Строку можно записать как последовательность кодов Юникод:
In [19]: hi1 = 'привет'
In [20]: hi2 = '\u043f\u0440\u0438\u0432\u0435\u0442'
In [21]: hi2
Out[21]: 'привет'
In [22]: hi1 == hi2
Out[22]: True
In [23]: len(hi2)
Out[23]: 6
Функция ord возвращает значение кода Unicode для символа:
In [6]: ord('ö')
Out[6]: 246
Функция chr возвращает символ Юникод, который соответствует коду:
In [7]: chr(246)
Out[7]: 'ö'

16. Unicode

365

Python для сетевых инженеров, Выпуск 3.0

Байты
Тип bytes - это неизменяемая последовательность байтов.
Байты обозначаются так же, как строки, но с добавлением буквы «b» перед строкой:
In [30]: b1 = b'\xd0\xb4\xd0\xb0'
In [31]: b2 = b"\xd0\xb4\xd0\xb0"
In [32]: b3 = b'''\xd0\xb4\xd0\xb0'''
In [36]: type(b1)
Out[36]: bytes
In [37]: len(b1)
Out[37]: 4
В Python байты, которые соответствуют символам ASCII, отображаются как эти символы, а не
как соответствующие им байты. Это может немного путать, но всегда можно распознать тип
bytes по букве b:
In [38]: bytes1 = b'hello'
In [39]: bytes1
Out[39]: b'hello'
In [40]: len(bytes1)
Out[40]: 5
In [41]: bytes1.hex()
Out[41]: '68656c6c6f'
In [42]: bytes2 = b'\x68\x65\x6c\x6c\x6f'
In [43]: bytes2
Out[43]: b'hello'
Если попытаться написать не ASCII-символ в байтовом литерале, возникнет ошибка:
In [44]: bytes3 = b'привет'
File "", line 1
bytes3 = b'привет'
^
SyntaxError: bytes can only contain ASCII literal characters.

366

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

Конвертация между байтами и строками
Избежать работы с байтами нельзя. Например, при работе с сетью или файловой системой,
чаще всего, результат возвращается в байтах.
Соответственно, надо знать, как выполнять преобразование байтов в строку и наоборот. Для
этого и нужна кодировка.
Кодировку можно представлять как ключ шифрования, который указывает:
• как «зашифровать» строку в байты (str -> bytes). Используется метод encode (похож на
encrypt)
• как «расшифровать» байты в строку (bytes -> str). Используется метод decode (похож на
decrypt)
Эта аналогия позволяет понять, что преобразования строка-байты и байты-строка должны
использовать одинаковую кодировку.

encode, decode
Для преобразования строки в байты используется метод encode:
In [1]: hi = 'привет'
In [2]: hi.encode('utf-8')
Out[2]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
In [3]: hi_bytes = hi.encode('utf-8')
Чтобы получить строку из байт, используется метод decode:
In [4]: hi_bytes
Out[4]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
In [5]: hi_bytes.decode('utf-8')
Out[5]: 'привет'

str.encode, bytes.decode
Метод encode есть также в классе str (как и другие методы работы со строками):
In [6]: hi
Out[6]: 'привет'
(continues on next page)

16. Unicode

367

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [7]: str.encode(hi, encoding='utf-8')
Out[7]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
А метод decode есть у класса bytes (как и другие методы):
In [8]: hi_bytes
Out[8]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
In [9]: bytes.decode(hi_bytes, encoding='utf-8')
Out[9]: 'привет'
В этих методах кодировка может указываться как ключевой аргумент (примеры выше) или
как позиционный:
In [10]: hi_bytes
Out[10]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
In [11]: bytes.decode(hi_bytes, 'utf-8')
Out[11]: 'привет'

Как работать с Юникодом и байтами
Есть очень простое правило, придерживаясь которого, можно избежать, как минимум, части
проблем. Оно называется «Юникод-сэндвич»:
• байты, которые программа считывает, надо как можно раньше преобразовать в Юникод
(строку)
• внутри программы работать с Юникод
• Юникод надо преобразовать в байты как можно позже, перед передачей

Примеры конвертации между байтами и строками
Рассмотрим несколько примеров работы с байтами и конвертации байт в строки.

subprocess
Модуль subprocess возвращает результат команды в виде байт:
In [1]: import subprocess
(continues on next page)

368

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [2]: result = subprocess.run(['ping', '-c', '3', '-n', '8.8.8.8'],
...:

stdout=subprocess.PIPE)

...:
In [3]: result.stdout
Out[3]: b'PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.\n64 bytes from 8.8.8.8:␣
,→icmp_seq=1
,→time=54.4
,→8.8

ttl=43 time=59.4 ms\n64 bytes from 8.8.8.8: icmp_seq=2 ttl=43␣

ms\n64 bytes from 8.8.8.8: icmp_seq=3 ttl=43 time=55.1 ms\n\n--- 8.8.

,→time

ping statistics ---\n3 packets transmitted, 3 received, 0% packet loss,␣
2002ms\nrtt min/avg/max/mdev = 54.470/56.346/59.440/2.220 ms\n'

Если дальше необходимо работать с этим выводом, надо сразу конвертировать его в строку:
In [4]: output = result.stdout.decode('utf-8')
In [5]: print(output)
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=43 time=59.4 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=43 time=54.4 ms
64 bytes from 8.8.8.8: icmp_seq=3 ttl=43 time=55.1 ms
--- 8.8.8.8 ping statistics --3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 54.470/56.346/59.440/2.220 ms
Модуль subprocess поддерживает еще один вариант преобразования - параметр encoding.
Если указать его при вызове функции run, результат будет получен в виде строки:
In [6]: result = subprocess.run(['ping', '-c', '3', '-n', '8.8.8.8'],
...:

stdout=subprocess.PIPE, encoding='utf-8')

...:
In [7]: result.stdout
Out[7]: 'PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.\n64 bytes from 8.8.8.8:␣
,→icmp_seq=1
,→time=54.6
,→8.8

ttl=43 time=55.5 ms\n64 bytes from 8.8.8.8: icmp_seq=2 ttl=43␣

ms\n64 bytes from 8.8.8.8: icmp_seq=3 ttl=43 time=53.3 ms\n\n--- 8.8.

ping statistics ---\n3 packets transmitted, 3 received, 0% packet loss,␣

,→time

2003ms\nrtt min/avg/max/mdev = 53.368/54.534/55.564/0.941 ms\n'

In [8]: print(result.stdout)
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=43 time=55.5 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=43 time=54.6 ms
(continues on next page)

16. Unicode

369

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

64 bytes from 8.8.8.8: icmp_seq=3 ttl=43 time=53.3 ms
--- 8.8.8.8 ping statistics --3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 53.368/54.534/55.564/0.941 ms

telnetlib
В зависимости от модуля, преобразование между строками и байтами может выполняться
автоматически, а может требоваться явно.
Например, в модуле telnetlib необходимо передавать байты в методах read_until и write:
import telnetlib
import time
t = telnetlib.Telnet('192.168.100.1')
t.read_until(b'Username:')
t.write(b'cisco\n')
t.read_until(b'Password:')
t.write(b'cisco\n')
t.write(b'sh ip int br\n')
time.sleep(5)
output = t.read_very_eager().decode('utf-8')
print(output)
И возвращает метод байты, поэтому в предпоследней строке используется decode.

pexpect
Модуль pexpect как аргумент ожидает строку, а возвращает байты:
In [9]: import pexpect
In [10]: output = pexpect.run('ls -ls')
In [11]: output
Out[11]: b'total 8\r\n4 drwxr-xr-x 2 vagrant vagrant 4096 Aug 28 12:16 concurrent_
,→futures\r\n4

drwxr-xr-x 2 vagrant vagrant 4096 Aug

3 07:59 iterator_
(continues on next page)

,→generator\r\n'

370

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [12]: output.decode('utf-8')
Out[12]: 'total 8\r\n4 drwxr-xr-x 2 vagrant vagrant 4096 Aug 28 12:16 concurrent_
,→futures\r\n4

drwxr-xr-x 2 vagrant vagrant 4096 Aug

3 07:59 iterator_

,→generator\r\n'

И также поддерживает вариант передачи кодировки через параметр encoding:
In [13]: output = pexpect.run('ls -ls', encoding='utf-8')
In [14]: output
Out[14]: 'total 8\r\n4 drwxr-xr-x 2 vagrant vagrant 4096 Aug 28 12:16 concurrent_
,→futures\r\n4

drwxr-xr-x 2 vagrant vagrant 4096 Aug

3 07:59 iterator_

,→generator\r\n'

Работа с файлами
До сих пор при работе с файлами использовалась такая конструкция:
with open(filename) as f:
for line in f:
print(line)
Но на самом деле, при чтении файла происходит конвертация байт в строки. И при этом
использовалась кодировка по умолчанию:
In [1]: import locale
In [2]: locale.getpreferredencoding()
Out[2]: 'UTF-8'
Кодировка по умолчанию в файле:
In [2]: f = open('r1.txt')
In [3]: f
Out[3]:
При работе с файлами лучше явно указывать кодировку, так как в разных ОС она может
отличаться:
In [4]: with open('r1.txt', encoding='utf-8') as f:
...:

for line in f:
(continues on next page)

16. Unicode

371

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

print(line, end='')

...:
!
service timestamps debug datetime msec localtime show-timezone year
service timestamps log datetime msec localtime show-timezone year
service password-encryption
service sequence-numbers
!
no ip domain lookup
!
ip ssh version 2
!

Выводы
Эти примеры показаны тут для того, чтобы показать, что разные модули могут по-разному
подходить к вопросу конвертации между строками и байтами. И разные функции и методы
этих модулей могут ожидать аргументы и возвращать значения разных типов. Однако все
эти вещи написаны в документации.

Ошибки при конвертации
При конвертации между строками и байтами очень важно точно знать, какая кодировка используется, а также знать о возможностях разных кодировок.
Например, кодировка ASCII не может преобразовать в байты кириллицу:
In [32]: hi_unicode = 'привет'
In [33]: hi_unicode.encode('ascii')
--------------------------------------------------------------------------UnicodeEncodeError

Traceback (most recent call last)

in ()
----> 1 hi_unicode.encode('ascii')
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5:␣
,→ordinal

not in range(128)

Аналогично, если строка «привет» преобразована в байты, и попробовать преобразовать ее
в строку с помощью ascii, тоже получим ошибку:

372

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

In [34]: hi_unicode = 'привет'
In [35]: hi_bytes = hi_unicode.encode('utf-8')
In [36]: hi_bytes.decode('ascii')
--------------------------------------------------------------------------UnicodeDecodeError

Traceback (most recent call last)

in ()
----> 1 hi_bytes.decode('ascii')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal␣
,→not

in range(128)

Еще один вариант ошибки, когда используются разные кодировки для преобразований:
In [37]: de_hi_unicode = 'grüezi'
In [38]: utf_16 = de_hi_unicode.encode('utf-16')
In [39]: utf_16.decode('utf-8')
--------------------------------------------------------------------------UnicodeDecodeError

Traceback (most recent call last)

in ()
----> 1 utf_16.decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid␣
,→start

byte

Наличие ошибок - это хорошо. Они явно говорят, в чем проблема. Хуже, когда получается
так:
In [40]: hi_unicode = 'привет'
In [41]: hi_bytes = hi_unicode.encode('utf-8')
In [42]: hi_bytes
Out[42]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
In [43]: hi_bytes.decode('utf-16')
Out[43]: '

16. Unicode

'

373

Python для сетевых инженеров, Выпуск 3.0

Обработка ошибок
У методов encode и decode есть режимы обработки ошибок, которые указывают, как реагировать на ошибку преобразования.

Параметр errors в encode
По умолчанию encode использует режим strict - при возникновении ошибок кодировки генерируется исключение UnicodeError. Примеры такого поведения были выше.
Вместо этого режима можно использовать replace, чтобы заменить символ знаком вопроса:
In [44]: de_hi_unicode = 'grüezi'
In [45]: de_hi_unicode.encode('ascii', 'replace')
Out[45]: b'gr?ezi'
Или namereplace, чтобы заменить символ именем:
In [46]: de_hi_unicode = 'grüezi'
In [47]: de_hi_unicode.encode('ascii', 'namereplace')
Out[47]: b'gr\\N{LATIN SMALL LETTER U WITH DIAERESIS}ezi'
Кроме того, можно полностью игнорировать символы, которые нельзя закодировать:
In [48]: de_hi_unicode = 'grüezi'
In [49]: de_hi_unicode.encode('ascii', 'ignore')
Out[49]: b'grezi'

Параметр errors в decode
В методе decode по умолчанию тоже используется режим strict и генерируется исключение
UnicodeDecodeError.
Если изменить режим на ignore, как и в encode, символы будут просто игнорироваться:
In [50]: de_hi_unicode = 'grüezi'
In [51]: de_hi_utf8 = de_hi_unicode.encode('utf-8')
In [52]: de_hi_utf8
Out[52]: b'gr\xc3\xbcezi'
(continues on next page)

374

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [53]: de_hi_utf8.decode('ascii', 'ignore')
Out[53]: 'grezi'
Режим replace заменит символы:
In [54]: de_hi_unicode = 'grüezi'
In [55]: de_hi_utf8 = de_hi_unicode.encode('utf-8')
In [56]: de_hi_utf8.decode('ascii', 'replace')
Out[56]: 'gr��ezi'

Дополнительные материалы
Документация Python:
•

What’s New In Python 3: Text Vs. Data Instead Of Unicode Vs. 8-bit

•

Unicode HOWTO

Статьи:
•

Pragmatic Unicode - статья, презентация и видео

•

Раздел «Strings» книги «Dive Into Python 3» - очень хорошо написано о Unicode, кодировках и как все это работает в Python

Без привязки к Python:
• The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About
Unicode and Character Sets (No Excuses!)
• The Unicode Consortium
• Unicode (Wikipedia)
• UTF-8 (Wikipedia)

16. Unicode

375

Python для сетевых инженеров, Выпуск 3.0

17. Работа с файлами в формате CSV, JSON, YAML
Сериализация данных - это сохранение данных в каком-то формате, чаще всего, структурированном.
Например, это могут быть:
• файлы в формате YAML или JSON
• файлы в формате CSV
• база данных
Кроме того, Python позволяет записывать объекты самого языка (этот аспект в курсе не рассматривается, но, если вам интересно, посмотрите на модуль Pickle).
В этом разделе рассматриваются форматы CSV, JSON, YAML, а в следующем разделе - базы
данных.
Для чего могут пригодится форматы YAML, JSON, CSV:
• у вас могут быть данные об IP-адресах и подобной информации, которую нужно обработать, в таблицах
– таблицу можно экспортировать в формат CSV и обрабатывать её с помощью Python
• управляющий софт может возвращать данные в JSON. Соответственно, преобразовав
эти данные в объект Python, с ними можно работать и делать что угодно
• YAML очень удобно использовать для описания параметров, так как у него довольно
приятный синтаксис
– например, это могут быть параметры настройки различных объектов (IP-адреса,
VLAN и др.)
– как минимум, знание формата YAML пригодится при использовании Ansible
Для каждого из этих форматов в Python есть модуль, который существенно упрощает работу
с ними.

Работа с файлами в формате CSV
CSV (comma-separated value) - это формат представления табличных данных (например,
это могут быть данные из таблицы или данные из БД).
В этом формате каждая строка файла - это строка таблицы. Несмотря на название формата,
разделителем может быть не только запятая.
И хотя у форматов с другим разделителем может быть и собственное название, например,
TSV (tab separated values), тем не менее, под форматом CSV понимают, как правило, любые
разделители.

376

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

Пример файла в формате CSV (sw_data.csv):
hostname,vendor,model,location
sw1,Cisco,3750,London
sw2,Cisco,3850,Liverpool
sw3,Cisco,3650,Liverpool
sw4,Cisco,3650,London
В стандартной библиотеке Python есть модуль csv, который позволяет работать с файлами в
CSV формате.

Чтение
Пример чтения файла в формате CSV (файл csv_read.py):
import csv
with open('sw_data.csv') as f:
reader = csv.reader(f)
for row in reader:
print(row)
Вывод будет таким:
$ python csv_read.py
['hostname', 'vendor', 'model', 'location']
['sw1', 'Cisco', '3750', 'London']
['sw2', 'Cisco', '3850', 'Liverpool']
['sw3', 'Cisco', '3650', 'Liverpool']
['sw4', 'Cisco', '3650', 'London']
В первом списке находятся названия столбцов, а в остальных соответствующие значения.
Обратите внимание, что сам csv.reader возвращает итератор:
In [1]: import csv
In [2]: with open('sw_data.csv') as f:
...:

reader = csv.reader(f)

...:

print(reader)

...:

При необходимости его можно превратить в список таким образом:

17. Работа с файлами в формате CSV, JSON, YAML

377

Python для сетевых инженеров, Выпуск 3.0

In [3]: with open('sw_data.csv') as f:
...:

reader = csv.reader(f)

...:

print(list(reader))

...:
[['hostname', 'vendor', 'model', 'location'], ['sw1', 'Cisco', '3750', 'London'],␣
,→['sw2',
,→'sw4',

'Cisco', '3850', 'Liverpool'], ['sw3', 'Cisco', '3650', 'Liverpool'], [
'Cisco', '3650', 'London']]

Чаще всего заголовки столбцов удобней получить отдельным объектом. Это можно сделать
таким образом (файл csv_read_headers.py):
import csv
with open('sw_data.csv') as f:
reader = csv.reader(f)
headers = next(reader)
print('Headers: ', headers)
for row in reader:
print(row)
Иногда в результате обработки гораздо удобней получить словари, в которых ключи - это
названия столбцов, а значения - значения столбцов.
Для этого в модуле есть DictReader (файл csv_read_dict.py):
import csv
with open('sw_data.csv') as f:
reader = csv.DictReader(f)
for row in reader:
print(row)
print(row['hostname'], row['model'])
Вывод будет таким:
$ python csv_read_dict.py
{'hostname': 'sw1', 'vendor': 'Cisco', 'model': '3750', 'location': 'London,␣
,→Globe

Str 1 '}

sw1 3750
{'hostname': 'sw2', 'vendor': 'Cisco', 'model': '3850', 'location': 'Liverpool'}
sw2 3850
{'hostname': 'sw3', 'vendor': 'Cisco', 'model': '3650', 'location': 'Liverpool'}
sw3 3650
{'hostname': 'sw4', 'vendor': 'Cisco', 'model': '3650', 'location': 'London,␣
,→Grobe

Str 1'}
(continues on next page)

378

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

sw4 3650

Примечание:

До Python 3.8 возвращался отдельный тип упорядоченные словари

(OrderedDict).

Запись
Аналогичным образом с помощью модуля csv можно и записать файл в формате CSV (файл
csv_write.py):
import csv
data = [['hostname', 'vendor', 'model', 'location'],
['sw1', 'Cisco', '3750', 'London, Best str'],
['sw2', 'Cisco', '3850', 'Liverpool, Better str'],
['sw3', 'Cisco', '3650', 'Liverpool, Better str'],
['sw4', 'Cisco', '3650', 'London, Best str']]

with open('sw_data_new.csv', 'w') as f:
writer = csv.writer(f)
for row in data:
writer.writerow(row)
with open('sw_data_new.csv') as f:
print(f.read())
В примере выше строки из списка сначала записываются в файл, а затем содержимое файла
выводится на стандартный поток вывода.
Вывод будет таким:
$ python csv_write.py
hostname,vendor,model,location
sw1,Cisco,3750,"London, Best str"
sw2,Cisco,3850,"Liverpool, Better str"
sw3,Cisco,3650,"Liverpool, Better str"
sw4,Cisco,3650,"London, Best str"
Обратите внимание на интересную особенность: строки в последнем столбце взяты в кавычки, а остальные значения - нет.

17. Работа с файлами в формате CSV, JSON, YAML

379

Python для сетевых инженеров, Выпуск 3.0

Так получилось из-за того, что во всех строках последнего столбца есть запятая. И кавычки
указывают на то, что именно является целой строкой. Когда запятая находится в кавычках,
модуль csv не воспринимает её как разделитель.
Иногда лучше, чтобы все строки были в кавычках. Конечно, в данном случае достаточно простой пример, но когда в строках больше значений, то кавычки позволяют указать, где начинается и заканчивается значение.
Модуль csv позволяет управлять этим. Для того, чтобы все строки записывались в CSV-файл
с кавычками, надо изменить скрипт таким образом (файл csv_write_quoting.py):
import csv

data = [['hostname', 'vendor', 'model', 'location'],
['sw1', 'Cisco', '3750', 'London, Best str'],
['sw2', 'Cisco', '3850', 'Liverpool, Better str'],
['sw3', 'Cisco', '3650', 'Liverpool, Better str'],
['sw4', 'Cisco', '3650', 'London, Best str']]

with open('sw_data_new.csv', 'w') as f:
writer = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)
for row in data:
writer.writerow(row)
with open('sw_data_new.csv') as f:
print(f.read())
Теперь вывод будет таким:
$ python csv_write_quoting.py
"hostname","vendor","model","location"
"sw1","Cisco","3750","London, Best str"
"sw2","Cisco","3850","Liverpool, Better str"
"sw3","Cisco","3650","Liverpool, Better str"
"sw4","Cisco","3650","London, Best str"
Теперь все значения с кавычками. И поскольку номер модели задан как строка в изначальном
списке, тут он тоже в кавычках.
Кроме метода writerow, поддерживается метод writerows. Ему можно передать любой итерируемый объект.
Например, предыдущий пример можно записать таким образом (файл csv_writerows.py):

380

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

import csv
data = [['hostname', 'vendor', 'model', 'location'],
['sw1', 'Cisco', '3750', 'London, Best str'],
['sw2', 'Cisco', '3850', 'Liverpool, Better str'],
['sw3', 'Cisco', '3650', 'Liverpool, Better str'],
['sw4', 'Cisco', '3650', 'London, Best str']]

with open('sw_data_new.csv', 'w') as f:
writer = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)
writer.writerows(data)
with open('sw_data_new.csv') as f:
print(f.read())

DictWriter
С помощью DictWriter можно записать словари в формат CSV.
В целом DictWriter работает так же, как writer, но так как словари не упорядочены, надо указывать явно в каком порядке будут идти столбцы в файле. Для этого используется параметр
fieldnames (файл csv_write_dict.py):
import csv
data = [{
'hostname': 'sw1',
'location': 'London',
'model': '3750',
'vendor': 'Cisco'
}, {
'hostname': 'sw2',
'location': 'Liverpool',
'model': '3850',
'vendor': 'Cisco'
}, {
'hostname': 'sw3',
'location': 'Liverpool',
'model': '3650',
'vendor': 'Cisco'
}, {
'hostname': 'sw4',
(continues on next page)

17. Работа с файлами в формате CSV, JSON, YAML

381

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'location': 'London',
'model': '3650',
'vendor': 'Cisco'
}]
with open('csv_write_dictwriter.csv', 'w') as f:
writer = csv.DictWriter(
f, fieldnames=list(data[0].keys()), quoting=csv.QUOTE_NONNUMERIC)
writer.writeheader()
for d in data:
writer.writerow(d)

Указание разделителя
Иногда в качестве разделителя используются другие значения. В таком случае должна быть
возможность подсказать модулю, какой именно разделитель использовать.
Например, если в файле используется разделитель ; (файл sw_data2.csv):
hostname;vendor;model;location
sw1;Cisco;3750;London
sw2;Cisco;3850;Liverpool
sw3;Cisco;3650;Liverpool
sw4;Cisco;3650;London
Достаточно

просто

указать,

какой

разделитель

используется

в

reader

(файл

csv_read_delimiter.py):
import csv
with open('sw_data2.csv') as f:
reader = csv.reader(f, delimiter=';')
for row in reader:
print(row)

Работа с файлами в формате JSON
JSON (JavaScript Object Notation) - это текстовый формат для хранения и обмена данными.
JSON по синтаксису очень похож на Python и достаточно удобен для восприятия.
Как и в случае с CSV, в Python есть модуль, который позволяет легко записывать и читать
данные в формате JSON.

382

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

Чтение
Файл sw_templates.json:
{
"access": [
"switchport mode access",
"switchport access vlan",
"switchport nonegotiate",
"spanning-tree portfast",
"spanning-tree bpduguard enable"
],
"trunk": [
"switchport trunk encapsulation dot1q",
"switchport mode trunk",
"switchport trunk native vlan 999",
"switchport trunk allowed vlan"
]
}
Для чтения в модуле json есть два метода:
• json.load - метод считывает файл в формате JSON и возвращает объекты Python
• json.loads - метод считывает строку в формате JSON и возвращает объекты Python

json.load
Чтение файла в формате JSON в объект Python (файл json_read_load.py):
import json
with open('sw_templates.json') as f:
templates = json.load(f)
print(templates)
for section, commands in templates.items():
print(section)
print('\n'.join(commands))
Вывод будет таким:
$ python json_read_load.py
{'access': ['switchport mode access', 'switchport access vlan', 'switchport␣
,→nonegotiate',
,→'trunk':

'spanning-tree portfast', 'spanning-tree bpduguard
enable'],
(continues
on next page)

['switchport trunk encapsulation dot1q', 'switchport mode trunk',

,→'switchport

trunk вnative
vlan
'switchport trunk allowed vlan']}
17. Работа с файлами
формате
CSV,999',
JSON, YAML

383

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

access
switchport mode access
switchport access vlan
switchport nonegotiate
spanning-tree portfast
spanning-tree bpduguard enable
trunk
switchport trunk encapsulation dot1q
switchport mode trunk
switchport trunk native vlan 999
switchport trunk allowed vlan

json.loads
Считывание строки в формате JSON в объект Python (файл json_read_loads.py):
import json
with open('sw_templates.json') as f:
file_content = f.read()
templates = json.loads(file_content)
print(templates)
for section, commands in templates.items():
print(section)
print('\n'.join(commands))
Результат будет аналогичен предыдущему выводу.

Запись
Запись файла в формате JSON также осуществляется достаточно легко.
Для записи информации в формате JSON в модуле json также два метода:
• json.dump - метод записывает объект Python в файл в формате JSON
• json.dumps - метод возвращает строку в формате JSON

json.dumps
Преобразование объекта в строку в формате JSON (json_write_dumps.py):
384

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

import json
trunk_template = [
'switchport trunk encapsulation dot1q', 'switchport mode trunk',
'switchport trunk native vlan 999', 'switchport trunk allowed vlan'
]
access_template = [
'switchport mode access', 'switchport access vlan',
'switchport nonegotiate', 'spanning-tree portfast',
'spanning-tree bpduguard enable'
]
to_json = {'trunk': trunk_template, 'access': access_template}
with open('sw_templates.json', 'w') as f:
f.write(json.dumps(to_json))
with open('sw_templates.json') as f:
print(f.read())
Метод json.dumps подходит для ситуаций, когда надо вернуть строку в формате JSON. Например, чтобы передать ее API.

json.dump
Запись объекта Python в файл в формате JSON (файл json_write_dump.py):
import json
trunk_template = [
'switchport trunk encapsulation dot1q', 'switchport mode trunk',
'switchport trunk native vlan 999', 'switchport trunk allowed vlan'
]
access_template = [
'switchport mode access', 'switchport access vlan',
'switchport nonegotiate', 'spanning-tree portfast',
'spanning-tree bpduguard enable'
]
to_json = {'trunk': trunk_template, 'access': access_template}
(continues on next page)

17. Работа с файлами в формате CSV, JSON, YAML

385

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

with open('sw_templates.json', 'w') as f:
json.dump(to_json, f)
with open('sw_templates.json') as f:
print(f.read())
Когда нужно записать информацию в формате JSON в файл, лучше использовать метод dump.

Дополнительные параметры методов записи
Методам dump и dumps можно передавать дополнительные параметры для управления форматом вывода.
По умолчанию эти методы записывают информацию в компактном представлении. Как правило, когда данные используются другими программами, визуальное представление данных
не важно. Если же данные в файле нужно будет считать человеку, такой формат не очень
удобно воспринимать.
К счастью, модуль json позволяет управлять подобными вещами.
Передав дополнительные параметры методу dump (или методу dumps), можно получить более удобный для чтения вывод (файл json_write_indent.py):
import json
trunk_template = [
'switchport trunk encapsulation dot1q', 'switchport mode trunk',
'switchport trunk native vlan 999', 'switchport trunk allowed vlan'
]
access_template = [
'switchport mode access', 'switchport access vlan',
'switchport nonegotiate', 'spanning-tree portfast',
'spanning-tree bpduguard enable'
]
to_json = {'trunk': trunk_template, 'access': access_template}
with open('sw_templates.json', 'w') as f:
json.dump(to_json, f, sort_keys=True, indent=2)
with open('sw_templates.json') as f:
print(f.read())

386

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

Теперь содержимое файла sw_templates.json выглядит так:
{
"access": [
"switchport mode access",
"switchport access vlan",
"switchport nonegotiate",
"spanning-tree portfast",
"spanning-tree bpduguard enable"
],
"trunk": [
"switchport trunk encapsulation dot1q",
"switchport mode trunk",
"switchport trunk native vlan 999",
"switchport trunk allowed vlan"
]
}

Изменение типа данных
Еще один важный аспект преобразования данных в формат JSON: данные не всегда будут
того же типа, что исходные данные в Python.
Например, кортежи при записи в JSON превращаются в списки:
In [1]: import json
In [2]: trunk_template = ('switchport trunk encapsulation dot1q',
...:

'switchport mode trunk',

...:

'switchport trunk native vlan 999',

...:

'switchport trunk allowed vlan')

In [3]: print(type(trunk_template))

In [4]: with open('trunk_template.json', 'w') as f:
...:

json.dump(trunk_template, f, sort_keys=True, indent=2)

...:
In [5]: cat trunk_template.json
[
"switchport trunk encapsulation dot1q",
"switchport mode trunk",
"switchport trunk native vlan 999",
(continues on next page)

17. Работа с файлами в формате CSV, JSON, YAML

387

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

"switchport trunk allowed vlan"
]
In [6]: templates = json.load(open('trunk_template.json'))
In [7]: type(templates)
Out[7]: list
In [8]: print(templates)
['switchport trunk encapsulation dot1q', 'switchport mode trunk', 'switchport␣
,→trunk

native vlan 999', 'switchport trunk allowed vlan']

Так происходит из-за того, что в JSON используются другие типы данных и не для всех типов
данных Python есть соответствия.
Таблица конвертации данных Python в JSON:

Python

JSON

dict

object

list, tuple

array

str

string

int, float

number

True

true

False

false

None

null

Таблица конвертации JSON в данные Python:

JSON

Python

object

dict

array

list

string

str

number (int)

int

number (real)

float

true

True

false

False

null

None

Ограничение по типам данных
В формат JSON нельзя записать словарь, у которого ключи - кортежи:

388

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

In [23]: to_json = {('trunk', 'cisco'): trunk_template, 'access': access_template}
In [24]: with open('sw_templates.json', 'w') as f:
...:

json.dump(to_json, f)

...:
...
TypeError: key ('trunk', 'cisco') is not a string
С помощью дополнительного параметра можно игнорировать подобные ключи:
In [25]: to_json = {('trunk', 'cisco'): trunk_template, 'access': access_template}
In [26]: with open('sw_templates.json', 'w') as f:
...:

json.dump(to_json, f, skipkeys=True)

...:
...:
In [27]: cat sw_templates.json
{"access": ["switchport mode access", "switchport access vlan", "switchport␣
,→nonegotiate",

"spanning-tree portfast", "spanning-tree bpduguard enable"]}

Кроме того, в JSON ключами словаря могут быть только строки. Но, если в словаре Python использовались числа, ошибки не будет. Вместо этого выполнится конвертация чисел в строки:
In [28]: d = {1: 100, 2: 200}
In [29]: json.dumps(d)
Out[29]: '{"1": 100, "2": 200}'

Работа с файлами в формате YAML
YAML (YAML Ain’t Markup Language) - еще один текстовый формат для записи данных.
YAML более приятен для восприятия человеком, чем JSON, поэтому его часто используют для
описания сценариев в ПО. Например, в Ansible.

Синтаксис YAML
Как и Python, YAML использует отступы для указания структуры документа. Но в YAML можно
использовать только пробелы и нельзя использовать знаки табуляции.
Еще одна схожесть с Python: комментарии начинаются с символа # и продолжаются до конца
строки.

17. Работа с файлами в формате CSV, JSON, YAML

389

Python для сетевых инженеров, Выпуск 3.0

Список
Список может быть записан в одну строку:
[switchport mode access, switchport access vlan, switchport nonegotiate, spanning,→tree

portfast, spanning-tree bpduguard enable]

Или каждый элемент списка в своей строке:
- switchport mode access
- switchport access vlan
- switchport nonegotiate
- spanning-tree portfast
- spanning-tree bpduguard enable
Когда список записан таким блоком, каждая строка должна начинаться с - (минуса и пробела), и все строки в списке должны быть на одном уровне отступа.

Словарь
Словарь также может быть записан в одну строку:
{ vlan: 100, name: IT }
Или блоком:
vlan: 100
name: IT

Строки
Строки в YAML не обязательно брать в кавычки. Это удобно, но иногда всё же следует использовать кавычки. Например, когда в строке используется какой-то специальный символ
(специальный для YAML).
Такую строку, например, нужно взять в кавычки, чтобы она была корректно воспринята YAML:
command: "sh interface | include Queueing strategy:"

Комбинация элементов
Словарь, в котором есть два ключа: access и trunk. Значения, которые соответствуют этим
ключам - списки команд:
390

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

access:
- switchport mode access
- switchport access vlan
- switchport nonegotiate
- spanning-tree portfast
- spanning-tree bpduguard enable
trunk:
- switchport trunk encapsulation dot1q
- switchport mode trunk
- switchport trunk native vlan 999
- switchport trunk allowed vlan
Список словарей:
- BS: 1550
IT: 791
id: 11
name: Liverpool
to_id: 1
to_name: LONDON
- BS: 1510
IT: 793
id: 12
name: Bristol
to_id: 1
to_name: LONDON
- BS: 1650
IT: 892
id: 14
name: Coventry
to_id: 2
to_name: Manchester

Модуль PyYAML
Для работы с YAML в Python используется модуль PyYAML. Он не входит в стандартную библиотеку модулей, поэтому его нужно установить:
pip install pyyaml
Работа с ним аналогична модулям csv и json.

17. Работа с файлами в формате CSV, JSON, YAML

391

Python для сетевых инженеров, Выпуск 3.0

Чтение из YAML
Попробуем преобразовать данные из файла YAML в объекты Python.
Файл info.yaml:
- BS: 1550
IT: 791
id: 11
name: Liverpool
to_id: 1
to_name: LONDON
- BS: 1510
IT: 793
id: 12
name: Bristol
to_id: 1
to_name: LONDON
- BS: 1650
IT: 892
id: 14
name: Coventry
to_id: 2
to_name: Manchester
Чтение из YAML (файл yaml_read.py):
import yaml
from pprint import pprint
with open('info.yaml') as f:
templates = yaml.safe_load(f)
pprint(templates)
Результат:
$ python yaml_read.py
[{'BS': 1550,
'IT': 791,
'id': 11,
'name': 'Liverpool',
'to_id': 1,
'to_name': 'LONDON'},
{'BS': 1510,
(continues on next page)

392

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'IT': 793,
'id': 12,
'name': 'Bristol',
'to_id': 1,
'to_name': 'LONDON'},
{'BS': 1650,
'IT': 892,
'id': 14,
'name': 'Coventry',
'to_id': 2,
'to_name': 'Manchester'}]
Формат YAML очень удобен для хранения различных параметров, особенно, если они заполняются вручную.

Запись в YAML
Запись объектов Python в YAML (файл yaml_write.py):
import yaml
trunk_template = [
'switchport trunk encapsulation dot1q', 'switchport mode trunk',
'switchport trunk native vlan 999', 'switchport trunk allowed vlan'
]
access_template = [
'switchport mode access', 'switchport access vlan',
'switchport nonegotiate', 'spanning-tree portfast',
'spanning-tree bpduguard enable'
]
to_yaml = {'trunk': trunk_template, 'access': access_template}
with open('sw_templates.yaml', 'w') as f:
yaml.dump(to_yaml, f, default_flow_style=False)
with open('sw_templates.yaml') as f:
print(f.read())
Файл sw_templates.yaml выглядит таким образом:

17. Работа с файлами в формате CSV, JSON, YAML

393

Python для сетевых инженеров, Выпуск 3.0

access:
- switchport mode access
- switchport access vlan
- switchport nonegotiate
- spanning-tree portfast
- spanning-tree bpduguard enable
trunk:
- switchport trunk encapsulation dot1q
- switchport mode trunk
- switchport trunk native vlan 999
- switchport trunk allowed vlan

Дополнительные материалы
В этом разделе рассматривались только базовые операции чтения и записи, без дополнительных параметров. Подробнее можно почитать в документации модулей.
• CSV
• JSON
• YAML
Кроме того, на сайте PyMOTW очень хорошо расписываются все модули Python, которые входят в стандартную библиотеку (устанавливаются вместе с самим Python):
• CSV
• JSON
Пример получения данных в формате JSON через GitHub API:
• Пример работы с GitHub API с помощью requests
• Запись кириллицы и других не ASCII символов в формате JSON

394

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 17.1
Создать функцию write_dhcp_snooping_to_csv, которая обрабатывает вывод команды show
dhcp snooping binding из разных файлов и записывает обработанные данные в csv файл.
Аргументы функции:
• filenames - список с именами файлов с выводом show dhcp snooping binding
• output - имя файла в формате csv, в который будет записан результат
Функция ничего не возвращает.
Например, если как аргумент был передан список с одним файлом sw3_dhcp_snooping.txt:
MacAddress

IpAddress

Lease(sec)

Type

VLAN

Interface

------------------

---------------

----------

-------------

----

------------

100.1.1.6

76260

dhcp-snooping

3

␣

100.1.1.7

76260

dhcp-snooping

3

␣

,→--------

00:E9:BC:3F:A6:50
,→FastEthernet0/20

00:E9:22:11:A6:50
,→FastEthernet0/21

Total number of bindings: 2
В итоговом csv файле должно быть такое содержимое:
switch,mac,ip,vlan,interface
sw3,00:E9:BC:3F:A6:50,100.1.1.6,3,FastEthernet0/20
sw3,00:E9:22:11:A6:50,100.1.1.7,3,FastEthernet0/21
Первый столбец в csv файле имя коммутатора надо получить из имени файла, остальные - из
содержимого в файлах.
Проверить

работу

функции

на

содержимом

файлов

sw1_dhcp_snooping.txt,

sw2_dhcp_snooping.txt, sw3_dhcp_snooping.txt.

17. Работа с файлами в формате CSV, JSON, YAML

395

Python для сетевых инженеров, Выпуск 3.0

Задание 17.2
В этом задании нужно:
• взять содержимое нескольких файлов с выводом команды sh version
• распарсить вывод команды с помощью регулярных выражений и получить информацию
об устройстве
• записать полученную информацию в файл в CSV формате
Для выполнения задания нужно создать две функции.
Функция parse_sh_version:
• ожидает как аргумент вывод команды sh version одной строкой (не имя файла)
• обрабатывает вывод, с помощью регулярных выражений
• возвращает кортеж из трёх элементов:
– ios - в формате «12.4(5)T»
– image - в формате «flash:c2800-advipservicesk9-mz.124-5.T.bin»
– uptime - в формате «5 days, 3 hours, 3 minutes»
У функции write_inventory_to_csv должно быть два параметра:
• data_filenames - ожидает как аргумент список имен файлов с выводом sh version
• csv_filename - ожидает как аргумент имя файла (например, routers_inventory.csv), в который будет записана информация в формате CSV
Функция write_inventory_to_csv записывает содержимое в файл, в формате CSV и ничего не
возвращает
Функция write_inventory_to_csv должна делать следующее:
• обработать информацию из каждого файла с выводом sh version:
– sh_version_r1.txt, sh_version_r2.txt, sh_version_r3.txt
• с помощью функции parse_sh_version, из каждого вывода должна быть получена информация ios, image, uptime
• из имени файла нужно получить имя хоста
• после этого вся информация должна быть записана в CSV файл
В файле routers_inventory.csv должны быть такие столбцы: hostname, ios, image, uptime
В скрипте, с помощью модуля glob, создан список файлов, имя которых начинается на sh_vers.
вы можете раскомментировать строку print(sh_version_files), чтобы посмотреть содержимое
списка.

396

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

Кроме того, создан список заголовков (headers), который должен быть записан в CSV.
import glob
sh_version_files = glob.glob("sh_vers*")
#print(sh_version_files)
headers = ["hostname", "ios", "image", "uptime"]

Задание 17.3
Создать функцию parse_sh_cdp_neighbors, которая обрабатывает вывод команды show cdp
neighbors.
Функция ожидает, как аргумент, вывод команды одной строкой (не имя файла). Функция
должна возвращать словарь, который описывает соединения между устройствами.
Например, если как аргумент был передан такой вывод:
R4>show cdp neighbors
Device ID

Local Intrfce

Holdtme

Capability

Platform

Port ID

R5

Fa 0/1

122

R S I

2811

Fa 0/1

R6

Fa 0/2

143

R S I

2811

Fa 0/0

Функция должна вернуть такой словарь:
{"R4": {"Fa 0/1": {"R5": "Fa 0/1"},
"Fa 0/2": {"R6": "Fa 0/0"}}}
Интерфейсы должны быть записаны с пробелом. То есть, так Fa 0/0, а не так Fa0/0.
Проверить работу функции на содержимом файла sh_cdp_n_sw1.txt

Задание 17.3a
Создать функцию generate_topology_from_cdp, которая обрабатывает выводкоманды show
cdp neighbor из нескольких файлов и записывает итоговую топологию в один словарь.
Функция generate_topology_from_cdp должна быть создана с параметрами:
• list_of_files - список файлов из которых надо считать вывод команды sh cdp neighbor
• save_to_filename - имя файла в формате YAML, в который сохранится топология.
– значение по умолчанию - None. По умолчанию, топология не сохраняется в файл

17. Работа с файлами в формате CSV, JSON, YAML

397

Python для сетевых инженеров, Выпуск 3.0

– топология сохраняется только, если save_to_filename как аргумент указано имя файла
Функция должна возвращать словарь, который описывает соединения между устройствами,
независимо от того сохраняется ли топология в файл.
Структура словаря должна быть такой:
{"R4": {"Fa 0/1": {"R5": "Fa 0/1"},
"Fa 0/2": {"R6": "Fa 0/0"}},
"R5": {"Fa 0/1": {"R4": "Fa 0/1"}},
"R6": {"Fa 0/0": {"R4": "Fa 0/2"}}}
Интерфейсы должны быть записаны с пробелом. То есть, так Fa 0/0, а не так Fa0/0.
Проверить работу функции generate_topology_from_cdp на списке файлов:
• sh_cdp_n_sw1.txt
• sh_cdp_n_r1.txt
• sh_cdp_n_r2.txt
• sh_cdp_n_r3.txt
• sh_cdp_n_r4.txt
• sh_cdp_n_r5.txt
• sh_cdp_n_r6.txt
Проверить работу параметра save_to_filename и записать итоговый словарь в файл
topology.yaml.

Задание 17.3b
Создать функцию transform_topology, которая преобразует топологию в формат подходящий
для функции draw_topology.
Функция ожидает как аргумент имя файла в формате YAML, в котором хранится топология.
Функция должна считать данные из YAML файла, преобразовать их соответственно, чтобы
функция возвращала словарь такого вида:
{("R4", "Fa 0/1"): ("R5", "Fa 0/1"),
("R4", "Fa 0/2"): ("R6", "Fa 0/0")}
Функция transform_topology должна не только менять формат представления топологии, но и
удалять «дублирующиеся» соединения (их лучше всего видно на схеме, которую генерирует
функция draw_topology из файла draw_network_graph.py). Тут «дублирующиеся» соединения,
это ситуация когда в словаре есть два соединения:

398

Глава 6. IV. Запись и передача данных

Python для сетевых инженеров, Выпуск 3.0

("R1", "Eth0/0"): ("SW1", "Eth0/1")
("SW1", "Eth0/1"): ("R1", "Eth0/0")
Из-за того что один и тот же линк описывается дважды, на схеме будут лишние соединения.
Задача оставить только один из этих линков в итоговом словаре, не важно какой.
Проверить работу функции на файле topology.yaml (должен быть создан в задании
17.3a). На основании полученного словаря надо сгенерировать изображение топологии
с помощью функции draw_topology. Не копировать код функции draw_topology из файла
draw_network_graph.py.
Результат должен выглядеть так же, как схема в файле task_17_3b_topology.svg

При этом:
• Интерфейсы должны быть записаны с пробелом Fa 0/0
• Расположение устройств на схеме может быть другим
• Соединения должны соответствовать схеме
• На схеме не должно быть дублирующихся линков

Примечание: Для выполнения этого задания, должен быть установлен graphviz: apt-get
install graphviz
И модуль python для работы с graphviz: pip install graphviz

Задание 17.4
Создать функцию write_last_log_to_csv.
Аргументы функции:
• source_log - имя файла в формате csv, из которого читаются данные (пример mail_log.csv)
• output - имя файла в формате csv, в который будет записан результат
17. Работа с файлами в формате CSV, JSON, YAML

399

Python для сетевых инженеров, Выпуск 3.0

Функция ничего не возвращает.
Функция write_last_log_to_csv обрабатывает csv файл mail_log.csv. В файле mail_log.csv находятся логи изменения имени пользователя. При этом, email пользователь менять не может,
только имя.
Функция write_last_log_to_csv должна отбирать из файла mail_log.csv только самые свежие
записи для каждого пользователя и записывать их в другой csv файл. В файле output первой
строкой должны быть заголовки столбцов, такие же как в файле source_log.
Для части пользователей запись только одна и тогда в итоговый файл надо записать только ее. Для некоторых пользователей есть несколько записей с разными именами. Например
пользователь с email c3po@gmail.com несколько раз менял имя:
C=3PO,c3po@gmail.com,16/12/2019 17:10
C3PO,c3po@gmail.com,16/12/2019 17:15
C-3PO,c3po@gmail.com,16/12/2019 17:24
Из этих трех записей, в итоговый файл должна быть записана только одна - самая свежая:
C-3PO,c3po@gmail.com,16/12/2019 17:24
Для сравнения дат удобно использовать объекты datetime из модуля datetime. Чтобы упростить работу с датами, создана функция convert_str_to_datetime - она конвертирует строку
с датой в формате 11/10/2019 14:05 в объект datetime. Полученные объекты datetime можно
сравнивать между собой. Вторая функция convert_datetime_to_str делает обратную операцию
- превращает объект datetime в строку.
Функции convert_str_to_datetime и convert_datetime_to_str использовать не обязательно.
import datetime

def convert_str_to_datetime(datetime_str):
"""
Конвертирует строку с датой в формате 11/10/2019 14:05 в объект datetime.
"""
return datetime.datetime.strptime(datetime_str, "%d/%m/%Y %H:%M")

def convert_datetime_to_str(datetime_obj):
"""
Конвертирует строку с датой в формате 11/10/2019 14:05 в объект datetime.
"""
return datetime.datetime.strftime(datetime_obj, "%d/%m/%Y %H:%M")

400

Глава 6. IV. Запись и передача данных

7
V. Работа с сетевым оборудованием

В этой части рассматриаются:
• подключение к оборудованию по SSH и Telnet
• одновременное подключение к нескольким устройствам
• создание шаблонов конфигурации с помощью Jinja2
• обработка вывода команд с помощью TextFSM

401

Python для сетевых инженеров, Выпуск 3.0

18. Подключение к оборудованию
В этом разделе рассматривается как подключиться к оборудованию по протоколам:
• SSH
• Telnet
В Python есть несколько модулей, которые позволяют подключаться к оборудованию и выполнять команды:
• pexpect - это реализация expect на Python
– этот модуль позволяет работать с любой интерактивной сессией: ssh, telnet, sftp и
др.
– кроме того, он позволяет выполнять различные команды в ОС (это можно делать и
с помощью других модулей)
– несмотря на то, что pexpect может быть менее удобным в использовании, чем другие модули, он реализует более общий функционал и это позволяет использовать
его в ситуациях, когда другие модули не работают
• telnetlib - этот модуль позволяет подключаться по Telnet
– в версии 1.0 netmiko также появилась поддержка Telnet, поэтому, если netmiko поддерживает то оборудование, которое используется у вас, удобней будет использовать его
• paramiko - это модуль, который позволяет подключаться по SSHv2
– он более удобен в использовании, чем pexpect, но с более узкой функциональностью
(поддерживает только SSH)
• netmiko - это модуль, который упрощает использование paramiko для сетевых устройств
– netmiko это «обертка» вокруг paramiko, которая ориентирована на работу с сетевым
оборудованием
• scrapli - это модуль, который позволяет подключаться к сетевому оборудованию используя Telnet, SSH или NETCONF.
В этом разделе рассматриваются все 5 модулей, а также как подключаться к нескольким
устройствам параллельно. В примерах раздела используются три маршрутизатора. К ним
нет никаких требований, только настроенный SSH.
Параметры, которые используются в разделе:
• пользователь: cisco
• пароль: cisco
• пароль на режим enable: cisco

402

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

• SSH версии 2
• IP-адреса: 192.168.100.1, 192.168.100.2, 192.168.100.3

Ввод пароля
При подключении к оборудованию вручную, как правило, пароль также вводится вручную.
При автоматизации подключения надо решить, каким образом будет передаваться пароль:
• Запрашивать пароль при старте скрипта и считывать ввод пользователя. Минус в том,
что будет видно, какие символы вводит пользователь
• Записывать логин и пароль в каком-то файле (это не очень безопасно).
Как правило, один и тот же пользователь использует одинаковый логин и пароль для подключения к оборудованию. И, как правило, будет достаточно запросить логин и пароль при
старте скрипта, а затем использовать их для подключения на разные устройства.
К сожалению, если использовать input(), набираемый пароль будет виден. А хотелось бы,
чтобы при вводе пароля вводимые символы не отображались.

Модуль getpass
Модуль getpass позволяет запрашивать пароль, не отображая вводимые символы:
In [1]: import getpass
In [2]: password = getpass.getpass()
Password:
In [3]: print(password)
testpass

Переменные окружения
Еще один вариант хранения пароля (а можно и пользователя) - переменные окружения.
Например, таким образом логин и пароль записываются в переменные:
$ export SSH_USER=user
$ export SSH_PASSWORD=userpass
А затем в Python считываются значения в переменные в скрипте:

18. Подключение к оборудованию

403

Python для сетевых инженеров, Выпуск 3.0

import os
USERNAME = os.environ.get('SSH_USER')
PASSWORD = os.environ.get('SSH_PASSWORD')

Модуль pexpect
Модуль pexpect позволяет автоматизировать интерактивные подключения, такие как:
• telnet
• ssh
• ftp

Примечание: Pexpect - это реализация expect на Python.

Для начала, модуль pexpect нужно установить:
pip install pexpect
Логика работы pexpect такая:
• запускается какая-то программа
• pexpect ожидает определенный вывод (приглашение, запрос пароля и подобное)
• получив вывод, он отправляет команды/данные
• последние два действия повторяются столько, сколько нужно
При этом сам pexpect не реализует различные утилиты, а использует уже готовые.

pexpect.spawn
Класс spawn позволяет взаимодействовать с вызванной программой, отправляя данные и
ожидая ответ.
Например, таким образом можно инициировать соединение SSH:
In [5]: ssh = pexpect.spawn('ssh cisco@192.168.100.1')
После выполнения этой строки, подключение готово. Теперь необходимо указать какую строку ожидать. В данном случае, надо дождаться запроса о пароле:

404

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

In [6]: ssh.expect('[Pp]assword')
Out[6]: 0
Обратите внимание как описана строка, которую ожидает pexpect: [Pp]assword. Это регулярное выражение, которое описывает строку password или Password. То есть, методу expect
можно передавать регулярное выражение как аргумент.
Метод expect вернул число 0 в результате работы. Это число указывает, что совпадение было
найдено и что это элемент с индексом ноль. Индекс тут фигурирует из-за того, что expect
можно передавать список строк. Например, можно передать список с двумя элементами:
In [7]: ssh = pexpect.spawn('ssh cisco@192.168.100.1')
In [8]: ssh.expect(['password', 'Password'])
Out[8]: 1
Обратите внимание, что теперь возвращается 1. Это значит, что совпадением было слово
Password.
Теперь можно отправлять пароль. Для этого используется команда sendline:
In [9]: ssh.sendline('cisco')
Out[9]: 6
Команда sendline отправляет строку, автоматически добавляет к ней перевод строки на основе значения os.linesep, а затем возвращает число указывающее сколько байт было записано.

Примечание: В pexpect есть несколько вариантов отправки команд, не только sendline.

Для того чтобы попасть в режим enable цикл expect-sendline повторяется:
In [10]: ssh.expect('[>#]')
Out[10]: 0
In [11]: ssh.sendline('enable')
Out[11]: 7
In [12]: ssh.expect('[Pp]assword')
Out[12]: 0
In [13]: ssh.sendline('cisco')
Out[13]: 6
In [14]: ssh.expect('[>#]')
(continues on next page)

18. Подключение к оборудованию

405

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Out[14]: 0
Теперь можно отправлять команду:
In [15]: ssh.sendline('sh ip int br')
Out[15]: 13
После отправки команды, pexpect надо указать до какого момента считать вывод. Указываем,
что считать надо до #:
In [16]: ssh.expect('#')
Out[16]: 0
Вывод команды находится в атрибуте before:
In [17]: ssh.before
Out[17]: b'sh ip int br\r\nInterface
,→YES

IP-Address

Protocol\r\nEthernet0/0

,→Status

NVRAM

,→200.1

up

up

YES NVRAM

,→19.1.1.1
,→

192.168.230.1

,→3.100

\r\nEthernet0/1

up

up

YES NVRAM

up

YES NVRAM

10.100.0.1

,→\r\nEthernet0/3.200

\r\nEthernet0/3.300

,→

up

␣

192.168.

\r\nEthernet0/2

␣

up

␣

\r\nEthernet0/3

up

up

YES NVRAM

up

10.200.0.1

,→up

OK? Method␣

192.168.100.1

\r\nEthernet0/
up

YES NVRAM

10.30.0.1

␣

up

YES NVRAM

␣
up

␣

\r\nR1'

Так как результат выводится в виде последовательности байтов, надо конвертировать ее в
строку:
In [18]: show_output = ssh.before.decode('utf-8')
In [19]: print(show_output)
sh ip int br
Interface

IP-Address

OK? Method Status

␣

192.168.100.1

YES NVRAM

up

up

,→Protocol

Ethernet0/0
Ethernet0/1

192.168.200.1

YES NVRAM

up

up

Ethernet0/2

19.1.1.1

YES NVRAM

up

up

Ethernet0/3

192.168.230.1

YES NVRAM

up

up

Ethernet0/3.100

10.100.0.1

YES NVRAM

up

up

Ethernet0/3.200

10.200.0.1

YES NVRAM

up

up

Ethernet0/3.300

10.30.0.1

YES NVRAM

up

up

R1

406

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

Завершается сессия вызовом метода close:
In [20]: ssh.close()

Специальные символы в shell
Pexpect не интерпретирует специальные символы shell, такие как >, |, *.
Для того, чтобы, например, команда ls -ls | grep SUMMARY отработала, нужно запустить
shell таким образом:
In [1]: import pexpect
In [2]: p = pexpect.spawn('/bin/bash -c "ls -ls | grep pexpect"')
In [3]: p.expect(pexpect.EOF)
Out[3]: 0
In [4]: print(p.before)
b'4 -rw-r--r-- 1 vagrant vagrant 3203 Jul 14 07:15 1_pexpect.py\r\n'
In [5]: print(p.before.decode('utf-8'))
4 -rw-r--r-- 1 vagrant vagrant 3203 Jul 14 07:15 1_pexpect.py

pexpect.EOF
В предыдущем примере встретилось использование pexpect.EOF.

Примечание: EOF (end of file) — конец файла

Это специальное значение, которое позволяет отреагировать на завершение исполнения команды или сессии, которая была запущена в spawn.
При вызове команды ls -ls pexpect не получает интерактивный сеанс. Команда выполняется
и всё, на этом завершается её работа.
Поэтому если запустить её и указать в expect приглашение, возникнет ошибка:
In [5]: p = pexpect.spawn('/bin/bash -c "ls -ls | grep SUMMARY"')
In [6]: p.expect('nattaur')
--------------------------------------------------------------------------EOF

Traceback (most recent call last)
(continues on next page)

18. Подключение к оборудованию

407

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

in ()
----> 1 p.expect('nattaur')
...
Если передать в expect EOF, ошибки не будет.

Метод pexpect.expect
В pexpect.expect как шаблон может использоваться:
• регулярное выражение
• EOF - этот шаблон позволяет среагировать на исключение EOF
• TIMEOUT - исключение timeout (по умолчанию значение timeout = 30 секунд)
• compiled re
Еще одна очень полезная возможность pexpect.expect: можно передавать не одно значение,
а список.
Например:
In [7]: p = pexpect.spawn('/bin/bash -c "ls -ls | grep netmiko"')
In [8]: p.expect(['py3_convert', pexpect.TIMEOUT, pexpect.EOF])
Out[8]: 2
Тут несколько важных моментов:
• когда pexpect.expect вызывается со списком, можно указывать разные ожидаемые строки
• кроме строк, можно указывать исключения
• pexpect.expect возвращает номер элемента списка, который сработал
– в данном случае номер 2, так как исключение EOF находится в списке под номером
два
• за счет такого формата можно делать ответвления в программе, в зависимости от того,
с каким элементом было совпадение

Пример использования pexpect
Пример использования pexpect для подключения к оборудованию и передачи команды show
(файл 1_pexpect.py):

408

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

import pexpect
import re
from pprint import pprint

def send_show_command(ip, username, password, enable, commands, prompt="#"):
with pexpect.spawn(f"ssh {username}@{ip}", timeout=10, encoding="utf-8") as␣
,→ssh:

ssh.expect("[Pp]assword")
ssh.sendline(password)
enable_status = ssh.expect([">", "#"])
if enable_status == 0:
ssh.sendline("enable")
ssh.expect("[Pp]assword")
ssh.sendline(enable)
ssh.expect(prompt)
ssh.sendline("terminal length 0")
ssh.expect(prompt)
result = {}
for command in commands:
ssh.sendline(command)
match = ssh.expect([prompt, pexpect.TIMEOUT, pexpect.EOF])
if match == 1:
print(
f"Символ {prompt} не найден в выводе. Полученный вывод␣
,→записан

в словарь"
)
if match == 2:
print("Соединение разорвано со стороны сервера")
return result
else:
output = ssh.before
result[command] = output.replace("\r\n", "\n")

return result

if __name__ == "__main__":
devices = ["192.168.100.1", "192.168.100.2", "192.168.100.3"]
commands = ["sh clock", "sh int desc"]
for ip in devices:
result = send_show_command(ip, "cisco", "cisco", "cisco", commands)
(continues on next page)

18. Подключение к оборудованию

409

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

pprint(result, width=120)
Эта часть функции отвечает за переход в режим enable:
enable_status = ssh.expect([">", "#"])
if enable_status == 0:
ssh.sendline("enable")
ssh.expect("[Pp]assword")
ssh.sendline(enable)
ssh.expect(prompt)
Если ssh.expect([">", "#"]) возвращает индекс 0, значит при подключении не было автоматического перехода в режим enable и его надо выполнить. Если возвращается индекс 1 значит мы уже находимся в режиме enable, например, потому что на оборудовании настроено
privilege 15.
Еще один интересный момент в функции:
for command in commands:
ssh.sendline(command)
match = ssh.expect([prompt, pexpect.TIMEOUT, pexpect.EOF])
if match == 1:
print(
f"Символ {prompt} не найден в выводе. Полученный вывод записан в␣
,→словарь"

)
if match == 2:
print("Соединение разорвано со стороны сервера")
return result
else:
output = ssh.before
result[command] = output.replace("\r\n", "\n")
return result
Тут по очереди отправляются команды и expect ждет три варианта: приглашение, таймаут
или EOF. Если метод expect не дождался #, будет возвращено значение 1 и в этом случае
выводится сообщение, что символ не найден. При этом, и когда совпадение найдено и когда
был таймаут, полученный вывод записывается в словарь. Таким образом можно увидеть, что
было получено с устройства, даже если приглашение не найдено.
Вывод при запуске скрипта:
{'sh clock': 'sh clock\n*13:13:47.525 UTC Sun Jul 19 2020\n',
'sh int desc': 'sh int desc\n'
'Interface
,→Description\n'

410

Status

Protocol␣
(continues on next page)

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'Et0/0

up

up

\n'

'Et0/1

up

up

\n'

'Et0/2

up

up

\n'

'Et0/3

up

up

\n'

'Lo22

up

up

\n'

'Lo33

up

up

\n'

'Lo45

up

up

\n'

'Lo55

up

up

\n'}

{'sh clock': 'sh clock\n*13:13:50.450 UTC Sun Jul 19 2020\n',
'sh int desc': 'sh int desc\n'
'Interface

Status

Protocol␣

'Et0/0

up

up

\n'

'Et0/1

up

up

\n'

'Et0/2

admin down

down

\n'

'Et0/3

admin down

down

\n'

'Lo0

up

up

\n'

'Lo9

up

up

\n'

'Lo19

up

up

\n'

'Lo33

up

up

\n'

'Lo100

up

up

\n'}

,→Description\n'

{'sh clock': 'sh clock\n*13:13:53.360 UTC Sun Jul 19 2020\n',
'sh int desc': 'sh int desc\n'
'Interface

Status

Protocol␣

'Et0/0

up

up

\n'

'Et0/1

up

up

\n'

'Et0/2

admin down

down

\n'

'Et0/3

admin down

down

\n'

'Lo33

up

up

\n'}

,→Description\n'

Работа с pexpect без отключения постраничного вывода команд
Иногда вывод команды сильно большой и его не получается полностью считать или оборудование не дает возможность отключить постраничный вывод. В этом случае необходим немного другой подход.

Примечание: Эта же задача будет повторяться и для других модулей этого раздела.

Пример использования pexpect для работы с постраничным выводом команд show (файл
1_pexpect_more.py):

18. Подключение к оборудованию

411

Python для сетевых инженеров, Выпуск 3.0

import pexpect
import re
from pprint import pprint

def send_show_command(ip, username, password, enable, command, prompt="#"):
with pexpect.spawn(f"ssh {username}@{ip}", timeout=10, encoding="utf-8") as␣
,→ssh:

ssh.expect("[Pp]assword")
ssh.sendline(password)
enable_status = ssh.expect([">", "#"])
if enable_status == 0:
ssh.sendline("enable")
ssh.expect("[Pp]assword")
ssh.sendline(enable)
ssh.expect(prompt)
ssh.sendline(command)
output = ""
while True:
match = ssh.expect([prompt, "--More--", pexpect.TIMEOUT])
page = ssh.before.replace("\r\n", "\n")
page = re.sub(" +\x08+ +\x08+", "\n", page)
output += page
if match == 0:
break
elif match == 1:
ssh.send(" ")
else:
print("Ошибка: timeout")
break
output = re.sub("\n +\n", "\n", output)
return output

if __name__ == "__main__":
devices = ["192.168.100.1", "192.168.100.2", "192.168.100.3"]
for ip in devices:
result = send_show_command(ip, "cisco", "cisco", "cisco", "sh run")
with open(f"{ip}_result.txt", "w") as f:
f.write(result)
Теперь после отправки команды, метод expect ждет еще один вариант --More-- - признак,

412

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

что дальше идет еще одна страница. Так как заранее не известно сколько именно страниц
будет в выводе, чтение выполняется в цикле while True. Цикл прерывается если встретилось
приглашение # или в течение 10 секунд не появилось приглашение или --More--.
Если встретилось --More--, страницы еще не закончились и надо пролистнуть следующую. В
Cisco для этого надо нажать пробел (без перевода строки). Поэтому тут используется метод
send, а не sendline - sendline автоматически добавляет перевод строки.
Эта строка page = re.sub(" +\x08+ +\x08+", "\n", page) удаляет backspace символы, которые находятся вокруг --More-- чтобы они не попали в итоговый вывод.

Модуль telnetlib
Модуль telnetlib входит в стандартную библиотеку Python. Это реализация клиента telnet.

Примечание: Подключиться по telnet можно и используя pexpect. Плюс telnetlib в том, что
этот модуль входит в стандартную библиотеку Python.

Принцип работы telnetlib напоминает pexpect, но есть несколько отличий. Самое заметное
отличие в том, что telnetlib требует передачи байтовой строки, а не обычной.
Подключение выполняется таким образом:
In [1]: telnet = telnetlib.Telnet('192.168.100.1')

Метод read_until
С помощью метода read_until указывается до какой строки считать вывод. При этом, как аргумент надо передавать не обычную строку, а байты:
In [2]: telnet.read_until(b'Username')
Out[2]: b'\r\n\r\nUser Access Verification\r\n\r\nUsername'
Метод read_until возвращает все, что он считал до указанной строки.

Метод write
Для передачи данных используется метод write. Ему нужно передавать байтовую строку:
In [3]: telnet.write(b'cisco\n')
Читаем вывод до слова Password и передаем пароль:

18. Подключение к оборудованию

413

Python для сетевых инженеров, Выпуск 3.0

In [4]: telnet.read_until(b'Password')
Out[4]: b': cisco\r\nPassword'
In [5]: telnet.write(b'cisco\n')
Теперь можно указать, что надо считать вывод до приглашения, а затем отправить команду:
In [6]: telnet.read_until(b'>')
Out[6]: b': \r\nR1>'
In [7]: telnet.write(b'sh ip int br\n')
После отправки команды можно продолжать использовать метод read_until:
In [8]: telnet.read_until(b'>')
Out[8]: b'sh ip int br\r\nInterface
,→Status
,→YES

NVRAM

,→200.1

up

up

YES NVRAM

,→19.1.1.1
,→

IP-Address

Protocol\r\nEthernet0/0

192.168.230.1

,→3.100

\r\nEthernet0/1

up

up

YES NVRAM

up

YES NVRAM

10.100.0.1

,→\r\nEthernet0/3.200

\r\nEthernet0/3.300

,→

up

␣

192.168.

\r\nEthernet0/2

␣

up

␣

\r\nEthernet0/3

up

up

YES NVRAM
10.200.0.1

,→up

OK? Method␣
192.168.100.1

\r\nEthernet0/

up

up
YES NVRAM

10.30.0.1

␣

up

␣

YES NVRAM

up

␣

\r\nR1>'

Метод read_very_eager
Или использовать еще один метод для чтения read_very_eager. При использовании метода
read_very_eager, можно отправить несколько команд, а затем считать весь доступный вывод:
In [9]: telnet.write(b'sh arp\n')
In [10]: telnet.write(b'sh clock\n')
In [11]: telnet.write(b'sh ip int br\n')
In [12]: all_result = telnet.read_very_eager().decode('utf-8')
In [13]: print(all_result)
sh arp
Protocol

Address

Internet

10.30.0.1

Age (min)
-

Hardware Addr

Type

Interface

aabb.cc00.6530

ARPA

Ethernet0/3.300
(continues on next page)

414

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Internet

10.100.0.1

-

aabb.cc00.6530

ARPA

Ethernet0/3.100

Internet

10.200.0.1

-

aabb.cc00.6530

ARPA

Ethernet0/3.200

Internet

19.1.1.1

-

aabb.cc00.6520

ARPA

Ethernet0/2

Internet

192.168.100.1

-

aabb.cc00.6500

ARPA

Ethernet0/0

Internet

192.168.100.2

124

aabb.cc00.6600

ARPA

Ethernet0/0

Internet

192.168.100.3

143

aabb.cc00.6700

ARPA

Ethernet0/0

Internet

192.168.100.100

160

aabb.cc80.c900

ARPA

Ethernet0/0

Internet

192.168.200.1

Internet

192.168.200.100

Internet

192.168.230.1

-

0203.e800.6510

ARPA

Ethernet0/1

13

0800.27ac.16db

ARPA

Ethernet0/1

-

aabb.cc00.6530

ARPA

Ethernet0/3

R1>sh clock
*19:18:57.980 UTC Fri Nov 3 2017
R1>sh ip int br
Interface

IP-Address

OK? Method Status

␣

,→Protocol

Ethernet0/0

192.168.100.1

YES NVRAM

up

up

Ethernet0/1

192.168.200.1

YES NVRAM

up

up

Ethernet0/2

19.1.1.1

YES NVRAM

up

up

Ethernet0/3

192.168.230.1

YES NVRAM

up

up

Ethernet0/3.100

10.100.0.1

YES NVRAM

up

up

Ethernet0/3.200

10.200.0.1

YES NVRAM

up

up

Ethernet0/3.300

10.30.0.1

YES NVRAM

up

up

R1>

Предупреждение: Перед методом read_very_eager всегда надо ставить time.sleep(n).

С read_until будет немного другой подход. Можно выполнить те же три команды, но затем
получать вывод по одной за счет чтения до строки с приглашением:
In [14]: telnet.write(b'sh arp\n')
In [15]: telnet.write(b'sh clock\n')
In [16]: telnet.write(b'sh ip int br\n')
In [17]: telnet.read_until(b'>')
Out[17]: b'sh arp\r\nProtocol
,→Interface\r\nInternet

Address

10.30.0.1

Age (min)
-

Hardware Addr

aabb.cc00.6530

Type

ARPA

␣

␣

,→Ethernet0/3.300\r\nInternet

10.100.0.1

-

aabb.cc00.6530

ARPA

␣

,→Ethernet0/3.100\r\nInternet

10.200.0.1

-

aabb.cc00.6530

ARPA

␣

,→Ethernet0/3.200\r\nInternet

19.1.1.1

-

aabb.cc00.6520

ARPA

␣

,→Ethernet0/2\r\nInternet

192.168.100.1

-

aabb.cc00.6500

ARPA

␣

,→Ethernet0/0\r\nInternet

192.168.100.2

126

aabb.cc00.6600

ARPA

␣

,→Ethernet0/0\r\nInternet

192.168.100.3

145

aabb.cc00.6700

ARPA

␣

,→Ethernet0/0\r\nInternet

192.168.100.100

162

aabb.cc80.c900

ARPA

␣

,→Ethernet0/0\r\nInternet

192.168.200.1

-

0203.e800.6510

ARPA

␣

,→Ethernet0/1\r\nInternet

192.168.200.100

15

0800.27ac.16db

ARPA

␣

18. Подключение к оборудованию

(continues on next page)

415

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [18]: telnet.read_until(b'>')
Out[18]: b'sh clock\r\n*19:20:39.388 UTC Fri Nov 3 2017\r\nR1>'
In [19]: telnet.read_until(b'>')
Out[19]: b'sh ip int br\r\nInterface
,→Status
,→YES

NVRAM

,→200.1

up

up

YES NVRAM

,→19.1.1.1
,→

IP-Address

Protocol\r\nEthernet0/0

192.168.230.1

,→3.100

\r\nEthernet0/1

up

up

YES NVRAM

up

YES NVRAM

10.100.0.1

,→\r\nEthernet0/3.200
,→up

\r\nEthernet0/3.300

,→

up

OK? Method␣

192.168.100.1

192.168.

\r\nEthernet0/2

␣

up

␣

\r\nEthernet0/3

up

up

YES NVRAM
10.200.0.1

\r\nEthernet0/

up

up
YES NVRAM

10.30.0.1

␣

␣

up

␣

YES NVRAM

up

␣

\r\nR1>'

read_until vs read_very_eager
Важное отличие между read_until и read_very_eager заключается в том, как они реагируют на
отсутствие вывода.
Метод read_until ждет определенную строку. По умолчанию, если ее нет, метод «зависнет».
Опциональный параметр timeout позволяет указать сколько ждать нужную строку:
In [20]: telnet.read_until(b'>', timeout=5)
Out[20]: b''
Если за указанное время строка не появилась, возвращается пустая строка.
Метод read_very_eager просто вернет пустую строку, если вывода нет:
In [21]: telnet.read_very_eager()
Out[21]: b''

Метод expect
Метод expect позволяет указывать список с регулярными выражениями. Он работает похоже
на pexpect, но в модуле telnetlib всегда надо передавать список регулярных выражений.
При этом, можно передавать байтовые строки или компилированные регулярные выражения:
In [22]: telnet.write(b'sh clock\n')
(continues on next page)

416

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [23]: telnet.expect([b'[>#]'])
Out[23]:
(0,
,
b'sh clock\r\n*19:35:10.984 UTC Fri Nov 3 2017\r\nR1>')
Метод expect возвращает кортеж их трех элементов:
• индекс выражения, которое совпало
• объект Match
• байтовая строка, которая содержит все считанное до регулярного выражения и включая
его
Соответственно, при необходимости, с этими элементами можно дальше работать:
In [24]: telnet.write(b'sh clock\n')
In [25]: regex_idx, match, output = telnet.expect([b'[>#]'])
In [26]: regex_idx
Out[26]: 0
In [27]: match.group()
Out[27]: b'>'
In [28]: match
Out[28]:
In [29]: match.group()
Out[29]: b'>'
In [30]: output
Out[30]: b'sh clock\r\n*19:37:21.577 UTC Fri Nov 3 2017\r\nR1>'
In [31]: output.decode('utf-8')
Out[31]: 'sh clock\r\n*19:37:21.577 UTC Fri Nov 3 2017\r\nR1>'

Метод close
Закрывается соединение методом close, но лучше открывать и закрывать сессию с помощью
менеджера контекста:

18. Подключение к оборудованию

417

Python для сетевых инженеров, Выпуск 3.0

In [32]: telnet.close()

Примечание: Использование объекта Telnet как менеджера контекса добавлено в версии
3.6

Пример использования telnetlib
Файл 2_telnetlib.py:
import telnetlib
import time
from pprint import pprint

def to_bytes(line):
return f"{line}\n".encode("utf-8")

def send_show_command(ip, username, password, enable, commands):
with telnetlib.Telnet(ip) as telnet:
telnet.read_until(b"Username")
telnet.write(to_bytes(username))
telnet.read_until(b"Password")
telnet.write(to_bytes(password))
index, m, output = telnet.expect([b">", b"#"])
if index == 0:
telnet.write(b"enable\n")
telnet.read_until(b"Password")
telnet.write(to_bytes(enable))
telnet.read_until(b"#", timeout=5)
telnet.write(b"terminal length 0\n")
telnet.read_until(b"#", timeout=5)
time.sleep(3)
telnet.read_very_eager()
result = {}
for command in commands:
telnet.write(to_bytes(command))
output = telnet.read_until(b"#", timeout=5).decode("utf-8")
result[command] = output.replace("\r\n", "\n")
return result
(continues on next page)

418

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

if __name__ == "__main__":
devices = ["192.168.100.1", "192.168.100.2", "192.168.100.3"]
commands = ["sh ip int br", "sh arp"]
for ip in devices:
result = send_show_command(ip, "cisco", "cisco", "cisco", commands)
pprint(result, width=120)
Так как методу write надо передавать байты и добавлять каждый раз перевод строки, создана небольшая функция to_bytes, которая выполняет преобразование в байты и добавление
перевода строки.
Выполнение скрипта:
{'sh int desc': 'sh int desc\n'
'Interface

Status

Protocol Description\n'

'Et0/0

up

up

\n'

'Et0/1

up

up

\n'

'Et0/2

up

up

\n'

'Et0/3

up

up

\n'

'R1#',
'sh ip int br': 'sh ip int br\n'
,→

,→

,→

'Interface

IP-Address

OK? Method Status

␣

'Ethernet0/0

192.168.100.1

YES NVRAM

up

␣

'Ethernet0/1

192.168.200.1

YES NVRAM

up

␣

'Ethernet0/2

unassigned

YES NVRAM

up

␣

'Ethernet0/3

192.168.130.1

YES NVRAM

up

␣

Protocol\n'
up
up

\n'
\n'

,→

up

\n'

,→

up

\n'
'R1#'}

{'sh int desc': 'sh int desc\n'
'Interface

Status

Protocol Description\n'

'Et0/0

up

up

\n'

'Et0/1

up

up

\n'

'Et0/2

admin down

down

\n'

'Et0/3

admin down

down

\n'

'R2#',
'sh ip int br': 'sh ip int br\n'
'Interface
,→

IP-Address

OK? Method Status

␣

Protocol\n'
(continues on next page)

18. Подключение к оборудованию

419

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

,→

up

\n'

,→

up

\n'

,→down

down

'Ethernet0/0

192.168.100.2

YES NVRAM

up

␣

'Ethernet0/1

unassigned

YES NVRAM

up

␣

'Ethernet0/2

unassigned

YES NVRAM

administratively␣

unassigned

YES NVRAM

administratively␣

\n'
'Ethernet0/3

,→down

down

\n'
'R2#'}

{'sh int desc': 'sh int desc\n'
'Interface

Status

Protocol Description\n'

'Et0/0

up

up

\n'

'Et0/1

up

up

\n'

'Et0/2

admin down

down

\n'

'Et0/3

admin down

down

\n'

'R3#',
'sh ip int br': 'sh ip int br\n'
,→

,→

,→

'Interface

IP-Address

OK? Method Status

␣

'Ethernet0/0

192.168.100.3

YES NVRAM

up

␣

'Ethernet0/1

unassigned

YES NVRAM

up

␣

'Ethernet0/2

unassigned

YES NVRAM

administratively␣

unassigned

YES NVRAM

administratively␣

Protocol\n'
up
up

\n'
\n'

,→down

down

\n'

,→down

down

\n'

'Ethernet0/3

Постраничный вывод команд
Пример использования telnetlib для работы с постраничным выводом команд show (файл
2_telnetlib_more.py):
import telnetlib
import time
from pprint import pprint
import re

def to_bytes(line):
return f"{line}\n".encode("utf-8")
(continues on next page)

420

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

def send_show_command(ip, username, password, enable, command):
with telnetlib.Telnet(ip) as telnet:
telnet.read_until(b"Username")
telnet.write(to_bytes(username))
telnet.read_until(b"Password")
telnet.write(to_bytes(password))
index, m, output = telnet.expect([b">", b"#"])
if index == 0:
telnet.write(b"enable\n")
telnet.read_until(b"Password")
telnet.write(to_bytes(enable))
telnet.read_until(b"#", timeout=5)
time.sleep(3)
telnet.read_very_eager()
telnet.write(to_bytes(command))
result = ""
while True:
index, match, output = telnet.expect([b"--More--", b"#"], timeout=5)
output = output.decode("utf-8")
output = re.sub(" +--More--| +\x08+ +\x08+", "\n", output)
result += output
if index in (1, -1):
break
telnet.write(b" ")
time.sleep(1)
result.replace("\r\n", "\n")
return result

if __name__ == "__main__":
devices = ["192.168.100.1", "192.168.100.2", "192.168.100.3"]
for ip in devices:
result = send_show_command(ip, "cisco", "cisco", "cisco", "sh run")
pprint(result, width=120)

18. Подключение к оборудованию

421

Python для сетевых инженеров, Выпуск 3.0

Модуль paramiko
Paramiko - это реализация протокола SSHv2 на Python. Paramiko предоставляет функциональность клиента и сервера. В книге рассматривается только функциональность клиента.
Так как Paramiko не входит в стандартную библиотеку модулей Python, его нужно установить:
pip install paramiko
Подключение выполняется таким образом: сначала создается клиент и выполняются настройки клиента, затем выполняется подключение и получение интерактивной сессии:
In [2]: client = paramiko.SSHClient()
In [3]: client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
In [4]: client.connect(hostname="192.168.100.1", username="cisco", password="cisco
,→",

...: look_for_keys=False, allow_agent=False)
In [5]: ssh = client.invoke_shell()
SSHClient это класс, который представляет соединение к SSH-серверу. Он выполняет аутентификацию клиента. Следующая настройка set_missing_host_key_policy не является обязательной, она указывает какую политику использовать, когда выполнятся подключение к
серверу, ключ которого неизвестен. Политика paramiko.AutoAddPolicy() автоматически добавляет новое имя хоста и ключ в локальный объект HostKeys.
Метод connect выполняет подключение к SSH-серверу и аутентифицирует подключение. Параметры:
• look_for_keys - по умолчанию paramiko выполняет аутентификацию по ключам. Чтобы
отключить это, надо поставить флаг в False
• allow_agent - paramiko может подключаться к локальному SSH агенту ОС. Это нужно
при работе с ключами, а так как в данном случае аутентификация выполняется по логину/паролю, это нужно отключить.
После выполнения предыдущей команды уже есть подключение к серверу. Метод
invoke_shell позволяет установить интерактивную сессию SSH с сервером.

Метод send
Метод send - отправляет указанную строку в сессию и возвращает количество отправленных
байт или ноль если сессия закрыта и не удалось отправить команду:

422

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

In [7]: ssh.send("enable\n")
Out[7]: 7
In [8]: ssh.send("cisco\n")
Out[8]: 6
In [9]: ssh.send("sh ip int br\n")
Out[9]: 13

Предупреждение: В коде после send надо будет ставить time.sleep, особенно между
send и recv. Так как это интерактивная сессия и команды набираются медленно, все работает и без пауз.

Метод recv
Метод recv получает данные из сессии. В скобках указывается максимальное значение в
байтах, которое нужно получить. Этот метод возвращает считанную строку.
In [10]: ssh.recv(3000)
Out[10]: b'\r\nR1>enable\r\nPassword: \r\nR1#sh ip int br\r\nInterface
IP-Address

,→

OK? Method Status

192.168.100.1

,→

YES NVRAM

,→\r\nEthernet0/1

\r\nEthernet0/2

,→

up

,→

up

up
YES unset

5.5.5.5

␣

YES NVRAM

up

␣

YES NVRAM

10.2.2.2

\r\nLoopback33
up

␣

up

192.168.130.1

\r\nLoopback22

up

,→unassigned
,→

up
YES NVRAM

unassigned

up

YES unset

up

\r\nEthernet0/3

,→
,→manual

Protocol\r\nEthernet0/0 ␣

192.168.200.1

,→up

␣

up

up

␣

YES␣
unassigned ␣

\r\nLoopback45

YES manual up

up

␣

\r\nLoopback55
up

␣

\r\nR1#'

Метод close
Метод close закрывает сессию:
In [11]: ssh.close()

Пример использования paramiko
Пример использования paramiko (файл 3_paramiko.py):
18. Подключение к оборудованию

423

Python для сетевых инженеров, Выпуск 3.0

import paramiko
import time
import socket
from pprint import pprint

def send_show_command(
ip,
username,
password,
enable,
command,
max_bytes=60000,
short_pause=1,
long_pause=5,
):
cl = paramiko.SSHClient()
cl.set_missing_host_key_policy(paramiko.AutoAddPolicy())
cl.connect(
hostname=ip,
username=username,
password=password,
look_for_keys=False,
allow_agent=False,
)
with cl.invoke_shell() as ssh:
ssh.send("enable\n")
ssh.send(f"{enable}\n")
time.sleep(short_pause)
ssh.send("terminal length 0\n")
time.sleep(short_pause)
ssh.recv(max_bytes)
result = {}
for command in commands:
ssh.send(f"{command}\n")
ssh.settimeout(5)
output = ""
while True:
try:
part = ssh.recv(max_bytes).decode("utf-8")
output += part
(continues on next page)

424

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

time.sleep(0.5)
except socket.timeout:
break
result[command] = output
return result

if __name__ == "__main__":
devices = ["192.168.100.1", "192.168.100.2", "192.168.100.3"]
commands = ["sh clock", "sh arp"]
result = send_show_command("192.168.100.1", "cisco", "cisco", "cisco",␣
,→commands)

pprint(result, width=120)
Результат выполнения скрипта:
{'sh arp': 'sh arp\r\n'
'Protocol

Address

Age (min)

Hardware Addr

Type

␣

,→Interface\r\n'

'Internet

192.168.100.1

-

aabb.cc00.6500

ARPA

␣

192.168.100.2

124

aabb.cc00.6600

ARPA

␣

192.168.100.3

183

aabb.cc00.6700

ARPA

␣

192.168.100.100

208

aabb.cc80.c900

ARPA

␣

192.168.101.1

-

aabb.cc00.6500

ARPA

␣

192.168.102.1

-

aabb.cc00.6500

ARPA

␣

192.168.130.1

-

aabb.cc00.6530

ARPA

␣

192.168.200.1

-

0203.e800.6510

ARPA

␣

18

6ee2.6d8c.e75d

ARPA

␣

,→Ethernet0/0\r\n'

'Internet
,→Ethernet0/0\r\n'

'Internet
,→Ethernet0/0\r\n'

'Internet
,→Ethernet0/0\r\n'

'Internet
,→Ethernet0/0\r\n'

'Internet
,→Ethernet0/0\r\n'

'Internet
,→Ethernet0/3\r\n'

'Internet
,→Ethernet0/1\r\n'

'Internet

192.168.200.100

,→Ethernet0/1\r\n'

'R1#',
'sh clock': 'sh clock\r\n*08:25:22.435 UTC Mon Jul 20 2020\r\nR1#'}

18. Подключение к оборудованию

425

Python для сетевых инженеров, Выпуск 3.0

Постраничный вывод команд
Пример использования paramiko для работы с постраничным выводом команд show (файл
3_paramiko_more.py):
import paramiko
import time
import socket
from pprint import pprint
import re

def send_show_command(
ip,
username,
password,
enable,
command,
max_bytes=60000,
short_pause=1,
long_pause=5,
):
cl = paramiko.SSHClient()
cl.set_missing_host_key_policy(paramiko.AutoAddPolicy())
cl.connect(
hostname=ip,
username=username,
password=password,
look_for_keys=False,
allow_agent=False,
)
with cl.invoke_shell() as ssh:
ssh.send("enable\n")
ssh.send(enable + "\n")
time.sleep(short_pause)
ssh.recv(max_bytes)
result = {}
for command in commands:
ssh.send(f"{command}\n")
ssh.settimeout(5)
output = ""
while True:
(continues on next page)

426

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

try:
page = ssh.recv(max_bytes).decode("utf-8")
output += page
time.sleep(0.5)
except socket.timeout:
break
if "More" in page:
ssh.send(" ")
output = re.sub(" +--More--| +\x08+ +\x08+", "\n", output)
result[command] = output
return result

if __name__ == "__main__":
devices = ["192.168.100.1", "192.168.100.2", "192.168.100.3"]
commands = ["sh run"]
result = send_show_command("192.168.100.1", "cisco", "cisco", "cisco",␣
,→commands)

pprint(result, width=120)

Модуль netmiko
Netmiko - это модуль, который позволяет упростить использование paramiko для сетевых
устройств. Netmiko использует paramiko, но при этом создает интерфейс и методы, которые
нужны для работы с сетевым оборудованием.
Сначала netmiko нужно установить:
pip install netmiko

Поддерживаемые типы устройств
Netmiko поддерживает несколько типов устройств:
• Arista vEOS
• Cisco ASA
• Cisco IOS
• Cisco IOS-XR
• Cisco SG300

18. Подключение к оборудованию

427

Python для сетевых инженеров, Выпуск 3.0

• HP Comware7
• HP ProCurve
• Juniper Junos
• Linux
• и другие
Актуальный список можно посмотреть в репозитории модуля.

Словарь, определяющий параметры устройств
В словаре могут указываться такие параметры:
cisco_router = {
'device_type': 'cisco_ios',
'host': '192.168.1.1',
'username': 'user',
'password': 'userpass',
'secret': 'enablepass',
'port': 20022,
}

Подключение по SSH
ssh = ConnectHandler(**cisco_router)

Режим enable
Перейти в режим enable:
ssh.enable()
Выйти из режима enable:
ssh.exit_enable_mode()

Отправка команд
В netmiko есть несколько способов отправки команд:
• send_command - отправить одну команду

428

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

• send_config_set - отправить список команд или команду в конфигурационном режиме
• send_config_from_file - отправить команды из файла (использует внутри метод
send_config_set)
• send_command_timing - отправить команду и подождать вывод на основании таймера

send_command
Метод send_command позволяет отправить одну команду на устройство.
Например:
result = ssh.send_command('show ip int br')
Метод работает таким образом:
• отправляет команду на устройство и получает вывод до строки с приглашением или до
указанной строки
– приглашение определяется автоматически
– если на вашем устройстве оно не определилось, можно просто указать строку, до
которой считывать вывод
– ранее так работал метод send_command_expect, но с версии 1.0.0 так работает
send_command, а метод send_command_expect оставлен для совместимости
• метод возвращает вывод команды
• методу можно передавать такие параметры:
– command_string - команда
– expect_string - до какой строки считывать вывод
– delay_factor - параметр позволяет увеличить задержку до начала поиска строки
– max_loops - количество итераций, до того как метод выдаст ошибку (исключение).
По умолчанию 500
– strip_prompt - удалить приглашение из вывода. По умолчанию удаляется
– strip_command - удалить саму команду из вывода
В большинстве случаев достаточно будет указать только команду.

send_config_set
Метод send_config_set позволяет отправить команду или несколько команд конфигурационного режима.

18. Подключение к оборудованию

429

Python для сетевых инженеров, Выпуск 3.0

Пример использования:
commands = ['router ospf 1',
'network 10.0.0.0 0.255.255.255 area 0',
'network 192.168.100.0 0.0.0.255 area 1']
result = ssh.send_config_set(commands)
Метод работает таким образом:
• заходит в конфигурационный режим,
• затем передает все команды
• и выходит из конфигурационного режима
• в зависимости от типа устройства, выхода из конфигурационного режима может и не
быть. Например, для IOS-XR выхода не будет, так как сначала надо закоммитить изменения

send_config_from_file
Метод send_config_from_file отправляет команды из указанного файла в конфигурационный режим.
Пример использования:
result = ssh.send_config_from_file('config_ospf.txt')
Метод открывает файл, считывает команды и передает их методу send_config_set.

Дополнительные методы
Кроме перечисленных методов для отправки команд, netmiko поддерживает такие методы:
• config_mode - перейти в режим конфигурации: ssh.config_mode()
• exit_config_mode - выйти из режима конфигурации: ssh.exit_config_mode()
• check_config_mode - проверить, находится ли netmiko в режиме конфигурации (возвращает True, если в режиме конфигурации, и False - если нет): ssh.check_config_mode()
• find_prompt - возвращает текущее приглашение устройства: ssh.find_prompt()
• commit - выполнить commit на IOS-XR и Juniper: ssh.commit()
• disconnect - завершить соединение SSH

430

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

Примечание:

Выше ssh - это созданное предварительно соединение SSH: ssh =

ConnectHandler(**cisco_router)

Поддержка Telnet
С версии 1.0.0 netmiko поддерживает подключения по Telnet, пока что только для Cisco IOS
устройств.
Внутри netmiko использует telnetlib для подключения по Telnet. Но, при этом, предоставляет
тот же интерфейс для работы, что и подключение по SSH.
Для того, чтобы подключиться по Telnet, достаточно в словаре, который определяет параметры подключения, указать тип устройства „cisco_ios_telnet“:
device = {
"device_type": "cisco_ios_telnet",
"host": "192.168.100.1",
"username": "cisco",
"password": "cisco",
"secret": "cisco",
}
В остальном, методы, которые применимы к SSH, применимы и к Telnet. Пример, аналогичный
примеру с SSH (файл 4_netmiko_telnet.py):
from pprint import pprint
import yaml
from netmiko import (
ConnectHandler,
NetmikoTimeoutException,
NetmikoAuthenticationException,
)

def send_show_command(device, commands):
result = {}
try:
with ConnectHandler(**device) as ssh:
ssh.enable()
for command in commands:
output = ssh.send_command(command)
result[command] = output
return result
(continues on next page)

18. Подключение к оборудованию

431

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

except (NetmikoTimeoutException, NetmikoAuthenticationException) as error:
print(error)

if __name__ == "__main__":
device ={
"device_type": "cisco_ios_telnet",
"host": "192.168.100.1",
"username": "cisco",
"password": "cisco",
"secret": "cisco",
}
result = send_show_command(device, ["sh clock", "sh ip int br"])
pprint(result, width=120)
Аналогично работают и методы:
• send_command_timing()
• find_prompt()
• send_config_set()
• send_config_from_file()
• check_enable_mode()
• disconnect()

Пример использования netmiko
Пример использования netmiko (файл 4_netmiko.py):
from pprint import pprint
import yaml
from netmiko import (
ConnectHandler,
NetmikoTimeoutException,
NetmikoAuthenticationException,
)

def send_show_command(device, commands):
result = {}
try:
(continues on next page)

432

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

with ConnectHandler(**device) as ssh:
ssh.enable()
for command in commands:
output = ssh.send_command(command)
result[command] = output
return result
except (NetmikoTimeoutException, NetmikoAuthenticationException) as error:
print(error)

if __name__ == "__main__":
with open("devices.yaml") as f:
devices = yaml.safe_load(f)
for device in devices:
result = send_show_command(device, ["sh clock", "sh ip int br"])
pprint(result, width=120)
В этом примере не передается команда terminal length, так как netmiko по умолчанию выполняет эту команду.
Результат выполнения скрипта:
{'sh clock': '*09:12:15.210 UTC Mon Jul 20 2020',
'sh ip int br': 'Interface

IP-Address

OK? Method Status

␣

'Ethernet0/0

192.168.100.1

YES NVRAM

up

␣

'Ethernet0/1

192.168.200.1

YES NVRAM

up

␣

'Ethernet0/2

unassigned

YES NVRAM

up

␣

'Ethernet0/3

192.168.130.1

YES NVRAM

up

␣

,→Protocol\n'

,→up

,→up

\n'
\n'

,→up

\n'

,→up

\n'}

{'sh clock': '*09:12:24.507 UTC Mon Jul 20 2020',
'sh ip int br': 'Interface

IP-Address

OK? Method Status

␣

'Ethernet0/0

192.168.100.2

YES NVRAM

up

␣

'Ethernet0/1

unassigned

YES NVRAM

up

␣

'Ethernet0/2

unassigned

YES NVRAM

administratively down␣

'Ethernet0/3

unassigned

YES NVRAM

administratively down␣

,→Protocol\n'

,→up

,→up

,→down

,→down

\n'
\n'
\n'
\n'}
(continues on next page)

18. Подключение к оборудованию

433

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

{'sh clock': '*09:12:33.573 UTC Mon Jul 20 2020',
'sh ip int br': 'Interface

IP-Address

OK? Method Status

␣

'Ethernet0/0

192.168.100.3

YES NVRAM

up

␣

'Ethernet0/1

unassigned

YES NVRAM

up

␣

'Ethernet0/2

unassigned

YES NVRAM

administratively down␣

'Ethernet0/3

unassigned

YES NVRAM

administratively down␣

,→Protocol\n'

,→up

\n'

,→up

\n'

,→down

\n'

,→down

\n'}

Постраничный вывод команд
Пример использования paramiko для работы с постраничным выводом команд show (файл
4_netmiko_more.py):
from netmiko import ConnectHandler, NetmikoTimeoutException
import yaml

def send_show_command(device_params, command):
with ConnectHandler(**device_params) as ssh:
ssh.enable()
prompt = ssh.find_prompt()
ssh.send_command("terminal length 100")
ssh.write_channel(f"{command}\n")
output = ""
while True:
try:
page = ssh.read_until_pattern(f"More|{prompt}")
output += page
if "More" in page:
ssh.write_channel(" ")
elif prompt in output:
break
except NetmikoTimeoutException:
break
return output

if __name__ == "__main__":
(continues on next page)

434

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

with open("devices.yaml") as f:
devices = yaml.safe_load(f)
print(send_show_command(devices[0], "sh run"))

Модуль scrapli
scrapli это модуль, который позволяет подключаться к сетевому оборудованию используя
Telnet, SSH или NETCONF.
Также как и netmiko, scrapli может использовать paramiko или telnetlib (и другие модули) для
самого подключения, но при этом предоставляет одинаковый интерфейс работы для разных
типов подключения и разного оборудования.
Установка scrapli:
pip install scrapli

Примечание: Рассматривается scrapli версии 2021.1.30.

Три основные составляющие части scrapli:
• transport - это конкретный способ подключения к оборудованию
• channel - следующий уровень над транспортом, который отвечает за отправку команд,
получение вывода и другими взаимодействиями с оборудованием
• driver - это интерфейс, который предоставляется пользователю для работы со scrapli.
Тут есть как специфические драйверы типа IOSXEDriver, который понимает как взаимодействовать с оборудованием конкретного типа, так и базовый драйвер Driver, который
предоставляет минимальный интерфейс для работы через SSH/Telnet.
Доступные варианты транспорта:
• system - используется встроенный SSH клиент, подразумевается использование клиента
на Linux/MacOS
• paramiko - модуль paramiko
• ssh2 - используется модуль ssh2-python (обертка вокруг C библиотеки libssh2)
• telnet - будет использоваться telnetlib
• asyncssh - модуль asyncssh
• asynctelnet - telnet клиент написанный с использованием asyncio

18. Подключение к оборудованию

435

Python для сетевых инженеров, Выпуск 3.0

Основные примеры будут с использованием транспорта system. Так как интерфейс модуля
одинаковый для всех синхронных вариантов транспорта, для использовании другого вида
транспорта, надо только указать его (для транспорта telnet также обязательно указать порт).

Примечание: Асинхронные варианты транспорта (asyncssh, asynctelnet) рассматриваются в
книге Advanced Python для сетевых инженеров

Поддерживаемые платформы:
• Cisco IOS-XE
• Cisco NX-OS
• Juniper JunOS
• Cisco IOS-XR
• Arista EOS
Кроме этих платформ, есть также платформы scrapli community. И одно из преимуществ
scrapli то, что добавлять платформы относительно легко.
В scrapli глобально есть два варианта подключения: используя общий класс Scrapli, который
выбирает нужный driver по параметру platform или конкретный driver, например, IOSXEDriver.
При этом параметры передаются те же самые и конкретному драйверу и Scrapli.

Примечание: Кроме этих вариантов, есть также общие (базовые) драйверы.

Если в scrapli (или scrapli community) нет поддержки необходимой платформы, можно добавить платформу в scrapli community или использовать (не рассматривается в книге):
• Driver
• GenericDriver
• NetworkDriver

Параметры подключения
Основные параметры подключения:
• host - IP-адрес или имя хоста
• auth_username - имя пользователя
• auth_password - пароль
• auth_secondary - пароль на enable

436

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

• auth_strict_key - контролирует проверку SSH ключей сервера, а именно разрешать ли
подключаться к серверам ключ которых не сохранен в ssh/known_hosts. False - разрешить
подключение (по умолчанию значение True)
• platform - нужно указывать при использовании Scrapli
• transport - какой транспорт использовать
• transport_options - опции для конкретного транспорта
Процесс подключения немного отличается в зависимости от того используется менеджер
контекста или нет. При подключении без менеджера контекста, сначала надо передать параметры драйверу или Scrapli, а затем вызвать метод open:
from scrapli import Scrapli
r1 = {
"host": "192.168.100.1",
"auth_username": "cisco",
"auth_password": "cisco",
"auth_secondary": "cisco",
"auth_strict_key": False,
"platform": "cisco_iosxe"
}
In [2]: ssh = Scrapli(**r1)
In [3]: ssh.open()
После этого можно отправлять команды:
In [4]: ssh.get_prompt()
Out[4]: 'R1#'
In [5]: ssh.close()
При использовании менеджера контекста, open вызывать не надо:
In [8]: with Scrapli(**r1_driver) as ssh:
...:

print(ssh.get_prompt())

...:
R1#

Использование драйвера
Доступные драйверы

18. Подключение к оборудованию

437

Python для сетевых инженеров, Выпуск 3.0

Оборудование

Драйвер

Параметр platform

Cisco IOS-XE

IOSXEDriver

cisco_iosxe

Cisco NX-OS

NXOSDriver

cisco_nxos

Cisco IOS-XR

IOSXRDriver

cisco_iosxr

Arista EOS

EOSDriver

arista_eos

Juniper JunOS

JunosDriver

juniper_junos

Пример подключения с использованием драйвера IOSXEDriver (технически подключение выполняется к Cisco IOS):
In [11]: from scrapli.driver.core import IOSXEDriver
In [12]: r1_driver = {
...:

"host": "192.168.100.1",

...:

"auth_username": "cisco",

...:

"auth_password": "cisco",

...:

"auth_secondary": "cisco",

...:

"auth_strict_key": False,

...: }
In [13]: with IOSXEDriver(**r1_driver) as ssh:
...:

print(ssh.get_prompt())

...:
R1#

Отправка команд
В scrapli есть несколько методов для отправки команд:
• send_command - отправить одну show команду
• send_commands - отправить список show команд
• send_commands_from_file - отправить show команды из файла
• send_config - отправить одну команду в конфигурационном режиме
• send_configs - отправить список команд в конфигурационном режиме
• send_configs_from_file - отправить команды из файла в конфигурационном режиме
• send_interactive
Все эти методы возвращают объект Response, а не вывод команды в виде строки.

438

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

Объект Response
Метод send_command и другие методы для отправки команд на оборудование возвращают
объект Response (не вывод команды). Response позволяет получить не только вывод команды, но и такие вещи как время работы команды, выполнилась команда с ошибками или без,
структурированный вывод с помощью textfsm и так далее.
In [15]: reply = ssh.send_command("sh clock")
In [16]: reply
Out[16]: Response
Получить вывод команды можно обратившись к атрибуту result:
In [17]: reply.result
Out[17]: '*17:31:54.232 UTC Wed Mar 31 2021'
Атрибут raw_result содержит байтовую строку с полным выводом:
In [18]: reply.raw_result
Out[18]: b'\n*17:31:54.232 UTC Wed Mar 31 2021\nR1#'
Для команд, которые выполняются дольше обычных show, может быть необходимо знать время выполнения команды:
In [18]: r = ssh.send_command("ping 10.1.1.1")
In [19]: r.result
Out[19]: 'Type escape sequence to abort.\nSending 5, 100-byte ICMP Echos to 10.1.
,→1.1,

timeout is 2 seconds:\n.....\nSuccess rate is 0 percent (0/5)'

In [20]: r.elapsed_time
Out[20]: 10.047594
In [21]: r.start_time
Out[21]: datetime.datetime(2021, 4, 1, 7, 10, 56, 63697)
In [22]: r.finish_time
Out[22]: datetime.datetime(2021, 4, 1, 7, 11, 6, 111291)
Атрибут channel_input возвращает команду, которая была отправлена на оборудование:
In [23]: r.channel_input
Out[23]: 'ping 10.1.1.1'

18. Подключение к оборудованию

439

Python для сетевых инженеров, Выпуск 3.0

Метод send_command
Метод send_command позволяет отправить одну команду на устройство.
In [14]: reply = ssh.send_command("sh clock")
Параметры метода (все эти параметры надо передавать как ключевые):
• strip_prompt - удалить приглашение из вывода. По умолчанию удаляется
• failed_when_contains - если вывод содержит указанную строку или одну из строк в
списке, будет считаться, что команда выполнилась с ошибкой
• timeout_ops - максимальное время на выполнение команды, по умолчанию равно 30 секунд для IOSXEDriver
Пример вызова метода send_command:
In [15]: reply = ssh.send_command("sh clock")
In [16]: reply
Out[16]: Response
Параметр timeout_ops указывает сколько ждать выполнения команды:
In [19]: ssh.send_command("ping 8.8.8.8", timeout_ops=20)
Out[19]: Response
Если команда не выполнилась за указанное время, сгенерируется исключение ScrapliTimeout
(вывод сокращен):
In [20]: ssh.send_command("ping 8.8.8.8", timeout_ops=2)
--------------------------------------------------------------------------ScrapliTimeout

Traceback (most recent call last)

in
----> 1 ssh.send_command("ping 8.8.8.8", timeout_ops=2)
Кроме получения обычного вывода команды, scrapli также позволяет получить структурированный вывод, например, с помощью метода textfsm_parse_output:
In [21]: reply = ssh.send_command("sh ip int br")
In [22]: reply.textfsm_parse_output()
Out[22]:
[{'intf': 'Ethernet0/0',
'ipaddr': '192.168.100.1',
'status': 'up',
(continues on next page)

440

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'proto': 'up'},
{'intf': 'Ethernet0/1',
'ipaddr': '192.168.200.1',
'status': 'up',
'proto': 'up'},
{'intf': 'Ethernet0/2',
'ipaddr': 'unassigned',
'status': 'up',
'proto': 'up'},
{'intf': 'Ethernet0/3',
'ipaddr': '192.168.130.1',
'status': 'up',
'proto': 'up'}]

Примечание: Что такое TextFSM и как с ним работать рассматривается в 21 разделе. Scrapli
использует готовые шаблоны для того чтобы получать структурированный вывод и в базовых
случаях не требует знания TextFSM.

Обнаружение ошибок
Методы для отправки команд автоматически проверяют вывод на наличие ошибок. Для каждого вендора/типа оборудования это свои ошибки, плюс можно самостоятельно указать наличие каких строк в выводе будет считаться ошибкой. По умолчанию для IOSXEDriver ошибками
будут считаться такие строки:
In [21]: ssh.failed_when_contains
Out[21]:
['% Ambiguous command',
'% Incomplete command',
'% Invalid input detected',
'% Unknown command']
Атрибут failed у объекта Response возвращает True, если команда отработала с ошибкой и
False, если без ошибки:
In [23]: reply = ssh.send_command("sh clck")
In [24]: reply.result
Out[24]: "

^\n% Invalid input detected at '^' marker."

In [25]: reply
(continues on next page)

18. Подключение к оборудованию

441

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Out[25]: Response
In [26]: reply.failed
Out[26]: True

Метод send_config
Метод send_config позволяет отправить одну команду конфигурационного режима.
Пример использования:
In [33]: r = ssh.send_config("username user1 password password1")
Так как scrapli удаляет команду из вывода, по умолчанию, при использовании send_config, в
атрибуте result будет пустая строка (если не было ошибки при выполнении команды):
In [34]: r.result
Out[34]: ''
Можно добавлять параметр strip_prompt=False и тогда в выводе появится приглашение:
In [37]: r = ssh.send_config("username user1 password password1", strip_
,→prompt=False)

In [38]: r.result
Out[38]: 'R1(config)#'

Методы send_commands, send_configs
Методы send_commands, send_configs отличаются от send_command, send_config тем, что
могут отправлять несколько команд. Кроме того, эти методы возвращают не Response, а
MultiResponse, который можно в целом воспринимать как список Response, по одному для
каждой команды.
In [44]: reply = ssh.send_commands(["sh clock", "sh ip int br"])
In [45]: reply
Out[45]: MultiResponse
In [46]: for r in reply:
...:

print(r)

...:

print(r.result)
(continues on next page)

442

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:
Response
*08:38:20.115 UTC Thu Apr 1 2021
Response
Interface

␣

IP-Address

OK? Method Status

192.168.100.1

YES NVRAM

up

up

,→Protocol

Ethernet0/0
Ethernet0/1

192.168.200.1

YES NVRAM

up

up

Ethernet0/2

unassigned

YES NVRAM

up

up

Ethernet0/3

192.168.130.1

YES NVRAM

up

up

In [47]: reply.result
Out[47]: 'sh clock\n*08:38:20.115 UTC Thu Apr 1 2021sh ip int br\nInterface
IP-Address

,→

OK? Method Status

␣

Protocol\nEthernet0/

,→0

192.168.100.1

YES NVRAM

up

up\nEthernet0/

,→1

192.168.200.1

YES NVRAM

up

up\nEthernet0/

,→2

unassigned

YES NVRAM

up

up\nEthernet0/

,→3

192.168.130.1

YES NVRAM

up

up'

In [48]: reply[0]
Out[48]: Response
In [49]: reply[1]
Out[49]: Response
In [50]: reply[0].result
Out[50]: '*08:38:20.115 UTC Thu Apr 1 2021'
При

отправке

нескольких

команд

также

очень

удобно

использовать

параметр

stop_on_failed. По умолчанию он равен False, поэтому выполняются все команды, но
если указать stop_on_failed=True, после возникновения ошибки в какой-то команде,
следующие команды не будут выполняться:
In [59]: reply = ssh.send_commands(["ping 192.168.100.2", "sh clck", "sh ip int br
,→"],

stop_on_failed=True)

In [60]: reply
Out[60]: MultiResponse
In [61]: reply.result
Out[61]: "ping 192.168.100.2\nType escape sequence to abort.\nSending 5, 100-byte␣
,→ICMP

Echos to 192.168.100.2, timeout is 2 seconds:\n!!!!!\nSuccess rate is 100␣

,→percent
,→input

(5/5), round-trip min/avg/max = 1/2/6 mssh clck\n

detected at '^' marker."

18. Подключение к оборудованию

^\n% Invalid␣
(continues on next page)

443

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [62]: for r in reply:
...:

print(r)

...:

print(r.result)

...:
Response
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 192.168.100.2, timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/2/6 ms
Response
^
% Invalid input detected at '^' marker.

Подключение telnet
Для подключения к оборудовани по Telnet надо указать transport равным telnet и обязательно
указать параметр port равным 23 (или тому порту который используется у вас для подключения по Telnet):
from scrapli.driver.core import IOSXEDriver
from scrapli.exceptions import ScrapliException
import socket
r1 = {
"host": "192.168.100.1",
"auth_username": "cisco",
"auth_password": "cisco2",
"auth_secondary": "cisco",
"auth_strict_key": False,
"transport": "telnet",
"port": 23,

# обязательно указывать при подключении telnet

}

def send_show(device, show_command):
try:
with IOSXEDriver(**r1) as ssh:
reply = ssh.send_command(show_command)
return reply.result
except socket.timeout as error:
print(error)
(continues on next page)

444

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

except ScrapliException as error:
print(error, device["host"])

if __name__ == "__main__":
output = send_show(r1, "sh ip int br")
print(output)

Примеры использования scrapli
from scrapli.driver.core import IOSXEDriver
from scrapli.exceptions import ScrapliException

r1 = {
"host": "192.168.100.1",
"auth_username": "cisco",
"auth_password": "cisco",
"auth_secondary": "cisco",
"auth_strict_key": False,
"timeout_socket": 5,

# timeout for establishing socket/initial connection

"timeout_transport": 10,

# timeout for ssh|telnet transport

}

def send_show(device, show_command):
try:
with IOSXEDriver(**r1) as ssh:
reply = ssh.send_command(show_command)
return reply.result
except ScrapliException as error:
print(error, device["host"])

if __name__ == "__main__":
output = send_show(r1, "sh ip int br")
print(output)
from pprint import pprint
from scrapli import Scrapli
(continues on next page)

18. Подключение к оборудованию

445

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

r1 = {
"host": "192.168.100.1",
"auth_username": "cisco",
"auth_password": "cisco",
"auth_secondary": "cisco",
"auth_strict_key": False,
"platform": "cisco_iosxe",
}

def send_show(device, show_commands):
if type(show_commands) == str:
show_commands = [show_commands]
cmd_dict = {}
with Scrapli(**r1) as ssh:
for cmd in show_commands:
reply = ssh.send_command(cmd)
cmd_dict[cmd] = reply.result
return cmd_dict

if __name__ == "__main__":
print("show".center(20, "#"))
output = send_show(r1, ["sh ip int br", "sh ver | i uptime"])
pprint(output, width=120)
from pprint import pprint
from scrapli import Scrapli
r1 = {
"host": "192.168.100.1",
"auth_username": "cisco",
"auth_password": "cisco",
"auth_secondary": "cisco",
"auth_strict_key": False,
"platform": "cisco_iosxe",
}

def send_cfg(device, cfg_commands, strict=False):
output = ""
if type(cfg_commands) == str:
(continues on next page)

446

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

cfg_commands = [cfg_commands]
with Scrapli(**r1) as ssh:
reply = ssh.send_configs(cfg_commands, stop_on_failed=strict)
for cmd_reply in reply:
if cmd_reply.failed:
print(f"При выполнении команды возникла ошибка:\n{reply.result}\n
,→")

output = reply.result
return output

if __name__ == "__main__":
output_cfg = send_cfg(
r1, ["interfacelo11", "ip address 11.1.1.1 255.255.255.255"], strict=True
)
print(output_cfg)

Дополнительные материалы
Документация:
• pexpect
• telnetlib
• paramiko Client
• paramiko Channel
• netmiko
• scrapli
• scrapli-cfg
• time
• datetime
• getpass
Статьи:
• Netmiko Library
• Automate SSH connections with netmiko
• Network Automation Using Python: BGP Configuration

18. Подключение к оборудованию

447

Python для сетевых инженеров, Выпуск 3.0

• A Tale of Five Python SSH Libraries Commentary
Примеры кода:
• netmiko
• scrapli
• netmiko, paramiko, telnetlib, scrapli, pexpect

448

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 18.1
Создать функцию send_show_command.
Функция подключается по SSH (с помощью netmiko) к ОДНОМУ устройству и выполняет указанную команду.
Параметры функции:
• device - словарь с параметрами подключения к устройству
• command - команда, которую надо выполнить
Функция возвращает строку с выводом команды.
Скрипт должен отправлять команду command на все устройства из файла devices.yaml с помощью функции send_show_command (эта часть кода написана).
import yaml

if __name__ == "__main__":
command = "sh ip int br"
with open("devices.yaml") as f:
devices = yaml.safe_load(f)
for dev in devices:
print(send_show_command(dev, command))

Задание 18.1a
Скопировать функцию send_show_command из задания 18.1 и переделать ее таким образом,
чтобы обрабатывалось исключение, которое генерируется при ошибке аутентификации на
18. Подключение к оборудованию

449

Python для сетевых инженеров, Выпуск 3.0

устройстве.
При возникновении ошибки, на стандартный поток вывода должно выводиться сообщение
исключения.
Для проверки измените пароль на устройстве или в файле devices.yaml.

Задание 18.1b
Скопировать функцию send_show_command из задания 18.1a и переделать ее таким образом,
чтобы обрабатывалось не только исключение, которое генерируется при ошибке аутентификации на устройстве, но и исключение, которое генерируется, когда IP-адрес устройства
недоступен.
При возникновении ошибки, на стандартный поток вывода должно выводиться сообщение
исключения.
Для проверки измените IP-адрес на устройстве или в файле devices.yaml.

Задание 18.2
Создать функцию send_config_commands
Функция подключается по SSH (с помощью netmiko) к одному устройству и выполняет перечень команд в конфигурационном режиме на основании переданных аргументов.
Параметры функции:
• device - словарь с параметрами подключения к устройству
• config_commands - список команд, которые надо выполнить
Функция возвращает строку с результатами выполнения команды:
In [7]: r1
Out[7]:
{'device_type': 'cisco_ios',
'ip': '192.168.100.1',
'username': 'cisco',
'password': 'cisco',
'secret': 'cisco'}
In [8]: commands
Out[8]: ['logging 10.255.255.1', 'logging buffered 20010', 'no logging console']
In [9]: result = send_config_commands(r1, commands)
(continues on next page)

450

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [10]: result
Out[10]: 'config term\nEnter configuration commands, one per line.
,→Z.\nR1(config)#logging
,→20010\nR1(config)#no

End with CNTL/

10.255.255.1\nR1(config)#logging buffered␣

logging console\nR1(config)#end\nR1#'

In [11]: print(result)
config term
Enter configuration commands, one per line.

End with CNTL/Z.

R1(config)#logging 10.255.255.1
R1(config)#logging buffered 20010
R1(config)#no logging console
R1(config)#end
R1#
Скрипт должен отправлять команду command на все устройства из файла devices.yaml с помощью функции send_config_commands.
commands = [
'logging 10.255.255.1', 'logging buffered 20010', 'no logging console'
]

Задание 18.2a
Скопировать функцию send_config_commands из задания 18.2 и добавить параметр log, который контролирует будет ли выводится на стандартный поток вывода информация о том к
какому устройству выполняется подключение.
По умолчанию, результат должен выводиться.
Пример работы функции:
In [13]: result = send_config_commands(r1, commands)
Подключаюсь к 192.168.100.1...
In [14]: result = send_config_commands(r1, commands, log=False)
In [15]:
Скрипт должен отправлять список команд commands на все устройства из файла devices.yaml
с помощью функции send_config_commands.

18. Подключение к оборудованию

451

Python для сетевых инженеров, Выпуск 3.0

Задание 18.2b
Скопировать функцию send_config_commands из задания 18.2a и добавить проверку на ошибки.
При выполнении каждой команды, скрипт должен проверять результат на такие ошибки:
• Invalid input detected
• Incomplete command
• Ambiguous command
Если при выполнении какой-то из команд возникла ошибка, функция должна выводить сообщение на стандартный поток вывода с информацией о том, какая ошибка возникла, при
выполнении какой команды и на каком устройстве, например: Команда «logging» выполнилась с ошибкой «Incomplete command.» на устройстве 192.168.100.1
Ошибки должны выводиться всегда, независимо от значения параметра log. При этом,
log по-прежнему должен контролировать будет ли выводиться сообщение: Подключаюсь к
192.168.100.1…
Функция send_config_commands теперь должна возвращать кортеж из двух словарей:
• первый словарь с выводом команд, которые выполнились без ошибки
• второй словарь с выводом команд, которые выполнились с ошибками
Оба словаря в формате (примеры словарей ниже):
• ключ - команда
• значение - вывод с выполнением команд
Проверить работу функции можно на одном устройстве.
Пример работы функции send_config_commands:
In [16]: commands
Out[16]:
['logging 0255.255.1',
'logging',
'a',
'logging buffered 20010',
'ip http server']
In [17]: result = send_config_commands(r1, commands)
Подключаюсь к 192.168.100.1...
Команда "logging 0255.255.1" выполнилась с ошибкой "Invalid input detected at '^'␣
,→marker."

на устройстве 192.168.100.1

Команда "logging" выполнилась с ошибкой "Incomplete command." на устройстве 192.
,→168.100.1

452

(continues on next page)

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Команда "a" выполнилась с ошибкой "Ambiguous command:

"a"" на устройстве 192.168.

,→100.1

In [18]: pprint(result, width=120)
({'ip http server': 'config term\n'
'Enter configuration commands, one per line.

End with CNTL/Z.

,→\n'

'R1(config)#ip http server\n'
'R1(config)#',
'logging buffered 20010': 'config term\n'
'Enter configuration commands, one per line.
,→with

End␣

CNTL/Z.\n'
'R1(config)#logging buffered 20010\n'
'R1(config)#'},

{'a': 'config term\n'
'Enter configuration commands, one per line.

End with CNTL/Z.\n'

'R1(config)#a\n'
'% Ambiguous command:

"a"\n'

'R1(config)#',
'logging': 'config term\n'
'Enter configuration commands, one per line.

End with CNTL/Z.\n'

'R1(config)#logging\n'
'% Incomplete command.\n'
'\n'
'R1(config)#',
'logging 0255.255.1': 'config term\n'
'Enter configuration commands, one per line.

End with␣

,→CNTL/Z.\n'

'R1(config)#logging 0255.255.1\n'
'

^\n'

"% Invalid input detected at '^' marker.\n"
'\n'
'R1(config)#'})
In [19]: good, bad = result
In [20]: good.keys()
Out[20]: dict_keys(['logging buffered 20010', 'ip http server'])
In [21]: bad.keys()
Out[21]: dict_keys(['logging 0255.255.1', 'logging', 'a'])
Примеры команд с ошибками:

18. Подключение к оборудованию

453

Python для сетевых инженеров, Выпуск 3.0

R1(config)#logging 0255.255.1
^
% Invalid input detected at '^' marker.
R1(config)#logging
% Incomplete command.
R1(config)#a
% Ambiguous command:

"a"

Списки команд с ошибками и без:
commands_with_errors = ['logging 0255.255.1', 'logging', 'a']
correct_commands = ['logging buffered 20010', 'ip http server']
commands = commands_with_errors + correct_commands

Задание 18.2c
Скопировать функцию send_config_commands из задания 18.2b и переделать ее таким образом: Если при выполнении команды возникла ошибка, спросить пользователя надо ли выполнять остальные команды.
Варианты ответа [y]/n:
• y - выполнять остальные команды. Это значение по умолчанию, поэтому нажатие любой
комбинации воспринимается как y
• n или no - не выполнять остальные команды
Функция send_config_commands по-прежнему должна возвращать кортеж из двух словарей:
• первый словарь с выводом команд, которые выполнились без ошибки
• второй словарь с выводом команд, которые выполнились с ошибками
Оба словаря в формате
• ключ - команда
• значение - вывод с выполнением команд
Проверить работу функции можно на одном устройстве.
Пример работы функции:
In [11]: result = send_config_commands(r1, commands)
Подключаюсь к 192.168.100.1...
(continues on next page)

454

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Команда "logging 0255.255.1" выполнилась с ошибкой "Invalid input detected at '^'␣
,→marker."

на устройстве 192.168.100.1

Продолжать выполнять команды? [y]/n: y
Команда "logging" выполнилась с ошибкой "Incomplete command." на устройстве 192.
,→168.100.1

Продолжать выполнять команды? [y]/n: n
In [12]: pprint(result)
({},
{'logging': 'config term\n'
'Enter configuration commands, one per line.

End with CNTL/Z.\n'

'R1(config)#logging\n'
'% Incomplete command.\n'
'\n'
'R1(config)#',
'logging 0255.255.1': 'config term\n'
'Enter configuration commands, one per line.

End with '

'CNTL/Z.\n'
'R1(config)#logging 0255.255.1\n'
'

^\n'

"% Invalid input detected at '^' marker.\n"
'\n'
'R1(config)#'})
Списки команд с ошибками и без:
commands_with_errors = ['logging 0255.255.1', 'logging', 'a']
correct_commands = ['logging buffered 20010', 'ip http server']
commands = commands_with_errors + correct_commands

Задание 18.3
Создать функцию send_commands (для подключения по SSH используется netmiko).
Параметры функции:
• device - словарь с параметрами подключения к одному устройству
• show - одна команда show (строка)
• config - список с командами, которые надо выполнить в конфигурационном режиме
Аргументы show и config должны передаваться только как ключевые. При передачи этих аргументов как позиционных, должно генерироваться исключение TypeError.

18. Подключение к оборудованию

455

Python для сетевых инженеров, Выпуск 3.0

In [4]: send_commands(r1, 'sh clock')
--------------------------------------------------------------------------TypeError

Traceback (most recent call last)

in
----> 1 send_commands(r1, 'sh clock')
TypeError: send_commands() takes 1 positional argument but 2 were given
В зависимости от того, какой аргумент был передан, функция вызывает разные функции
внутри. При вызове функции send_commands, всегда должен передаваться только один из
аргументов show, config. Если передаются оба аргумента, должно генерироваться исключение ValueError.
Далее комбинация из аргумента и соответствующей функции:
• show - функция send_show_command из задания 18.1
• config - функция send_config_commands из задания 18.2
Функция возвращает строку с результатами выполнения команд или команды.
Проверить работу функции:
• со списком команд commands
• командой command
Пример работы функции:
In [14]: send_commands(r1, show='sh clock')
Out[14]: '*17:06:12.278 UTC Wed Mar 13 2019'
In [15]: commands = ['username user5 password pass5', 'username user6 password␣
,→pass6']

In [16]: send_commands(r1, config=commands)
Out[16]: 'config term\nEnter configuration commands, one per line.
,→Z.\nR1(config)#username
,→password

End with CNTL/

user5 password pass5\nR1(config)#username user6␣

pass6\nR1(config)#end\nR1#'

commands = ["logging 10.255.255.1", "logging buffered 20010", "no logging console
,→"]

command = "sh ip int br"

456

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

19. Одновременное подключение к нескольким устройствам
Когда нужно опросить много устройств, выполнение подключений поочередно будет достаточно долгим. Конечно, это будет быстрее, чем подключение вручную, но хотелось бы получать отклик как можно быстрее.

Примечание: Все эти «долго» и «быстрее» относительные понятия, но в этом разделе мы
научимся и конкретно измерять, сколько отрабатывал скрипт, чтобы сравнить, насколько
быстрее будет выполняться подключение.

Для параллельного подключения к устройствам в этом разделе используется модуль
concurrent.futures.

Измерение времени выполнения скрипта
Для оценки времени выполнения скрипта есть несколько вариантов. Тут используются самые
простые варианты:
• утилита Linux time
• и модуль Python datetime
При оценке времени выполнения скрипта в данном случае не важна высокая точность. Главное - сравнить время выполнения скрипта в разных вариантах.

time
Утилита time в Linux позволяет замерить время выполнения скрипта. Для использования утилиты time достаточно написать time перед строкой запуска скрипта:
$ time python thread_paramiko.py
...
real

0m4.712s

user

0m0.336s

sys

0m0.064s

Нас интересует real время. В данном случае это 4.7 секунд.

19. Одновременное подключение к нескольким устройствам

457

Python для сетевых инженеров, Выпуск 3.0

datetime
Второй вариант - модуль datetime. Этот модуль позволяет работать со временем и датами в
Python.
Пример использования:
from datetime import datetime
import time
start_time = datetime.now()
#Тут выполняются действия
time.sleep(5)
print(datetime.now() - start_time)
Результат выполнения:
$ python test.py
0:00:05.004949

Процессы и потоки в Python (CPython)
Для начала нам нужно разобраться с терминами:
• процесс (process) - это, грубо говоря, запущенная программа. Процессу выделяются отдельные ресурсы: память, процессорное время
• поток (thread) - это единица исполнения в процессе. Потоки разделяют ресурсы процесса, к которому они относятся.
Python (а точнее, CPython - реализация, которая используется в книге) оптимизирован для
работы в однопоточном режиме. Это хорошо, если в программе используется только один
поток. И, в то же время, у Python есть определенные нюансы работы в многопоточном режиме.
Связаны они с тем, что CPython использует GIL (global interpreter lock).
GIL не дает нескольким потокам исполнять одновременно код Python. Если не вдаваться в
подробности, то GIL можно представить как некий переходящий флаг, который разрешает
потокам выполняться. У кого флаг, тот может выполнять работу. Флаг передается либо каждые сколько-то инструкций Python, либо, например, когда выполняются какие-то операции
ввода-вывода.
Поэтому получается, что разные потоки не будут выполняться параллельно, а программа
просто будет между ними переключаться, выполняя их в разное время. Однако, если в программе есть некое «ожидание»: пакетов из сети, запроса пользователя, пауза типа time.sleep,

458

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

то в такой программе потоки будут выполняться как будто параллельно. А всё потому, что
во время таких пауз флаг (GIL) можно передать другому потоку.
То есть, потоки отлично подходят для задач, которые связаны с операциями ввода-вывода:
• Подключение к оборудованию и подключение по сети в целом
• Работа с файловой системой
• Скачивание файлов по сети

Примечание: В интернете часто можно встретить выражения «В Python лучше вообще не
использовать потоки». К сожалению, такие фразы не всегда пишут с контекстом, а именно,
что речь о конкретных задачах, которые завязаны на CPU.

В следующих разделах рассматривается, как использовать потоки для подключения по
Telnet/SSH. И проверяется, какое суммарное время будет занимать исполнение скрипта, по
сравнению с последовательным исполнением и с использованием процессов.

Процессы
Процессы позволяют выполнять задачи на разных ядрах компьютера. Это важно для задач,
которые завязаны на CPU. Для каждого процесса создается своя копия ресурсов, выделяется
память, у каждого процесса свой GIL. Это же делает процессы более тяжеловесными, по
сравнению с потоками.
Кроме того, количество процессов, которые запускаются параллельно, зависит от количества
ядер и CPU и обычно исчисляется в десятках, тогда как количество потоков для операций
ввода-вывода может исчисляться в сотнях.
Процессы и потоки можно совмещать, но это усложняет программу и на базовом уровне для
операций ввода-вывода лучше остановиться на потоках.

Примечание: Совмещение потоков и процессов, то есть запуск процесса в программе и
внутри него уже запуск потоков - сильно усложняет траблшутинг программы. И лучше такой
вариант не использовать.

Несмотря на то, что, как правило, для задач ввода-вывода лучше использовать потоки с некоторыми модулями надо использовать процессы, так как они могут некорректно работать с
потоками.

Примечание: Помимо процессов и потоков есть еще один вариант одновременного подключения к оборудованию: асинхронное программирование. Этот вариант не рассматривается в

19. Одновременное подключение к нескольким устройствам

459

Python для сетевых инженеров, Выпуск 3.0

книге.

Количество потоков
Сколько потоков нужно использовать при подключении к оборудованию? На этот вопрос нет
однозначного ответа. Количество потоков, как минимум, зависит от того на каком компьютере выполняется скрипт (ОС, память, процессор), от самой сети (задержек).
Поэтому, вместо поиска идеального количества потоков, надо замерить количество на
своем компьютере, сети, скрипте. Например, в примерах к этому разделу есть скрипт
netmiko_count_threads.py, который запускает одну и ту же функцию с разным количеством
потоков и выводит информацию о времени выполнения. В функции по умолчанию используется небольшое количество устройств из файла devices_all.yaml и небольшое количество
потоков, однако его можно адаптировать к любому количеству для своей сети.
Пример подключения к 5000 устройств с разным количеством потоков:
Количество устройств: 5460
#30 потоков
---------------------------------------Время выполнения: 0:09:17.187867
#50 потоков
---------------------------------------Время выполнения: 0:09:17.604252
#70 потоков
---------------------------------------Время выполнения: 0:09:17.117332
#90 потоков
---------------------------------------Время выполнения: 0:09:16.693774
#100 потоков
---------------------------------------Время выполнения: 0:09:17.083294
#120 потоков
---------------------------------------Время выполнения: 0:09:17.945270
(continues on next page)

460

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

#140 потоков
---------------------------------------Время выполнения: 0:09:18.114993
#200 потоков
---------------------------------------Время выполнения: 0:11:12.951247
#300 потоков
---------------------------------------Время выполнения: 0:14:03.790432
В этом случае время выполнения с 30 потоками и 120 потоков одинаковое, а после время
только увеличивается. Так происходит потому что на переключение между потоками также тратится много времени, чем больше потоков, тем больше переключений. И с какого-то
момента нет смысла увеличивать количество потоков. Тут оптимальным количеством можно
считать, например, 50 потоков. Тут мы берем не 30 чтобы сделать запас.

Потоковая безопасность
При работе с потоками есть несколько рекомендаций, а также правил. Если их соблюдать,
работать с потоками будет проще и, скорее всего, не будет проблем именно из-за потоков.
Конечно, время от времени, будут появляться задачи, которые потребуют нарушения рекомендаций. Однако, прежде чем делать это, лучше попытаться решить задачу соблюдая рекомендации. Если это невозможно, тогда надо искать как обезопасить решение, чтобы не
были повреждены данные.
Очень важная особенность работы с потоками: на небольшом количестве потоков и небольших тестовых задачах «все работает». Например, вывод информации с помощью print, при
подключении к 20 устройствам в 5 потоков, будет работать нормально. А при подключении
к большому количеству устройств с большим количеством потоков окажется, что иногда сообщения «налазят» друг на друга. Такая особенность проявляется очень часто, поэтому не
доверяйте варианту когда «все работает» на базовых примерах, соблюдайте правила работы
с потоками.
Прежде чем разбираться с правилами, надо разобраться с термином «потоковая безопасность». Потоковая безопасность - это концепция, которая описывает работу с многопоточными программами. Код считается потокобезопасным (thread-safe), если он может работать
нормально при использовании нескольких потоков.
Например, функция print не является потокобезопасной. Это проявляется в том, что когда код
выполняет print из разных потоков, сообщения на стандартном потоке вывода могут смешиваться. Может выводиться сначала часть сообщения из одного потока, потом часть из второго, потом часть из первого и так далее. То есть, функция print не работает нормально (как

19. Одновременное подключение к нескольким устройствам

461

Python для сетевых инженеров, Выпуск 3.0

положено) в потоках. В этом случае говорят, что функция print не является потокобезопасной
(not thread-safe).
В общем случае, проблем не будет, если каждый поток работает со своими ресурсами. Например, каждый поток пишет данные в свой файл. Однако, это не всегда возможно или может
усложнять решение.

Примечание: С print проблемы потому что из разных потоков пишем в один стандартный
поток вывода, а print не потокобезопасен.

В том случае, если надо все же из разных потоков писать в один и тот же ресурс, есть два
варианта:
1. Писать в один и тот же ресурс после того как работа в потоке закончилась. Например,
в потоках 1, 2 и 3 выполнилась функция, ее результат по очереди (последовательно)
получен из каждого потока, а затем записан в файл.
2. Использовать потокобезопасную альтернативу (не всегда доступна и/или не всегда простая). Например, вместо функции print использовать модуль logging.
Рекомендации при работе с потоками:
1. Не пишите в один и тот же ресурс из разных потоков, если ресурс или то, чем пишете не
предназначено для многопоточной работы. Выяснить это, проще всего, погуглив что-то
вроде «python write to file from threads».
• В этой рекомендации есть нюансы. Например, можно писать из разных потоков в один и
тот же файл, если использовать Lock или использовать потокобезопасную очередь. Эти
варианты, чаще всего, непросты в использовании и не рассматриваются в книге. Скорее
всего, 95% задач, с которыми вы будете сталкиваться, можно решить без них.
• К этой категории относится запись/изменение списков/словарей/множеств из разных потоков. Сами по себе эти объекты потокобезопасны, но нет гарантии, что при изменении
с одного и того же списка из разных потоков, данные в списке будут правильные. В
случае, если надо использовать общий контейнер для данных для разных потоков, надо использовать очередь queue из модуля Queue. Она потокобезопасна и с ней можно
работать из разных потоков.
2. Если есть воможность, избегайте коммуникаций между потоками в процессе их работы.
Это непростая задача и лучше постараться обойтись без нее.
3. Соблюдайте принцип KISS (Keep it simple, stupid) - постарайтесь, чтобы решение было
максимально простым.

Примечание: Эти рекомендации, в целом, написаны для тех, кто только начинает программировать на Python. Однако, как правило, они актуальны для большиства программистов,
которые пишут приложения для пользователей, а не фреймворки.

462

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

Модуль concurrent.futures, который будет рассматриваться дальше, упрощает соблюдение
первого принципа «Не пишите в один и тот же ресурс из разных потоков…». Сам интерфейс
работы с модулем к этому подталкивает, но конечно не запрещает его нарушать.
Однако, перед знакомством с concurrent.futures, надо рассмотреть основы работы с модулем
logging. Он будет использоваться вместо функции print, которая не является потокобезопасной.

Модуль logging
Модуль logging - это модуль из стандартной библиотеки Python, который позволяет настраивать логирование из скрипта. У модуля logging очень много возможностей и огромное количество вариантов настройки. В этом разделе рассматривается только базовый вариант настройки.
Самый простой вариант настройки логирования в скрипте, использовать logging.basicConfig:
import logging

logging.basicConfig(
format='%(threadName)s %(name)s %(levelname)s: %(message)s',
level=logging.INFO)
В таком варианте настройки:
• все сообщения будут выводиться на стандартный поток вывода,
• будут выводиться сообщения уровня INFO и выше,
• в каждом сообщении будет информация о потоке, имя логера, уровень сообщения и само
сообщение.
Теперь, чтобы вывести log-сообщение в этом скрипте, надо написать так logging.
info("тест").
Пример скрипта с настройкой логирования: (файл logging_basics.py)
from datetime import datetime
import logging
import netmiko
import yaml

# эта строка указывает, что лог-сообщения paramiko будут выводиться
# только если они уровня WARNING и выше
logging.getLogger("paramiko").setLevel(logging.WARNING)
(continues on next page)

19. Одновременное подключение к нескольким устройствам

463

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

logging.basicConfig(
format = '%(threadName)s %(name)s %(levelname)s: %(message)s',
level=logging.INFO)

def send_show(device, show):
start_msg = '===> {} Connection: {}'
received_msg = ' {} Connection: {}'
(continues on next page)

466

Глава 7. V. Работа с сетевым оборудованием

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

received_msg = ' {} Connection: {}'
received_msg = ' {} Connection: {}'
received_msg = ' {} Connection: {}'
received_msg = ' {} Connection: {}'
received_msg = ' {} Connection: {}'
received_msg = ' {} Connection: {}'
received_msg = ' {} Connection: {}'
received_msg = ''
In [7]: ssh.enable()
Out[7]: 'enable\r\nPassword: \r\nR1#'
In [8]: ssh.find_prompt()
Out[8]: 'R1#'
В этом примере показаны важные аспекты ООП: объединение данных и действия над данными, а также сохранение состояния.
До сих пор, при написании кода, данные и действия были разделены. Чаще всего, действия
описаны в виде функций, а данные передаются как аргументы этим функциям. При создании класса, данные и действия объединяются. Конечно же, эти данные и действия связаны.
То есть, методами класса становятся те действия, которые характерны именно для объекта
такого типа, а не какие-то произвольные действия.
Например, в экзепляре класса str, все методы относятся к работе с этой строкой:
In [10]: s = 'string'
In [11]: s.upper()
Out[11]: 'STRING'
(continues on next page)

22. Основы ООП

567

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [12]: s.center(20, '=')
Out[12]: '=======string======='

Примечание: На примере со строкой понятно, что класс не обязан хранить состояние - строканеизменяемый тип данных и все методы возвращают новые строки и не изменяют исходную строку.

Выше, при обращении к атрибутам экземпляра (переменным и методам) используется такой
синтаксис: objectname.attribute. Эта запись s.lower() означает: вызвать метод lower у объекта s. Обращение к методам и переменным выполняется одинаково, но для вызова метода,
надо добавить скобки и передать все необходимые аргументы.
Всё описанное неоднократно использовалось в книге, но теперь мы разберемся с формальной
терминологией.

Создание класса

Примечание: Обратите внимание, что тут основы поясняются с учетом того, что у читающего нет опыта работы с ООП. Некоторые примеры не очень правильны с точки зрения
идеологии Python, но помогают лучше понять происходящее. В конце даются пояснения как
это правильней делать.

Для создания классов в питоне используется ключевое слово class. Самый простой класс,
который можно создать в Python:
In [1]: class Switch:
...:

pass

...:

Примечание: Имена классов: в Python принято писать имена классов в формате CamelCase.

Для создания экземпляра класса, надо вызвать класс:
In [2]: sw1 = Switch()
In [3]: print(sw1)


568

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Используя точечную нотацию, можно получать значения переменных экземпляра, создавать
новые переменные и присваивать новое значение существующим:
In [5]: sw1.hostname = 'sw1'
In [6]: sw1.model = 'Cisco 3850'
В другом экземпляре класса Switch, переменные могут быть другие:
In [7]: sw2 = Switch()
In [8]: sw2.hostname = 'sw2'
In [9]: sw2.model = 'Cisco 3750'
Посмотреть значение переменных экземпляра можно используя ту же точечную нотацию:
In [10]: sw1.model
Out[10]: 'Cisco 3850'
In [11]: sw2.model
Out[11]: 'Cisco 3750'

Создание метода
Прежде чем мы начнем разбираться с методами класса, посмотрим пример функции, которая ожидает как аргумент экземпляр класса Switch и выводит информацию о нем, используя
переменные экземпляра hostname и model:
In [1]: def info(sw_obj):
...:

print('Hostname: {}\nModel: {}'.format(sw_obj.hostname, sw_obj.model))

...:
In [2]: sw1 = Switch()
In [3]: sw1.hostname = 'sw1'
In [4]: sw1.model = 'Cisco 3850'
In [5]: info(sw1)
Hostname: sw1
Model: Cisco 3850
В функции info параметр sw_obj ожидает экземпляр класса Switch. Скорее всего, в этом при-

22. Основы ООП

569

Python для сетевых инженеров, Выпуск 3.0

мере нет ничего нового, ведь аналогичным образом ранее мы писали функции, которые ожидают строку, как аргумент, а затем вызывают какие-то методы у этой строки.
Этот пример поможет разобраться с методом info, который мы добавим в класс Switch.
Для добавления метода, необходимо создать функцию внутри класса:
In [15]: class Switch:
...:

def info(self):

...:

print('Hostname: {}\nModel: {}'.format(self.hostname, self.

,→model))

...:
Если присмотреться, метод info выглядит точно так же, как функция info, только вместо имени sw_obj, используется self. Почему тут используется странное имя self, мы разберемся позже, а пока посмотрим как вызвать метод info:
In [16]: sw1 = Switch()
In [17]: sw1.hostname = 'sw1'
In [18]: sw1.model = 'Cisco 3850'
In [19]: sw1.info()
Hostname: sw1
Model: Cisco 3850
В примере выше сначала создается экземпляр класса Switch, затем в экземпляр добавляются переменные hostname и model, и только после этого вызывается метод info. Метод info
выводит информацию про коммутатор, используя значения, которые хранятся в переменных
экземпляра.
Вызов метода отличается, от вызова функции: мы не передаем ссылку на экземпляр класса
Switch. Нам это не нужно, потому что мы вызываем метод у самого экземпляра. Еще один
непонятный момент - зачем же мы тогда писали self.
Все дело в том, что Python преобразует такой вызов:
In [39]: sw1.info()
Hostname: sw1
Model: Cisco 3850
Вот в такой:
In [38]: Switch.info(sw1)
Hostname: sw1
Model: Cisco 3850

570

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Во втором случае, в параметре self уже больше смысла, он действительно принимает ссылку
на экземпляр и на основании этого выводит информацию.
С точки зрения использования объектов, удобней вызывать методы используя первый вариант синтаксиса, поэтому, практически всегда именно он и используется.

Примечание: При вызове метода экземпляра класса, ссылка на экземпляр передается первым аргументом. При этом, экземпляр передается неявно, но параметр надо указывать явно.

Такое преобразование не является особенностью пользовательских классов и работает и для
встроенных типов данных аналогично. Например, стандартный способ вызова метода append
в списке, выглядит так:
In [4]: a = [1,2,3]
In [5]: a.append(5)
In [6]: a
Out[6]: [1, 2, 3, 5]
При этом, то же самое можно сделать и используя второй вариант, вызова через класс:
In [7]: a = [1,2,3]
In [8]: list.append(a, 5)
In [9]: a
Out[9]: [1, 2, 3, 5]

Параметр self
Параметр self указывался выше в определении методов, а также при использовании переменных экземпляра в методе. Параметр self это ссылка на конкретный экземпляр класса.
При этом, само имя self не является особенным, а лишь договоренностью. Вместо self можно
использовать другое имя, но так делать не стоит.
Пример с использованием другого имени, вместо self:
In [15]: class Switch:
...:

def info(sw_object):

...:

print(f'Hostname: {sw_object.hostname}\nModel: {sw_object.model}

,→')

...:

22. Основы ООП

571

Python для сетевых инженеров, Выпуск 3.0

Работать все будет аналогично:
In [16]: sw1 = Switch()
In [17]: sw1.hostname = 'sw1'
In [18]: sw1.model = 'Cisco 3850'
In [19]: sw1.info()
Hostname: sw1
Model: Cisco 3850

Предупреждение: Хотя технически использовать другое имя можно, всегда используйте self.

Во всех «обычных» методах класса первым параметром всегда будет self. Кроме того, создание переменной экземпляра внутри класса также выполняется через self.
Пример класса Switch с новым методом generate_interfaces: метод generate_interfaces должен
сгенерировать список с интерфейсами на основании указанного типа и количества и создать
переменную в экземпляре класса. Для начала, вариант создания обычно переменной внутри
метода:
In [5]: class Switch:
...:

def generate_interfaces(self, intf_type, number_of_intf):

...:
,→number_of_intf

interfaces = [f"{intf_type}{number}" for number in range(1,␣
+ 1)]

...:
В этом случае, в экземплярах класса не будет переменной interfaces:
In [6]: sw1 = Switch()
In [7]: sw1.generate_interfaces('Fa', 10)
In [8]: sw1.interfaces
--------------------------------------------------------------------------AttributeError

Traceback (most recent call last)

in ()
----> 1 sw1.interfaces
AttributeError: 'Switch' object has no attribute 'interfaces'
Этой переменной нет, потому что она существует только внутри метода, а область видимости

572

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

у метода такая же, как и у функции. Даже другие методы одного и того же класса, не видят
переменные в других методах.
Чтобы список с интерфейсами был доступен как переменная в экземплярах, надо присвоить
значение в self.interfaces:
In [9]: class Switch:
...:

def info(self):

...:

print(f"Hostname: {self.hostname}\nModel: {self.model}")

...:
...:

def generate_interfaces(self, intf_type, number_of_intf):

...:

interfaces = [f"{intf_type}{number}" for number in range(1,␣

,→number_of_intf+1)]

...:

self.interfaces = interfaces

...:
Теперь, после вызова метода generate_interfaces, в экземпляре создается переменная
interfaces:
In [10]: sw1 = Switch()
In [11]: sw1.generate_interfaces('Fa', 10)
In [12]: sw1.interfaces
Out[12]: ['Fa1', 'Fa2', 'Fa3', 'Fa4', 'Fa5', 'Fa6', 'Fa7', 'Fa8', 'Fa9', 'Fa10']

Метод __init__
Для корректной работы метода info, необходимо чтобы у экземпляра были переменные
hostname и model. Если этих переменных нет, возникнет ошибка:
In [15]: class Switch:
...:

def info(self):

...:

print('Hostname: {}\nModel: {}'.format(self.hostname, self.

,→model))

...:
In [59]: sw2 = Switch()
In [60]: sw2.info()
--------------------------------------------------------------------------AttributeError

Traceback (most recent call last)

in ()
----> 1 sw2.info()
(continues on next page)

22. Основы ООП

573

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

in info(self)
1 class Switch:
2

def info(self):

----> 3

print('Hostname: {}\nModel: {}'.format(self.hostname, self.model))

AttributeError: 'Switch' object has no attribute 'hostname'
Практически всегда, при создании объекта, у него есть какие-то начальные данные. Например, чтобы создать подключение к оборудование с помощью netmiko, надо передать параметры подключения.
В Python эти начальные данные про объект указываются в методе __init__. Метод __init__
выполняется после того как Python создал новый экземпляр и, при этом, методу __init__
передаются аргументы с которыми был создан экземпляр:
In [32]: class Switch:
...:

def __init__(self, hostname, model):

...:

self.hostname = hostname

...:

self.model = model

...:
...:

def info(self):

...:

print(f'Hostname: {self.hostname}\nModel: {self.model}')

...:
Обратите внимание на то, что у каждого экземпляра, который создан из этого класса, будут
созданы переменные: self.model и self.hostname.
Теперь, при создании экземпляра класса Switch, обязательно надо указать hostname и model:
In [33]: sw1 = Switch('sw1', 'Cisco 3850')
И, соответственно, метод info отрабатывает без ошибок:
In [36]: sw1.info()
Hostname: sw1
Model: Cisco 3850

Примечание: Метод __init__ иногда называют конструктором класса, хотя технически в
Python сначала выполняется метод __new__, а затем __init__. В большинстве случаев, метод
__new__ использовать не нужно.

Важной особенностью метода __init__ является то, что он не должен ничего возвращать.
Python сгенерирует исключение, если попытаться это сделать.
574

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Пример класса
Пример класса, который описывает сеть:
class Network:
def __init__(self, network):
self.network = network
self.hosts = tuple(str(ip) for ip in ipaddress.ip_network(network).
,→hosts())

self.allocated = []
def allocate(self, ip):
if ip in self.hosts:
if ip not in self.allocated:
self.allocated.append(ip)
else:
raise ValueError(f"IP-адрес {ip} уже находится в allocated")
else:
raise ValueError(f"IP-адрес {ip} не входит в сеть {self.network}")
Использование класса:
In [2]: net1 = Network("10.1.1.0/29")
In [3]: net1.allocate("10.1.1.1")
In [4]: net1.allocate("10.1.1.2")
In [5]: net1.allocated
Out[5]: ['10.1.1.1', '10.1.1.2']
In [6]: net1.allocate("10.1.1.100")
--------------------------------------------------------------------------ValueError

Traceback (most recent call last)

in
----> 1 net1.allocate("10.1.1.100")
in allocate(self, ip)
12

raise ValueError(f"IP-адрес {ip} уже находится в allocated

,→")

13
---> 14

else:
raise ValueError(f"IP-адрес {ip} не входит в сеть {self.

,→network}")

15
(continues on next page)

22. Основы ООП

575

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

ValueError: IP-адрес 10.1.1.100 не входит в сеть 10.1.1.0/29

Область видимости
У каждого метода в классе своя локальная область видимости. Это значит, что один метод
класса не видит переменные другого метода класса. Для того чтобы переменные были доступны, надо присваивать их экземпляру через self.name. По сути метод - это функция привязанная к объекту. Поэтому все нюансы, которые касаются функция, относятся и к методам.
Переменные экземпляра доступны в другом методе, потому что каждому методу первым
аргументом передается сам экзепляр. В примере ниже, в методе __init__ переменные
hostname и model присваиваются экземпляру, а затем в info используются, за счет того, что
экземпляр передается первым аргументом:
class Switch:
def __init__(self, hostname, model):
self.hostname = hostname
self.model = model
def info(self):
print('Hostname: {}\nModel: {}'.format(self.hostname, self.model))

Переменные класса
Помимо переменных экземпляра, существуют также переменные класса. Они создаются, при
указании переменных внутри самого класса, не метода:
class Network:
all_allocated_ip = []
def __init__(self, network):
self.network = network
self.hosts = tuple(
str(ip) for ip in ipaddress.ip_network(network).hosts()
)
self.allocated = []
def allocate(self, ip):
if ip in self.hosts:
if ip not in self.allocated:
(continues on next page)

576

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

self.allocated.append(ip)
type(self).all_allocated_ip.append(ip)
else:
raise ValueError(f"IP-адрес {ip} уже находится в allocated")
else:
raise ValueError(f"IP-адрес {ip} не входит в сеть {self.network}")
К переменным класса можно обращаться по-разному:
• self.all_allocated_ip
• Network.all_allocated_ip
• type(self).all_allocated_ip
Вариант self.all_allocated_ip позволяет обратиться к значению переменной класса или
добавить элемент, если переменная класса изменяемый тип данных. Минус этого варианта в
том, что если в методе написать self.all_allocated_ip = ..., вместо изменения переменной класса, будет создана переменная экземпляра.
Вариант Network.all_allocated_ip будет работать корректно, но небольшой минус этого
варианта в том, что имя класса прописано вручную. Вместо него можно использовать третий
вариант type(self).all_allocated_ip, так как type(self) возвращает класс.
Теперь у класса есть переменная all_allocated_ip в которую записываются все IP-адреса, которые выделены в сетях:
In [3]: net1 = Network("10.1.1.0/29")
In [4]: net1.allocate("10.1.1.1")
...: net1.allocate("10.1.1.2")
...: net1.allocate("10.1.1.3")
...:
In [5]: net1.allocated
Out[5]: ['10.1.1.1', '10.1.1.2', '10.1.1.3']
In [6]: net2 = Network("10.2.2.0/29")
In [7]: net2.allocate("10.2.2.1")
...: net2.allocate("10.2.2.2")
...:
In [9]: net2.allocated
Out[9]: ['10.2.2.1', '10.2.2.2']
(continues on next page)

22. Основы ООП

577

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [10]: Network.all_allocated_ip
Out[10]: ['10.1.1.1', '10.1.1.2', '10.1.1.3', '10.2.2.1', '10.2.2.2']
Переменная доступна не только через класс, но и через экземпляры:
In [40]: Network.all_allocated_ip
Out[40]: ['10.1.1.1', '10.1.1.2', '10.1.1.3', '10.2.2.1', '10.2.2.2']
In [41]: net1.all_allocated_ip
Out[41]: ['10.1.1.1', '10.1.1.2', '10.1.1.3', '10.2.2.1', '10.2.2.2']
In [42]: net2.all_allocated_ip
Out[42]: ['10.1.1.1', '10.1.1.2', '10.1.1.3', '10.2.2.1', '10.2.2.2']

578

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 22.1
Создать класс Topology, который представляет топологию сети.
При создании экземпляра класса, как аргумент передается словарь, который описывает топологию. Словарь может содержать «дублирующиеся» соединения. Тут «дублирующиеся»
соединения, это ситуация когда в словаре есть два соединения:
("R1", "Eth0/0"): ("SW1", "Eth0/1")
("SW1", "Eth0/1"): ("R1", "Eth0/0")
Задача оставить только один из этих линков в итоговом словаре, не важно какой.
В каждом экземпляре должна быть создана переменная topology, в которой содержится словарь топологии, но уже без «дублей». Переменная topology должна содержать словарь без
«дублей» сразу после создания экземпляра.
Пример создания экземпляра класса:
In [2]: top = Topology(topology_example)
После этого, должна быть доступна переменная topology:
In [3]: top.topology
Out[3]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}

22. Основы ООП

579

Python для сетевых инженеров, Выпуск 3.0

topology_example = {('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0'),
('SW1', 'Eth0/1'): ('R1', 'Eth0/0'),
('SW1', 'Eth0/2'): ('R2', 'Eth0/0'),
('SW1', 'Eth0/3'): ('R3', 'Eth0/0')}

Задание 22.1a
Скопировать класс Topology из задания 22.1 и изменить его.
Перенести функциональность удаления «дублей» в метод _normalize. При этом метод __init__
должен выглядеть таким образом:
class Topology:
def __init__(self, topology_dict):
self.topology = self._normalize(topology_dict)

Задание 22.1b
Изменить класс Topology из задания 22.1a или 22.1.
Добавить метод delete_link, который удаляет указанное соединение. Метод должен удалять
и «обратное» соединение, если оно есть (ниже пример).
Если такого соединения нет, выводится сообщение «Такого соединения нет».
Создание топологии
In [7]: t = Topology(topology_example)
In [8]: t.topology
Out[8]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
Удаление линка:

580

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

In [9]: t.delete_link(('R3', 'Eth0/1'), ('R4', 'Eth0/0'))
In [10]: t.topology
Out[10]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
Удаление «обратного» линка: в словаре есть запись ('R3', 'Eth0/2'): ('R5', 'Eth0/0'),
но вызов delete_link с указанием ключа и значения в обратном порядке, должно удалять соединение:
In [11]: t.delete_link(('R5', 'Eth0/0'), ('R3', 'Eth0/2'))
In [12]: t.topology
Out[12]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3')}
Если такого соединения нет, выводится сообщение:
In [13]: t.delete_link(('R5', 'Eth0/0'), ('R3', 'Eth0/2'))
Такого соединения нет

Задание 22.1c
Изменить класс Topology из задания 22.1b.
Добавить метод delete_node, который удаляет все соединения с указаным устройством. Если
такого устройства нет, выводится сообщение «Такого устройства нет».
Создание топологии
In [1]: t = Topology(topology_example)
In [2]: t.topology
Out[2]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
(continues on next page)

22. Основы ООП

581

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
Удаление устройства:
In [3]: t.delete_node('SW1')
In [4]: t.topology
Out[4]:
{('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
Если такого устройства нет, выводится сообщение:
In [5]: t.delete_node('SW1')
Такого устройства нет

Задание 22.1d
Изменить класс Topology из задания 22.1c
Добавить метод add_link, который добавляет указанное соединение, если его еще нет в топологии. Если соединение существует, вывести сообщение «Такое соединение существует».
Если одна из сторон есть в топологии, вывести сообщение «Cоединение с одним из портов
существует».
Пример создания топологии и добавления соединений
In [7]: t = Topology(topology_example)
In [8]: t.topology
Out[8]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
In [9]: t.add_link(('R1', 'Eth0/4'), ('R7', 'Eth0/0'))
(continues on next page)

582

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [10]: t.topology
Out[10]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R1', 'Eth0/4'): ('R7', 'Eth0/0'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
In [11]: t.add_link(('R1', 'Eth0/4'), ('R7', 'Eth0/0'))
Такое соединение существует
In [12]: t.add_link(('R1', 'Eth0/4'), ('R7', 'Eth0/5'))
Cоединение с одним из портов существует

Задание 22.2
Создать класс CiscoTelnet, который подключается по Telnet к оборудованию Cisco.
При создании экземпляра класса, должно создаваться подключение Telnet, а также переход
в режим enable. Класс должен использовать модуль telnetlib для подключения по Telnet.
У класса CiscoTelnet, кроме __init__, должно быть, как минимум, два метода:
• _write_line - принимает как аргумент строку и отправляет на оборудование строку преобразованную в байты и добавляет перевод строки в конце. Метод _write_line должен
использоваться внутри класса.
• send_show_command - принимает как аргумент команду show и возвращает вывод полученный с обрудования
Параметры метода __init__:
• ip - IP-адрес
• username - имя пользователя
• password - пароль
• secret - пароль enable
Пример создания экземпляра класса:
In [2]: from task_22_2 import CiscoTelnet
In [3]: r1_params = {
(continues on next page)

22. Основы ООП

583

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

'ip': '192.168.100.1',

...:

'username': 'cisco',

...:

'password': 'cisco',

...:

'secret': 'cisco'}

...:
In [4]: r1 = CiscoTelnet(**r1_params)
In [5]: r1.send_show_command('sh ip int br')
Out[5]: 'sh ip int br\r\nInterface
,→Status
,→YES

Protocol\r\nEthernet0/0

NVRAM

,→200.1

up

up

YES NVRAM

,→190.16.200.1

,→3.100

up

10.100.0.1

,→up

\r\nEthernet0/3.300

,→

up

,→manual

кратить

10.30.0.1

␣

up

␣

YES NVRAM

10.1.1.1
up

\r\nEthernet0/
up

YES NVRAM

\r\nLoopback55

up

Примечание:

␣

\r\nEthernet0/3

up

\r\nLoopback0
up

␣

up

up

10.200.0.1

␣

192.168.

\r\nEthernet0/2

up
YES NVRAM

,→\r\nEthernet0/3.200

,→

192.168.100.1

up

YES NVRAM

OK? Method␣

\r\nEthernet0/1

up

YES NVRAM

192.168.130.1

,→

IP-Address

up

␣

YES NVRAM
5.5.5.5

up

␣

YES␣

\r\nR1#'

Подсказка: Метод _write_line нужен для того чтобы можно было со-

строку:

self.telnet.write(line.encode("ascii") + b"\n")

до

такой:

self.

_write_line(line). Он не должен делать ничего другого.

Задание 22.2a
Скопировать класс CiscoTelnet из задания 22.2 и изменить метод send_show_command добавив три параметра:
• parse - контролирует то, будет возвращаться обычный вывод команды или список словарей, полученные после обработки с помощью TextFSM. При parse=True должен возвращаться список словарей, а parse=False обычный вывод. Значение по умолчанию - True.
• templates - путь к каталогу с шаблонами. Значение по умолчанию - «templates»
• index - имя файла, где хранится соответствие между командами и шаблонами. Значение
по умолчанию - «index»
Пример создания экземпляра класса:

584

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

In [1]: r1_params = {
...:

'ip': '192.168.100.1',

...:

'username': 'cisco',

...:

'password': 'cisco',

...:

'secret': 'cisco'}

In [2]: from task_22_2a import CiscoTelnet
In [3]: r1 = CiscoTelnet(**r1_params)
Использование метода send_show_command:
In [4]: r1.send_show_command("sh ip int br", parse=True)
Out[4]:
[{'intf': 'Ethernet0/0',
'address': '192.168.100.1',
'status': 'up',
'protocol': 'up'},
{'intf': 'Ethernet0/1',
'address': '192.168.200.1',
'status': 'up',
'protocol': 'up'},
{'intf': 'Ethernet0/2',
'address': '192.168.130.1',
'status': 'up',
'protocol': 'up'}]
In [5]: r1.send_show_command("sh ip int br", parse=False)
Out[5]: 'sh ip int br\r\nInterface

IP-Address

OK? Method␣

,→Status

Protocol\r\nEthernet0/0

192.168.100.1

YES NVRAM

up

up

192.168.200.1

YES NVRAM

up...'

\r\nEthernet0/1

Задание 22.2b
Скопировать класс CiscoTelnet из задания 22.2a и добавить метод send_config_commands.
Метод send_config_commands должен уметь отправлять одну команду конфигурационного режима или список команд. Метод дожен возвращать вывод аналогичный методу
send_config_set у netmiko (пример вывода ниже).
Пример создания экземпляра класса:

22. Основы ООП

585

Python для сетевых инженеров, Выпуск 3.0

In [1]: from task_22_2b import CiscoTelnet
In [2]: r1_params = {
...:

'ip': '192.168.100.1',

...:

'username': 'cisco',

...:

'password': 'cisco',

...:

'secret': 'cisco'}

In [3]: r1 = CiscoTelnet(**r1_params)
Использование метода send_config_commands:
In [5]: r1.send_config_commands('logging 10.1.1.1')
Out[5]: 'conf t\r\nEnter configuration commands, one per line.
,→\r\nR1(config)#logging

End with CNTL/Z.

10.1.1.1\r\nR1(config)#end\r\nR1#'

In [6]: r1.send_config_commands(['interface loop55', 'ip address 5.5.5.5 255.255.
,→255.255'])

Out[6]: 'conf t\r\nEnter configuration commands, one per line.
,→\r\nR1(config)#interface

End with CNTL/Z.

loop55\r\nR1(config-if)#ip address 5.5.5.5 255.255.255.

,→255\r\nR1(config-if)#end\r\nR1#'

Задание 22.2c
Скопировать класс CiscoTelnet из задания 22.2b и изменить метод send_config_commands добавив проверку команд на ошибки.
У метода send_config_commands должен быть дополнительный параметр strict:
• strict=True значит, что при обнаружении ошибки, необходимо сгенерировать исключение ValueError (значение по умолчанию)
• strict=False значит, что при обнаружении ошибки, надо только вывести на стандартный
поток вывода сообщене об ошибке
Метод дожен возвращать вывод аналогичный методу send_config_set у netmiko (пример вывода ниже). Текст исключения и ошибки в примере ниже.
Пример создания экземпляра класса:
In [1]: from task_22_2c import CiscoTelnet
In [2]: r1_params = {
...:

'ip': '192.168.100.1',

...:

'username': 'cisco',
(continues on next page)

586

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

'password': 'cisco',

...:

'secret': 'cisco'}

In [3]: r1 = CiscoTelnet(**r1_params)
In [4]: commands_with_errors = ['logging 0255.255.1', 'logging', 'a']
In [5]: correct_commands = ['logging buffered 20010', 'ip http server']
In [6]: commands = commands_with_errors+correct_commands
Использование метода send_config_commands:
In [7]: print(r1.send_config_commands(commands, strict=False))
При выполнении команды "logging 0255.255.1" на устройстве 192.168.100.1 возникла␣
,→ошибка

-> Invalid input detected at '^' marker.

При выполнении команды "logging" на устройстве 192.168.100.1 возникла ошибка ->␣
,→Incomplete

command.

При выполнении команды "a" на устройстве 192.168.100.1 возникла ошибка ->␣
,→Ambiguous

command:

"a"

conf t
Enter configuration commands, one per line.

End with CNTL/Z.

R1(config)#logging 0255.255.1
^
% Invalid input detected at '^' marker.
R1(config)#logging
% Incomplete command.
R1(config)#a
% Ambiguous command:

"a"

R1(config)#logging buffered 20010
R1(config)#ip http server
R1(config)#end
R1#
In [8]: print(r1.send_config_commands(commands, strict=True))
--------------------------------------------------------------------------ValueError

Traceback (most recent call last)

in
----> 1 print(r1.send_config_commands(commands, strict=True))
...
ValueError: При выполнении команды "logging 0255.255.1" на устройстве 192.168.100.
,→1

возникла ошибка -> Invalid input detected at '^' marker.

22. Основы ООП

(continues on next page)

587

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

588

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

23. Специальные методы
Специальные методы в Python - это методы, которые отвечают за «стандартные» возможности объектов и вызываются автоматически при использовани этих возможностей. Например, выражение a + b, где a и b это числа, преобразуется в такой вызов a.__add__(b), то
есть, специальный метод __add__ отвечает за операцию сложения. Все специальные методы начинаются и заканчиваются двойным подчеркиванием, поэтому на английском их часто
называют dunder методы, сокращенно от «double underscore».

Примечание: Специальные методы часто называют волшебными (magic) методами.

Специальные методы отвечают за такие возможности как работа в менеджерах контекста,
создание итераторов и итерируемых объектов, операции сложения, умножения и другие.
Добавляя специальные методы в объекты, которые созданы пользователем, мы делаем их
похожими на встроенные объекты.

Подчеркивание в именах
В Python подчеркивание в начале или в конце имени указывает на специальные имена. Чаще
всего это всего лишь договоренность, но иногда это действительно влияет на поведение
объекта.

Одно подчеркивание перед именем
Одно подчеркивание перед именем метода указывает, что метод является внутренней особенностью реализации и его не стоит использовать напрямую.
Например, класс CiscoSSH использует paramiko для подключения к оборудованию:
import time
import paramiko

class CiscoSSH:
def __init__(self, ip, username, password, enable, disable_paging=True):
self.client = paramiko.SSHClient()
self.client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
self.client.connect(
hostname=ip,
username=username,
password=password,
(continues on next page)

23. Специальные методы

589

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

look_for_keys=False,
allow_agent=False)
self.ssh = self.client.invoke_shell()
self.ssh.send('enable\n')
self.ssh.send(enable + '\n')
if disable_paging:
self.ssh.send('terminal length 0\n')
time.sleep(1)
self.ssh.recv(1000)
def send_show_command(self, command):
self.ssh.send(command + '\n')
time.sleep(2)
result = self.ssh.recv(5000).decode('ascii')
return result
После создания экземпляра класса, доступен не только метод send_show_command, но и атрибуты client и ssh (3 строка это подсказки по tab в ipython):
In [2]: r1 = CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco')
In [3]: r1.
client
send_show_command()
ssh
Если же необходимо указать, что client и ssh являются внутренними атрибутами, которые
нужны для работы класса, но не предназначены для пользователя, надо поставить нижнее
подчеркивание перед именем:
class CiscoSSH:
def __init__(self, ip, username, password, enable, disable_paging=True):
self._client = paramiko.SSHClient()
self._client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
self._client.connect(
hostname=ip,
username=username,
password=password,
look_for_keys=False,
allow_agent=False)
(continues on next page)

590

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

self._ssh = self._client.invoke_shell()
self._ssh.send('enable\n')
self._ssh.send(enable + '\n')
if disable_paging:
self._ssh.send('terminal length 0\n')
time.sleep(1)
self._ssh.recv(1000)
def send_show_command(self, command):
self._ssh.send(command + '\n')
time.sleep(2)
result = self._ssh.recv(5000).decode('ascii')
return result

Примечание: Часто такие методы и атрибуты называются приватными, но это не значит,
что методы и переменные недоступны пользователю.

Два подчеркивания перед именем
Два подчеркивания перед именем метода используются не просто как договоренность. Такие
имена трансформируются в формат «имя класса + имя метода». Это позволяет создавать
уникальные методы и атрибуты классов.
Такое преобразование выполняется только в том случае, если в конце менее двух подчеркиваний или нет подчеркиваний.
In [14]: class Switch(object):
...:

__quantity = 0

...:
...:
...:

def __configure(self):
pass

...:
In [15]: dir(Switch)
Out[15]:
['_Switch__configure', '_Switch__quantity', ...]
Хотя методы создавались без приставки _Switch, она была добавлена.
Если создать подкласс, то метод __configure не перепишет метод родительского класса
Switch:

23. Специальные методы

591

Python для сетевых инженеров, Выпуск 3.0

In [16]: class CiscoSwitch(Switch):
...:

__quantity = 0

...:

def __configure(self):

...:

pass

...:
In [17]: dir(CiscoSwitch)
Out[17]:
['_CiscoSwitch__configure', '_CiscoSwitch__quantity', '_Switch__configure', '_
,→Switch__quantity',

...]

Два подчеркивания перед и после имени
Таким образом обозначаются специальные переменные и методы.
Например, в модуле Python есть такие специальные переменные:
• __name__ - эта переменная равна строке __main__, когда скрипт запускается напрямую,
и равна имени модуля, когда импортируется
• __file__ - эта переменная равна имени скрипта, который был запущен напрямую, и
равна полному пути к модулю, когда он импортируется
Переменная __name__ чаще всего используется, чтобы указать, что определенная часть кода
должна выполняться, только когда модуль выполняется напрямую:
def multiply(a, b):
return a * b
if __name__ == '__main__':
print(multiply(3, 5))
А переменная __file__ может быть полезна в определении текущего пути к файлу скрипта:
import os
print('__file__', __file__)
print(os.path.abspath(__file__))
Вывод будет таким:
__file__ example2.py
/home/vagrant/repos/tests/example2.py

592

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Кроме того, таким образом в Python обозначаются специальные методы. Эти методы вызываются при использовании функций и операторов Python и позволяют реализовать определенный функционал.
Как правило, такие методы не нужно вызывать напрямую. Но, например, при создании своего класса может понадобиться описать такой метод, чтобы объект поддерживал какие-то
операции в Python.
Например, для того, чтобы можно было получить длину объекта, он должен поддерживать
метод __len__.

Методы __str__, __repr__
Специальные методы __str__ и __repr__ отвечают за строковое представления объекта. При
этом используются они в разных местах.
Рассмотрим пример класса IPAddress, который отвечает за представление IPv4 адреса:
In [1]: class IPAddress:
...:

def __init__(self, ip):

...:

self.ip = ip

...:
После создания экземпляров класса, у них есть строковое представление по умолчанию, которое выглядит так (этот же вывод отображается при использовании print):
In [2]: ip1 = IPAddress('10.1.1.1')
In [3]: ip2 = IPAddress('10.2.2.2')
In [4]: str(ip1)
Out[4]: ''
In [5]: str(ip2)
Out[5]: ''
К сожалению, это представление не очень информативно. И было бы лучше, если бы отображалась информация о том, какой именно адрес представляет этот экземпляр. За отображение информации при применении функции str, отвечает специальный метод __str__ - как
аргумент метод ожидает только экземпляр и должен возвращать строку
In [6]: class IPAddress:
...:
...:

def __init__(self, ip):
self.ip = ip

...:
(continues on next page)

23. Специальные методы

593

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

def __str__(self):

...:

return f"IPAddress: {self.ip}"

...:
In [7]: ip1 = IPAddress('10.1.1.1')
In [8]: ip2 = IPAddress('10.2.2.2')
In [9]: str(ip1)
Out[9]: 'IPAddress: 10.1.1.1'
In [10]: str(ip2)
Out[10]: 'IPAddress: 10.2.2.2'
Второе строковое представление, которое используется в объектах Python, отображается
при использовании функции repr, а также при добавлении объектов в контейнеры типа списков:
In [11]: ip_addresses = [ip1, ip2]
In [12]: ip_addresses
Out[12]: [, ]
In [13]: repr(ip1)
Out[13]: ''
За это отображение отвечает метод __repr__, он тоже должен возвращать строку, но при этом
принято, чтобы метод возвращал строку, скопировав которую, можно получить экземпляр
класса:
In [14]: class IPAddress:
...:
...:

def __init__(self, ip):
self.ip = ip

...:
...:
...:

def __str__(self):
return f"IPAddress: {self.ip}"

...:
...:
...:

def __repr__(self):
return f"IPAddress('{self.ip}')"

...:
In [15]: ip1 = IPAddress('10.1.1.1')
(continues on next page)

594

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [16]: ip2 = IPAddress('10.2.2.2')
In [17]: ip_addresses = [ip1, ip2]
In [18]: ip_addresses
Out[18]: [IPAddress('10.1.1.1'), IPAddress('10.2.2.2')]
In [19]: repr(ip1)
Out[19]: "IPAddress('10.1.1.1')"

Поддержка арифметических операторов
За поддержку арифметических операций также отвечают специальные методы, например,
за операцию сложения отвечает метод __add__:
__add__(self, other)
Добавим к классу IPAddress поддержку суммирования с числами, но чтобы не усложнять реализацию метода, воспользуемся возможностями модуля ipaddress
In [1]: import ipaddress
In [2]: ipaddress1 = ipaddress.ip_address('10.1.1.1')
In [3]: int(ipaddress1)
Out[3]: 167837953
In [4]: ipaddress.ip_address(167837953)
Out[4]: IPv4Address('10.1.1.1')
Класс IPAddress с методом __add__:
In [5]: class IPAddress:
...:
...:

def __init__(self, ip):
self.ip = ip

...:
...:
...:

def __str__(self):
return f"IPAddress: {self.ip}"

...:
...:
...:

def __repr__(self):
return f"IPAddress('{self.ip}')"

...:
(continues on next page)

23. Специальные методы

595

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

def __add__(self, other):

...:

ip_int = int(ipaddress.ip_address(self.ip))

...:

sum_ip_str = str(ipaddress.ip_address(ip_int + other))

...:

return IPAddress(sum_ip_str)

...:
Переменная ip_int ссылается на значение исходного адреса в десятичном формате. а
sum_ip_str это строка с IP-адресом полученным в результате сложения двух чисел. Как правило, желательно чтобы операция суммирования возвращала экземпляр того же класса, поэтому в последней строке метода создается экземпляр класса IPAddress и ему как аргумент
передается строка с итоговым адресом.
Теперь экземпляры класса IPAddress должны поддерживать операцию сложения с числом. В
результате мы получаем новый экземпляр класса IPAddress.
In [6]: ip1 = IPAddress('10.1.1.1')
In [7]: ip1 + 5
Out[7]: IPAddress('10.1.1.6')
Так как внутри метода используется модуль ipaddress, а он поддерживает создание IP-адреса
только из десятичного числа, надо ограничить метод на работу только с данными типа int.
Если же второй элемент был объектом другого типа, надо сгенерировать исключение. Исключение и сообщение об ошибке возьмем из аналогичной ошибки функции ipaddress.ip_address:
In [8]: a1 = ipaddress.ip_address('10.1.1.1')
In [9]: a1 + 4
Out[9]: IPv4Address('10.1.1.5')
In [10]: a1 + 4.0
--------------------------------------------------------------------------TypeError

Traceback (most recent call last)

in
----> 1 a1 + 4.0
TypeError: unsupported operand type(s) for +: 'IPv4Address' and 'float'
Теперь класс IPAddress выглядит так:
In [11]: class IPAddress:
...:
...:

def __init__(self, ip):
self.ip = ip

...:
(continues on next page)

596

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

def __str__(self):

...:

return f"IPAddress: {self.ip}"

...:
...:

def __repr__(self):

...:

return f"IPAddress('{self.ip}')"

...:
...:

def __add__(self, other):

...:

if not isinstance(other, int):

...:

raise TypeError(f"unsupported operand type(s) for +:"

...:

f" 'IPAddress' and '{type(other).__name__}'")

...:
...:

ip_int = int(ipaddress.ip_address(self.ip))

...:

sum_ip_str = str(ipaddress.ip_address(ip_int + other))

...:

return IPAddress(sum_ip_str)

...:
Если второй операнд не является экзепляром класса int, генерируется исключение TypeError.
В исключении выводится информация, что суммирование не поддерживается между экземплярами класса IPAddress и экземпляром класса операнда. Имя класса получено из самого
класса, после обращения к type: type(other).__name__.
Проверка суммирования с десятичным числом и генерации ошибки:
In [12]: ip1 = IPAddress('10.1.1.1')
In [13]: ip1 + 5
Out[13]: IPAddress('10.1.1.6')
In [14]: ip1 + 5.0
--------------------------------------------------------------------------TypeError

Traceback (most recent call last)

in
----> 1 ip1 + 5.0
in __add__(self, other)
11
12
---> 13

def __add__(self, other):
if not isinstance(other, int):
raise TypeError(f"unsupported operand type(s) for +:"

14

f" 'IPAddress' and '{type(other).__name__}'")

15
TypeError: unsupported operand type(s) for +: 'IPAddress' and 'float'
(continues on next page)

23. Специальные методы

597

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [15]: ip1 + '1'
--------------------------------------------------------------------------TypeError

Traceback (most recent call last)

in
----> 1 ip1 + '1'
in __add__(self, other)
11

def __add__(self, other):

12
---> 13

if not isinstance(other, int):
raise TypeError(f"unsupported operand type(s) for +:"

14

f" 'IPAddress' and '{type(other).__name__}'")

15
TypeError: unsupported operand type(s) for +: 'IPAddress' and 'str'
См.также:
Руководство по специальным методам (англ) Numeric magic methods

Протоколы
Специальные методы отвечают не только за поддержку операций типа сложение, сравнение,
но и за поддержку протоколов. Протокол - это набор методов, которые должны быть реализованы в объекте, чтобы он поддерживал определенное поведение. Например, в Python есть
такие протоколы: итерации, менеджер контекста, контейнеры и другие. После создания в
объекте определенных методов, объект будет вести себя как встроенный и использовать
интерфейс понятный всем, кто пишет на Python.

Примечание: Таблица с абстрактных классов в которой описаны какие методы должны присутствовать у объекта, чтобы он поддерживал определенный протокол

Протокол итерации
Итерируемый объект (iterable) - это объект, который способен возвращать элементы по
одному. Для Python это любой объект у которого есть метод __iter__ или метод __getitem__.
Если у объекта есть метод __iter__, итерируемый объект превращается в итератор вызовом
iter(name), где name - имя итерируемого объекта. Если метода __iter__ нет, Python перебирает элементы используя __getitem__.

598

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

class Items:
def __init__(self, items):
self.items = items
def __getitem__(self, index):
print('Вызываю __getitem__')
return self.items[index]

In [2]: iterable_1 = Items([1, 2, 3, 4])
In [3]: iterable_1[0]
Вызываю __getitem__
Out[3]: 1
In [4]: for i in iterable_1:
...:

print('>>>>', i)

...:
Вызываю __getitem__
>>>> 1
Вызываю __getitem__
>>>> 2
Вызываю __getitem__
>>>> 3
Вызываю __getitem__
>>>> 4
Вызываю __getitem__
In [5]: list(map(str, iterable_1))
Вызываю __getitem__
Вызываю __getitem__
Вызываю __getitem__
Вызываю __getitem__
Вызываю __getitem__
Out[5]: ['1', '2', '3', '4']
Если у объекта есть метод __iter__ (который обязан возвращать итератор), при переборе значений используется он:
class Items:
def __init__(self, items):
self.items = items
def __getitem__(self, index):
(continues on next page)

23. Специальные методы

599

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

print('Вызываю __getitem__')
return self.items[index]
def __iter__(self):
print('Вызываю __iter__')
return iter(self.items)

In [12]: iterable_1 = Items([1, 2, 3, 4])
In [13]: for i in iterable_1:
...:

print('>>>>', i)

...:
Вызываю __iter__
>>>> 1
>>>> 2
>>>> 3
>>>> 4
In [14]: list(map(str, iterable_1))
Вызываю __iter__
Out[14]: ['1', '2', '3', '4']
В Python за получение итератора отвечает функция iter():
In [1]: lista = [1, 2, 3]
In [2]: iter(lista)
Out[2]:
Функция iter отработает на любом объекте, у которого есть метод __iter__ или метод
__getitem__. Метод __iter__ возвращает итератор. Если этого метода нет, функция iter() проверяет, нет ли метода __getitem__ - метода, который позволяет получать элементы по индексу.
Если метод __getitem__ есть, элементы будут перебираться по индексу (начиная с 0).
Итератор (iterator) - это объект, который возвращает свои элементы по одному за раз. С
точки зрения Python - это любой объект, у которого есть метод __next__. Этот метод возвращает следующий элемент, если он есть, или возвращает исключение StopIteration, когда
элементы закончились. Кроме того, итератор запоминает, на каком объекте он остановился
в последнюю итерацию. Также у каждого итератора присутствует метод __iter__ - то есть,
любой итератор является итерируемым объектом. Этот метод возвращает сам итератор.
Пример создания итератора из списка:

600

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

In [3]: lista = [1, 2, 3]
In [4]: i = iter(lista)
Теперь можно использовать функцию next(), которая вызывает метод __next__, чтобы взять
следующий элемент:
In [5]: next(i)
Out[5]: 1
In [6]: next(i)
Out[6]: 2
In [7]: next(i)
Out[7]: 3
In [8]: next(i)
-----------------------------------------------------------StopIteration

Traceback (most recent call last)

in ()
----> 1 next(i)
StopIteration:
После того, как элементы закончились, возвращается исключение StopIteration. Для того, чтобы итератор снова начал возвращать элементы, его надо заново создать. Аналогичные действия выполяются, когда цикл for проходится по списку:
In [9]: for item in lista:
...:

print(item)

...:
1
2
3
Когда мы перебираем элементы списка, к списку сначала применяется функция iter(), чтобы создать итератор, а затем вызывается его метод __next__ до тех пор, пока не возникнет
исключение StopIteration.
Пример функции my_for, которая работает с любым итерируемым объектом и имитирует работу встроенной функции for:
def my_for(iterable):
if getattr(iterable, "__iter__", None):
print('Есть __iter__')
(continues on next page)

23. Специальные методы

601

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

iterator = iter(iterable)
while True:
try:
print(next(iterator))
except StopIteration:
break
elif getattr(iterable, "__getitem__", None):
print('Нет __iter__, но есть __getitem__')
index = 0
while True:
try:
print(iterable[index])
index += 1
except IndexError:
break
Проверка работы функции на объекте у которого есть метод __iter__:
In [18]: my_for([1, 2, 3, 4])
Есть __iter__
1
2
3
4
Проверка работы функции на объекте у которого нет метода __iter__, но есть __getitem__:
class Items:
def __init__(self, items):
self.items = items
def __getitem__(self, index):
print('Вызываю __getitem__')
return self.items[index]

In [20]: iterable_1 = Items([1,2,3,4,5])
In [21]: my_for(iterable_1)
Нет __iter__, но есть __getitem__
Вызываю __getitem__
1
Вызываю __getitem__
(continues on next page)

602

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

2
Вызываю __getitem__
3
Вызываю __getitem__
4
Вызываю __getitem__
5
Вызываю __getitem__

Создание итератора
Пример класса Network:
In [10]: import ipaddress
...:
...: class Network:
...:

def __init__(self, network):

...:

self.network = network

...:

subnet = ipaddress.ip_network(self.network)

...:

self.addresses = [str(ip) for ip in subnet.hosts()]

Пример создания экземпляра класса Network:
In [14]: net1 = Network('10.1.1.192/30')
In [15]: net1
Out[15]:
In [16]: net1.addresses
Out[16]: ['10.1.1.193', '10.1.1.194']
In [17]: net1.network
Out[17]: '10.1.1.192/30'
Создаем итератор из класса Network:
In [12]: class Network:
...:

def __init__(self, network):

...:

self.network = network

...:

subnet = ipaddress.ip_network(self.network)

...:

self.addresses = [str(ip) for ip in subnet.hosts()]

...:

self._index = 0
(continues on next page)

23. Специальные методы

603

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:
...:

def __iter__(self):

...:

print('Вызываю __iter__')

...:

return self

...:
...:

def __next__(self):

...:

print('Вызываю __next__')

...:

if self._index < len(self.addresses):

...:

current_address = self.addresses[self._index]

...:

self._index += 1

...:

return current_address

...:

else:

...:

raise StopIteration

...:
Метод __iter__ в итераторе должен возвращать сам объект, поэтому в методе указано
return self, а метод __next__ возвращает элементы по одному и генерирует исключение
StopIteration, когда элементы закончились.
In [14]: net1 = Network('10.1.1.192/30')
In [15]: for ip in net1:
...:

print(ip)

...:
Вызываю __iter__
Вызываю __next__
10.1.1.193
Вызываю __next__
10.1.1.194
Вызываю __next__
Чащевсего, итератор это одноразовый объект и перебрав элементы, мы уже не можем это
сделать второй раз:
In [16]: for ip in net1:
...:

print(ip)

...:
Вызываю __iter__
Вызываю __next__

604

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Создание итерируемого объекта
Очень часто классу достаточно быть итерируемым объектом и не обязательно быть итератором. Если объект будет итерируемым, его можно использовать в цикле for, функциях map,
filter, sorted, enumerate и других. Также, как правило, объект проще сделать итерируемым,
чем итератором.
Для того чтобы класс Network создавал итерируемые объекты, надо чтобы в классе был метод
__iter__ (__next__ не нужен) и чтобы метод возвращал итератор. Так как в данном случае,
Network перебирает адреса, которые находятся в списке self.addresses, самый просто вариант
возвращать итератор, это вернуть iter(self.addresses):
In [17]: class Network:
...:

def __init__(self, network):

...:

self.network = network

...:

subnet = ipaddress.ip_network(self.network)

...:

self.addresses = [str(ip) for ip in subnet.hosts()]

...:
...:
...:

def __iter__(self):
return iter(self.addresses)

...:
Теперь все экземпляры класса Network будут итерируемыми объектами:
In [18]: net1 = Network('10.1.1.192/30')
In [19]: for ip in net1:
...:

print(ip)

...:
10.1.1.193
10.1.1.194

Протокол последовательности
В самом базовом варианте, протокол последовательности (sequence) включает два метода: __len__ и __getitem__. В более полном варианте также методы: __contains__, __iter__,
__reversed__, index и count. Если последовательность изменяема, добавляются еще несколько
методов.
Добавим методы __len__ и __getitem__ к классу Network:
In [1]: class Network:
...:
...:

def __init__(self, network):
self.network = network
(continues on next page)

23. Специальные методы

605

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

subnet = ipaddress.ip_network(self.network)

...:

self.addresses = [str(ip) for ip in subnet.hosts()]

...:
...:

def __iter__(self):

...:

return iter(self.addresses)

...:
...:

def __len__(self):

...:

return len(self.addresses)

...:
...:

def __getitem__(self, index):

...:

return self.addresses[index]

...:
Метод __len__ вызывается функцией len:
In [2]: net1 = Network('10.1.1.192/30')
In [3]: len(net1)
Out[3]: 2
А метод __getitem__ при обращении по индексу таким образом:
In [4]: net1[0]
Out[4]: '10.1.1.193'
In [5]: net1[1]
Out[5]: '10.1.1.194'
In [6]: net1[-1]
Out[6]: '10.1.1.194'
Метод __getitem__ отвечает не только обращение по индексу, но и за срезы:
In [7]: net1 = Network('10.1.1.192/28')
In [8]: net1[0]
Out[8]: '10.1.1.193'
In [9]: net1[3:7]
Out[9]: ['10.1.1.196', '10.1.1.197', '10.1.1.198', '10.1.1.199']
In [10]: net1[3:]
Out[10]:
['10.1.1.196',
(continues on next page)

606

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'10.1.1.197',
'10.1.1.198',
'10.1.1.199',
'10.1.1.200',
'10.1.1.201',
'10.1.1.202',
'10.1.1.203',
'10.1.1.204',
'10.1.1.205',
'10.1.1.206']
Так как в данном случае, внутри метода __getitem__ используется список, ошибки отрабатывают корректно автоматически:
In [11]: net1[100]
--------------------------------------------------------------------------IndexError

Traceback (most recent call last)

in
----> 1 net1[100]
in __getitem__(self, index)
12
13
---> 14

def __getitem__(self, index):
return self.addresses[index]

15
IndexError: list index out of range
In [12]: net1['a']
--------------------------------------------------------------------------TypeError

Traceback (most recent call last)

in
----> 1 net1['a']
in __getitem__(self, index)
12
13
---> 14

def __getitem__(self, index):
return self.addresses[index]

15
TypeError: list indices must be integers or slices, not str
Реализация остальных методов протокола последовательности вынесена в задания раздела:

23. Специальные методы

607

Python для сетевых инженеров, Выпуск 3.0

• __contains__ - этот метод отвечает за проверку наличия элемента в последовательности
'10.1.1.198' in net1. Если в объекте не определен этот метод, наличие элемента проверяется перебором элементов с помощью __iter__, а если и его нет перевором индексов
с __getitem__.
• __reversed__ - используется встроенной функцией reversed. Этот метод как правило,
лучше не создавать и полагаться на то, что функция reversed при отсутствии метода
__reversed__ будет использовать методы __len__ и __getitem__.
• index - возвращает индекс первого элемента, значение которого равно указаному. Работает полностью аналогично методу index в списках и кортежах.
• count - возвращает количество значений. Работает полностью аналогично методу count
в списках и кортежах.

Менеджер контекста
Менеджер контекста позволяет выполнять указанные действия в начале и в конце блока with.
За работу менеджера контекста отвечают два метода:
• __enter__(self) - указывает, что надо сделать в начале блока with. Значение, которое
возвращает метод, присваивается переменной после as.
• __exit__(self, exc_type, exc_value, traceback) - указывает, что надо сделать в
конце блока with или при его прерывании. Если внутри блока возникло исключение,
exc_type, exc_value, traceback будут содержать информацию об исключении, если исключения не было, они будут равны None.
Примеры использования менеджера контекста:
• открытие/закрытие файла
• открытие/закрытие сессии SSH/Telnet
• работа с транзакциями в БД
Класс CiscoSSH использует paramiko для подключения к оборудованию:
class CiscoSSH:
def __init__(self, ip, username, password, enable, disable_paging=True):
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
client.connect(
hostname=ip,
username=username,
password=password,
look_for_keys=False,
(continues on next page)

608

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

allow_agent=False)
self.ssh = client.invoke_shell()
self.ssh.send('enable\n')
self.ssh.send(enable + '\n')
if disable_paging:
self.ssh.send('terminal length 0\n')
time.sleep(1)
self.ssh.recv(1000)
def send_show_command(self, command):
self.ssh.send(command + '\n')
time.sleep(2)
result = self.ssh.recv(5000).decode('ascii')
return result
Пример использования класса:
In [9]: r1 = CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco')
In [10]: r1.send_show_command('sh clock')
Out[10]: 'sh clock\r\n*12:58:47.523 UTC Sun Jul 28 2019\r\nR1#'
In [11]: r1.send_show_command('sh ip int br')
Out[11]: 'sh ip int br\r\nInterface
,→Status
,→YES

Protocol\r\nEthernet0/0

NVRAM

,→200.1

up

up

YES NVRAM

,→19.1.1.1
,→

up
up

4.4.4.4

,→\r\nLoopback90

192.168.100.1

up

YES NVRAM
90.1.1.1

␣

192.168.

\r\nEthernet0/2
up

YES NVRAM

OK? Method␣

\r\nEthernet0/1
up

YES NVRAM
192.168.230.1

,→

,→up

IP-Address

␣

\r\nEthernet0/3
up

up

␣

\r\nLoopback0 ␣
up

␣

YES manual up

␣

\r\nR1#'

Для того чтобы класс поддерживал работу в менеджере контекста, надо добавить методы
__enter__ и __exit__:
class CiscoSSH:
def __init__(self, ip, username, password, enable, disable_paging=True):
print('Метод __init__')
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
(continues on next page)

23. Специальные методы

609

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

client.connect(
hostname=ip,
username=username,
password=password,
look_for_keys=False,
allow_agent=False)
self.ssh = client.invoke_shell()
self.ssh.send('enable\n')
self.ssh.send(enable + '\n')
if disable_paging:
self.ssh.send('terminal length 0\n')
time.sleep(1)
self.ssh.recv(1000)
def __enter__(self):
print('Метод __enter__')
return self
def __exit__(self, exc_type, exc_value, traceback):
print('Метод __exit__')
self.ssh.close()
def send_show_command(self, command):
self.ssh.send(command + '\n')
time.sleep(2)
result = self.ssh.recv(5000).decode('ascii')
return result
Пример использования класса в менеджере контекста:
In [14]: with CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco') as r1:
...:

print(r1.send_show_command('sh clock'))

...:
Метод __init__
Метод __enter__
sh clock
*13:05:50.677 UTC Sun Jul 28 2019
R1#
Метод __exit__
Даже если внутри блока возникнет исключение, метод __exit__ выполняется:

610

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

In [18]: with CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco') as r1:
...:

result = r1.send_show_command('sh clock')

...:

result / 2

...:
Метод __init__
Метод __enter__
Метод __exit__
--------------------------------------------------------------------------TypeError

Traceback (most recent call last)

in
1 with CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco') as r1:
2
----> 3

result = r1.send_show_command('sh clock')
result / 2

4
TypeError: unsupported operand type(s) for /: 'str' and 'int'

23. Специальные методы

611

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 23.1
В этом задании необходимо создать класс IPAddress.
При создании экземпляра класса, как аргумент передается IP-адрес и маска, а также должна
выполняться проверка корректности адреса и маски:
Адрес считается корректно заданным, если он:
• состоит из 4 чисел разделенных точкой
• каждое число в диапазоне от 0 до 255
Маска считается корректной, если это число в диапазоне от 8 до 32 включительно
Если маска или адрес не прошли проверку, необходимо сгенерировать исключение ValueError
с соответствующим текстом (вывод ниже).
Также, при создании класса, должны быть созданы две переменных экземпляра: ip и mask, в
которых содержатся адрес и маска, соответственно.
Пример создания экземпляра класса:
In [1]: ip = IPAddress('10.1.1.1/24')
Атрибуты ip и mask
In [2]: ip1 = IPAddress('10.1.1.1/24')
In [3]: ip1.ip
Out[3]: '10.1.1.1'
In [4]: ip1.mask
Out[4]: 24
Проверка корректности адреса (traceback сокращен)

612

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

Проверка корректности маски (traceback сокращен)
In [6]: ip1 = IPAddress('10.1.1.1/240')
--------------------------------------------------------------------------...
ValueError: Incorrect mask

Задание 23.1a
Скопировать и изменить класс IPAddress из задания 23.1.
Добавить два строковых представления для экземпляров класса IPAddress. Как дожны выглядеть строковые представления, надо определить из вывода ниже:
Создание экземпляра
In [5]: ip1 = IPAddress('10.1.1.1/24')
In [6]: str(ip1)
Out[6]: 'IP address 10.1.1.1/24'
In [7]: print(ip1)
IP address 10.1.1.1/24
In [8]: ip1
Out[8]: IPAddress('10.1.1.1/24')
In [9]: ip_list = []
In [10]: ip_list.append(ip1)
In [11]: ip_list
Out[11]: [IPAddress('10.1.1.1/24')]
In [12]: print(ip_list)
[IPAddress('10.1.1.1/24')]

Задание 23.2
Скопировать класс CiscoTelnet из любого задания 22.2x и добавить классу поддержку работы
в менеджере контекста. При выходе из блока менеджера контекста должно закрываться
соединение.
Пример работы:

23. Специальные методы

613

Python для сетевых инженеров, Выпуск 3.0

In [14]: r1_params = {
...:

'ip': '192.168.100.1',

...:

'username': 'cisco',

...:

'password': 'cisco',

...:

'secret': 'cisco'}

In [15]: from task_23_2 import CiscoTelnet
In [16]: with CiscoTelnet(**r1_params) as r1:
...:

print(r1.send_show_command('sh clock'))

...:
sh clock
*19:17:20.244 UTC Sat Apr 6 2019
R1#
In [17]: with CiscoTelnet(**r1_params) as r1:
...:

print(r1.send_show_command('sh clock'))

...:

raise ValueError('Возникла ошибка')

...:
sh clock
*19:17:38.828 UTC Sat Apr 6 2019
R1#
--------------------------------------------------------------------------ValueError

Traceback (most recent call last)

in
1 with CiscoTelnet(**r1_params) as r1:
2
----> 3

print(r1.send_show_command('sh clock'))
raise ValueError('Возникла ошибка')

4
ValueError: Возникла ошибка

Задание 23.3
Скопировать и изменить класс Topology из задания 22.1x.
Добавить метод, который позволит выполнять сложение двух экземпляров класса Topology.
В результате сложения должен возвращаться новый экземпляр класса Topology.
Создание двух топологий:
In [1]: t1 = Topology(topology_example)
(continues on next page)

614

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [2]: t1.topology
Out[2]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
In [3]: topology_example2 = {('R1', 'Eth0/4'): ('R7', 'Eth0/0'),
('R1', 'Eth0/6'): ('R9', 'Eth0/0')}
In [4]: t2 = Topology(topology_example2)
In [5]: t2.topology
Out[5]: {('R1', 'Eth0/4'): ('R7', 'Eth0/0'), ('R1', 'Eth0/6'): ('R9', 'Eth0/0')}
Суммирование топологий:
In [6]: t3 = t1+t2
In [7]: t3.topology
Out[7]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R1', 'Eth0/4'): ('R7', 'Eth0/0'),
('R1', 'Eth0/6'): ('R9', 'Eth0/0'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
Проверка, что исходные топологии не изменились
In [9]: t1.topology
Out[9]:
{('R1', 'Eth0/0'): ('SW1', 'Eth0/1'),
('R2', 'Eth0/0'): ('SW1', 'Eth0/2'),
('R2', 'Eth0/1'): ('SW2', 'Eth0/11'),
('R3', 'Eth0/0'): ('SW1', 'Eth0/3'),
('R3', 'Eth0/1'): ('R4', 'Eth0/0'),
('R3', 'Eth0/2'): ('R5', 'Eth0/0')}
(continues on next page)

23. Специальные методы

615

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [10]: t2.topology
Out[10]: {('R1', 'Eth0/4'): ('R7', 'Eth0/0'), ('R1', 'Eth0/6'): ('R9', 'Eth0/0')}

Задание 23.3a
В этом задании надо сделать так, чтобы экземпляры класса Topology были итерируемыми
объектами. Основу класса Topology можно взять из любого задания 22.1x или задания 23.3.
После создания экземпляра класса, экземпляр должен работать как итерируемый объект. На
каждой итерации должен возвращаться кортеж, который описывает одно соединение.
Пример работы класса:
In [1]: top = Topology(topology_example)
In [2]: for link in top:
...:

print(link)

...:
(('R1', 'Eth0/0'), ('SW1', 'Eth0/1'))
(('R2', 'Eth0/0'), ('SW1', 'Eth0/2'))
(('R2', 'Eth0/1'), ('SW2', 'Eth0/11'))
(('R3', 'Eth0/0'), ('SW1', 'Eth0/3'))
(('R3', 'Eth0/1'), ('R4', 'Eth0/0'))
(('R3', 'Eth0/2'), ('R5', 'Eth0/0'))
Проверить работу класса.

616

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

24. Наследование
Основы наследования
Наследование позволяет создавать новые классы на основе существующих. Различают дочерний и родительские классы: дочерний класс наследует родительский. При наследовании,
дочерний класс наследует все методы и атрибуты родительского класса.
Пример класса ConnectSSH, который выполняет подключение по SSH с помощью paramiko:
import paramiko
import time

class ConnectSSH:
def __init__(self, ip, username, password):
self.ip = ip
self.username = username
self.password = password
self._MAX_READ = 10000
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
client.connect(
hostname=ip,
username=username,
password=password,
look_for_keys=False,
allow_agent=False)
self._ssh = client.invoke_shell()
time.sleep(1)
self._ssh.recv(self._MAX_READ)
def __enter__(self):
return self
def __exit__(self, exc_type, exc_value, traceback):
self._ssh.close()
def close(self):
self._ssh.close()
(continues on next page)

24. Наследование

617

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

def send_show_command(self, command):
self._ssh.send(command + '\n')
time.sleep(2)
result = self._ssh.recv(self._MAX_READ).decode('ascii')
return result
def send_config_commands(self, commands):
if isinstance(commands, str):
commands = [commands]
for command in commands:
self._ssh.send(command + '\n')
time.sleep(0.5)
result = self._ssh.recv(self._MAX_READ).decode('ascii')
return result
Этот класс будет использоваться как основа для классов, которые отвечают за подключение
к устройствам разных вендоров. Например, класс CiscoSSH будет отвечать за подключение к
устройствам Cisco будет наследовать класс ConnectSSH.
Синтаксис наследования:
class CiscoSSH(ConnectSSH):
pass
После этого в классе CiscoSSH доступны все методы и атрибуты класса ConnectSSH:
In [3]: r1 = CiscoSSH('192.168.100.1', 'cisco', 'cisco')
In [4]: r1.ip
Out[4]: '192.168.100.1'
In [5]: r1._MAX_READ
Out[5]: 10000
In [6]: r1.send_show_command('sh ip int br')
Out[6]: 'sh ip int br\r\nInterface
,→Status
,→YES

Protocol\r\nEthernet0/0

NVRAM

,→200.1

up

up

YES NVRAM

,→19.1.1.1
,→

192.168.230.1

up
up

YES NVRAM

4.4.4.4

,→\r\nLoopback33

up

\r\nLoopback90

,→

up

\r\nR1#'

192.168.100.1

YES NVRAM

\r\nEthernet0/2

␣

up

␣

\r\nEthernet0/3

up

\r\nLoopback0 ␣
up

YES manual up
90.1.1.1

␣

192.168.

up

3.3.3.3

,→up

OK? Method␣

\r\nEthernet0/1

up

YES NVRAM

,→

618

IP-Address

␣
␣

YES manual up

␣

(continues on next page)

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [7]: r1.send_show_command('enable')
Out[7]: 'enable\r\nPassword: '
In [8]: r1.send_show_command('cisco')
Out[8]: '\r\nR1#'
In [9]: r1.send_config_commands(['conf t', 'int loopback 33',
...:

'ip address 3.3.3.3 255.255.255.255', 'end'])

Out[9]: 'conf t\r\nEnter configuration commands, one per line.
,→\r\nR1(config)#int

End with CNTL/Z.

loopback 33\r\nR1(config-if)#ip address 3.3.3.3 255.255.255.

,→255\r\nR1(config-if)#end\r\nR1#'

После наследования всех методов родительского класса, дочерний класс может:
• оставить их без изменения
• полностью переписать их
• дополнить метод
• добавить свои методы
В классе CiscoSSH надо создать метод __init__ и добавить к нему параметры:
• enable_password - пароль enable
• disable_paging - отвечает за включение/отключение постраничного вывода команд
Метод __init__ можно создать полностью с нуля, однако базовая логика подключения по
SSH будет одинаковая в ConnectSSH и CiscoSSH, поэтому лучше добавить необходимые параметры, а для подключения, вызвать метод __init__ у класса ConnectSSH. Есть несколько вариантов вызова родительского метода, например, все эти варианты вызовут метод
send_show_command родительского класса из дочернего класса CiscoSSH:
command_result = ConnectSSH.send_show_command(self, command)
command_result = super(CiscoSSH, self).send_show_command(command)
command_result = super().send_show_command(command)
Первый вариант ConnectSSH.send_show_command явно указывает имя родительского класса это самый понятный вариант для восприятия, однако его минус в том, что при смене имени
родительского класса, имя надо будет менять во всех местах, где вызывались методы родительского класса. Также у этого варианта есть минусы, при использовании множественного
наследования. Второй и третий вариант по сути равнозначны, но третий короче, поэтому мы
будем использовать его.

24. Наследование

619

Python для сетевых инженеров, Выпуск 3.0

Класс CiscoSSH с методом __init__:
class CiscoSSH(ConnectSSH):
def __init__(self, ip, username, password, enable_password,
disable_paging=True):
super().__init__(ip, username, password)
self._ssh.send('enable\n')
self._ssh.send(enable_password + '\n')
if disable_paging:
self._ssh.send('terminal length 0\n')
time.sleep(1)
self._ssh.recv(self._MAX_READ)
Метод __init__ в классе CiscoSSH добавил параметры enable_password и disable_paging, и использует их соответственно для перехода в режим enable и отключения постраничного вывода. Пример подключения:
In [10]: r1 = CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco')
In [11]: r1.send_show_command('sh clock')
Out[11]: 'sh clock\r\n*11:30:50.280 UTC Mon Aug 5 2019\r\nR1#'
Теперь при подключении также выполняется переход в режим enable и по умолчанию отключен paging, так что можно попробовать выполнить длинную команду, например sh run.
Еще один метод, который стоит доработать - метод send_config_commands: так как класс
CiscoSSH предназначен для работы с Cisco, можно в добавить в него переход в конфигурационный режим перед командами и выход после.
class CiscoSSH(ConnectSSH):
def __init__(self, ip, username, password, enable_password,
disable_paging=True):
super().__init__(ip, username, password)
self._ssh.send('enable\n')
self._ssh.send(enable_password + '\n')
if disable_paging:
self._ssh.send('terminal length 0\n')
time.sleep(1)
self._ssh.recv(self._MAX_READ)
def config_mode(self):
self._ssh.send('conf t\n')
time.sleep(0.5)
result = self._ssh.recv(self._MAX_READ).decode('ascii')
return result
(continues on next page)

620

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

def exit_config_mode(self):
self._ssh.send('end\n')
time.sleep(0.5)
result = self._ssh.recv(self._MAX_READ).decode('ascii')
return result
def send_config_commands(self, commands):
result = self.config_mode()
result += super().send_config_commands(commands)
result += self.exit_config_mode()
return result
Пример использования метода send_config_commands:
In [12]: r1 = CiscoSSH('192.168.100.1', 'cisco', 'cisco', 'cisco')
In [13]: r1.send_config_commands(['interface loopback 33',
...:

'ip address 3.3.3.3 255.255.255.255'])

Out[13]: 'conf t\r\nEnter configuration commands, one per line.
,→\r\nR1(config)#interface

End with CNTL/Z.

loopback 33\r\nR1(config-if)#ip address 3.3.3.3 255.

,→255.255.255\r\nR1(config-if)#end\r\nR1#'

24. Наследование

621

Python для сетевых инженеров, Выпуск 3.0

Задания
Все задания и вспомогательные файлы можно скачать в репозитории.

Предупреждение: Начиная с раздела «4. Типы данных в Python» для проверки заданий
есть автоматические тесты. Они помогают проверить все ли соответствует поставленной
задаче, а также дают обратный отклик по тому, что не соответствует задаче. Как правило,
после первого периода адаптации к тестам, становится проще делать задания с тестами.
Проверка заданий выполняется с помощью утилиты pyneng. Подробнее о том как работать
с утилитой pyneng.

Задание 24.1
Создать класс CiscoSSH, который наследует класс BaseSSH из файла base_connect_class.py.
Создать метод __init__ в классе CiscoSSH таким образом, чтобы после подключения по SSH
выполнялся переход в режим enable.
Для этого в методе __init__ должен сначала вызываться метод __init__ класса ConnectSSH, а
затем выполняться переход в режим enable.
In [2]: from task_24_1 import CiscoSSH
In [3]: r1 = CiscoSSH(**device_params)
In [4]: r1.send_show_command('sh ip int br')
Out[4]: 'Interface

IP-Address

Protocol\nEthernet0/0

,→

up

,→

up

,→NVRAM

up

,→0.1

up

YES NVRAM

,→10.30.0.1

up

YES NVRAM

up

␣
YES␣

10.100.0.1

\nEthernet0/3.200
\nEthernet0/3.300
up

␣

YES NVRAM ␣

192.168.230.1

up
up

YES NVRAM

\nEthernet0/3.100
up

␣

up

190.16.200.1

\nEthernet0/3

up

YES NVRAM

YES NVRAM

192.168.200.1

\nEthernet0/2

,→up

,→

192.168.100.1

\nEthernet0/1
up

,→

OK? Method Status

␣

10.200.
␣

'

Задание 24.1a
Скопировать и дополнить класс CiscoSSH из задания 24.1.
Перед подключением по SSH необходимо проверить если ли в словаре с параметрами подключения такие параметры: username, password, secret. Если какого-то параметра нет, запро-

622

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

сить значение у пользователя, а затем выполнять подключение. Если все параметры есть,
выполнить подключение.
In [1]: from task_24_1a import CiscoSSH
In [2]: device_params = {
...:

'device_type': 'cisco_ios',

...:

'host': '192.168.100.1',

...: }
In [3]: r1 = CiscoSSH(**device_params)
Введите имя пользователя: cisco
Введите пароль: cisco
Введите пароль для режима enable: cisco
In [4]: r1.send_show_command('sh ip int br')
Out[4]: 'Interface

IP-Address

Protocol\nEthernet0/0

,→

up

,→

up

up

,→NVRAM

up

YES NVRAM

up

,→10.30.0.1

up

␣
up

␣

YES NVRAM ␣
YES␣

10.100.0.1

\nEthernet0/3.200
up

YES NVRAM

up

192.168.230.1

\nEthernet0/3.100

up

YES NVRAM

␣

YES NVRAM

190.16.200.1

\nEthernet0/3

up

,→0.1

YES NVRAM

192.168.200.1

\nEthernet0/2

,→up

,→

192.168.100.1

\nEthernet0/1

,→

OK? Method Status

10.200.

\nEthernet0/3.300

up

up

␣
␣

'

Задание 24.2
Создать класс MyNetmiko, который наследует класс CiscoIosSSH из netmiko.
Переписать метод __init__ в классе MyNetmiko таким образом, чтобы после подключения по
SSH выполнялся переход в режим enable.
Для этого в методе __init__ должен сначала вызываться метод __init__ класса CiscoIosBase, а
затем выполнялся переход в режим enable.
Проверить, что в классе MyNetmiko доступны методы send_command и send_config_set (они
наследуются автоматически, это только для проверки).
In [2]: from task_24_2 import MyNetmiko
In [3]: r1 = MyNetmiko(**device_params)
In [4]: r1.send_command('sh ip int br')
Out[4]: 'Interface
,→

IP-Address

Protocol\nEthernet0/0
up

,→

,→ Наследование
24.
,→up
,→NVRAM

\nEthernet0/1
up

up

up

YES NVRAM

190.16.200.1

\nEthernet0/3
\nEthernet0/3.100

␣

(continues
YES NVRAM
up on next page)
␣

192.168.200.1

\nEthernet0/2
up

OK? Method Status

192.168.100.1

up

␣

YES NVRAM 623
␣

192.168.230.1

YES␣

10.100.0.1

␣

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Импорт класса CiscoIosSSH:
from netmiko.cisco.cisco_ios import CiscoIosSSH

device_params = {
"device_type": "cisco_ios",
"ip": "192.168.100.1",
"username": "cisco",
"password": "cisco",
"secret": "cisco",
}

Задание 24.2a
Скопировать и дополнить класс MyNetmiko из задания 24.2.
Добавить метод _check_error_in_command, который выполняет проверку на такие ошибки:
• Invalid input detected
• Incomplete command
• Ambiguous command
Метод ожидает как аргумент команду и вывод команды. Если в выводе не обнаружена ошибка, метод ничего не возвращает. Если в выводе найдена ошибка, метод генерирует исключение ErrorInCommand с сообщением о том какая ошибка была обнаружена, на каком устройстве и в какой команде.
Переписать метод send_command netmiko, добавив в него проверку на ошибки.
In [2]: from task_24_2a import MyNetmiko
In [3]: r1 = MyNetmiko(**device_params)
In [4]: r1.send_command('sh ip int br')
Out[4]: 'Interface

IP-Address

Protocol\nEthernet0/0

,→

up

,→

up

up

,→NVRAM

YES NVRAM

,→10.30.0.1

624

up
up
up

YES NVRAM

␣
up

␣

YES NVRAM ␣
YES␣

10.100.0.1

\nEthernet0/3.200
up

up

up

192.168.230.1

\nEthernet0/3.100
up

YES NVRAM

␣

YES NVRAM

190.16.200.1

\nEthernet0/3

up

,→0.1

YES NVRAM

192.168.200.1

\nEthernet0/2

,→up

,→

192.168.100.1

\nEthernet0/1

,→

OK? Method Status

␣

10.200.
(continues on next page)

\nEthernet0/3.300
up

␣

'

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [5]: r1.send_command('sh ip br')
--------------------------------------------------------------------------ErrorInCommand

Traceback (most recent call last)

in ()
----> 1 r1.send_command('sh ip br')
...
ErrorInCommand: При выполнении команды "sh ip br" на устройстве 192.168.100.1␣
,→возникла

ошибка "Invalid input detected at '^' marker."

Исключение ErrorInCommand:
class ErrorInCommand(Exception):
"""
Исключение генерируется, если при выполнении команды на оборудовании,␣
,→возникла

ошибка.

"""

Задание 24.2b
Скопировать класс MyNetmiko из задания 24.2a.
Дополнить функционал метода send_config_set netmiko и добавить в него проверку на ошибки
с помощью метода _check_error_in_command.
Метод send_config_set должен отправлять команды по одной и проверять каждую на ошибки. Если при выполнении команд не обнаружены ошибки, метод send_config_set возвращает
вывод команд.
In [2]: from task_24_2b import MyNetmiko
In [3]: r1 = MyNetmiko(**device_params)
In [4]: r1.send_config_set('lo')
--------------------------------------------------------------------------ErrorInCommand

Traceback (most recent call last)

in ()
----> 1 r1.send_config_set('lo')
...
ErrorInCommand: При выполнении команды "lo" на устройстве 192.168.100.1 возникла␣
,→ошибка

"Incomplete command."

24. Наследование

625

Python для сетевых инженеров, Выпуск 3.0

Задание 24.2c
Скопировать класс MyNetmiko из задания 24.2b. Проверить, что метод send_command кроме
команду, принимает еще и дополнительные аргументы, например, strip_command.
Если возникает ошибка, переделать метод таким образом, чтобы он принимал любые аргументы, которые поддерживает netmiko.
In [2]: from task_24_2c import MyNetmiko
In [3]: r1 = MyNetmiko(**device_params)
In [4]: r1.send_command('sh ip int br', strip_command=False)
Out[4]: 'sh ip int br\nInterface
,→Status
,→NVRAM
,→

up

up

YES NVRAM

,→200.1

up

up

YES NVRAM

,→200

up

10.200.0.1

,→up

␣

\nEthernet0/3.100

up

up

YES NVRAM

,→\nEthernet0/3.300

190.16.

\nEthernet0/3
up

YES NVRAM

up
YES NVRAM

␣

\nEthernet0/3.

up

10.30.0.1

YES␣

192.168.200.1␣

\nEthernet0/2

up

10.100.0.1

OK? Method␣
192.168.100.1

\nEthernet0/1

up

YES NVRAM

,→192.168.230.1
,→

IP-Address

Protocol\nEthernet0/0

␣

up

␣

'

In [5]: r1.send_command('sh ip int br', strip_command=True)
Out[5]: 'Interface

IP-Address

Protocol\nEthernet0/0

,→

up

,→

up

up

,→NVRAM

up

YES NVRAM

up

,→10.30.0.1

up

YES NVRAM

up

up

\nEthernet0/3.300
up

␣
YES␣

10.100.0.1

\nEthernet0/3.200
up

␣
up

YES NVRAM ␣

192.168.230.1

\nEthernet0/3.100
up

YES NVRAM

␣

YES NVRAM

190.16.200.1

\nEthernet0/3

up

,→0.1

YES NVRAM

192.168.200.1

\nEthernet0/2

,→up

,→

192.168.100.1

\nEthernet0/1

,→

OK? Method Status

␣

10.200.
␣

'

Задание 24.2d
Скопировать класс MyNetmiko из задания 24.2c или задания 24.2b.
Добавить параметр ignore_errors в метод send_config_set. Если передано истинное значение,
не надо выполнять проверку на ошибки и метод должен работать точно так же как метод
send_config_set в netmiko. Если значение ложное, ошибки должны проверяться.
По умолчанию ошибки должны игнорироваться.

626

Глава 8. VI. Основы объектно-ориентированного программирования

Python для сетевых инженеров, Выпуск 3.0

In [2]: from task_24_2d import MyNetmiko
In [3]: r1 = MyNetmiko(**device_params)
In [6]: r1.send_config_set('lo')
Out[6]: 'config term\nEnter configuration commands, one per line.
,→Z.\nR1(config)#lo\n%

End with CNTL/

Incomplete command.\n\nR1(config)#end\nR1#'

In [7]: r1.send_config_set('lo', ignore_errors=True)
Out[7]: 'config term\nEnter configuration commands, one per line.
,→Z.\nR1(config)#lo\n%

End with CNTL/

Incomplete command.\n\nR1(config)#end\nR1#'

In [8]: r1.send_config_set('lo', ignore_errors=False)
--------------------------------------------------------------------------ErrorInCommand

Traceback (most recent call last)

in ()
----> 1 r1.send_config_set('lo', ignore_errors=False)
...
ErrorInCommand: При выполнении команды "lo" на устройстве 192.168.100.1 возникла␣
,→ошибка

"Incomplete command."

24. Наследование

627

Python для сетевых инженеров, Выпуск 3.0

628

Глава 8. VI. Основы объектно-ориентированного программирования

9
VII. Работа с базами данных

629

Python для сетевых инженеров, Выпуск 3.0

25. Работа с базами данных
Использование баз данных - это еще один способ хранения информации. Базы данных полезны не только в хранении информации. Используя СУБД, можно делать срезы информации по
различным параметрам.
База данных (БД) - это данные, которые хранятся в соответствии с определенной схемой.
В этой схеме каким-то образом описаны соотношения между данными.
Язык БД (лингвистические средства) - используется для описания структуры БД, управления данными (добавление, изменение, удаление, получение), управления правами доступа к
БД и ее объектам, управления транзакциями.
Система управления базами данных (СУБД) - это программные средства, которые дают
возможность управлять БД. СУБД должны поддерживать соответствующий язык (языки) для
управления БД.

SQL
SQL (structured query language) - используется для описания структуры БД, управления
данными (добавление, изменение, удаление, получение), управления правами доступа к БД
и ее объектам, управления транзакциями.
Язык SQL подразделяется на такие категории:
• DDL (Data Definition Language) - язык описания данных
• DML (Data Manipulation Language) - язык манипулирования данными
• DCL (Data Control Language) - язык определения доступа к данным
• TCL (Transaction Control Language) - язык управления транзакциями
В каждой категории есть свои операторы (перечислены не все операторы):
• DDL
– CREATE - создание новой таблицы, СУБД, схемы
– ALTER - изменение существующей таблицы, колонки
– DROP - удаление существующих объектов из СУБД
• DML
– SELECT - выбор данных
– INSERT - добавление новых данных
– UPDATE - обновление существующих данных
– DELETE - удаление данных

630

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

• DCL
– GRANT - предоставление пользователям разрешения на чтение/запись определенных объектов в СУБД
– REVOKE - отзыв ранее предоставленных разрешений
• TCL
– COMMIT - применение транзакции
– ROLLBACK - откат всех изменений, сделанных в текущей транзакции

SQL и Python
Для работы с реляционной СУБД в Python можно использовать два подхода:
• работать с библиотекой, которая соответствует конкретной СУБД, и использовать для
работы с БД язык SQL. Например, для работы с SQLite используется модуль sqlite3
• работать с ORM, которая использует объектно-ориентированный подход для работы с
БД. Например, SQLAlchemy

SQLite
SQLite — встраиваемая в процесс реализация SQL-машины. SQLite часто используется как
встроенная СУБД в приложениях.

Примечание: Слово SQL-сервер здесь не используем, потому что как таковой сервер там не
нужен — весь функционал, который встраивается в SQL-сервер, реализован внутри библиотеки (и, соответственно, внутри программы, которая её использует).

SQLite CLI
В комплекте поставки SQLite идёт также утилита для работы с SQLite в командной строке.
Утилита представлена в виде исполняемого файла sqlite3 (sqlite3.exe для Windows), и с ее
помощью можно вручную выполнять команды SQL.
С помощью этой утилиты очень удобно проверять правильность команд SQL, а также в целом
знакомиться с языком SQL.
Попробуем с помощью этой утилиты разобраться с базовыми командами SQL, которые понадобятся для работы с БД.
Для начала разберемся, как создавать БД.

25. Работа с базами данных

631

Python для сетевых инженеров, Выпуск 3.0

Примечание: Если вы используете Linux или Mac OS, то, скорее всего, sqlite3 установлен.
Если вы используете Windows, то можно скачать sqlite3 тут.

Для того, чтобы создать БД (или открыть уже созданную), надо просто вызвать sqlite3 таким
образом:
$ sqlite3 testDB.db
SQLite version 3.8.7.1 2014-10-29 13:59:56
Enter ".help" for usage hints.
sqlite>
Внутри sqlite3 можно выполнять команды SQL или так называемые метакоманды (или dotкоманды).
К метакомандам относятся несколько специальных команд для работы с SQLite. Они относятся только к утилите sqlite3, а не к SQL языку. В конце этих команд ; ставить не нужно.
Примеры метакоманд:
• .help - подсказка со списком всех метакоманд
• .exit или .quit - выход из сессии sqlite3
• .databases - показывает присоединенные БД
• .tables - показывает доступные таблицы
Примеры выполнения:
sqlite> .help
.backup ?DB? FILE

Backup DB (default "main") to FILE

.bail ON|OFF

Stop after hitting an error.

.databases

List names and files of attached databases

Default OFF

...
sqlite> .databases
seq

name

file

---

--------

----------------------------------

0

main

/home/nata/py_for_ne/db/db_article/testDB.db

litecli
У стандартного CLI-интерфейса SQLite есть несколько недостатков:
• нет автодополнения команд
• нет подсказок

632

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

• не всегда отображается все содержимое столбца
Все эти недостатки исправлены в litecli. Поэтому лучше использовать его.
Установка litecli:
$ pip install litecli
Открыть базу данных в litecli:
$ litecli example.db
Version: 1.0.0
Mail: https://groups.google.com/forum/#!forum/litecli-users
Github: https://github.com/dbcli/litecli
example.db>

Основы SQL (в sqlite3 CLI)
В этом разделе рассматривается синтаксис языка SQL.
Если вы знакомы с базовым синтаксисом SQL, этот раздел можно пропустить и сразу перейти
к разделу Модуль sqlite3

CREATE
Оператор CREATE позволяет создавать таблицы.
Сначала подключимся к базе данных или создадим ее с помощью litecli:
$ litecli new_db.db
Version: 1.0.0
Mail: https://groups.google.com/forum/#!forum/litecli-users
Github: https://github.com/dbcli/litecli
new_db.db>
Создадим таблицу switch, в которой хранится информация о коммутаторах:
new_db.db> create table switch (mac text not NULL primary key, hostname text,␣
,→model

text, location text);

Query OK, 0 rows affected
Time: 0.010s
В данном примере мы описали таблицу switch: определили, какие поля будут в таблице, и
значения какого типа будут в них находиться.
Кроме того, поле mac является первичным ключом. Это автоматически значит, что:

25. Работа с базами данных

633

Python для сетевых инженеров, Выпуск 3.0

• поле должно быть уникальным
• в нём не может находиться значение NULL (в SQLite это надо задавать явно)
В этом примере это вполне логично, так как MAC-адрес должен быть уникальным.
На данный момент записей в таблице нет, есть только ее определение. Просмотреть определение можно такой командой:
new_db.db> .schema switch
+--------------------------------------------------------------------------------,→--------------+

| sql

␣
|

,→

+--------------------------------------------------------------------------------,→--------------+

| CREATE TABLE switch (mac text not NULL primary key, hostname text, model text,␣
,→location

text) |

+--------------------------------------------------------------------------------,→--------------+

Time: 0.037s

DROP
Оператор DROP удаляет таблицу вместе со схемой и всеми данными.
Удалить таблицу можно так:
new_db.db> DROP table switch;
You're about to run a destructive command.
Do you want to proceed? (y/n): y
Your call!
Query OK, 0 rows affected
Time: 0.009s

INSERT
Оператор INSERT используется для добавления данных в таблицу.

Примечание: Если таблица была удалена на предыдущем шаге, надо ее создать:
new_db.db> create table switch (mac text not NULL primary key, hostname text,␣
,→model

text, location text);

Query OK, 0 rows affected
(continues on next page)

634

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Time: 0.010s

Есть несколько вариантов добавления записей, в зависимости от того, все ли поля будут
заполнены, и будут ли они идти по порядку определения полей или нет.
Если указываются значения для всех полей, добавить запись можно таким образом (порядок
полей должен соблюдаться):
new_db.db> INSERT into switch values ('0010.A1AA.C1CC', 'sw1', 'Cisco 3750',
,→'London,

Green Str');

Query OK, 1 row affected
Time: 0.008s
Если нужно указать не все поля или указать их в произвольном порядке, используется такая
запись:
new_db.db> INSERT into switch (mac, model, location, hostname) values ('0020.A2AA.
,→C2CC',

'Cisco 3850', 'London, Green Str', 'sw2');

Query OK, 1 row affected
Time: 0.009s

SELECT
Оператор SELECT позволяет запрашивать информацию в таблице.
Например:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0010.A1AA.C1CC | sw1

| Cisco 3750 | London, Green Str |

| 0020.A2AA.C2CC | sw2

| Cisco 3850 | London, Green Str |

+----------------+----------+------------+-------------------+
2 rows in set
Time: 0.033s
SELECT * означает, что нужно вывести все поля таблицы. Следом указывается, из какой таблицы запрашиваются данные: from switch.
Таким образом можно указывать конкретные столбцы, которые нужно вывести и в каком
порядке:

25. Работа с базами данных

635

Python для сетевых инженеров, Выпуск 3.0

new_db.db> SELECT hostname, mac, model from switch;
+----------+----------------+------------+
| hostname | mac

| model

|

+----------+----------------+------------+
| sw1

| 0010.A1AA.C1CC | Cisco 3750 |

| sw2

| 0020.A2AA.C2CC | Cisco 3850 |

+----------+----------------+------------+
2 rows in set
Time: 0.033s

WHERE
Оператор WHERE используется для уточнения запроса. С помощью этого оператора можно
указывать определенные условия, по которым отбираются данные. Если условие выполнено,
возвращается соответствующее значение из таблицы, если нет - не возвращается.
Сейчас в таблице switch всего две записи:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0010.A1AA.C1CC | sw1

| Cisco 3750 | London, Green Str |

| 0020.A2AA.C2CC | sw2

| Cisco 3850 | London, Green Str |

+----------------+----------+------------+-------------------+
2 rows in set
Time: 0.033s
Чтобы в таблице было больше записей, надо создать еще несколько строк. В litecli есть команда source, которая позволяет загружать команды SQL из файла.
Для добавления записей заготовлен файл add_rows_to_testdb.txt:
INSERT into switch values ('0030.A3AA.C1CC', 'sw3', 'Cisco 3750', 'London, Green␣
,→Str');

INSERT into switch values ('0040.A4AA.C2CC', 'sw4', 'Cisco 3850', 'London, Green␣
,→Str');

INSERT into switch values ('0050.A5AA.C3CC', 'sw5', 'Cisco 3850', 'London, Green␣
,→Str');

INSERT into switch values ('0060.A6AA.C4CC', 'sw6', 'C3750', 'London, Green Str');
INSERT into switch values ('0070.A7AA.C5CC', 'sw7', 'Cisco 3650', 'London, Green␣
,→Str');

Для загрузки команд из файла надо выполнить команду:

636

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

new_db.db> source add_rows_to_testdb.txt
Query OK, 1 row affected
Time: 0.023s
Query OK, 1 row affected
Time: 0.002s
Query OK, 1 row affected
Time: 0.003s
Query OK, 1 row affected
Time: 0.002s
Query OK, 1 row affected
Time: 0.002s
Теперь таблица switch выглядит так:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0010.A1AA.C1CC | sw1

| Cisco 3750 | London, Green Str |

| 0020.A2AA.C2CC | sw2

| Cisco 3850 | London, Green Str |

| 0030.A3AA.C1CC | sw3

| Cisco 3750 | London, Green Str |

| 0040.A4AA.C2CC | sw4

| Cisco 3850 | London, Green Str |

| 0050.A5AA.C3CC | sw5

| Cisco 3850 | London, Green Str |

| 0060.A6AA.C4CC | sw6

| C3750

| 0070.A7AA.C5CC | sw7

| Cisco 3650 | London, Green Str |

| London, Green Str |

+----------------+----------+------------+-------------------+
7 rows in set
Time: 0.040s
С помощью оператора WHERE можно показать только те коммутаторы, модель которых 3850:
new_db.db> SELECT * from switch WHERE model = 'Cisco 3850';
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0020.A2AA.C2CC | sw2

| Cisco 3850 | London, Green Str |

| 0040.A4AA.C2CC | sw4

| Cisco 3850 | London, Green Str |

| 0050.A5AA.C3CC | sw5

| Cisco 3850 | London, Green Str |

+----------------+----------+------------+-------------------+
3 rows in set
(continues on next page)

25. Работа с базами данных

637

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Time: 0.033s
Оператор WHERE позволяет указывать не только конкретное значение поля. Если добавить
к нему оператор LIKE, можно указывать шаблон поля.
LIKE с помощью символов _ и % указывает, на что должно быть похоже значение:
• _ - обозначает один символ или число
• % - обозначает ноль, один или много символов
Например, если поле model записано в разном формате, с помощью предыдущего запроса не
получится вывести нужные коммутаторы.
Например, у коммутатора sw6 поле model записано в таком формате: C3750, а у коммутаторов
sw1 и sw3 в таком: Cisco 3750.
В таком варианте запрос с оператором WHERE не покажет sw6:
new_db.db> SELECT * from switch WHERE model = 'Cisco 3750';
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0010.A1AA.C1CC | sw1

| Cisco 3750 | London, Green Str |

| 0030.A3AA.C1CC | sw3

| Cisco 3750 | London, Green Str |

+----------------+----------+------------+-------------------+
2 rows in set
Time: 0.037s
Если вместе с оператором WHERE использовать оператор LIKE:
new_db.db> SELECT * from switch WHERE model LIKE '%3750';
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0010.A1AA.C1CC | sw1

| Cisco 3750 | London, Green Str |

| 0030.A3AA.C1CC | sw3

| Cisco 3750 | London, Green Str |

| 0060.A6AA.C4CC | sw6

| C3750

| London, Green Str |

+----------------+----------+------------+-------------------+
3 rows in set
Time: 0.040s

ALTER
Оператор ALTER позволяет менять существующую таблицу: добавлять новые колонки или
переименовывать таблицу.

638

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

Добавим в таблицу новые поля:
• mngmt_ip - IP-адрес коммутатора в менеджмент VLAN
• mngmt_vid - VLAN ID (номер VLAN) для менеджмент VLAN
Добавление записей с помощью команды ALTER:
new_db.db> ALTER table switch ADD COLUMN mngmt_ip text;
You're about to run a destructive command.
Do you want to proceed? (y/n): y
Your call!
Query OK, 0 rows affected
Time: 0.009s
new_db.db> ALTER table switch ADD COLUMN mngmt_vid integer;
You're about to run a destructive command.
Do you want to proceed? (y/n): y
Your call!
Query OK, 0 rows affected
Time: 0.010s
Теперь таблица выглядит так (новые поля установлены в значение NULL):
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+----------+--------,→--+

| mac
,→vid

| hostname | model

| location

| mngmt_ip | mngmt_

|

+----------------+----------+------------+-------------------+----------+--------,→--+

| 0010.A1AA.C1CC | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

| ␣

| Cisco 3850 | London, Green Str |

| ␣

| Cisco 3850 | London, Green Str |

| ␣

| C3750

| London, Green Str |

| ␣

| Cisco 3650 | London, Green Str |

| ␣

|

| 0070.A7AA.C5CC | sw7
,→

| Cisco 3750 | London, Green Str |

|

| 0060.A6AA.C4CC | sw6
,→

| ␣

|

| 0050.A5AA.C3CC | sw5
,→

| Cisco 3850 | London, Green Str |

|

| 0040.A4AA.C2CC | sw4
,→

| ␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3750 | London, Green Str |

|

|

+----------------+----------+------------+-------------------+----------+--------,→--+

25. Работа с базами данных

(continues on next page)

639

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

7 rows in set
Time: 0.034s

UPDATE
Оператор UPDATE используется для изменения существующей записи таблицы.
Обычно, UPDATE используется вместе с оператором WHERE, чтобы уточнить, какую именно
запись необходимо изменить.
С помощью UPDATE можно заполнить новые столбцы в таблице.
Например, добавить IP-адрес для коммутатора sw1:
new_db.db> UPDATE switch set mngmt_ip = '10.255.1.1' WHERE hostname = 'sw1';
Query OK, 1 row affected
Time: 0.009s
Теперь таблица выглядит так:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.A1AA.C1CC | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str |

|

| Cisco 3850 | London, Green Str |

|

| C3750

| London, Green Str |

|

| Cisco 3650 | London, Green Str |

|

|

| 0070.A7AA.C5CC | sw7
,→

|

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3750 | London, Green Str |

|

| 0050.A5AA.C3CC | sw5
,→

|

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str |

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3750 | London, Green Str | 10.255.1.1 |

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
(continues on next page)

640

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Time: 0.035s
Аналогичным образом можно изменить и номер VLAN:
new_db.db> UPDATE switch set mngmt_vid = 255 WHERE hostname = 'sw1';
Query OK, 1 row affected
Time: 0.009s
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.A1AA.C1CC | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

|

| Cisco 3850 | London, Green Str |

|

| Cisco 3850 | London, Green Str |

|

| C3750

|London, Green Str |

|

| Cisco 3650 | London, Green Str |

|

|

| 0070.A7AA.C5CC | sw7
,→

| Cisco 3750 | London, Green Str |

|

| 0060.A6AA.C4CC | sw6
,→

|

|

| 0050.A5AA.C3CC | sw5
,→

| Cisco 3850 | London, Green Str |

|

| 0040.A4AA.C2CC | sw4
,→

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3750 | London, Green Str | 10.255.1.1 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.037s
Можно изменить несколько полей за раз:
new_db.db> UPDATE switch set mngmt_ip = '10.255.1.2', mngmt_vid = 255 WHERE␣
,→hostname

= 'sw2'

Query OK, 1 row affected
Time: 0.009s
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

25. Работа с базами данных

(continues on next page)

641

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.A1AA.C1CC | sw1
,→

| Cisco 3850 | London, Green Str |

|

| Cisco 3850 | London, Green Str |

|

| C3750

| London, Green Str |

|

| Cisco 3650 | London, Green Str |

|

|

| 0070.A7AA.C5CC | sw7
,→

|

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3750 | London, Green Str |

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0030.A3AA.C1CC | sw3
,→

␣

|

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3750 | London, Green Str | 10.255.1.1 | 255

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.033s
Чтобы не заполнять поля mngmt_ip и mngmt_vid вручную, заполним остальное из файла
update_fields_in_testdb.txt (команда source update_fields_in_testdb.txt):
UPDATE switch set mngmt_ip = '10.255.1.3', mngmt_vid = 255 WHERE hostname = 'sw3';
UPDATE switch set mngmt_ip = '10.255.1.4', mngmt_vid = 255 WHERE hostname = 'sw4';
UPDATE switch set mngmt_ip = '10.255.1.5', mngmt_vid = 255 WHERE hostname = 'sw5';
UPDATE switch set mngmt_ip = '10.255.1.6', mngmt_vid = 255 WHERE hostname = 'sw6';
UPDATE switch set mngmt_ip = '10.255.1.7', mngmt_vid = 255 WHERE hostname = 'sw7';
После загрузки команд таблица выглядит так:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.A1AA.C1CC | sw1
,→

| Cisco 3750 | London, Green Str | 10.255.1.1 | 255

␣

|
(continues on next page)

642

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0020.A2AA.C2CC | sw2
,→

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

|

| 0070.A7AA.C5CC | sw7
,→

␣

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3750 | London, Green Str | 10.255.1.3 | 255

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.038s
Теперь предположим, что sw1 был заменен с модели 3750 на модель 3850. Соответственно,
изменилось не только поле модель, но и поле MAC-адрес.
Внесение изменений:
new_db.db> UPDATE switch set model = 'Cisco 3850', mac = '0010.D1DD.E1EE' WHERE␣
,→hostname

= 'sw1';

Query OK, 1 row affected
Time: 0.009s
Результат будет таким:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

␣

| Cisco 3750 | London, Green Str | 10.255.1.3 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

|

| 0040.A4AA.C2CC | sw4
,→

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|
(continues on next page)

25. Работа с базами данных

643

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0050.A5AA.C3CC | sw5

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

|

,→

| 0060.A6AA.C4CC | sw6
|

,→

| 0070.A7AA.C5CC | sw7
|

,→

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.049s

REPLACE
Оператор REPLACE используется для добавления или замены данных в таблице.

Примечание: Оператор REPLACE может поддерживаться не во всех СУБД.

Когда возникает нарушение условия уникальности поля, выражение с оператором REPLACE:
• удаляет существующую строку, которая вызвала нарушение
• добавляет новую строку
Пример нарушения правила уникальности:
new_db.db> INSERT INTO switch VALUES ('0030.A3AA.C1CC', 'sw3', 'Cisco 3850',
,→'London,

Green Str', '10.255.1.3', 255);

UNIQUE constraint failed: switch.mac
У выражения REPLACE есть два вида:
new_db.db> INSERT OR REPLACE INTO switch VALUES ('0030.A3AA.C1CC', 'sw3', 'Cisco␣
,→3850',

'London, Green Str', '10.255.1.3', 255);

Query OK, 1 row affected
Time: 0.010s
Или более короткий вариант:
new_db.db> REPLACE INTO switch VALUES ('0030.A3AA.C1CC', 'sw3', 'Cisco 3850',
,→'London,

Green Str', '10.255.1.3', 255);

Query OK, 1 row affected
Time: 0.009s
Результатом любой из этих команд будет замена модели коммутатора sw3:
644

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

␣

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

|

| 0070.A7AA.C5CC | sw7
,→

␣

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

В данном случае MAC-адрес в новой записи совпадает с уже существующей, поэтому происходит замена.

Примечание: Если были указаны не все поля, в новой записи будут только те поля, которые
были указаны. Это связано с тем, что REPLACE сначала удаляет существующую запись.

При добавлении записи, для которой не возникает нарушения уникальности поля, REPLACE
работает как обычный INSERT:
new_db.db> REPLACE INTO switch VALUES ('0080.A8AA.C8CC', 'sw8', 'Cisco 3850',
,→'London,

Green Str', '10.255.1.8', 255);

Query OK, 1 row affected
Time: 0.009s
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|
(continues on next page)

25. Работа с базами данных

645

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.8 | 255

␣

|

| 0080.A8AA.C8CC | sw8
,→

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

|

| 0070.A7AA.C5CC | sw7
,→

␣

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

8 rows in set
Time: 0.034s

DELETE
Оператор DELETE используется для удаления записей. Как правило, он используется вместе
с оператором WHERE.
Например, таблица switch выглядит так:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

646

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

|

| 0040.A4AA.C2CC | sw4
,→

␣

|

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

(continues on next page)

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0050.A5AA.C3CC | sw5
,→

| 0060.A6AA.C4CC | sw6
,→

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.8 | 255

␣

|

| 0080.A8AA.C8CC | sw8
,→

| C3750

|

| 0030.A3AA.C1CC | sw3
,→

␣

|

| 0070.A7AA.C5CC | sw7
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

8 rows in set
Time: 0.033s
Удаление информации про коммутатор sw8 выполняется таким образом:
new_db.db> DELETE from switch where hostname = 'sw8';
You're about to run a destructive command.
Do you want to proceed? (y/n): y
Your call!
Query OK, 1 row affected
Time: 0.008s
Теперь в таблице нет строки с коммутатором sw8:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

␣

|

| 0060.A6AA.C4CC | sw6
,→

␣

|

| 0050.A5AA.C3CC | sw5
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0040.A4AA.C2CC | sw4
,→

␣

|

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

| London, Green Str | 10.255.1.6 | 255

|
(continues on next page)

25. Работа с базами данных

647

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0070.A7AA.C5CC | sw7
,→

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|
|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.039s

ORDER BY
Оператор ORDER BY используется для сортировки вывода по определенному полю, по возрастанию или убыванию. Для этого он добавляется к оператору SELECT.
Если выполнить простой запрос SELECT, вывод будет таким:
new_db.db> SELECT * from switch;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|

| 0030.A3AA.C1CC | sw3
,→

␣

|

| 0070.A7AA.C5CC | sw7
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

|

| 0060.A6AA.C4CC | sw6
,→

␣

|

| 0050.A5AA.C3CC | sw5
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0040.A4AA.C2CC | sw4
,→

␣

|

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.039s
С помощью оператора ORDER BY можно вывести записи в таблице switch, отсортировав их по

648

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

имени коммутаторов:
new_db.db> SELECT * from switch ORDER BY hostname ASC;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

|

| 0070.A7AA.C5CC | sw7
,→

␣

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0030.A3AA.C1CC | sw3
,→

␣

|

| 0020.A2AA.C2CC | sw2
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.034s
По умолчанию сортировка выполняется по возрастанию, поэтому в запросе можно было не
указывать параметр ASC:
new_db.db> SELECT * from switch ORDER BY hostname;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

␣

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|
(continues on next page)

25. Работа с базами данных

649

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0040.A4AA.C2CC | sw4
,→

| 0050.A5AA.C3CC | sw5
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

|

| 0070.A7AA.C5CC | sw7
,→

␣

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.034s
Сортировка по IP-адресу по убыванию:
SELECT * from switch ORDER BY mngmt_ip DESC;
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0070.A7AA.C5CC | sw7
,→

␣

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

␣

|

| 0010.D1DD.E1EE | sw1
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

|

| 0020.A2AA.C2CC | sw2
,→

␣

|

| 0030.A3AA.C1CC | sw3
,→

| London, Green Str | 10.255.1.6 | 255

|

| 0040.A4AA.C2CC | sw4
,→

| C3750

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0060.A6AA.C4CC | sw6
,→

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

|

+----------------+----------+------------+-------------------+------------+------,→----+

7 rows in set
Time: 0.034s

650

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

AND
Оператор AND позволяет группировать несколько условий:
new_db.db> select * from switch where model = 'Cisco 3850' and mngmt_ip LIKE '10.
,→255.%';

+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

␣

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

|

| 0050.A5AA.C3CC | sw5
,→

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

5 rows in set
Time: 0.034s

OR
Оператор OR:
new_db.db> select * from switch where model LIKE '%3750' or model LIKE '%3850';
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

␣

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|

25. Работа с базами данных

(continues on next page)

651

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0050.A5AA.C3CC | sw5
,→

| 0060.A6AA.C4CC | sw6
,→

␣

| C3750

| London, Green Str | 10.255.1.6 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

6 rows in set
Time: 0.046s

IN
Оператор IN:
new_db.db> select * from switch where model in ('Cisco 3750', 'C3750');
+----------------+----------+-------+-------------------+------------+-----------+
| mac

| hostname | model | location

| mngmt_ip

| mngmt_vid |

+----------------+----------+-------+-------------------+------------+-----------+
| 0060.A6AA.C4CC | sw6

| C3750 | London, Green Str | 10.255.1.6 | 255

|

+----------------+----------+-------+-------------------+------------+-----------+
1 row in set
Time: 0.034s

NOT
Оператор NOT:
new_db.db> select * from switch where model not in ('Cisco 3750', 'C3750');
+----------------+----------+------------+-------------------+------------+------,→----+

| mac
,→vid

| hostname | model

| location

| mngmt_ip

| mngmt_

|

+----------------+----------+------------+-------------------+------------+------,→----+

| 0010.D1DD.E1EE | sw1
,→

| 0020.A2AA.C2CC | sw2
,→

␣

| Cisco 3850 | London, Green Str | 10.255.1.2 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.4 | 255

␣

|

| 0040.A4AA.C2CC | sw4
,→

| Cisco 3850 | London, Green Str | 10.255.1.1 | 255

|

|
(continues on next page)

652

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

| 0050.A5AA.C3CC | sw5
,→

| 0070.A7AA.C5CC | sw7
,→

␣

| Cisco 3650 | London, Green Str | 10.255.1.7 | 255

␣

| Cisco 3850 | London, Green Str | 10.255.1.3 | 255

␣

|

| 0030.A3AA.C1CC | sw3
,→

| Cisco 3850 | London, Green Str | 10.255.1.5 | 255

|

|

+----------------+----------+------------+-------------------+------------+------,→----+

6 rows in set
Time: 0.037s

Модуль sqlite3
Для работы с SQLite в Python используется модуль sqlite3.
Объект Connection - это подключение к конкретной БД. Можно сказать, что этот объект
представляет БД.
Пример создания подключения:
import sqlite3
connection = sqlite3.connect('dhcp_snooping.db')
После создания соединения надо создать объект Cursor - это основной способ работы с БД.
Создается курсор из соединения с БД:
connection = sqlite3.connect('dhcp_snooping.db')
cursor = connection.cursor()

Выполнение команд SQL
Для выполнения команд SQL в модуле есть несколько методов:
• execute - метод для выполнения одного выражения SQL
• executemany - метод позволяет выполнить одно выражение SQL для последовательности
параметров (или для итератора)
• executescript - метод позволяет выполнить несколько выражений SQL за один раз

25. Работа с базами данных

653

Python для сетевых инженеров, Выпуск 3.0

Метод execute
Метод execute позволяет выполнить одну команду SQL.
Сначала надо создать соединение и курсор:
In [1]: import sqlite3
In [2]: connection = sqlite3.connect('sw_inventory.db')
In [3]: cursor = connection.cursor()
Создание таблицы switch с помощью метода execute:
In [4]: cursor.execute("create table switch (mac text not NULL primary key,␣
,→hostname

text, model text, location text)")

Out[4]:
Выражения SQL могут быть параметризированы - вместо данных можно подставлять специальные значения. За счет этого можно использовать одну и ту же команду SQL для передачи
разных данных.
Например, таблицу switch нужно заполнить данными из списка data:
In [5]: data = [
...: ('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
...: ('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
...: ('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
...: ('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]
Для этого можно использовать запрос вида:
In [6]: query = "INSERT into switch values (?, ?, ?, ?)"
Знаки вопроса в команде используются для подстановки данных, которые будут передаваться методу execute.
Теперь можно передать данные таким образом:
In [7]: for row in data:
...:

cursor.execute(query, row)

...:
Второй аргумент, который передается методу execute, должен быть кортежем. Если нужно
передать кортеж с одним элементом, используется запись (value, ).
Чтобы изменения были применены, нужно выполнить commit (обратите внимание, что метод
commit вызывается у соединения):
654

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

In [8]: connection.commit()
Теперь при запросе из командной строки sqlite3, можно увидеть эти строки в таблице switch:
$ litecli sw_inventory.db
Version: 1.0.0
Mail: https://groups.google.com/forum/#!forum/litecli-users
Github: https://github.com/dbcli/litecli
sw_inventory.db> SELECT * from switch;
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0000.AAAA.CCCC | sw1

| Cisco 3750 | London, Green Str |

| 0000.BBBB.CCCC | sw2

| Cisco 3780 | London, Green Str |

| 0000.AAAA.DDDD | sw3

| Cisco 2960 | London, Green Str |

| 0011.AAAA.CCCC | sw4

| Cisco 3750 | London, Green Str |

+----------------+----------+------------+-------------------+
4 rows in set
Time: 0.039s
sw_inventory.db>

Метод executemany
Метод executemany позволяет выполнить одну команду SQL для последовательности параметров (или для итератора).
С помощью метода executemany в таблицу switch можно добавить аналогичный список данных одной командой.
Например, в таблицу switch надо добавить данные из списка data2:
In [9]: data2 = [
...: ('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str'),
...: ('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str'),
...: ('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str'),
...: ('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')]
Для этого нужно использовать аналогичный запрос вида:
In [10]: query = "INSERT into switch values (?, ?, ?, ?)"
Теперь можно передать данные методу executemany:

25. Работа с базами данных

655

Python для сетевых инженеров, Выпуск 3.0

In [11]: cursor.executemany(query, data2)
Out[11]:
In [12]: connection.commit()
После выполнения commit данные доступны в таблице:
$ litecli sw_inventory.db
Version: 1.0.0
Mail: https://groups.google.com/forum/#!forum/litecli-users
Github: https://github.com/dbcli/litecli
sw_inventory.db> SELECT * from switch;
+----------------+----------+------------+-------------------+
| mac

| hostname | model

| location

|

+----------------+----------+------------+-------------------+
| 0000.AAAA.CCCC | sw1

| Cisco 3750 | London, Green Str |

| 0000.BBBB.CCCC | sw2

| Cisco 3780 | London, Green Str |

| 0000.AAAA.DDDD | sw3

| Cisco 2960 | London, Green Str |

| 0011.AAAA.CCCC | sw4

| Cisco 3750 | London, Green Str |

| 0000.1111.0001 | sw5

| Cisco 3750 | London, Green Str |

| 0000.1111.0002 | sw6

| Cisco 3750 | London, Green Str |

| 0000.1111.0003 | sw7

| Cisco 3750 | London, Green Str |

| 0000.1111.0004 | sw8

| Cisco 3750 | London, Green Str |

+----------------+----------+------------+-------------------+
8 rows in set
Time: 0.034s
Метод executemany подставил соответствующие кортежи в команду SQL, и все данные добавились в таблицу.

Метод executescript
Метод executescript позволяет выполнить несколько выражений SQL за один раз.
Особенно удобно использовать этот метод при создании таблиц:
In [13]: connection = sqlite3.connect('new_db.db')
In [14]: cursor = connection.cursor()
In [15]: cursor.executescript('''
...:

create table switches(

...:

hostname

text not NULL primary key,

...:

location

text
(continues on next page)

656

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

);

...:
...:

create table dhcp(

...:

mac

text not NULL primary key,

...:

ip

text,

...:

vlan

text,

...:

interface

text,

switch

text not null references switches(hostname)

...:
...:

);

...: ''')
Out[15]:

Получение результатов запроса
Для получения результатов запроса в sqlite3 есть несколько способов:
• использование методов fetch - в зависимости от метода возвращаются одна, несколько
или все строки
• использование курсора как итератора - возвращается итератор

Метод fetchone
Метод fetchone возвращает одну строку данных.
Пример получения информации из базы данных sw_inventory.db:
In [16]: import sqlite3
In [17]: connection = sqlite3.connect('sw_inventory.db')
In [18]: cursor = connection.cursor()
In [19]: cursor.execute('select * from switch')
Out[19]:
In [20]: cursor.fetchone()
Out[20]: ('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str')
Обратите внимание, что хотя запрос SQL подразумевает, что запрашивалось всё содержимое
таблицы, метод fetchone вернул только одну строку.
Если повторно вызвать метод, он вернет следующую строку:

25. Работа с базами данных

657

Python для сетевых инженеров, Выпуск 3.0

In [21]: print(cursor.fetchone())
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str')
Аналогичным образом метод будет возвращать следующие строки. После обработки всех
строк метод начинает возвращать None.
За счет этого метод можно использовать в цикле, например, так:
In [22]: cursor.execute('select * from switch')
Out[22]:
In [23]: while True:
...:

next_row = cursor.fetchone()

...:

if next_row:

...:
...:
...:

print(next_row)
else:
break

...:
('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str')
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str')
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str')
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')
('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str')
('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str')
('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str')
('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')

Метод fetchmany
Метод fetchmany возвращает список строк данных.
Синтаксис метода:
cursor.fetchmany([size=cursor.arraysize])
С помощью параметра size можно указывать, какое количество строк возвращается. По умолчанию параметр size равен значению cursor.arraysize:
In [24]: print(cursor.arraysize)
1
Например, таким образом можно возвращать по три строки из запроса:

658

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

In [25]: cursor.execute('select * from switch')
Out[25]:
In [26]: from pprint import pprint
In [27]: while True:
...:

three_rows = cursor.fetchmany(3)

...:

if three_rows:

...:
...:

pprint(three_rows)
else:

...:

break

...:
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str')]
[('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str')]
[('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')]
Метод выдает нужное количество строк, а если строк осталось меньше, чем параметр size,
то оставшиеся строки.

Метод fetchall
Метод fetchall возвращает все строки в виде списка:
In [28]: cursor.execute('select * from switch')
Out[28]:
In [29]: cursor.fetchall()
Out[29]:
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')]
Важный аспект работы метода - он возвращает все оставшиеся строки.

25. Работа с базами данных

659

Python для сетевых инженеров, Выпуск 3.0

То есть, если до метода fetchall использовался, например, метод fetchone, то метод fetchall
вернет оставшиеся строки запроса:
In [30]: cursor.execute('select * from switch')
Out[30]:
In [31]: cursor.fetchone()
Out[31]: ('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str')
In [32]: cursor.fetchone()
Out[32]: ('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str')
In [33]: cursor.fetchall()
Out[33]:
[('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str'),
('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')]
Метод fetchmany в этом аспекте работает аналогично.

Cursor как итератор
Если нужно построчно обрабатывать результирующие строки, лучше использовать курсор
как итератор. При этом не нужно использовать методы fetch.
При использовании методов execute возвращается курсор. А, так как курсор можно использовать как итератор, можно использовать его, например, в цикле for:
In [34]: result = cursor.execute('select * from switch')
In [35]: for row in result:
...:

print(row)

...:
('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str')
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str')
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str')
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')
('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str')
('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str')
('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str')
('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')

660

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

Аналогичный вариант отработает и без присваивания переменной:
In [36]: for row in cursor.execute('select * from switch'):
...:

print(row)

...:
('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str')
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str')
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str')
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')
('0000.1111.0001', 'sw5', 'Cisco 3750', 'London, Green Str')
('0000.1111.0002', 'sw6', 'Cisco 3750', 'London, Green Str')
('0000.1111.0003', 'sw7', 'Cisco 3750', 'London, Green Str')
('0000.1111.0004', 'sw8', 'Cisco 3750', 'London, Green Str')

Использование модуля sqlite3 без явного создания курсора
Методы execute доступны и в объекте Connection, и в объекте Cursor, а методы fetch доступны
только в объекте Cursor.
При использовании методов execute с объектом Connection курсор возвращается как результат выполнения метода execute. Его можно использовать как итератор и получать данные
без методов fetch. За счет этого при работе с модулем sqlite3 можно не создавать курсор.
Пример итогового скрипта (файл create_sw_inventory_ver1.py):
import sqlite3

data = [('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]

con = sqlite3.connect('sw_inventory2.db')
con.execute('''create table switch
(mac text not NULL primary key, hostname text, model text, location␣
,→text)'''

)
query = 'INSERT into switch values (?, ?, ?, ?)'
con.executemany(query, data)
con.commit()
(continues on next page)

25. Работа с базами данных

661

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

for row in con.execute('select * from switch'):
print(row)
con.close()
Результат выполнения будет таким:
$ python create_sw_inventory_ver1.py
('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str')
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str')
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str')
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')

Обработка исключений
Посмотрим на пример использования метода execute при возникновении ошибки.
В таблице switch поле mac должно быть уникальным. И, если попытаться записать пересекающийся MAC-адрес, возникнет ошибка:
In [37]: con = sqlite3.connect('sw_inventory2.db')
In [38]: query = "INSERT into switch values ('0000.AAAA.DDDD', 'sw7', 'Cisco 2960
,→',

'London, Green Str')"

In [39]: con.execute(query)
-----------------------------------------------------------IntegrityError

Traceback (most recent call last)

in ()
----> 1 con.execute(query)
IntegrityError: UNIQUE constraint failed: switch.mac
Соответственно, можно перехватить исключение:
In [40]: try:
...:

con.execute(query)

...: except sqlite3.IntegrityError as e:
...:

print("Error occurred: ", e)

...:
Error occurred:

662

UNIQUE constraint failed: switch.mac

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

Обратите внимание, что надо перехватывать исключение sqlite3.IntegrityError, а не
IntegrityError.

Connection как менеджер контекста
После выполнения операций изменения должны быть сохранены (надо выполнить commit, а
затем можно закрыть соединение, если оно больше не нужно.
Python позволяет использовать объект Connection как менеджер контекста. В таком случае
не нужно явно делать commit.
При этом:
• при возникновении исключения, транзакция автоматически откатывается
• если исключения не было, автоматически выполняется commit
Пример

использования

соединения

с

базой

данных

как

менеджера

контекстов

(create_sw_inventory_ver2.py):
import sqlite3

data = [('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]

con = sqlite3.connect('sw_inventory3.db')
con.execute('''create table switch
(mac text not NULL primary key, hostname text, model text,␣
,→location

text)'''
)

try:
with con:
query = 'INSERT into switch values (?, ?, ?, ?)'
con.executemany(query, data)
except sqlite3.IntegrityError as e:
print('Возникла ошибка: ', e)
for row in con.execute('select * from switch'):
print(row)
(continues on next page)

25. Работа с базами данных

663

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

con.close()
Обратите внимание, что хотя транзакция будет откатываться при возникновении исключения, само исключение всё равно надо перехватывать.
Для проверки этого функционала надо записать в таблицу данные, в которых MAC-адрес
повторяется. Но прежде, чтобы не повторять части кода, лучше разнести код в файле
create_sw_inventory_ver2.py по функциям (файл create_sw_inventory_ver2_functions.py):
from pprint import pprint
import sqlite3

data = [('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]

def create_connection(db_name):
'''
Функция создает соединение с БД db_name
и возвращает его
'''
connection = sqlite3.connect(db_name)
return connection

def write_data_to_db(connection, query, data):
'''
Функция ожидает аргументы:
* connection - соединение с БД
* query - запрос, который нужно выполнить
* data - данные, которые надо передать в виде списка кортежей
Функция пытается записать все данные из списка data.
Если данные удалось записать успешно, изменения сохраняются в БД
и функция возвращает True.
Если в процессе записи возникла ошибка, транзакция откатывается
и функция возвращает False.
'''
try:
(continues on next page)

664

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

with connection:
connection.executemany(query, data)
except sqlite3.IntegrityError as e:
print('Возникла ошибка: ', e)
return False
else:
print('Запись данных прошла успешно')
return True

def get_all_from_db(connection, query):
'''
Функция ожидает аргументы:
* connection - соединение с БД
* query - запрос, который нужно выполнить
Функция возвращает данные полученные из БД.
'''
result = [row for row in connection.execute(query)]
return result

if __name__ == '__main__':
con = create_connection('sw_inventory3.db')
print('Создание таблицы...')
schema = '''create table switch
(mac text primary key, hostname text, model text, location text)''
,→'

con.execute(schema)
query_insert = 'INSERT into switch values (?, ?, ?, ?)'
query_get_all = 'SELECT * from switch'
print('Запись данных в БД:')
pprint(data)
write_data_to_db(con, query_insert, data)
print('\nПроверка содержимого БД')
pprint(get_all_from_db(con, query_get_all))
con.close()
Результат выполнения скрипта выглядит так:

25. Работа с базами данных

665

Python для сетевых инженеров, Выпуск 3.0

$ python create_sw_inventory_ver2_functions.py
Создание таблицы...
Запись данных в БД:
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]
Запись данных прошла успешно
Проверка содержимого БД
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]
Теперь проверим, как функция write_data_to_db отработает при наличии одинаковых MACадресов в данных.
В

файле

create_sw_inventory_ver3.py

используются

функции

из

файла

create_sw_inventory_ver2_functions.py и подразумевается, что скрипт будет запускаться
после записи предыдущих данных:
from pprint import pprint
import sqlite3
import create_sw_inventory_ver2_functions as dbf
#MAC-адрес sw7 совпадает с MAC-адресом коммутатора sw3 в списке data
data2 = [('0055.AAAA.CCCC', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0066.BBBB.CCCC', 'sw6', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw7', 'Cisco 2960', 'London, Green Str'),
('0088.AAAA.CCCC', 'sw8', 'Cisco 3750', 'London, Green Str')]
con = dbf.create_connection('sw_inventory3.db')
query_insert = "INSERT into switch values (?, ?, ?, ?)"
query_get_all = "SELECT * from switch"
print("\nПроверка текущего содержимого БД")
pprint(dbf.get_all_from_db(con, query_get_all))
print('-' * 60)
print("Попытка записать данные с повторяющимся MAC-адресом:")
pprint(data2)
dbf.write_data_to_db(con, query_insert, data2)
(continues on next page)

666

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

print("\nПроверка содержимого БД")
pprint(dbf.get_all_from_db(con, query_get_all))
con.close()
В списке data2 у коммутатора sw7 MAC-адрес совпадает с уже существующим в БД коммутатором sw3.
Результат выполнения скрипта:
$ python create_sw_inventory_ver3.py
Проверка текущего содержимого БД
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]
-----------------------------------------------------------Попытка записать данные с повторяющимся MAC-адресом:
[('0055.AAAA.CCCC', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0066.BBBB.CCCC', 'sw6', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw7', 'Cisco 2960', 'London, Green Str'),
('0088.AAAA.CCCC', 'sw8', 'Cisco 3750', 'London, Green Str')]
Error occurred:

UNIQUE constraint failed: switch.mac

Проверка содержимого БД
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]
Обратите внимание, что содержимое таблицы switch до и после добавления информации одинаково. Это значит, что не записалась ни одна строка из списка data2.
Так получилось из-за того, что используется метод executemany, и в пределах одной транзакции мы пытаемся записать все 4 строки. Если возникает ошибка с одной из них - откатываются все изменения.
Иногда это именно то поведение, которое нужно. Если же надо, чтобы игнорировались только
строки с ошибками, надо использовать метод execute и записывать каждую строку отдельно.
В файле create_sw_inventory_ver4.py создана функция write_rows_to_db, которая уже по очереди пишет данные и, если возникла ошибка, то только изменения для конкретных данных
откатываются:

25. Работа с базами данных

667

Python для сетевых инженеров, Выпуск 3.0

from pprint import pprint
import sqlite3
import create_sw_inventory_ver2_functions as dbf
#MAC-адрес sw7 совпадает с MAC-адресом коммутатора sw3 в списке data
data2 = [('0055.AAAA.CCCC', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0066.BBBB.CCCC', 'sw6', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw7', 'Cisco 2960', 'London, Green Str'),
('0088.AAAA.CCCC', 'sw8', 'Cisco 3750', 'London, Green Str')]

def write_rows_to_db(connection, query, data, verbose=False):
'''
Функция ожидает аргументы:
* connection - соединение с БД
* query - запрос, который нужно выполнить
* data - данные, которые надо передать в виде списка кортежей
Функция пытается записать поочереди кортежи из списка data.
Если кортеж удалось записать успешно, изменения сохраняются в БД.
Если в процессе записи кортежа возникла ошибка, транзакция откатывается.
Флаг verbose контролирует то, будут ли выведены сообщения об удачной
или неудачной записи кортежа.
'''
for row in data:
try:
with connection:
connection.execute(query, row)
except sqlite3.IntegrityError as e:
if verbose:
print("При записи данных '{}' возникла ошибка".format(
', '.join(row), e))
else:
if verbose:
print("Запись данных '{}' прошла успешно".format(
', '.join(row)))

con = dbf.create_connection('sw_inventory3.db')
query_insert = 'INSERT into switch values (?, ?, ?, ?)'
query_get_all = 'SELECT * from switch'
(continues on next page)

668

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

print('\nПроверка текущего содержимого БД')
pprint(dbf.get_all_from_db(con, query_get_all))
print('-' * 60)
print('Попытка записать данные с повторяющимся MAC-адресом:')
pprint(data2)
write_rows_to_db(con, query_insert, data2, verbose=True)
print('\nПроверка содержимого БД')
pprint(dbf.get_all_from_db(con, query_get_all))
con.close()
Теперь результат выполнения будет таким (пропущен только sw7):
$ python create_sw_inventory_ver4.py
Проверка текущего содержимого БД
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str')]
-----------------------------------------------------------Попытка записать данные с повторяющимся MAC-адресом:
[('0055.AAAA.CCCC', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0066.BBBB.CCCC', 'sw6', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw7', 'Cisco 2960', 'London, Green Str'),
('0088.AAAA.CCCC', 'sw8', 'Cisco 3750', 'London, Green Str')]
Запись данных "0055.AAAA.CCCC, sw5, Cisco 3750, London, Green Str" прошла успешно
Запись данных "0066.BBBB.CCCC, sw6, Cisco 3780, London, Green Str" прошла успешно
При записи данных "0000.AAAA.DDDD, sw7, Cisco 2960, London, Green Str" возникла␣
,→ошибка

Запись данных "0088.AAAA.CCCC, sw8, Cisco 3750, London, Green Str" прошла успешно
Проверка содержимого БД
[('0000.AAAA.CCCC', 'sw1', 'Cisco 3750', 'London, Green Str'),
('0000.BBBB.CCCC', 'sw2', 'Cisco 3780', 'London, Green Str'),
('0000.AAAA.DDDD', 'sw3', 'Cisco 2960', 'London, Green Str'),
('0011.AAAA.CCCC', 'sw4', 'Cisco 3750', 'London, Green Str'),
('0055.AAAA.CCCC', 'sw5', 'Cisco 3750', 'London, Green Str'),
('0066.BBBB.CCCC', 'sw6', 'Cisco 3780', 'London, Green Str'),
('0088.AAAA.CCCC', 'sw8', 'Cisco 3750', 'London, Green Str')]

25. Работа с базами данных

669

Python для сетевых инженеров, Выпуск 3.0

Пример использования SQLite
В 15 разделе был пример разбора вывода команды show ip dhcp snooping binding. На выходе
мы получили информацию о параметрах подключенных устройств (interface, IP, MAC, VLAN).
В таком варианте можно посмотреть только все подключенные устройства к коммутатору.
Если же нужно узнать на основании одного из параметров другие, то в таком виде это не
очень удобно.
Например, если нужно по IP-адресу получить информацию о том, к какому интерфейсу подключен компьютер, какой у него MAC-адрес и в каком он VLAN, то по выводу скрипта это
сделать не очень просто и, главное, не очень удобно.
Запишем информацию, полученную из вывода sh ip dhcp snooping binding в SQLite. Это позволит делать запросы по любому параметру и получать недостающие. Для этого примера
достаточно создать одну таблицу, где будет храниться информация.
Определение таблицы прописано в отдельном файле dhcp_snooping_schema.sql и выглядит
так:
create table if not exists dhcp (
mac

text not NULL primary key,

ip

text,

vlan

text,

interface

text

);
Для всех полей определен тип данных «текст».
MAC-адрес является первичным ключом нашей таблицы, что вполне логично, так как MACадрес должен быть уникальным.
Кроме того, используется выражение create table if not exists - SQLite создаст таблицу
только в том случае, если она не существует.
Теперь надо создать файл БД, подключиться к базе данных и создать таблицу (файл
create_sqlite_ver1.py):
import sqlite3
conn = sqlite3.connect('dhcp_snooping.db')
print('Creating schema...')
with open('dhcp_snooping_schema.sql', 'r') as f:
schema = f.read()
conn.executescript(schema)
print("Done")
(continues on next page)

670

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

conn.close()
Комментарии к файлу:
• при выполнении строки conn = sqlite3.connect('dhcp_snooping.db'):
– создается файл dhcp_snooping.db, если его нет
– создается объект Connection
• в БД создается таблица (если ее не было) на основании команд, которые указаны в файле dhcp_snooping_schema.sql:
– открывается файл dhcp_snooping_schema.sql
– schema = f.read() - весь файл считывается в одну строку
– conn.executescript(schema) - метод executescript позволяет выполнять команды
SQL, которые прописаны в файле
Выполнение скрипта:
$ python create_sqlite_ver1.py
Creating schema...
Done
В результате должен быть создан файл БД и таблица dhcp.
Проверить, что таблица создалась, можно с помощью утилиты sqlite3, которая позволяет выполнять запросы прямо в командной строке.
Список созданных таблиц выводится таким образом:
$ sqlite3 dhcp_snooping.db "SELECT name FROM sqlite_master WHERE type='table'"
dhcp
Теперь нужно записать информацию из вывода команды sh ip dhcp snooping binding в таблицу
(файл dhcp_snooping.txt):
MacAddress

IpAddress

Lease(sec)

Type

VLAN

Interface

------------------

---------------

----------

-------------

----

------------

10.1.10.2

86250

dhcp-snooping

10

␣

10.1.5.2

63951

dhcp-snooping

5

␣

10.1.5.4

63253

dhcp-snooping

5

␣

,→--------

00:09:BB:3D:D6:58
,→FastEthernet0/1

00:04:A3:3E:5B:69
,→FastEthernet0/10

00:05:B3:7E:9B:60
,→FastEthernet0/9

(continues on next page)

25. Работа с базами данных

671

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

00:09:BC:3F:A6:50

10.1.10.6

76260

dhcp-snooping

10

␣

,→FastEthernet0/3

Total number of bindings: 4
Во второй версии скрипта сначала вывод в файле dhcp_snooping.txt обрабатывается регулярными выражениями, а затем записи добавляются в БД (файл create_sqlite_ver2.py):
import sqlite3
import re
regex = re.compile(r'(\S+) +(\S+) +\d+ +\S+ +(\d+) +(\S+)')
result = []
with open('dhcp_snooping.txt') as data:
for line in data:
match = regex.search(line)
if match:
result.append(match.groups())
conn = sqlite3.connect('dhcp_snooping.db')
print('Creating schema...')
with open('dhcp_snooping_schema.sql', 'r') as f:
schema = f.read()
conn.executescript(schema)
print('Done')
print('Inserting DHCP Snooping data')
for row in result:
try:
with conn:
query = '''insert into dhcp (mac, ip, vlan, interface)
values (?, ?, ?, ?)'''
conn.execute(query, row)
except sqlite3.IntegrityError as e:
print('Error occured: ', e)
conn.close()

Примечание: Пока что файл БД каждый раз надо удалять, так как скрипт пытается его

672

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

создать при каждом запуске.

Комментарии к скрипту:
• в регулярном выражении, которое проходится по выводу команды sh ip dhcp snooping
binding, используются не именованные группы, как в примере раздела Регулярные выражения, а нумерованные
– группы созданы только для тех элементов, которые нас интересуют
• result - это список, в котором хранится результат обработки вывода команды
– но теперь тут не словари, а кортежи с результатами
– это нужно для того, чтобы их можно было сразу передавать на запись в БД
• Перебираем в полученном списке кортежей элементы
• В этом скрипте используется еще один вариант записи в БД
– строка query описывает запрос. Но вместо значений указываются знаки вопроса.
Такой вариант записи запроса позволяет динамически подставлять значение полей
– затем методу execute передается строка запроса и кортеж row, где находятся значения
Выполняем скрипт:
$ python create_sqlite_ver2.py
Creating schema...
Done
Inserting DHCP Snooping data
Проверим, что данные записались:
$ sqlite3 dhcp_snooping.db "select * from dhcp"
-- Loading resources from /home/vagrant/.sqliterc
mac

ip

vlan

interface

-----------------

----------

----------

---------------

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

00:04:A3:3E:5B:69

10.1.5.2

5

FastEthernet0/1

00:05:B3:7E:9B:60

10.1.5.4

5

FastEthernet0/9

00:09:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/3

Теперь попробуем запросить по определенному параметру:
$ sqlite3 dhcp_snooping.db "select * from dhcp where ip = '10.1.5.2'"
-- Loading resources from /home/vagrant/.sqliterc
(continues on next page)

25. Работа с базами данных

673

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

mac

ip

vlan

interface

----------------00:04:A3:3E:5B:69

----------

----------

----------------

10.1.5.2

5

FastEthernet0/10

То есть, теперь на основании одного параметра можно получать остальные.
Переделаем скрипт таким образом, чтобы в нём была проверка на наличие файла
dhcp_snooping.db. Если файл БД есть, то не надосоздавать таблицу, считаем, что она уже
создана.
Файл create_sqlite_ver3.py:
import os
import sqlite3
import re
data_filename = 'dhcp_snooping.txt'
db_filename = 'dhcp_snooping.db'
schema_filename = 'dhcp_snooping_schema.sql'
regex = re.compile(r'(\S+) +(\S+) +\d+ +\S+ +(\d+) +(\S+)')
result = []
with open('dhcp_snooping.txt') as data:
for line in data:
match = regex.search(line)
if match:
result.append(match.groups())
db_exists = os.path.exists(db_filename)
conn = sqlite3.connect(db_filename)
if not db_exists:
print('Creating schema...')
with open(schema_filename, 'r') as f:
schema = f.read()
conn.executescript(schema)
print('Done')
else:
print('Database exists, assume dhcp table does, too.')
(continues on next page)

674

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

print('Inserting DHCP Snooping data')
for row in result:
try:
with conn:
query = '''insert into dhcp (mac, ip, vlan, interface)
values (?, ?, ?, ?)'''
conn.execute(query, row)
except sqlite3.IntegrityError as e:
print('Error occured: ', e)
conn.close()
Теперь есть проверка наличия файла БД, и файл dhcp_snooping.db будет создаваться только
в том случае, если его нет. Данные также записываются только в том случае, если не создан
файл dhcp_snooping.db.

Примечание: Разделение процесса создания таблицы и заполнения ее данными вынесено
в задания к разделу.

Если файла нет (предварительно его удалить):
$ rm dhcp_snooping.db
$ python create_sqlite_ver3.py
Creating schema...
Done
Inserting DHCP Snooping data
Проверим. В случае, если файл уже есть, но данные не записаны:
$ rm dhcp_snooping.db
$ python create_sqlite_ver1.py
Creating schema...
Done
$ python create_sqlite_ver3.py
Database exists, assume dhcp table does, too.
Inserting DHCP Snooping data
Если есть и БД и данные:
$ python create_sqlite_ver3.py
Database exists, assume dhcp table does, too.
(continues on next page)

25. Работа с базами данных

675

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Inserting DHCP Snooping data
Error occurred:

UNIQUE constraint failed: dhcp.mac

Error occurred:

UNIQUE constraint failed: dhcp.mac

Error occurred:

UNIQUE constraint failed: dhcp.mac

Error occurred:

UNIQUE constraint failed: dhcp.mac

Теперь делаем отдельный скрипт, который занимается отправкой запросов в БД и выводом
результатов. Он должен:
• ожидать от пользователя ввода параметров:
– имя параметра
– значение параметра
• делать нормальный вывод данных по запросу
Файл get_data_ver1.py:
import sqlite3
import sys
db_filename = 'dhcp_snooping.db'
key, value = sys.argv[1:]
keys = ['mac', 'ip', 'vlan', 'interface']
keys.remove(key)
conn = sqlite3.connect(db_filename)
#Позволяет далее обращаться к данным в колонках, по имени колонки
conn.row_factory = sqlite3.Row
print('\nDetailed information for host(s) with', key, value)
print('-' * 40)
query = 'select * from dhcp where {} = ?'.format(key)
result = conn.execute(query, (value, ))
for row in result:
for k in keys:
print('{:12}: {}'.format(k, row[k]))
print('-' * 40)
Комментарии к скрипту:
• из аргументов, которые передали скрипту, считываются параметры key, value
676

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

– из списка keys удаляется выбранный ключ. Таким образом, в списке остаются только
те параметры, которые нужно вывести
• подключаемся к БД
– conn.row_factory = sqlite3.Row - позволяет далее обращаться к данным в колонках по имени колонки
• из БД выбираются те строки, в которых ключ равен указанному значению
– в SQL значения можно подставлять через знак вопроса, но нельзя подставлять имя
столбца. Поэтому имя столбца подставляется через форматирование строк, а значение - штатным средством SQL.
– Обратите внимание на (value,) - таким образом передается кортеж с одним элементом
• Полученная информация выводится на стандартный поток вывода: * перебираем полученные результаты и выводим только те поля, названия
которых находятся в списке keys
Проверим работу скрипта.
Показать параметры хоста с IP 10.1.10.2:
$ python get_data_ver1.py ip 10.1.10.2
Detailed information for host(s) with ip 10.1.10.2
---------------------------------------mac

: 00:09:BB:3D:D6:58

vlan

: 10

interface

: FastEthernet0/1

---------------------------------------Показать хосты в VLAN 10:
$ python get_data_ver1.py vlan 10
Detailed information for host(s) with vlan 10
---------------------------------------mac

: 00:09:BB:3D:D6:58

ip

: 10.1.10.2

interface

: FastEthernet0/1

---------------------------------------mac

: 00:07:BC:3F:A6:50

ip

: 10.1.10.6

interface

: FastEthernet0/3

----------------------------------------

25. Работа с базами данных

677

Python для сетевых инженеров, Выпуск 3.0

Вторая версия скрипта для получения данных с небольшими улучшениями:
• Вместо форматирования строк используется словарь, в котором описаны запросы, соответствующие каждому ключу.
• Выполняется проверка ключа, который был выбран
• Для получения заголовков всех столбцов, который соответствуют запросу, используется
метод keys()
Файл get_data_ver2.py:
import sqlite3
import sys
db_filename = 'dhcp_snooping.db'
query_dict = {
'vlan': 'select mac, ip, interface from dhcp where vlan = ?',
'mac': 'select vlan, ip, interface from dhcp where mac = ?',
'ip': 'select vlan, mac, interface from dhcp where ip = ?',
'interface': 'select vlan, mac, ip from dhcp where interface = ?'
}
key, value = sys.argv[1:]
keys = query_dict.keys()
if not key in keys:
print('Enter key from {}'.format(', '.join(keys)))
else:
conn = sqlite3.connect(db_filename)
conn.row_factory = sqlite3.Row
print('\nDetailed information for host(s) with', key, value)
print('-' * 40)
query = query_dict[key]
result = conn.execute(query, (value, ))
for row in result:
for row_name in row.keys():
print('{:12}: {}'.format(row_name, row[row_name]))
print('-' * 40)
В этом скрипте есть несколько недостатков:
• не проверяется количество аргументов, которые передаются скрипту

678

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

• хотелось бы собирать информацию с разных коммутаторов. А для этого надо добавить
поле, которое указывает, на каком коммутаторе была найдена запись
Кроме того, многое нужно доработать в скрипте, который создает БД и записывает данные.
Все доработки будут выполняться в заданиях этого раздела.

Дополнительные материалы
Документация:
• SQLite Tutorial - подробное описание SQLite
• Документация модуля sqlite3
• sqlite3 на сайте PyMOTW
Статьи:
• A thorough guide to SQLite database operations in Python

25. Работа с базами данных

679

Python для сетевых инженеров, Выпуск 3.0

Задания

Предупреждение: Для заданий 25 раздела нет тестов!

Задание 25.1
Для заданий 25 раздела нет тестов!
Необходимо создать два скрипта:
1. create_db.py
2. add_data.py
Код в скриптах должен быть разбит на функции. Какие именно функции и как разделить код,
надо решить самостоятельно. Часть кода может быть глобальной.
1. create_db.py - в этот скрипт должна быть вынесена функциональность по созданию БД:
• должна выполняться проверка наличия файла БД
• если файла нет, согласно описанию схемы БД в файле dhcp_snooping_schema.sql, должна
быть создана БД
• имя файла бд - dhcp_snooping.db
В БД должно быть две таблицы (схема описана в файле dhcp_snooping_schema.sql):
• switches - в ней находятся данные о коммутаторах
• dhcp - тут хранится информация полученная из вывода sh ip dhcp snooping binding
Пример выполнения скрипта, когда файла dhcp_snooping.db нет:
$ python create_db.py
Создаю базу данных...
После создания файла:
$ python create_db.py
База данных существует
2. add_data.py - с помощью этого скрипта, выполняется добавление данных в БД. Скрипт
должен добавлять данные из вывода sh ip dhcp snooping binding и информацию о коммутаторах
Соответственно, в файле add_data.py должны быть две части:
• информация о коммутаторах добавляется в таблицу switches
– данные о коммутаторах, находятся в файле switches.yml

680

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

• информация на основании вывода sh ip dhcp snooping binding добавляется в таблицу dhcp
– вывод с трёх коммутаторов: файлы sw1_dhcp_snooping.txt, sw2_dhcp_snooping.txt,
sw3_dhcp_snooping.txt
– так как таблица dhcp изменилась, и в ней теперь присутствует поле switch, его нужно также заполнять. Имя коммутатора определяется по имени файла с данными
Пример выполнения скрипта, когда база данных еще не создана:
$ python add_data.py
База данных не существует. Перед добавлением данных, ее надо создать
Пример выполнения скрипта первый раз, после создания базы данных:
$ python add_data.py
Добавляю данные в таблицу switches...
Добавляю данные в таблицу dhcp...
Пример выполнения скрипта, после того как данные были добавлены в таблицу (порядок добавления данных может быть произвольным, но сообщения должны выводиться аналогично
выводу ниже):
$ python add_data.py
Добавляю данные в таблицу switches...
При добавлении данных: ('sw1', 'London, 21 New Globe Walk') Возникла ошибка:␣
,→UNIQUE

constraint failed: switches.hostname

При добавлении данных: ('sw2', 'London, 21 New Globe Walk') Возникла ошибка:␣
,→UNIQUE

constraint failed: switches.hostname

При добавлении данных: ('sw3', 'London, 21 New Globe Walk') Возникла ошибка:␣
,→UNIQUE

constraint failed: switches.hostname

Добавляю данные в таблицу dhcp...
При добавлении данных: ('00:09:BB:3D:D6:58', '10.1.10.2', '10', 'FastEthernet0/1',
,→

'sw1') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:04:A3:3E:5B:69', '10.1.5.2', '5', 'FastEthernet0/10',
,→'sw1')

Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:05:B3:7E:9B:60', '10.1.5.4', '5', 'FastEthernet0/9',
,→'sw1')

Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:07:BC:3F:A6:50', '10.1.10.6', '10', 'FastEthernet0/3',
,→

'sw1') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:09:BC:3F:A6:50', '192.168.100.100', '1',
,→'FastEthernet0/7',

'sw1') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:E9:BC:3F:A6:50', '100.1.1.6', '3', 'FastEthernet0/20',
,→

'sw3') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:E9:22:11:A6:50', '100.1.1.7', '3', 'FastEthernet0/21',
,→

'sw3') Возникла ошибка: UNIQUE constraint failed: dhcp.mac
(continues on next page)

25. Работа с базами данных

681

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

При добавлении данных: ('00:A9:BB:3D:D6:58', '10.1.10.20', '10', 'FastEthernet0/7
,→',

'sw2') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:B4:A3:3E:5B:69', '10.1.5.20', '5', 'FastEthernet0/5',
,→'sw2')

Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:C5:B3:7E:9B:60', '10.1.5.40', '5', 'FastEthernet0/9',
,→'sw2')

Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:A9:BC:3F:A6:50', '10.1.10.60', '20', 'FastEthernet0/2
,→',

'sw2') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

Оба скрипта вызываются без аргументов.

Задание 25.2
Для заданий 25 раздела нет тестов!
В этом задании необходимо создать скрипт get_data.py.
Код в скрипте должен быть разбит на функции. Какие именно функции и как разделить код,
надо решить самостоятельно. Часть кода может быть глобальной.
Скрипту могут передаваться аргументы и, в зависимости от аргументов, надо выводить разную информацию. Если скрипт вызван:
• без аргументов, вывести всё содержимое таблицы dhcp
• с двумя аргументами, вывести информацию из таблицы dhcp, которая соответствует
полю и значению
• с любым другим количеством аргументов, вывести сообщение, что скрипт поддерживает только два или ноль аргументов
Файл БД можно скопировать из задания 25.1.
Примеры вывода для разного количества и значений аргументов:
$ python get_data.py
В таблице dhcp такие записи:
-----------------

---------------

--

----------------

---

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

00:04:A3:3E:5B:69

10.1.5.2

5

FastEthernet0/10

sw1

00:05:B3:7E:9B:60

10.1.5.4

5

FastEthernet0/9

sw1

00:07:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/3

sw1

00:09:BC:3F:A6:50

192.168.100.100

1

FastEthernet0/7

sw1

00:E9:BC:3F:A6:50

100.1.1.6

3

FastEthernet0/20

sw3

00:E9:22:11:A6:50

100.1.1.7

00:A9:BB:3D:D6:58

10.1.10.20

3
10

FastEthernet0/21

sw3

FastEthernet0/7

sw2
(continues on next page)

682

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

00:B4:A3:3E:5B:69

10.1.5.20

5

FastEthernet0/5

sw2

00:C5:B3:7E:9B:60

10.1.5.40

5

FastEthernet0/9

sw2

00:A9:BC:3F:A6:50

10.1.10.60

20

FastEthernet0/2

sw2

-----------------

---------------

--

----------------

---

$ python get_data.py vlan 10
Информация об устройствах с такими параметрами: vlan 10
-----------------

----------

--

---------------

---

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

00:07:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/3

sw1

00:A9:BB:3D:D6:58

10.1.10.20

10

FastEthernet0/7

sw2

-----------------

----------

--

---------------

---

$ python get_data.py ip 10.1.10.2
Информация об устройствах с такими параметрами: ip 10.1.10.2
-----------------

---------

--

---------------

---

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

-----------------

---------

--

---------------

---

$ python get_data.py vln 10
Данный параметр не поддерживается.
Допустимые значения параметров: mac, ip, vlan, interface, switch
$ python get_data.py ip vlan 10
Пожалуйста, введите два или ноль аргументов

Задание 25.3
Для заданий 25 раздела нет тестов!
В прошлых заданиях информация добавлялась в пустую БД. В этом задании, разбирается
ситуация, когда в БД уже есть информация.
Скопируйте скрипт add_data.py из задания 25.1 и попробуйте выполнить его повторно, на
существующей БД. Должен быть такой вывод:
$ python add_data.py
Добавляю данные в таблицу switches...
При добавлении данных: ('sw1', 'London, 21 New Globe Walk') Возникла ошибка:␣
,→UNIQUE

constraint failed: switches.hostname

При добавлении данных: ('sw2', 'London, 21 New Globe Walk') Возникла ошибка:␣
,→UNIQUE

constraint failed: switches.hostname

25. Работа с базами данных

(continues on next page)

683

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

При добавлении данных: ('sw3', 'London, 21 New Globe Walk') Возникла ошибка:␣
,→UNIQUE

constraint failed: switches.hostname

Добавляю данные в таблицу dhcp...
При добавлении данных: ('00:09:BB:3D:D6:58', '10.1.10.2', '10', 'FastEthernet0/1',
'sw1') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

,→

При добавлении данных: ('00:04:A3:3E:5B:69', '10.1.5.2', '5', 'FastEthernet0/10',
,→'sw1')

Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:05:B3:7E:9B:60', '10.1.5.4', '5', 'FastEthernet0/9',
,→'sw1')

Возникла ошибка: UNIQUE constraint failed: dhcp.mac

При добавлении данных: ('00:07:BC:3F:A6:50', '10.1.10.6', '10', 'FastEthernet0/3',
'sw1') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

,→

При добавлении данных: ('00:09:BC:3F:A6:50', '192.168.100.100', '1',
,→'FastEthernet0/7',

'sw1') Возникла ошибка: UNIQUE constraint failed: dhcp.mac

... (вывод сокращен)
При создании схемы БД, было явно указано, что поле MAC-адрес, должно быть уникальным.
Поэтому, при добавлении записи с таким же MAC-адресом, возникает исключение (ошибка).
В задании 25.1 исключение обрабатывается и выводится сообщение на стандартный поток
вывода.
В этом задании считается, что информация периодически считывается с коммутаторов и записывается в файлы. После этого, информацию из файлов надо перенести в базу данных. При
этом, в новых данных могут быть изменения: MAC пропал, MAC перешел на другой порт/vlan,
появился новый MAC и тп.
В этом задании в таблице dhcp надо создать новое поле active, которое будет указывать
является ли запись актуальной. Новая схема БД находится в файле dhcp_snooping_schema.sql
Поле active должно принимать такие значения:
• 0 - означает False. Используется для того, чтобы отметить запись как неактивную
• 1 - True. Используется чтобы указать, что запись активна
Каждый раз, когда информация из файлов с выводом DHCP snooping добавляется заново, надо
пометить все существующие записи (для данного коммутатора), как неактивные (active = 0).
Затем можно обновлять информацию и пометить новые записи, как активные (active = 1).
Таким образом, в БД останутся и старые записи, для MAC-адресов, которые сейчас не активны, и появится обновленная информация для активных адресов.
Например, в таблице dhcp такие записи:
mac

ip

vlan

interface

switch

active

-----------------

----------

----------

----------------

----------

---------

10.1.10.2

10

FastEthernet0/1

sw1

1

,→-

00:09:BB:3D:D6:58

(continues on next page)

684

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

00:04:A3:3E:5B:69

10.1.5.2

5

FastEthernet0/10

sw1

1

00:05:B3:7E:9B:60

10.1.5.4

5

FastEthernet0/9

sw1

1

00:07:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/3

sw1

1

00:09:BC:3F:A6:50

192.168.10

1

FastEthernet0/7

sw1

1

И надо добавить такую информацию из файла:
MacAddress

IpAddress

Lease(sec)

Type

VLAN

Interface

------------------

---------------

----------

-------------

----

------------

10.1.10.2

86250

dhcp-snooping

10

␣

10.1.15.2

63951

dhcp-snooping

15

␣

10.1.5.4

63253

dhcp-snooping

5

␣

10.1.10.6

76260

dhcp-snooping

10

␣

,→--------

00:09:BB:3D:D6:58
,→FastEthernet0/1

00:04:A3:3E:5B:69
,→FastEthernet0/15

00:05:B3:7E:9B:60
,→FastEthernet0/9

00:07:BC:3F:A6:50
,→FastEthernet0/5

После добавления данных таблица должна выглядеть так:
mac

ip

vlan

interface

switch

␣

---------------

----------

---------------

----------

----

00:09:BC:3F:A6:50

192.168.100.100

1

FastEthernet0/7

sw1

0

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

1

00:04:A3:3E:5B:69

10.1.15.2

15

FastEthernet0/15

sw1

1

00:05:B3:7E:9B:60

10.1.5.4

5

FastEthernet0/9

sw1

1

00:07:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/5

sw1

1

,→active

----------------,→------

Новая информация должна перезаписывать предыдущую:
• MAC 00:04:A3:3E:5B:69 перешел на другой порт и попал в другой интерфейс и получил
другой адрес
• MAC 00:07:BC:3F:A6:50 перешел на другой порт
Если какого-то MAC-адреса нет в новом файле, его надо оставить в бд со значением active =
0: MAC-адреса 00:09:BC:3F:A6:50 нет в новой информации (выключили комп).
Измените скрипт add_data.py таким образом, чтобы выполнялись новые условия и заполнялось поле active.
Код в скрипте должен быть разбит на функции. Какие именно функции и как разделить код,
надо решить самостоятельно. Часть кода может быть глобальной.

25. Работа с базами данных

685

Python для сетевых инженеров, Выпуск 3.0

> Для проверки корректности запроса SQL, можно выполнить его в командной строке, с помощью утилиты sqlite3.
Для

проверки

цию

из

задания

файлов

и

работы

нового

sw*_dhcp_snooping.txt,

а

поля,
потом

сначала
добавьте

добавьте

в

бд

информацию

информа-

из

файлов

new_data/sw*_dhcp_snooping.txt
Данные должны выглядеть так (порядок строк может быть любым)
-----------------

---------------

--

----------------

---

-

00:09:BC:3F:A6:50

192.168.100.100

00:C5:B3:7E:9B:60

10.1.5.40

1

FastEthernet0/7

sw1

0

5

FastEthernet0/9

sw2

0

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

1

00:04:A3:3E:5B:69

10.1.15.2

15

00:05:B3:7E:9B:60

10.1.5.4

00:07:BC:3F:A6:50
00:E9:BC:3F:A6:50

FastEthernet0/15

sw1

1

5

FastEthernet0/9

sw1

1

10.1.10.6

10

FastEthernet0/5

sw1

1

100.1.1.6

3

FastEthernet0/20

sw3

1

00:E9:22:11:A6:50

100.1.1.7

3

FastEthernet0/21

sw3

1

00:A9:BB:3D:D6:58

10.1.10.20

10

FastEthernet0/7

sw2

1

00:B4:A3:3E:5B:69

10.1.5.20

5

FastEthernet0/5

sw2

1

00:A9:BC:3F:A6:50

10.1.10.65

20

FastEthernet0/2

sw2

1

00:A9:33:44:A6:50

10.1.10.77

10

FastEthernet0/4

sw2

1

-----------------

---------------

--

----------------

---

-

Задание 25.4
Для заданий 25 раздела нет тестов!
Скопировать файл get_data из задания 25.2. Добавить в скрипт поддержку столбца active,
который мы добавили в задании 25.3.
Теперь, при запросе информации, сначала должны отображаться активные записи, а затем,
неактивные. Если неактивных записей нет, не отображать заголовок «Неактивные записи».
Примеры выполнения итогового скрипта
$ python get_data.py
В таблице dhcp такие записи:
Активные записи:
-----------------

----------

--

----------------

---

-

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

1

00:04:A3:3E:5B:69

10.1.15.2

15

00:05:B3:7E:9B:60

10.1.5.4

00:07:BC:3F:A6:50

10.1.10.6

FastEthernet0/15

sw1

1

5

FastEthernet0/9

sw1

1

10

FastEthernet0/5

sw1

1
(continues on next page)

686

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

00:E9:BC:3F:A6:50

100.1.1.6

3

FastEthernet0/20

sw3

1

00:E9:22:11:A6:50

100.1.1.7

3

FastEthernet0/21

sw3

1

00:A9:BB:3D:D6:58

10.1.10.20

10

FastEthernet0/7

sw2

1

00:B4:A3:3E:5B:69

10.1.5.20

5

FastEthernet0/5

sw2

1

00:A9:BC:3F:A6:50

10.1.10.65

20

FastEthernet0/2

sw2

1

00:A9:33:44:A6:50

10.1.10.77

10

FastEthernet0/4

sw2

1

-----------------

----------

--

----------------

---

-

Неактивные записи:
-----------------

---------------

-

---------------

---

-

00:09:BC:3F:A6:50

192.168.100.100

1

FastEthernet0/7

sw1

0

00:C5:B3:7E:9B:60

10.1.5.40

5

FastEthernet0/9

sw2

0

-----------------

---------------

-

---------------

---

-

$ python get_data.py vlan 5
Информация об устройствах с такими параметрами: vlan 5
Активные записи:
-----------------

---------

-

---------------

---

-

00:05:B3:7E:9B:60

10.1.5.4

5

FastEthernet0/9

sw1

1

00:B4:A3:3E:5B:69

10.1.5.20

5

FastEthernet0/5

sw2

1

-----------------

---------

-

---------------

---

-

-----------------

---------

-

---------------

---

-

00:C5:B3:7E:9B:60

10.1.5.40

5

FastEthernet0/9

sw2

0

-----------------

---------

-

---------------

---

-

Неактивные записи:

$ python get_data.py vlan 10
Информация об устройствах с такими параметрами: vlan 10
Активные записи:
-----------------

----------

--

---------------

---

-

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

1

00:07:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/5

sw1

1

00:A9:BB:3D:D6:58

10.1.10.20

10

FastEthernet0/7

sw2

1
(continues on next page)

25. Работа с базами данных

687

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

00:A9:33:44:A6:50

10.1.10.77

10

FastEthernet0/4

sw2

1

-----------------

----------

--

---------------

---

-

Задание 25.5
Для заданий 25 раздела нет тестов!
После выполнения заданий 25.1 - 25.5 в БД остается информация о неактивных записях. И,
если какой-то MAC-адрес не появлялся в новых записях, запись с ним, может остаться в БД
навсегда.
И, хотя это может быть полезно, чтобы посмотреть, где MAC-адрес находился в последний
раз, постоянно хранить эту информацию не очень полезно.
Например, если запись в БД уже больше месяца, то её можно удалить.
Для того, чтобы сделать такой критерий, нужно ввести новое поле, в которое будет записываться последнее время добавления записи.
Новое поле называется last_active и в нем должна находиться строка, в формате: YYYY-MM-DD
HH:MM:SS.
В этом задании необходимо:
• изменить, соответственно, таблицу dhcp и добавить новое поле.
– таблицу можно поменять из cli sqlite, но файл dhcp_snooping_schema.sql тоже необходимо изменить
• изменить скрипт add_data.py, чтобы он добавлял к каждой записи время
Получить строку со временем и датой, в указанном формате, можно с помощью функции
datetime в запросе SQL. Синтаксис использования такой:
sqlite> insert into dhcp (mac, ip, vlan, interface, switch, active, last_active)
...> values ('00:09:BC:3F:A6:50', '192.168.100.100', '1', 'FastEthernet0/7',
,→'sw1',

'0', datetime('now'));

То есть вместо значения, которое записывается в базу данных, надо указать datetime(„now“).
После этой команды в базе данных появится такая запись:
mac

ip

vlan

interface

switch

active

---------------

-----

---------------

-------

-------

192.168.100.100

1

FastEthernet0/7

sw1

0

␣

,→last_active

-----------------

----

,→---------------

00:09:BC:3F:A6:50
,→2019-03-08

688

␣

11:26:56

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

Задание 25.5a
Для заданий 25 раздела нет тестов!
После выполнения задания 25.5, в таблице dhcp есть новое поле last_active.
Обновите скрипт add_data.py, таким образом, чтобы он удалял все записи, которые были активными более 7 дней назад.
Для того, чтобы получить такие записи, можно просто вручную обновить поле last_active в
некоторых записях и поставить время 7 или более дней.
В файле задания описан пример работы с объектами модуля datetime. Показано как получить
дату 7 дней назад. С этой датой надо будет сравнивать время last_active.
Обратите внимание, что строки с датой, которые пишутся в БД, можно сравнивать между
собой.
from datetime import timedelta, datetime
now = datetime.today().replace(microsecond=0)
week_ago = now - timedelta(days=7)
#print(now)
#print(week_ago)
#print(now > week_ago)
#print(str(now) > str(week_ago))

Задание 25.6
Для заданий 25 раздела нет тестов!
В этом задании выложен файл parse_dhcp_snooping.py. В файле parse_dhcp_snooping.py нельзя ничего менять.
В файле созданы несколько функций и описаны аргументы командной строки, которые принимает файл.
Есть поддержка аргументов для выполнения всех действий, которые, в предыдущих заданиях, выполнялись в файлах create_db.py, add_data.py и get_data.py.
В файле parse_dhcp_snooping.py есть такая строка: import parse_dhcp_snooping_functions as
pds
И задача этого задания в том, чтобы создать все необходимые функции, в файле
parse_dhcp_snooping_functions.py на основе информации в файле parse_dhcp_snooping.py.
Из файла parse_dhcp_snooping.py, необходимо определить:
• какие функции должны быть в файле parse_dhcp_snooping_functions.py
25. Работа с базами данных

689

Python для сетевых инженеров, Выпуск 3.0

• какие параметры создать в этих функциях
Необходимо создать соответствующие функции и перенести в них функционал, который описан в предыдущих заданиях.
Вся необходимая информация, присутствует в функциях create, add, get, в файле
parse_dhcp_snooping.py.
Для того, чтобы было проще начать, попробуйте создать необходимые функции в файле
parse_dhcp_snooping_functions.py и просто выведите аргументы функций, используя print.
Потом, можно создать функции, которые запрашивают информацию из БД (базу данных можно скопировать из предыдущих заданий).
Можно создавать любые вспомогательные функции в файле parse_dhcp_snooping_functions.py,
а не только те, которые вызываются из файла parse_dhcp_snooping.py.
Проверьте все операции:
• создание БД
• добавление информации о коммутаторах
• добавление информации на основании вывода sh ip dhcp snooping binding из файлов
• выборку информации из БД (по параметру и всю информацию)
Чтобы было проще понять, как будет выглядеть вызов скрипта, ниже несколько примеров. В
примерах показывается вариант, когда в базе данных есть поля active и last_active, но можно
также использовать вариант без этих полей.
$ python parse_dhcp_snooping.py get -h
usage: parse_dhcp_snooping.py get [-h] [--db DB_FILE]
[-k {mac,ip,vlan,interface,switch}]
[-v VALUE] [-a]
optional arguments:
-h, --help

show this help message and exit

--db DB_FILE

имя БД

-k {mac,ip,vlan,interface,switch}
параметр для поиска записей
-v VALUE

значение параметра

-a

показать все содержимое БД

$ python parse_dhcp_snooping.py add -h
usage: parse_dhcp_snooping.py add [-h] [--db DB_FILE] [-s]
filename [filename ...]
positional arguments:
(continues on next page)

690

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

filename

файл(ы), которые надо добавить

optional arguments:
-h, --help

show this help message and exit

--db DB_FILE

имя БД

-s

если флаг установлен, добавлять данные коммутаторов, иначе DHCP записи

$ python parse_dhcp_snooping.py add -h
usage: parse_dhcp_snooping.py add [-h] [--db DB_FILE] [-s]
filename [filename ...]
positional arguments:
filename

файл(ы), которые надо добавить

optional arguments:
-h, --help

show this help message and exit

--db DB_FILE

имя БД

-s

если флаг установлен, добавлять данные коммутаторов, иначе
добавлять DHCP записи

$ python parse_dhcp_snooping.py get -h
usage: parse_dhcp_snooping.py get [-h] [--db DB_FILE]
[-k {mac,ip,vlan,interface,switch}]
[-v VALUE] [-a]
optional arguments:
-h, --help

show this help message and exit

--db DB_FILE

имя БД

-k {mac,ip,vlan,interface,switch}
параметр для поиска записей
-v VALUE

значение параметра

-a

показать все содержимое БД

$ python parse_dhcp_snooping.py create_db
Создаю БД dhcp_snooping.db со схемой dhcp_snooping_schema.sql
Создаю базу данных...

$ python parse_dhcp_snooping.py add sw[1-3]_dhcp_snooping.txt
(continues on next page)

25. Работа с базами данных

691

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Читаю информацию из файлов
sw1_dhcp_snooping.txt, sw2_dhcp_snooping.txt, sw3_dhcp_snooping.txt
Добавляю данные по DHCP записях в dhcp_snooping.db

$ python parse_dhcp_snooping.py add -s switches.yml
Добавляю данные о коммутаторах
$ python parse_dhcp_snooping.py get
В таблице dhcp такие записи:
Активные записи:
-----------------

---------------

--

----------------

---

-

----------------

10.1.10.2

10

FastEthernet0/1

sw1

1

2019-03-08␣

,→---

00:09:BB:3D:D6:58
,→16:47:52

00:04:A3:3E:5B:69

10.1.5.2

5

FastEthernet0/10

sw1

1

2019-03-08␣

10.1.5.4

5

FastEthernet0/9

sw1

1

2019-03-08␣

10

FastEthernet0/3

sw1

1

2019-03-08␣

1

FastEthernet0/7

sw1

1

2019-03-08␣

10

FastEthernet0/7

sw2

1

2019-03-08␣

10.1.5.20

5

FastEthernet0/5

sw2

1

2019-03-08␣

10.1.5.40

5

FastEthernet0/9

sw2

1

2019-03-08␣

20

FastEthernet0/2

sw2

1

2019-03-08␣

3

FastEthernet0/20

sw3

1

2019-03-08␣

--

----------------

---

-

----------------

,→16:47:52

00:05:B3:7E:9B:60
,→16:47:52

00:07:BC:3F:A6:50

10.1.10.6

,→16:47:52

00:09:BC:3F:A6:50

192.168.100.100

,→16:47:52

00:A9:BB:3D:D6:58

10.1.10.20

,→16:47:52

00:B4:A3:3E:5B:69
,→16:47:52

00:C5:B3:7E:9B:60
,→16:47:52

00:A9:BC:3F:A6:50

10.1.10.60

,→16:47:52

00:E9:BC:3F:A6:50

100.1.1.6

,→16:47:52

-----------------

---------------

,→---

$ python parse_dhcp_snooping.py get -k vlan -v 10
Данные из БД: dhcp_snooping.db
Информация об устройствах с такими параметрами: vlan 10
(continues on next page)

692

Глава 9. VII. Работа с базами данных

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

Активные записи:
-----------------

----------

--

---------------

---

-

-------------------

00:09:BB:3D:D6:58

10.1.10.2

10

FastEthernet0/1

sw1

1

2019-03-08 16:47:52

00:07:BC:3F:A6:50

10.1.10.6

10

FastEthernet0/3

sw1

1

2019-03-08 16:47:52

00:A9:BB:3D:D6:58

10.1.10.20

10

FastEthernet0/7

sw2

1

2019-03-08 16:47:52

-----------------

----------

--

---------------

---

-

-------------------

$ python parse_dhcp_snooping.py get -k vln -v 10
usage: parse_dhcp_snooping.py get [-h] [--db DB_FILE]
[-k {mac,ip,vlan,interface,switch}]
[-v VALUE] [-a]
parse_dhcp_snooping.py get: error: argument -k: invalid choice: 'vln' (choose␣
,→from

'mac', 'ip', 'vlan', 'interface', 'switch')

25. Работа с базами данных

693

Python для сетевых инженеров, Выпуск 3.0

694

Глава 9. VII. Работа с базами данных

10
VIII. Дополнительная информация

В этом разделе собрана информация, которая не вошла в основные разделы книги, но которая, тем не менее, может быть полезна.

Модуль argparse
argparse - это модуль для обработки аргументов командной строки. Примеры того, что позволяет делать модуль:
• создавать аргументы и опции, с которыми может вызываться скрипт
• указывать типы аргументов, значения по умолчанию
• указывать, какие действия соответствуют аргументам
• выполнять вызов функции при указании аргумента
• отображать сообщения с подсказками по использованию скрипта
argparse не единственный модуль для обработки аргументов командной строки. И даже не
единственный такой модуль в стандартной библиотеке.
В книге рассматривается только argparse, но кроме него стоит обратить внимание на те модули, которые не входят в стандартную библиотеку Python. Например, click.

Примечание: Хорошая статья, которая сравнивает разные модули обработки аргументов
командной строки (рассматриваются argparse, click и docopt).

Пример скрипта ping_function.py:
import subprocess
import argparse
(continues on next page)

695

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

def ping_ip(ip_address, count):
"""
Ping IP address and return tuple:
On success: (return code = 0, command output)
On failure: (return code, error output (stderr))
"""
reply = subprocess.run(
f"ping -c {count} -n {ip_address}",
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE,
encoding="utf-8",
)
if reply.returncode == 0:
return True, reply.stdout
else:
return False, reply.stdout + reply.stderr

parser = argparse.ArgumentParser(description="Ping script")
parser.add_argument("-a", dest="ip", required=True)
parser.add_argument("-c", dest="count", default=2, type=int)
args = parser.parse_args()
print(args)
rc, message = ping_ip(args.ip, args.count)
print(message)
Создание парсера:
• parser = argparse.ArgumentParser(description='Ping script')
Добавление аргументов:
• parser.add_argument('-a', dest="ip")
– аргумент, который передается после опции -a, сохранится в переменную ip
• parser.add_argument('-c', dest="count", default=2, type=int)
– аргумент, который передается после опции -c, будет сохранен в переменную count,
но прежде будет конвертирован в число. Если аргумент не был указан, по умолча-

696

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

нию будет значение 2
Строка args = parser.parse_args() указывается после того, как определены все аргументы.
После её выполнения в переменной args содержатся все аргументы, которые были переданы
скрипту. К ним можно обращаться, используя синтаксис args.ip.
Попробуем вызвать скрипт с разными аргументами. Если переданы оба аргумента:
$ python ping_function.py -a 8.8.8.8 -c 5
Namespace(count=5, ip='8.8.8.8')
PING 8.8.8.8 (8.8.8.8): 56 data bytes
64 bytes from 8.8.8.8: icmp_seq=0 ttl=48 time=48.673 ms
64 bytes from 8.8.8.8: icmp_seq=1 ttl=48 time=49.902 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=48 time=48.696 ms
64 bytes from 8.8.8.8: icmp_seq=3 ttl=48 time=50.040 ms
64 bytes from 8.8.8.8: icmp_seq=4 ttl=48 time=48.831 ms
--- 8.8.8.8 ping statistics --5 packets transmitted, 5 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 48.673/49.228/50.040/0.610 ms
Namespace - это объект, который возвращает метод parse\_args()
Передаем только IP-адрес:
$ python ping_function.py -a 8.8.8.8
Namespace(count=2, ip='8.8.8.8')
PING 8.8.8.8 (8.8.8.8): 56 data bytes
64 bytes from 8.8.8.8: icmp_seq=0 ttl=48 time=48.563 ms
64 bytes from 8.8.8.8: icmp_seq=1 ttl=48 time=49.616 ms
--- 8.8.8.8 ping statistics --2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 48.563/49.090/49.616/0.526 ms
Вызов скрипта без аргументов:
$ python ping_function.py
Namespace(count=2, ip=None)
Traceback (most recent call last):
File "ping_function.py", line 31, in
rc, message = ping_ip( args.ip, args.count )
File "ping_function.py", line 16, in ping_ip
stderr=temp)
File "/usr/local/lib/python3.6/subprocess.py", line 336, in check_output
**kwargs).stdout
(continues on next page)

Модуль argparse

697

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

File "/usr/local/lib/python3.6/subprocess.py", line 403, in run
with Popen(*popenargs, **kwargs) as process:
File "/usr/local/lib/python3.6/subprocess.py", line 707, in __init__
restore_signals, start_new_session)
File "/usr/local/lib/python3.6/subprocess.py", line 1260, in _execute_child
restore_signals, start_new_session, preexec_fn)
TypeError: expected str, bytes or os.PathLike object, not NoneType
Если бы функция была вызвана без аргументов, когда не используется argparse, возникла бы
ошибка, что не все аргументы указаны.
Из-за argparse, фактически аргумент передается, только он равен None. Это видно в строке
Namespace(count=2, ip=None).
В таком скрипте IP-адрес необходимо указывать всегда. И в argparse можно указать, что
аргумент является обязательным. Для этого надо изменить опцию -a: добавить в конце
required=True:
parser.add_argument('-a', dest="ip", required=True)
Теперь, если вызвать скрипт без аргументов, вывод будет таким:
$ python ping_function.py
usage: ping_function.py [-h] -a IP [-c COUNT]
ping_function.py: error: the following arguments are required: -a
Теперь отображается понятное сообщение, что надо указать обязательный аргумент, и подсказка usage.
Также, благодаря argparse, доступен help:
$ python ping_function.py -h
usage: ping_function.py [-h] -a IP [-c COUNT]
Ping script
optional arguments:
-h, --help

show this help message and exit

-a IP
-c COUNT
Обратите внимание, что в сообщении все опции находятся в секции optional arguments.
argparse сам определяет, что указаны опции, так как они начинаются с - и в имени только
одна буква.
Зададим IP-адрес как позиционный аргумент. Файл ping_function_ver2.py:

698

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

import subprocess
import argparse
def ping_ip(ip_address, count):
"""
Ping IP address and return tuple:
On success: (return code = 0, command output)
On failure: (return code, error output (stderr))
"""
reply = subprocess.run(
f"ping -c {count} -n {ip_address}",
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE,
encoding="utf-8",
)
if reply.returncode == 0:
return True, reply.stdout
else:
return False, reply.stdout + reply.stderr

parser = argparse.ArgumentParser(description="Ping script")
parser.add_argument("host", help="IP or name to ping")
parser.add_argument("-c", dest="count", default=2, type=int, help="Number of␣
,→packets")

args = parser.parse_args()
print(args)
rc, message = ping_ip(args.host, args.count)
print(message)
Теперь вместо указания опции -a, можно просто передать IP-адрес. Он будет автоматически
сохранен в переменной host. И автоматически считается обязательным. То есть, теперь не
нужно указывать required=True и dest="ip".
Кроме того, в скрипте указаны сообщения, которые будут выводиться при вызове help. Теперь
вызов скрипта выглядит так:
$ python ping_function_ver2.py 8.8.8.8 -c 2
Namespace(host='8.8.8.8', count=2)
PING 8.8.8.8 (8.8.8.8): 56 data bytes
(continues on next page)

Модуль argparse

699

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

64 bytes from 8.8.8.8: icmp_seq=0 ttl=48 time=49.203 ms
64 bytes from 8.8.8.8: icmp_seq=1 ttl=48 time=51.764 ms
--- 8.8.8.8 ping statistics --2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 49.203/50.484/51.764/1.280 ms
А сообщение help так:
$ python ping_function_ver2.py -h
usage: ping_function_ver2.py [-h] [-c COUNT] host
Ping script
positional arguments:
host

IP or name to ping

optional arguments:
-h, --help

show this help message and exit

-c COUNT

Number of packets

Вложенные парсеры
Рассмотрим один из способов организации более сложной иерархии аргументов.

Примечание: Этот пример покажет больше возможностей argparse, но они этим не ограничиваются, поэтому, если вы будете использовать argparse, обязательно посмотрите документацию модуля или статью на PyMOTW.

Файл parse_dhcp_snooping.py:
# -*- coding: utf-8 -*import argparse
# Default values:
DFLT_DB_NAME = 'dhcp_snooping.db'
DFLT_DB_SCHEMA = 'dhcp_snooping_schema.sql'

def create(args):
print(f"Creating DB {args.name} with DB schema {args.schema}")
(continues on next page)

700

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

def add(args):
if args.sw_true:
print("Adding switch data to database")
else:
print(f"Reading info from file(s) \n{', '.join(args.filename)}")
print(f"\nAdding data to db {args.db_file}")

def get(args):
if args.key and args.value:
print(f"Geting data from DB: {args.db_file}")
print(f"Request data for host(s) with {args.key} {args.value}")
elif args.key or args.value:
print("Please give two or zero args\n")
print(show_subparser_help('get'))
else:
print(f"Showing {args.db_file} content...")

parser = argparse.ArgumentParser()
subparsers = parser.add_subparsers(title='subcommands',
description='valid subcommands',
help='description')

create_parser = subparsers.add_parser('create_db', help='create new db')
create_parser.add_argument('-n', metavar='db-filename', dest='name',
default=DFLT_DB_NAME, help='db filename')
create_parser.add_argument('-s', dest='schema', default=DFLT_DB_SCHEMA,
help='db schema filename')
create_parser.set_defaults(func=create)

add_parser = subparsers.add_parser('add', help='add data to db')
add_parser.add_argument('filename', nargs='+', help='file(s) to add to db')
add_parser.add_argument('--db', dest='db_file', default=DFLT_DB_NAME, help='db␣
,→name')

add_parser.add_argument('-s', dest='sw_true', action='store_true',
help='add switch data if set, else add normal data')
add_parser.set_defaults(func=add)
(continues on next page)

Модуль argparse

701

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

get_parser = subparsers.add_parser('get', help='get data from db')
get_parser.add_argument('--db', dest='db_file', default=DFLT_DB_NAME, help='db␣
,→name')

get_parser.add_argument('-k', dest="key",
choices=['mac', 'ip', 'vlan', 'interface', 'switch'],
help='host key (parameter) to search')
get_parser.add_argument('-v', dest="value", help='value of key')
get_parser.add_argument('-a', action='store_true', help='show db content')
get_parser.set_defaults(func=get)

if __name__ == '__main__':
args = parser.parse_args()
if not vars(args):
parser.print_usage()
else:
args.func(args)
Теперь создается не только парсер, как в прошлом примере, но и вложенные парсеры. Вложенные парсеры будут отображаться как команды. Фактически, они будут использоваться
как обязательные аргументы.
С помощью вложенных парсеров создается иерархия аргументов и опций. Аргументы, которые добавлены во вложенный парсер, будут доступны как аргументы этого парсера. Например, в этой части создан вложенный парсер create_db, и к нему добавлена опция -n:
create_parser = subparsers.add_parser('create_db', help='create new db')
create_parser.add_argument('-n', dest='name', default=DFLT_DB_NAME,
help='db filename')
Синтаксис создания вложенных парсеров и добавления к ним аргументов одинаков:
create_parser = subparsers.add_parser('create_db', help='create new db')
create_parser.add_argument('-n', metavar='db-filename', dest='name',
default=DFLT_DB_NAME, help='db filename')
create_parser.add_argument('-s', dest='schema', default=DFLT_DB_SCHEMA,
help='db schema filename')
create_parser.set_defaults(func=create)
Метод add_argument добавляет аргумент. Тут синтаксис точно такой же, как и без использования вложенных парсеров.
В строке create_parser.set_defaults(func=create) указывается, что при вызове парсера

702

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

create_parser будет вызвана функция create.
Функция create получает как аргумент все аргументы, которые были переданы. И внутри
функции можно обращаться к нужным:
def create(args):
print("Creating DB {} with DB schema {}".format((args.name, args.schema)))
Если вызвать help для этого скрипта, вывод будет таким:
$ python parse_dhcp_snooping.py -h
usage: parse_dhcp_snooping.py [-h] {create_db,add,get} ...
optional arguments:
-h, --help

show this help message and exit

subcommands:
valid subcommands
{create_db,add,get}

description

create_db

create new db

add

add data to db

get

get data from db

Обратите внимание, что каждый вложенный парсер, который создан в скрипте, отображается как команда в подсказке usage:
usage: parse_dhcp_snooping.py [-h] {create_db,add,get} ...
У каждого вложенного парсера теперь есть свой help:
$ python parse_dhcp_snooping.py create_db -h
usage: parse_dhcp_snooping.py create_db [-h] [-n db-filename] [-s SCHEMA]
optional arguments:
-h, --help

show this help message and exit

-n db-filename

db filename

-s SCHEMA

db schema filename

Кроме вложенных парсеров, в этом примере также есть несколько новых возможностей
argparse.

metavar
В парсере create_parser используется новый аргумент - metavar:

Модуль argparse

703

Python для сетевых инженеров, Выпуск 3.0

create_parser.add_argument('-n', metavar='db-filename', dest='name',
default=DFLT_DB_NAME, help='db filename')
create_parser.add_argument('-s', dest='schema', default=DFLT_DB_SCHEMA,
help='db schema filename')
Аргумент metavar позволяет указывать имя аргумента для вывода в сообщении usage и help:
$ python parse_dhcp_snooping.py create_db -h
usage: parse_dhcp_snooping.py create_db [-h] [-n db-filename] [-s SCHEMA]
optional arguments:
-h, --help

show this help message and exit

-n db-filename

db filename

-s SCHEMA

db schema filename

Посмотрите на разницу между опциями -n и -s:
• после опции -n и в usage, и в help указывается имя, которое указано в параметре metavar
• после опции -s указывается имя переменной, в которую сохраняется значение

nargs
В парсере add_parser используется nargs:
add_parser.add_argument('filename', nargs='+', help='file(s) to add to db')
Параметр nargs позволяет указать, что в этот аргумент должно попасть определенное количество элементов. В этом случае все аргументы, которые были переданы скрипту после
имени аргумента filename, попадут в список nargs, но должен быть передан хотя бы один
аргумент.
Сообщение help в таком случае выглядит так:
$ python parse_dhcp_snooping.py add -h
usage: parse_dhcp_snooping.py add [-h] [--db DB_FILE] [-s]
filename [filename ...]
positional arguments:
filename

file(s) to add to db

optional arguments:
-h, --help

show this help message and exit

--db DB_FILE

db name

-s

add switch data if set, else add normal data

704

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

Если передать несколько файлов, они попадут в список. А так как функция add просто выводит имена файлов, вывод получится таким:
$ python parse_dhcp_snooping.py add filename test1.txt test2.txt
Reading info from file(s)
filename, test1.txt, test2.txt
Adding data to db dhcp_snooping.db
nargs поддерживает такие значения:
• N - должно быть указанное количество аргументов. Аргументы будут в списке (даже
если указан 1)
• ? - 0 или 1 аргумент
• * - все аргументы попадут в список
• + - все аргументы попадут в список, но должен быть передан хотя бы один аргумент

choices
В парсере get_parser используется choices:
get_parser.add_argument('-k', dest="key",
choices=['mac', 'ip', 'vlan', 'interface', 'switch'],
help='host key (parameter) to search')
Для некоторых аргументов важно, чтобы значение было выбрано только из определенных
вариантов. В таких случаях можно указывать choices.
Для этого парсера help выглядит так:
$ python parse_dhcp_snooping.py get -h
usage: parse_dhcp_snooping.py get [-h] [--db DB_FILE]
[-k {mac,ip,vlan,interface,switch}]
[-v VALUE] [-a]
optional arguments:
-h, --help

show this help message and exit

--db DB_FILE

db name

-k {mac,ip,vlan,interface,switch}
host key (parameter) to search
-v VALUE

value of key

-a

show db content

А если выбрать неправильный вариант:

Модуль argparse

705

Python для сетевых инженеров, Выпуск 3.0

$ python parse_dhcp_snooping.py get -k test
usage: parse_dhcp_snooping.py get [-h] [--db DB_FILE]
[-k {mac,ip,vlan,interface,switch}]
[-v VALUE] [-a]
parse_dhcp_snooping.py get: error: argument -k: invalid choice: 'test' (choose␣
,→from

'mac', 'ip', 'vlan', 'interface', 'switch')

В данном примере важно указать варианты на выбор, так как затем на
основании выбранного варианта генерируется SQL-запрос. И, благодаря
``choices``, нет возможности указать какой-то параметр, кроме
разрешенных.

Импорт парсера
В файле parse_dhcp_snooping.py последние две строки будут выполняться только в том случае, если скрипт был вызван как основной.
if __name__ == '__main__':
args = parser.parse_args()
args.func(args)
А значит, если импортировать файл, эти строки не будут вызваны.
Попробуемимпортировать парсер в другой файл (файл call_pds.py):
from parse_dhcp_snooping import parser
args = parser.parse_args()
args.func(args)
Вызов сообщения help:
$ python call_pds.py -h
usage: call_pds.py [-h] {create_db,add,get} ...
optional arguments:
-h, --help

show this help message and exit

subcommands:
valid subcommands
{create_db,add,get}
create_db

description
create new db
(continues on next page)

706

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

add

add data to db

get

get data from db

Вызов аргумента:
$ python call_pds.py add test.txt test2.txt
Reading info from file(s)
test.txt, test2.txt
Adding data to db dhcp_snooping.db
Всё работает без проблем.

Передача аргументов вручную
Последняя особенность argparse - возможность передавать аргументы вручную.
Аргументы можно передать как список при вызове метода parse_args() (файл call_pds2.py):
from parse_dhcp_snooping import parser, get
args = parser.parse_args('add test.txt test2.txt'.split())
args.func(args)
Необходимо использовать метод ``split()``, так как метод ``parse_args()``
ожидает список аргументов.
Результат будет таким же, как если бы скрипт был вызван с аргументами:
$ python call_pds2.py
Reading info from file(s)
test.txt, test2.txt
Adding data to db dhcp_snooping.db

Форматирование строк с оператором %
Пример использования оператора %:
In [2]: "interface FastEthernet0/%s" % '1'
Out[2]: 'interface FastEthernet0/1'

Форматирование строк с оператором %

707

Python для сетевых инженеров, Выпуск 3.0

В старом синтаксисе форматирования строк используются такие обозначения:
• %s - строка или любой другой объект в котором есть строковое представление
• %d - integer
• %f - float
Вывести данные столбцами одинаковой ширины по 15 символов с выравниванием по правой
стороне:
In [3]: vlan, mac, intf = ['100', 'aabb.cc80.7000', 'Gi0/1']
In [4]: print("%15s %15s %15s" % (vlan, mac, intf))
100

aabb.cc80.7000

Gi0/1

Выравнивание по левой стороне:
In [6]: print("%-15s %-15s %-15s" % (vlan, mac, intf))
100

aabb.cc80.7000

Gi0/1

С помощью форматирования строк можно также влиять на отображение чисел.
Например, можно указать, сколько цифр после запятой выводить:
In [8]: print("%.3f" % (10.0 / 3))
3.333

Примечание: У форматирования строк есть ещё много возможностей. Хорошие примеры и
объяснения двух вариантов форматирования строк можно найти тут.

Соглашение об именах
В Python есть определенные соглашения об именовании объектов.
В целом, лучше придерживаться этих соглашений. Однако, если в определенной библиотеке
или модуле используются другие соглашения, то стоит придерживаться того стиля, который
используется в них.
В этом разделе описаны не все правила. Подробнее можно почитать в документе
PEP8 на английском или на русском.

708

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

Имена переменных
Имена переменных не должны пересекаться с операторами и названиями модулей или других зарезервированных значений.
Имена переменных обычно пишутся полностью большими или маленькими буквами. В пределах одного скрипта/модуля/пакета лучше придерживаться одного из вариантов.
Если переменные - константы для модуля, то лучше использовать имена, написанные заглавными буквами:
DB_NAME = 'dhcp_snooping.db'
TESTING = True
Для обычных переменных лучше использовать имена в нижнем регистре:
db_name = 'dhcp_snooping.db'
testing = True

Имена модулей и пакетов
Имена модулей и пакетов задаются маленькими буквами.
Модули могут использовать подчеркивания между словами для того, чтобы имена были более
понятными. Для пакетов лучше выбирать короткие имена.

Имена функций
Имена функций задаются маленькими буквами, с подчеркиваниями между словами.
def ignore_command(command, ignore):
ignore_command = False
for word in ignore:
if word in command:
return True
return ignore_command

Имена классов
Имена классов задаются словами с заглавными буквами, без пробелов.

Соглашение об именах

709

Python для сетевых инженеров, Выпуск 3.0

class CiscoSwitch:
def __init__(self, name, vendor='cisco', model='3750'):
self.name = name
self.vendor = vendor
self.model = model

Подчеркивание в именах
В Python подчеркивание в начале или в конце имени указывает на специальные имена. Чаще
всего это всего лишь договоренность, но иногда это действительно влияет на поведение
объекта.

Подчеркивание как имя
В Python одно подчеркивание используется для обозначения того, что данные просто выбрасываются.
Например, если из строки line надо получить MAC-адрес, IP-адрес, VLAN и интерфейс и отбросить остальные поля, можно использовать такой вариант:
In [1]: line = '00:09:BB:3D:D6:58

10.1.10.2 86250

dhcp-snooping

10 ␣

,→FastEthernet0/1'

In [2]: mac, ip, _, _, vlan, intf = line.split()
In [3]: print(mac, ip, vlan, intf)
00:09:BB:3D:D6:58 10.1.10.2 10 FastEthernet0/1
Такая запись говорит о том, что нам не нужны третий и четвертый элементы.
Можно сделать так:
In [4]: mac, ip, lease, entry_type, vlan, intf = line.split()
Но тогда может быть непонятно, почему переменные lease и entry_type не используются
дальше. Если понятней использовать имена, то лучше назвать переменные именами вроде
ignored.
Аналогичный прием может использоваться, когда переменная цикла не нужна:
In [5]: [0 for _ in range(10)]
Out[5]: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

710

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

Подчеркивание в интерпретаторе
В интерпретаторе python и ipython подчеркивание используется для получения результата
последнего выражения
In [6]: [0 for _ in range(10)]
Out[6]: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
In [7]: _
Out[7]: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
In [8]: a = _
In [9]: a
Out[9]: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

Одно подчеркивание
Одно подчеркивание перед именем
Одно подчеркивание перед именем указывает, что имя используется как внутреннее.
Например, если одно подчеркивание указано в имени функции или метода, это означает,
что этот объект является внутренней особенностью реализации и не стоит его использовать
напрямую.
Но, кроме того, при импорте вида from module import * не будут импортироваться объекты,
которые начинаются с подчеркивания.
Например, в файле example.py такие переменные и функции:
db_name = 'dhcp_snooping.db'
_path = '/home/nata/pyneng/'

def func1(arg):
print arg

def _func2(arg):
print arg
Если импортировать все объекты из модуля, то те, которые начинаются с подчеркивания, не
будут импортированы:

Подчеркивание в именах

711

Python для сетевых инженеров, Выпуск 3.0

In [7]: from example import *
In [8]: db_name
Out[8]: 'dhcp_snooping.db'
In [9]: _path
...
NameError: name '_path' is not defined
In [10]: func1(1)
1
In [11]: _func2(1)
...
NameError: name '_func2' is not defined

Одно подчеркивание после имени
Одно подчеркивание после имени используется в том случае, когда имя объекта или параметра пересекается со встроенными именами.
Пример:
In [12]: line = '00:09:BB:3D:D6:58

10.1.10.2 86250

dhcp-snooping

10 ␣

,→FastEthernet0/1'

In [13]: mac, ip, lease, type_, vlan, intf = line.split()

Два подчеркивания
Два подчеркивания перед именем
Два подчеркивания перед именем метода используются не просто как договоренность. Такие
имена трансформируются в формат «имя класса + имя метода». Это позволяет создавать
уникальные методы и атрибуты классов.
Такое преобразование выполняется только в том случае, если в конце менее двух
подчеркиваний или нет подчеркиваний.
In [14]: class Switch(object):
...:

__quantity = 0

...:

def __configure(self):
(continues on next page)

712

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

...:

pass

...:
In [15]: dir(Switch)
Out[15]:
['_Switch__configure', '_Switch__quantity', ...]
Хотя методы создавались без приставки _Switch, она была добавлена.
Если создать подкласс, то метод __configure не перепишет метод родительского класса
Switch:
In [16]: class CiscoSwitch(Switch):
...:

__quantity = 0

...:

def __configure(self):

...:

pass

...:
In [17]: dir(CiscoSwitch)
Out[17]:
['_CiscoSwitch__configure', '_CiscoSwitch__quantity', '_Switch__configure', '_
,→Switch__quantity',

...]

Два подчеркивания перед и после имени
Таким образом обозначаются специальные переменные и методы.
Например, в модуле Python есть такие специальные переменные:
• __name__ - эта переменная равна строке __main__, когда скрипт запускается напрямую,
и равна имени модуля, когда импортируется
• __file__ - эта переменная равна имени скрипта, который был запущен напрямую, и
равна полному пути к модулю, когда он импортируется
Переменная __name__ чаще всего используется, чтобы указать, что определенная часть кода
должна выполняться, только когда модуль выполняется напрямую:
def multiply(a, b):
return a * b
if __name__ == '__main__':
print(multiply(3, 5))

Подчеркивание в именах

713

Python для сетевых инженеров, Выпуск 3.0

А переменная __file__ может быть полезна в определении текущего пути к файлу скрипта:
import os
print('__file__', __file__)
print(os.path.abspath(__file__))
Вывод будет таким:
__file__ example2.py
/home/vagrant/repos/tests/example2.py
Кроме того, таким образом в Python обозначаются специальные методы. Эти методы вызываются при использовании функций и операторов Python и позволяют реализовать определенный функционал.
Как правило, такие методы не нужно вызывать напрямую. Но, например, при создании своего класса может понадобиться описать такой метод, чтобы объект поддерживал какие-то
операции в Python.
Например, для того, чтобы можно было получить длину объекта, он должен поддерживать
метод __len__.
Ещё один специальный метод __str__ вызывается, когда используется оператор print или вызывается функция str(). Если необходимо, чтобы при этом отображение было в определенном
виде, надо создать этот метод в классе:
In [10]: class Switch(object):
...:
...:
...:

def set_name(self, name):
self.name = name

...:
...:
...:

def __configure(self):
pass

...:
...:
...:

def __str__(self):
return 'Switch {}'.format(self.name)

...:
In [11]: sw1 = Switch()
In [12]: sw1.set_name('sw1')
In [13]: print sw1
Switch sw1
(continues on next page)

714

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

In [14]: str(sw1)
Out[14]: 'Switch sw1'
Таких специальных методов в Python очень много. Несколько полезных ссылок, где можно
почитать про конкретный метод:
• документация
• Dive Into Python 3

Отличия Python 2.7 и Python 3.6
Unicode
В Python 2.7 было два типа строк: str и unicode:
In [1]: line = 'test'
In [2]: line2 = u'тест'
В Python 3 строка - это тип str, но, кроме этого, в Python 3 появился тип bytes:
In [3]: line = 'тест'
In [4]: line.encode('utf-8')
Out[4]: b'\xd1\x82\xd0\xb5\xd1\x81\xd1\x82'
In [5]: byte_str = b'test'

Функция print
В Python 2.7 print был оператором:
In [6]: print 1, 'test'
1 test
В Python 3 print - функция:
In [7]: print(1, 'test')
1 test

Отличия Python 2.7 и Python 3.6

715

Python для сетевых инженеров, Выпуск 3.0

В Python 2.7 можно брать аргументы в скобки, но от этого print не становится функцией и,
кроме того, print возвращает другой результат (кортеж):
In [8]: print(1, 'test')
(1, 'test')
В Python 3, использование синтаксиса Python 2.7 приведет к ошибке:
In [9]: print 1, 'test'
File "", line 1
print 1, 'test'
^
SyntaxError: Missing parentheses in call to 'print'

input вместо raw_input
В Python 2.7 для получения информации от пользователя в виде строки использовалась функция raw_input:
In [10]: number = raw_input('Number: ')
Number: 55
In [11]: number
Out[11]: '55'
В Python 3 используется input:
In [12]: number = input('Number: ')
Number: 55
In [13]: number
Out[13]: '55'

range вместо xrange
В Python 2.7 были две функции
• range - возвращает список
• xrange - возвращает итератор
Пример range и xrange в Python 2.7:

716

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

In [14]: range(5)
Out[14]: [0, 1, 2, 3, 4]
In [15]: xrange(5)
Out[15]: xrange(5)
In [16]: list(xrange(5))
Out[16]: [0, 1, 2, 3, 4]
В Python 3 есть только функция range, и она возвращает итератор:
In [17]: range(5)
Out[17]: range(0, 5)
In [18]: list(range(5))
Out[18]: [0, 1, 2, 3, 4]

Методы словарей
Несколько изменений произошло в методах словарей.

dict.keys(), values(), items()
Методы keys(), values(), items() в Python 3 возвращают «views» вместо списков. Особенность
view заключается в том, что они меняются вместе с изменением словаря. И фактически они
лишь дают способ посмотреть на соответствующие объекты, но не создают их копию.
В Python 3 нет методов:
• viewitems, viewkeys, viewvalues
• iteritems, iterkeys, itervalues
Для сравнения, методы словаря в Python 2.7:
In [19]: d = {1:100, 2:200, 3:300}
In [20]: d.
d.clear

d.get

d.iteritems

d.keys

d.setdefault d.viewitems

d.copy

d.has_key

d.iterkeys

d.pop

d.update

d.viewkeys

d.fromkeys

d.items

d.itervalues d.popitem

d.values

d.viewvalues

И в Python 3:

Отличия Python 2.7 и Python 3.6

717

Python для сетевых инженеров, Выпуск 3.0

In [21]: d = {1:100, 2:200, 3:300}
In [22]: d.
clear()

get()

pop()

update()

copy()

items()

popitem()

values()

fromkeys()

keys()

setdefault()

Распаковка переменных
В Python 3 появилась возможность использовать * при распаковке переменных:
In [23]: a, *b, c = [1,2,3,4,5]
In [24]: a
Out[24]: 1
In [25]: b
Out[25]: [2, 3, 4]
In [26]: c
Out[26]: 5
В Python 2.7 этот синтаксис не поддерживается:
In [27]: a, *b, c = [1, 2, 3, 4, 5]
File "", line 1
a, *b, c = [1, 2, 3, 4, 5]
^
SyntaxError: invalid syntax

Итератор вместо списка
В Python 2.7 map, filter и zip возвращали список:
In [28]: map(str, [1, 2, 3, 4, 5])
Out[28]: ['1', '2', '3', '4', '5']
In [29]: filter(lambda x: x > 3, [1, 2, 3, 4, 5])
Out[29]: [4, 5]
In [30]: zip([1, 2, 3], [100, 200, 300])
Out[30]: [(1, 100), (2, 200), (3, 300)]

718

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

В Python 3 они возвращают итератор:
In [31]: map(str, [1, 2, 3, 4, 5])
Out[31]:
In [32]: filter(lambda x: x > 3, [1, 2, 3, 4, 5])
Out[32]:
In [33]: zip([1, 2, 3], [100, 200, 300])
Out[33]:

subprocess.run
В версии Python 3.5 в модуле subprocess появилась новая функция - run. Она предоставляет
более удобный интерфейс для работы с модулем и получения вывода команд.
Соответственно, вместо функций call и check_output используется функция run, но функции
call и check_output остались.

Jinja2
В модуле Jinja2 больше не нужно использовать такой код, так как кодировка по умолчанию и
так utf-8:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
В самих шаблонах, как и в Python, изменились методы словарей. Тут, аналогично, вместо
iteritems надо использовать items.

Модули pexpect, telnetlib, paramiko
Модули pexpect, telnetlib, paramiko отправляют и получают байты, поэтому надо делать
encode/decode соответственно.
В netmiko эта конвертация выполняется автоматически.

Мелочи
• Название модуля Queue сменилось на queue

Отличия Python 2.7 и Python 3.6

719

Python для сетевых инженеров, Выпуск 3.0

• С версии Python 3.6 объект csv.DictReader возвращает OrderedDict вместо обычного словаря.

Дополнительная информация
Ниже приведены ссылки на ресурсы с информацией об изменениях в Python 3.
Документация:
• What’s New In Python 3.0
• Should I use Python 2 or Python 3 for my development activity?
Статьи:
• The key differences between Python 2.7.x and Python 3.x with examples
• Supporting Python 3: An in-depth guide

720

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

Проверка заданий с помощью утилиты pyneng
Начиная с раздела «4. Типы данных в Python» для проверки заданий используются автоматические тесты. Они помогают проверить все ли соответствует поставленной задаче, а также
дают обратный отклик по тому, что не соответствует задаче. Как правило, после первого
периода адаптации к тестам, становится проще делать задания с тестами.
Помимо перечисленных выше положительных моментов, в тестах также можно посмотреть
какой итоговый результат нужен: прояснить структуру данных и мелочи, которые могут влиять на результат.
Для запуска тестов используется pyneng.py - скрипт, который находится в репозитории заданий.

Где решать задания
Задания

надо

04_data_structures

выполнять
есть

в

подготовленных

задание

4.3.

Чтобы

файлах.

выполнить

Например,
его

надо

в

разделе

открыть

файл

exercises/04_data_structures/task_4_3.py и выполнять задание прямо в этом файле после
описания задания.
Это важно потому что тесты привязаны к тому, что задания выполняются в определенных
файлах и в определенной структуре каталогов. Кроме того, что задания надо делать в подготовленных файлах, обязательно скопировать себе весь каталог exercises (а еще лучше
весь репозиторий pyneng-examples-exercises), так как тесты зависят от файлов в каталоге
exercises, не только от файлов в каталоге конкретных заданий.

Установка скрипта pyneng
Для начала, его надо установить, чтобы не надо было каждый раз писать python pyneng.py.
Для установки скрипта, в репозитории должны находиться файлы pyneng.py и setup.py. Если репозиторий создавался после 28 января 2021 из шаблона pyneng-examples-exercises, эти
файлы находится в корне репозитория. Иначе, их надо скопировать в свой репозиторий самостоятельно.
Надо перейти в свой репозиторий, например (пишите имя своего репозитория):
cd my_repo/
Затем внутри репозитория дать команду
pip install .
Это установит модуль и даст возможность вызывать его в любом каталоге по слову pyneng.

Проверка заданий с помощью утилиты pyneng

721

Python для сетевых инженеров, Выпуск 3.0

Скрипт pyneng
Этапы работы с заданиями:
1. Выполнение заданий
2. Проверка, что задание отрабатывает как нужно python task_4_2.py или запуск скрипта
в редакторе/IDE
3. Проверка заданий тестами pyneng 1-5
4. Если тесты проходят, смотрим варианты решения pyneng 1-5 -a

Примечание: Второй шаг очень важен, потому что на этом этапе намного проще найти
ошибки в синтаксисе и подобные проблемы с работой скрипта, чем при запуске кода через
тест на 3 этапе.

Скрипт упрощает запуск тестов, так как не надо указывать никакие параметры, по умолчанию вывод настроен на подробный и запускается с плагином pytest-clarity, который улучшает
diff при отличиях в решении и правильном решении. Также скрываются некоторые вещи, например, warning которые показывает pytest, чтобы не отвлекать от задачи.
Тесты по-прежнему можно запускать с помощью pytest, если вы уже к нему привыкли или
ранее использовали. Скрипт pyneng всего лишь обертка вокруг запуска pytest.
Вторая часть работы скрипта - копирование вариантов решения заданий. Эта часть сделана для удобства, чтобы не надо было искать ответы и задумана так, что сначала задание
должно пройти тест и только после этого pyneng -a отработает и покажет ответы (скопирует их в текущий каталог). Для копирования ответов, скрипт клонирует репозиторий ответов
в домашний каталог пользователя, копирует нужные ответы и удаляет репозиторий ответов.

Проверка заданий тестами
После выполнения задания, его надо проверить с помощью тестов. Для запуска тестов, надо вызвать pyneng в каталоге заданий. Например, если вы делаете 4 раздел заданий, надо
находиться в каталоге exercises/04_data_structures/ и запустить pyneng одним из способов, в
зависимости от того какие задания на проверять.
Запуск проверки всех заданий текущего раздела:
pyneng
Запуск тестов для задания 4.1:
pyneng 1
Запуск тестов для заданий 4.1, 4.2, 4.3:
722

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

pyneng 1-3
Если есть задания с буквами, например, в 7 разделе, можно запускать так, чтобы запустить
проверку для заданий 7.2a, 7.2b (надо находиться в каталоге 07_files):
pyneng 2a-b
или так, чтобы запустить все задания 7.2x с буквами и без:
pyneng 2*

Получение ответов
Если задания проходят тесты, можно посмотреть варианты решения заданий.
Для этого к предыдущим вариантам команды надо добавить -a. Такой вызов значит запустить тесты для заданий 1 и 2 и скопировать ответы, если тесты прошли:
pyneng 1-2 -a
Тогда для указанных заданий запустятся тесты и для тех заданий из них, которые прошли
тесты, скопируются ответы в файлы answer_task_x.py в текущем каталоге.

Вывод pyneng
Warning
В конце вывода теста часто написано «1 warning». Это можно игнорировать, предупреждения
в основном связаны с работой каких-то модулей и скрыты чтобы не отвлекать от заданий.

Проверка заданий с помощью утилиты pyneng

723

Python для сетевых инженеров, Выпуск 3.0

Тесты прошли успешно

Тесты не прошли
Когда какие-то тесты не прошли, в выводе показываются отличия между тем как должен
выглядеть вывод и какой вывод был получен.
Отличия показываются как Left и Right, к сожалению тут нет такого что зеленым выделен
правильный вариант, а красным неправильный, надо смотреть по ситуации. Каждый раз при
выводе отличий, перед ними есть строка вида:
assert correct_stdout in out.strip()
В этом случае Left это правильный вывод, right вывод задания:

724

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

или так:
return_value == correct_return_value
В этом случае Right это правильный вывод, Left вывод задания:

Проверка заданий с помощью утилиты pyneng

725

Python для сетевых инженеров, Выпуск 3.0

Проверка заданий с помощью pytest

Предупреждение: Для проверки заданий тестами появилась новая утилита pyneng. Она
упрощает работу с тестами.

Начиная с раздела «4. Типы данных в Python» для проверки заданий используются автоматические тесты. Они помогают проверить все ли соответствует поставленной задаче, а также
дают обратный отклик по тому, что не соответствует задаче. Как правило, после первого
периода адаптации к тестам, становится проще делать задания с тестами.
Помимо перечисленных выше положительных моментов, в тестах также можно посмотреть
какой итоговый результат нужен: прояснить структуру данных и мелочи, которые могут влиять на результат.
Для запуска тестов используется pytest - фреймворк для написания тестов.
Перед запуском тестов надо установить такие модули:
pip install pytest-clarity pyyaml
Для корректной работы тестов, надо скопировать себе не только каталог заданий одного
раздела, а весь каталог exercises из репозитория с заданиями. А лучше создать себе копию
репозитория с заданиями, как написано тут.

Примечание: Запись лекции по использованию pytest для проверки заданий

Основы pytest
Для начала надо установить pytest и pyyaml:
pip install pytest
pip install pyyaml
Хотя на курсе не надо будет писать тесты, чтобы их понимать, стоит посмотреть на пример
теста. Например, есть следующий код с функцией check_ip:
import ipaddress

def check_ip(ip):
try:
(continues on next page)

726

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

ipaddress.ip_address(ip)
return True
except ValueError as err:
return False

if __name__ == "__main__":
result = check_ip('10.1.1.1')
print('Function result:', result)
Функция check_ip проверяет является ли аргумент, который ей передали, IP-адресом. Пример
вызова функции с разными аргументами:
In [1]: import ipaddress
...:
...:
...: def check_ip(ip):
...:

try:

...:

ipaddress.ip_address(ip)

...:

return True

...:

except ValueError as err:

...:

return False

...:
In [2]: check_ip('10.1.1.1')
Out[2]: True
In [3]: check_ip('10.1.')
Out[3]: False
In [4]: check_ip('a.a.a.a')
Out[4]: False
In [5]: check_ip('500.1.1.1')
Out[5]: False
Теперь необходимо написать тест для функции check_ip. Тест должен проверять, что при
передаче корректного адреса, функция возвращает True, а при передаче неправильного аргумента - False.
Чтобы упростиь задачу, тест можно написать в том же файле. В pytest, тестом может быть
обычная функция, с именем, которое начинается на test_. Внутри функции надо написать
условия, которые проверяются. В pytest это делается с помощью assert.

Проверка заданий с помощью pytest

727

Python для сетевых инженеров, Выпуск 3.0

assert
assert ничего не делает, если выражение, которое написано после него истинное и генерирует исключение, если выражение ложное:
In [6]: assert 5 > 1
In [7]: a = 4
In [8]: assert a in [1,2,3,4]
In [9]: assert a not in [1,2,3,4]
--------------------------------------------------------------------------AssertionError

Traceback (most recent call last)

in
----> 1 assert a not in [1,2,3,4]
AssertionError:
In [10]: assert 5 < 1
--------------------------------------------------------------------------AssertionError

Traceback (most recent call last)

in
----> 1 assert 5 < 1
AssertionError:
После assert и выражения можно писать сообщение. Если сообщение есть, оно выводится в
исключении:
In [11]: assert a not in [1,2,3,4], "а нет в списке"
--------------------------------------------------------------------------AssertionError

Traceback (most recent call last)

in
----> 1 assert a not in [1,2,3,4], "а нет в списке"
AssertionError: а нет в списке

Пример теста
pytest использует assert, чтобы указать какие условия должны выполняться, чтобы тест считался пройденным.
В pytest тест можно написать как обычную функцию, но имя функции должно начинаться с

728

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

test_. Ниже написан тест test_check_ip, который проверяет работу функции check_ip, передав ей два значения: правильный адрес и неправильный, а также после каждой проверки
написано сообщение:
import ipaddress

def check_ip(ip):
try:
ipaddress.ip_address(ip)
return True
except ValueError as err:
return False

def test_check_ip():
assert check_ip('10.1.1.1') == True, 'При правильном IP, функция должна␣
,→возвращать

True'

assert check_ip('500.1.1.1') == False, 'Если адрес неправильный, функция␣
,→должна

возвращать False'

if __name__ == "__main__":
result = check_ip('10.1.1.1')
print('Function result:', result)
Код записан в файл check_ip_functions.py. Теперь надо разобраться как вызывать тесты. Самый простой вариант, написать слово pytest. В этом случае, pytest автоматически обнаружит
тесты в текущем каталоге. Однако, у pytest есть определенные правила, не только по названию функцию, но и по названию файлов с тестами - имена файлов также должны начинаться
на test_. Если правила соблюдаются, pytest автоматически найдет тесты, если нет - надо
указать файл с тестами.
В случае с примером выше, надо будет вызвать такую команду:
$ pytest check_ip_functions.py
========================= test session starts ==========================
platform linux -- Python 3.7.3, pytest-4.6.2, py-1.5.2, pluggy-0.12.0
rootdir: /home/vagrant/repos/general/pyneng.github.io/code_examples/pytest
collected 1 item
check_ip_functions.py .

[100%]

======================= 1 passed in 0.02 seconds =======================
По умолчанию, если тесты проходят, каждый тест (функция test_check_ip) отмечается точПроверка заданий с помощью pytest

729

Python для сетевых инженеров, Выпуск 3.0

кой. Так как в данном случае тест только один - функция test_check_ip, после имени
check_ip_functions.py стоит точка, а также ниже написано, что 1 тест прошел.
Теперь, допустим, что функция работает неправильно и всегда возвращает False (напишите
return False в самом начале функции). В этом случае, выполнение теста будет выглядеть так:
$ pytest check_ip_functions.py
========================= test session starts ==========================
platform linux -- Python 3.6.3, pytest-4.6.2, py-1.5.2, pluggy-0.12.0
rootdir: /home/vagrant/repos/general/pyneng.github.io/code_examples/pytest
collected 1 item
check_ip_functions.py F

[100%]

=============================== FAILURES ===============================
____________________________ test_check_ip _____________________________
def test_check_ip():
>

assert check_ip('10.1.1.1') == True, 'При правильном IP, функция должна␣

,→возвращать

True'

E

AssertionError: При правильном IP, функция должна возвращать True

E

assert False == True

E

+

where False = check_ip('10.1.1.1')

check_ip_functions.py:14: AssertionError
======================= 1 failed in 0.06 seconds =======================
Если тест не проходит, pytest выводит более подробную информацию и показывает в каком
месте что-то пошло не так. В данном случае, при выполении строки assert check_ip('10.
1.1.1') == True, выражение не дало истинный результат, поэтому было сгенерировано исключение.
Ниже, pytest показывает, что именно он сравнивал: assert False == True и уточняет, что
False - это check_ip('10.1.1.1'). Посмотрев на вывод, можно заподозрить, что с функцией
check_ip что-то не так, так как она возвращает False на правильном адресе.
Чаще всего, тесты пишутся в отдельных файлах. Для данного примера тест всего один, но
он все равно вынесен в отдельный файл.
Файл test_check_ip_function.py:
from check_ip_functions import check_ip

def test_check_ip():
assert check_ip('10.1.1.1') == True, 'При правильном IP, функция должна␣
,→возвращать

730

True'

(continues on next page)

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

assert check_ip('500.1.1.1') == False, 'Если адрес неправильный, функция␣
,→должна

возвращать False'

Файл check_ip_functions.py:
import ipaddress

def check_ip(ip):
#return False
try:
ipaddress.ip_address(ip)
return True
except ValueError as err:
return False

if __name__ == "__main__":
result = check_ip('10.1.1.1')
print('Function result:', result)
В таком случае, тест можно запустить не указывая файл:
$ pytest
================= test session starts ========================
platform linux -- Python 3.6.3, pytest-4.6.2, py-1.5.2, pluggy-0.12.0
rootdir: /home/vagrant/repos/general/pyneng.github.io/code_examples/pytest
collected 1 item
test_check_ip_function.py .

[100%]

================= 1 passed in 0.02 seconds ====================

Особенности использования pytest для проверки заданий
На курсе pytest используется, в первую очередь, для самопроверки заданий. Однако, эта проверка не является опциональной - задание считается сделанным, когда оно соблюдает все
указанные пункты и проходит тесты. Со своей стороны, я тоже сначала проверяю задания
автоматическими тестами, а затем уже смотрю код, пишу комментарии, если нужно и показываю вариант решения.
Поначалу тесты требуют усилий, но через пару разделов, они будут помогать в решении
заданий.

Проверка заданий с помощью pytest

731

Python для сетевых инженеров, Выпуск 3.0

Предупреждение: Тесты, которые написаны для заданий курса, не являются эталоном
или best practice написания тестов. Тесты написаны с максимальным упором на понятность и многие вещи принято делать по-другому.

При решении заданий, особенно, когда есть сомнения по поводу итогового формата данных, которые должны быть получены, лучше посмтреть в тест. Например, если задание
task_9_1.py, то соответствующий тест будет в файле test_task_9_1.py.
Пример теста test_task_9_1.py:
import pytest
import task_9_1
import sys
sys.path.append('..')
from common_functions import check_function_exists, check_function_params

# Проверяет создана ли функция generate_access_config в задании task_9_1
def test_function_created():
check_function_exists(task_9_1, 'generate_access_config')
# Проверяет параметры функции
def test_function_params():
check_function_params(function=task_9_1.generate_access_config,
param_count=2, param_names=['intf_vlan_mapping',
,→'access_template'])

def test_function_return_value():
access_vlans_mapping = {
'FastEthernet0/12': 10,
'FastEthernet0/14': 11,
'FastEthernet0/16': 17
}
template_access_mode = [
'switchport mode access', 'switchport access vlan',
'switchport nonegotiate', 'spanning-tree portfast',
'spanning-tree bpduguard enable'
]
correct_return_value = ['interface FastEthernet0/12',
'switchport mode access',
'switchport access vlan 10',
(continues on next page)

732

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

'switchport nonegotiate',
'spanning-tree portfast',
'spanning-tree bpduguard enable',
'interface FastEthernet0/14',
'switchport mode access',
'switchport access vlan 11',
'switchport nonegotiate',
'spanning-tree portfast',
'spanning-tree bpduguard enable',
'interface FastEthernet0/16',
'switchport mode access',
'switchport access vlan 17',
'switchport nonegotiate',
'spanning-tree portfast',
'spanning-tree bpduguard enable']
return_value = task_9_1.generate_access_config(access_vlans_mapping, template_
,→access_mode)

assert return_value != None, "Функция ничего не возвращает"
assert type(return_value) == list, "Функция должна возвращать список"
assert return_value == correct_return_value, "Функция возвращает неправильное␣
,→значение"

Обратите внимание на переменную correct_return_value - в этой переменной содержится итоговый список, который должна возвращать функция generate_access_config. Поэтому, если,
к примеру, по мере выполнения задания, возник вопрос надо ли добавлять пробелы перед
командами или перевод строки в конце, можно посмотреть в тесте, что именно требуется в
результате. А также сверить свой вывод, с выводом в переменной correct_return_value.

Как запускать тесты для проверки заданий
Самое главное, это откуда надо запускать тесты: все тесты надо запускать из каталога с
заданиями раздела. Например, в разделе 09_functions, такая структура каталога с заданиями:
[~/repos/pyneng-7/pyneng-online-may-aug-2019/exercises/09_functions]
vagrant: [master|✓]
$ tree
.
├── config_r1.txt
├── config_sw1.txt
├── config_sw2.txt
(continues on next page)

Проверка заданий с помощью pytest

733

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

├── conftest.py
├── task_9_1a.py
├── task_9_1.py
├── task_9_2a.py
├── task_9_2.py
├── task_9_3a.py
├── task_9_3.py
├── task_9_4.py
├── test_task_9_1a.py
├── test_task_9_1.py
├── test_task_9_2a.py
├── test_task_9_2.py
├── test_task_9_3a.py
├── test_task_9_3.py
└── test_task_9_4.py
Запускать тесты, в этом случае, надо из каталога 09_functions:
[~/repos/pyneng-7/pyneng-online-may-aug-2019/exercises/09_functions]
vagrant: [master|✓ ]
$ pytest test_task_9_1.py
========================= test session starts ==========================
platform linux -- Python 3.7.3, pytest-4.6.2, py-1.5.2, pluggy-0.12.0
rootdir: /home/vagrant/repos/pyneng-7/pyneng-online-may-aug-2019/exercises/09_
,→functions

collected 3 items
test_task_9_1.py ...

[100%]

...

conftest.py
К тестами относится и файл conftest.py - это специальный файл, в котором можно писать
функции (а точнее фикстуры) общие для раных тестов. Например, в этот файл вынесены
функции, которые подключаются по SSH/Telnet к оборудованию.

pytest.ini
Это конфигурационный файл pytest. В нем можно настроить аргументы вызова pytest. Например, если вы хотите всегда вызывать pytest с -vv, надо написать в pytest.ini:

734

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

[pytest]
addopts = -vv
В подготовленном файле pytest.ini находится такая строка:
addopts = -vv --no-hints
Это параметр, который нужен модулю pytest-clarity, он описывается ниже.

Полезные команды
Запуск одного теста:
$ pytest test_task_9_1.py
Запуск одного теста с более подробным выводом информации (показывает diff между данными в тесте и тем, что получено из функции):
$ pytest test_task_9_1.py -vv
Запуск всех тестов одного раздела:
[~/repos/pyneng-7/pyneng-online-may-aug-2019/exercises/09_functions]
vagrant: [master|✓]
$ pytest
======================= test session starts ========================
platform linux -- Python 3.6.3, pytest-4.6.2, py-1.5.2, pluggy-0.12.0
rootdir: /home/vagrant/repos/pyneng-7/pyneng-online-may-aug-2019/exercises/09_
,→functions

collected 21 items
test_task_9_1.py ..F

[ 14%]

test_task_9_1a.py FFF

[ 28%]

test_task_9_2.py FFF

[ 42%]

test_task_9_2a.py FFF

[ 57%]

test_task_9_3.py FFF

[ 71%]

test_task_9_3a.py FFF

[ 85%]

test_task_9_4.py FFF

[100%]

...
Запуск всех тестов одного раздела с отображением сообщений об ошибках в одну строку:

Проверка заданий с помощью pytest

735

Python для сетевых инженеров, Выпуск 3.0

$ pytest --tb=line

pytest-clarity
Плагин pytest-clarity улучшает отображение отличий необходимого результата с решением
задания.
Установка:
pip install pytest-clarity
Плагин pytest-clarity отрабатывает только в том случае, когда тест вызывается с флагом -vv.
Также по умолчанию у него довольно объемный вывод, поэтому лучше вызывать его с аргументом --no-hints (эта опция прописана в подготовленном репозитории в файле pytest.ini):
$ pytest test_task_9_3.py -vv --no-hints
======================= test session starts ========================
test_task_9_3.py::test_function_created PASSED

[ 33%]

test_task_9_3.py::test_function_params PASSED

[ 66%]

test_task_9_3.py::test_function_return_value FAILED

[100%]

======================== FAILURES ==================================
__________ test_function_return_value ______________________________
...
access, trunk = return_value
>

assert (
return_value == correct_return_value
), "Функция возвращает неправильное значение"

E

AssertionError: Функция возвращает неправильное значение

E

assert left == right failed.

E

Showing unified diff (L=left, R=right):

E
E

L ({'FastEthernet0/0': '10',

E

R ({'FastEthernet0/0': 10,

E

L

'FastEthernet0/2': '20',

E

R

'FastEthernet0/2': 20,

E

L

'FastEthernet1/0': '20',

E

R

'FastEthernet1/0': 20,

E

L

'FastEthernet1/1': '30'},

E

R

'FastEthernet1/1': 30},

E

{'FastEthernet0/1': [100, 200],
(continues on next page)

736

Глава 10. VIII. Дополнительная информация

Python для сетевых инженеров, Выпуск 3.0

(продолжение с предыдущей страницы)

E

'FastEthernet0/3': [100, 300, 400, 500, 600],

E

'FastEthernet1/2': [400, 500, 600]})

test_task_9_3.py:59: AssertionError
Так как агументы -vv и --no-hints надо постоянно передавать, можно записать их в
pytest.ini:
[pytest]
addopts = -vv --no-hints

Проверка заданий с помощью pytest

737

Python для сетевых инженеров, Выпуск 3.0

738

Глава 10. VIII. Дополнительная информация

11
Продолжение обучения

Как правило, информацию тяжело усвоить с первого раза. Особенно, новую информацию.
Если делать практические задания и пометки, в ходе изучения, то усвоится намного больше
информации, чем, если просто читать книгу. Но, скорее всего, в каком-то виде, надо будет
читать о той же информации несколько раз.
Книга дает лишь основы Python и поэтому надо обязательно продолжать учиться и повторять
уже пройденные темы и изучать новое. И тут есть множество вариантов:
• автоматизировать что-то в работе
• изучать дальше Python для автоматизации работы с сетью
• изучать Python без привязки к сетевому оборудованию
Тут ресурсы перечислены выборочно, с учетом того, что вы уже прочитали книгу. Но, кроме этого, я сделала подборку ресурсов в которой можно найти и другие материалы.

Написание скриптов для автоматизации рабочих процессов
Скорее всего, после прочтения книги, появятся идеи, что можно автоматизировать на работе.
Это отличный вариант, так как на реальной задаче всегда проще учиться и изучать новое.
Но лучше не ограничиваться только рабочими задачами и изучать Python дальше.
Python позволяет делать достаточно многое обладая только базовыми знаниями. Поэтому не
всегда рабочие задачи позволят принципиально повысить уровень знаний или подтолкнуть
к этому, но зная Python лучше, те же задачи можно решать, как правило, намного проще.
Поэтому лучше не останавливаться и учиться дальше.

739

Python для сетевых инженеров, Выпуск 3.0

Ниже описаны ресурсы с привязкой к сетевому оборудованию и в целом по Python. В зависимости от того, по каким материалам вы лучше учитесь, можно выбрать книги или видео
курсы из списка

Python для автоматизации работы с сетевым оборудованием
Книги:
• Network Programmability and Automation: Skills for the Next-Generation Network Engineer
• Mastering Python Networking (Eric Chou) - отчасти перекликается с тем, что рассматривалось в этой книге, но в ней есть и много новых тем. Плюс, рассматриваются примеры не
только на оборудовании Cisco, но Juniper и Arista.
Блоги - позволят быть в курсе новостей в этой сфере:
• Kirk Byers
• Jason Edelman
• Matt Oswalt
• Michael Kashin
• Henry Ölsner
• Mat Wood
У Packet Pushers достаточно часто выходят подкасты об автоматизации:
• Show 176 – Intro To Python & Automation For Network Engineers
• Show 198 – Kirk Byers On Network Automation With Python & Ansible
• Show 270: Design & Build 9: Automation With Python And Netmiko
• Show 332: Don’t Believe The Programming Hype
• Show 333: Automation & Orchestration In Networking
• PQ Show 99: Netmiko & NAPALM For Network Automation
Проекты:
• CiscoConfParse - библиотека, которая парсит конфигурации типа Cisco IOS. С ее помощью можно: проверять существующие конфигурации маршрутизаторов/коммутаторов,
получать определенную часть конфигурации, изменять конфигурацию
• NAPALM - NAPALM (Network Automation and Programmability Abstraction Layer with
Multivendor support) это библиотека, которая позволяет работать с сетевым оборудованием разных вендоров, используя унифицированный API

740

Глава 11. Продолжение обучения

Python для сетевых инженеров, Выпуск 3.0

• NOC Project - NOC is the scalable, high-performance and open-source OSS system for ISP,
service and content providers
• Requests - библиотека для работы с HTTP
• SaltStack - аналог Ansible
• Scapy - сетевая утилита, которая позволяет манипулировать сетевыми пакетами
• StackStorm - StackStorm is event-driven automation commonly used for auto-remediation,
security responses, facilitated troubleshooting, complex deployments, and more
• netdev
• Nornir
• eNMS

Python без привязки к сетевому оборудованию
Книги
Основы:
• Think Python - хорошая книга по основам Python. В книге есть задания.
• Python Crash Course: A Hands-On, Project-Based Introduction to Programming - книга по основам Python. Половина книги посвящена «стандартному» описанию основ Python, а во
второй половине эти основы используются для проектов. В книге есть задания.
• Automate the Boring Stuff with Python. На русском - в этой книге можно найти много идей
по автоматизации ежедневной работы. Тут рассматриваются такие темы: работа с файлами PDF, Excel, Word, отправка писем, работа с картинками, работа в веб
Среднего/продвинутого уровня:
• Python Tricks - отличный вариант для 2-3 книги по Python. В книге описываются различные аспекты Python и то как правильно использовать. Книга достаточно новая (конец
2017 года), в ней рассматривается Python 3.
• Effective Python: 59 Specific Ways to Write Better Python (Effective Software Development
Series) - книга полезных советов как лучше писать код. В конце 2019 года планируется
выход второго издания книги.
• Dive Into Python 3 - коротко рассматриваются основы Python, а затем более продвинутые
темы: closure, генераторы, тесты и так далее. Книга 2009 года, но рассматриваюется
Python 3 и 99% тем остались без изменений.
• Problem Solving with Algorithms and Data Structures using Python - отличная книга по структурам данных и алгоритмам. Много примеров и домашних заданий. На русском

Python без привязки к сетевому оборудованию

741

Python для сетевых инженеров, Выпуск 3.0

• Fluent Python - отличная книга по более продвинутым темам. Даже те темы, которые
устарели в текущей версии Python (asyncio) стоит прочитать ради прекрасного объяснения темы.
• Python Cookbook - отличная книга рецептов. Рассматривается огромное количество сценариев с решениями и пояснением.

Курсы
• MITx - 6.00.1x Introduction to Computer Science and Programming Using Python - очень хороший курс по Python. Отличный вариант для продолжения обучения после книги. В нём
вы и повторите пройденный материал по основам Python, но под другим углом и узнаете
много нового. В курсе много практических заданий и он достаточно интенсивный.
• Python от Computer Science Center - отличные видеолекции по Python. Тут есть и немного
основ и более продвинутые темы
• Курсы от Talk Python

Сайты с задачами
• Bites of Py
• HackerRank - на этом сайте задачи разбиты по областям: алгоритмы, регулярные выражения, базы данных и другие. Но есть и базовые задачи
• CheckIO - online game for Python and JavaScript coders

Подкасты
Подкасты позволят в целом расширить кругозор и получить представление о разных проектах, модулях и библиотеках Python:
• Talk Python To Me
• Best Python Podcasts

Документация
• Официальная документация Python
• Python Module of the Week
• Tiny-Python-3.6-Notebook - Отличная шпаргалка по Python 3.6

742

Глава 11. Продолжение обучения

12
Отзывы читателей книги и слушателей курса

Ян Коробов
Курс Python для сетевых инженеров.
Вот и пролетели 3 месяца с первого занятия и пора писать отзыв. Как только я услышал про
этот курс и что его ведет та самая Наташа Самойленко, я подумал вот оно! Как было бы
здорово у нее поучится и ожидания оправдались на 200%!
Как и многих, кто вообще не занимался раньше программированием, перед курсом меня еще
одолевали сомнения, а смогу ли я? Наверное, надо хорошо знать математику, итд. Все стереотипы быстро развеиваются. На деле программирование под руководством Наташи превращается в увлекательное, затягивающее дело. Серьезно, как по мне так это очень весело! Но это не значит, что Вас ждет легкая прогулка, сразу советую работать на максимум и
делать все задания. Результат прямо пропорционален затраченным усилиям. На курсе попадаешь в атмосферу разработчика, подготовлены все необходимые инструменты для этого.
Интенсивность курса средняя. Очень много практики и заданий в контексте сетевого администрирования. Как по мне так отличная структура, Одна, две лекции в неделю, остальная
неделя на практические задания. В slack всегда можно рассчитывать на помощь Наташи по
заданиям и конечно заряд мотивации на неделю обеспечен;) Иногда в чате можно встретить
таких “монстров” как Эмиль Гарипов! Помимо этого, огромное количество дополнительного
материала (помимо лекций, заданий и книги) И так, незаметно для себя ты уже между делом пишешь код что бы получить словарь из Английской книги потому что тебе не хватает
словарного запаса. Или опрашиваешь 1000-и устройств, складывая результат в базу, применяешь шаблоны jinja, конфигурируешь, пишешь playbook в Ansible. И Наташа не может и не
хочет стоять на месте поэтому появились дополнительные занятия после курса по ООП, что
невероятно расширяет ваши возможности.
Что бы чему-то научиться нужно идти к лучшим, людям страстно одержимым своим делом, на
наше счастье Наташа одинаково увлечена и программированием, и желанием научить нас,
огромное тебе спасибо за это!!!

743

Python для сетевых инженеров, Выпуск 3.0

Сергей Забабурин
Осталось три темы и я закончу воркшоп «Питон для сетевых инженеров» от Наташи Самойленко. Курс шел с сентября по ноябрь, 13 недель.
Я как всегда отжег: оплатил, ничего не делал и начал заниматься, когда группа прошла
половину. Однако, начав, уже не смог оторваться и топлю до финала. Наташа, если вдруг не
знаете, написала чуть меньше чем весь сетевой раздел XGU.ru , автоматизировала проект
CCIE за год и написала для него первую «большую лабу». Послушать ее чарующий голос
можно в клубе 256-TTL
В курсе сам Python,базы SQL, форматы YAML, JSON, шаблоны Jinja2 и, конечно, Ansible. 50
часов видео и 114 заданий для самостоятельной работы.
Почему этот курс?
Во-первых он продуман и оснащен всем необходимым инструментарием. Книга, лекции, записи лекций, домашние задания, тесты на повторение, графики «кто сдал а кто еще ЛОЛ» и
конечно чатик, где всегда помогут а Наташа не спит вовсе.
Во-вторых это атмосфера. Шутки-прибаутки на лекциях.В чатике тебе не дадут решение сразу но заглумят в нужном направлении. Если вы когда то в общаге готовились к сессии, то
должны понять. Что важно для меня - Наташа профессионал и очень увлеченный человек.
Это подкупает в начале и очень поддерживает весь курс. Письма с ее фирменным «Все отлично! Но вот можно еще так и вот так и еще 3 другими способами….» ждешь как праздника.
В третьих Наташа коварна. Пройденные темы интервально повторяются в заданиях в разных
вариациях, сами задания для каждой темы усложняются от номера к номеру, обрастая проверками, функционалом и проч. Например у вас позади остались базовые структуры данных,
функции и форматы данных. И сейчас у вас подключение к оборудованию через netmiko. Что
проще - два метода. Рано радуетесь - задание будет таким: возьмите файлик YAML с параметрами устройств, напишите пару функций, которые проходят по оборудованию из этого YAML
и вводят команды. Сделайте скрипт таким, чтобы команды можно было ввести как угодно:
поштучно или файлом или списком . Заодно проверьте ошибки (вдруг у вас командочка кривая) и на выходе сделайте два словаря в которых вложенные словари для команд которые
прошли и которые нет. И не забудьте использовать регулярки)
И наконец, что действительно важно. Наташа заявляет: питон это просто и после курса вы
будете его использовать в повседневной работе. Так и происходит. Начиная с азов и включая
серьезные вещи (например потоки, производительность кода) шаг за шагом она выращивает
в участнике навыки и знания с которыми можно идти и работать. Это курс для практиков,
примеры из реальной жизни, материал подобран и сверстан так, что все нужное и всего
достаточно. Если Вам требуется эффективно, в понятные сроки и за умеренную плату (сейчас
это 250$) закрыть вопрос с питоном - то вам сюда: natenka.github.io/pyneng-online
ЗЫ: Если вам не нужно быстро и вы ходите как я два года сидеть и сожалеть на тему «как
плохо не уметь писать скрипты для Juniper» то совсем даром на сайте выложена книга и Git
c примерами и готовыми виртуалками для самостоятельных штудий.

744

Глава 12. Отзывы читателей книги и слушателей курса

Python для сетевых инженеров, Выпуск 3.0

Александр Романов
Когда у меня стали отнимать слишком много времени рутинные задачи. Когда коэффициент
подошёл к восьмидесяти процентам я понял что нужно что то менять. Я пробовал изучать
сам , но из за недостатка времени у меня не получалось. И в один прекрасный день я натолкнулся на курс который предлагала Наташа Самойленко. С первых занятий я понял что этот
курс ни в какой сравнение с теми которые у меня бывали раньше. Имея большой опыт в администрировании сетей показывала подходящие примеры для быстрейшего усвоения нами
материалов и применения их в работе. И всегда старалась консультировать и отвечать на вопросы в отличии от других преподавателей на курсах которых я проходил ранее. Думаю этот
курс прочно займет первое место среди всех курсов которые я проходил (наверное пока Наташа не выпустит что то новое). Думаю после этого запатентовать бренд Natasha Samoylenko
как будущий сертификат качества.

Денис Карпушин
Все что вы хотели знать о Python, но боялись спросить.
Основная проблема самостоятельного обучения это дисциплина. Сложно себя организовать
и заставить вообще что-то делать, тем более довести все до конца. Я записался на курс что
бы была мотивация и оформленная программа обучения.
Все обучение построено в очень удобной форме, и каждый найдет для себя подходящий вариант. Доступны живые лекции, записи, книга, непосредственно общение с преподавателем.
Можно комбинировать как вам удобно, чтобы обучение было в радость. Атмосфера почти домашная (Спасибо Наташе).
Не имея никакого опыта в программировании за пару месяцев начал использовать Python для
решения рабочих задач. Сложно представить что-то лучше этого курса если вы решили начать изучать программирование. Буду скучать по беседам, домашке, лекциям, и завидовать
тем кому только предстоит всё это испытать.

Евгений Овчинников
В октябре 2016 года я решил стать программистом и начал учиться. Покупал платные курсы от одного очень навязчивого своей рекламой образовательного российского интернетресурса. После нескольких месяцев обучения стало понятно, что прогресс хоть и есть, но
довольно скромный.
Ключевой проблемой было то, что изучаемые материалы либо были слабо применимы к моей
работе (инженер техподдерки в небольшом провайдере), либо неприменимы совсем. Оставалось только время в вечернее время и выходные дни. Постепенно я уставал и терял мотивацию что-то делать. Самовнушение не помогало. Вероятно я ошибся с выбором направления

Александр Романов

745

Python для сетевых инженеров, Выпуск 3.0

(веб-разработка), или не сумел выделить нормальное количество времени на самостоятельную работу. На все это накладывалась сильная загруженность на новой работе - необходимо
было быстро усваивать массу материала. К лету 2017 процесс стал совсем - я пытался что-то
делать, но уже не было сил и желания. Пройдя примерно половину курса по специальности
Веб-разработчик я понял, что больше не хочу этим заниматься и забил. Было грустно
Затем увидел на linkmeup.ru объявление о курсе «Питон для сетевых инженеров». Почитал
описание курса и понял, что такой подход (ориентация на сетевую сферу) может резко увеличить мои шансы на успех. Ведь я изучаю язык программирования, который могу применить
как раз на своем рабочем месте. Мне нужно опрашивать сетевое оборудование? Нужно. Мне
нужно массово менять конфигурации? Нужно (хотя пока не решаюсь это делать скриптами,
страшно). Вот тебе Python, товарищ! Бери и пользуйся.
Тааак. Что у нас с вакансиями по Питону? Да их куча! Кроме чисто программистских вакансий есть те же самые сетевые инженеры со знанием Питона, сетевые администраторы со
знанием Питона… Даже научный сотрудник со знанием Питона на момент написание этих
строк куда-то требуется. Читатель мой, ты понимаешь, что это означает? Научившись основам Питона и начав применять их на практике, ты еще не становишься программистом, но
ты резко увеличиваешь количество доступных тебе вакансий. Твоя ценность на рынке труда
существенно повышается.
В конце августа начались занятия. Наташа очень аккуратно подводила нас к мысли, что Питона бояться не надо. Что она за нас уже все инструменты подготовила. Что на сайте курса есть
расписание курса, ссылки на задания по курсу, ссылки на материалы по занятиям в книге,
ссылки на презентации по курсу, ссылки на репозиторий курса, ссылки на статьи о правильном обучении, ссылки на полезные ссылки в интернете… В общем студенту осталось только
сесть перед монитором в назначенное время. Которое Наташа обозначила в календаре Google
и предложила всем себе его добавить.
После многих лекций студентам рассылаются тесты, которые позволяют быстро проверить,
что ты запомнил из нового материала. Это очень приятный и неожиданный для меня момент.
Он еще раз показывает, насколько Наташа серьезно готовилась к проведению занятий.
Домашняя работа. Тут Наташа тоже подошла необычно: есть необходимый минимум заданий,
которые нужно выполнить для получения сертификата. И есть максимум, который студенты
делают по желанию. В любом случае практика программирования у студентов набирается
достаточно большой. А уж если вы осилите максимум, то честь вам и почет! Я пока еще не
осилил. Надежда тает с каждым днем, но пока есть :)
Теперь о том, что не понравилось. Часть материала можно было бы серьезно сократить. Я бы
это сделал с разделами про параллельное подключение к оборудованию и материалами про
Ансибл. Параллельное подключение довольно сложно идет для новичка. Я заснул в самом
начале раздела и почти не просыпался до конца. Вроде как тема важная, но настолько мозг
еще к такому материалу не готов, что он просто его игнорирует. Во время лекции я открывал
вкладки в браузере, серфил, слушал музыку и иногда запускал видеоролики. В общем, вел
себя как типичный студент, который пришел на лекцию чисто для галочки.
Ансибл. Он интересен, но я против его присутствия на курсе программирования. Изуче-

746

Глава 12. Отзывы читателей книги и слушателей курса

Python для сетевых инженеров, Выпуск 3.0

ние программирования забирает очень много времени. Это время нужно использовать помаксимуму. Мы же часть этого времени отбираем на изучение инструмента для работы с
сетями. Пусть этот инструмент написан на Питоне, но работать на Ансибле это не программирование. Это работать на ПО, которое само по себе нужно изучать. Мы же пришли изучать
язык программирования.
Все остальные материалы мне понравились. Может быть надо можно углубить Jinja и TextFSM.
Материала по ним немало, но мне показалось, что можно сделать побольше, т.к. шаблонизация в современном программировании очень важная вещь.
Трехмесячный курс по Питону закончился и сейчас в моей жизни происходит следующее: я
поговорил с начальником отдела и получил задание, связанное с настройкой и допиливанием модуля на Питоне для нашей системы мониторинга. То есть я не просто сотрудник техподдержки, который умеет настраивать сетевое оборудование. Я теперь могу делать новые
задачи, получать новый опыт и добавлять в «Избранное» много интересных вакансий. Слава
великому Питону!
ЗЫ. Курсы с того образовательного портала надо бы пройти до конца - оплачено ведь. Но так
неохота и лень 😔

Олег Востриков
Курс «Python для сетевых инженеров» подкупает обилием примеров, понятных сетевым инженерам. Т.е. название не маркетинговый ход, а отвечает содержанию. Материал подобран
и скомпонован очень удачно, что позволит любому сетевику, независимо от уровня навыков
программирования, начать погружение в Python и перейти от азов к решению реальных задач.
Лично мне курс пришелся как нельзя кстати, уже к середине курса я начал пытаться автоматизировать рабочие задачи. К окончанию курса это вылилось в настройку десятков тысяч
устройств. Думаю не трудно представить, сколько времени потребовалось бы, чтобы повторить это вручную.
Отдельное спасибо Наташе за попытку привить слушателям «чистописание» кода и дополнительные варианты решенных задач, это помогает расширить кругозор и улучшить код как
с эстетической, так и с практической точки зрения.

Эмиль Гарипов
Чтобы понять почему именно этот курс и почему именно с Наташей мне надо упомянуть о себе
любимом. Я не разу не программист и никогда им не был. Программисты всегда вызывали у
меня уважение и долю здоровой зависти, когда за пару часов работы могли реализовать
все твои хотелки. У меня всегда возникала ужас, когда дело касалось программирования в

Олег Востриков

747

Python для сетевых инженеров, Выпуск 3.0

школе, в университете или уже позже, когда я сам или с помощью других пытался освоить
азы программирования вплоть до того момента как Наташа предложила пройти мне её курс.
Наташа особенный человек, человек - маяк, человек - наставник, который берёт за руку и ведёт легко и не принужденно сквозь все дебри ужасного для меня программирования. Здесь
можно прыгнуть, здесь обойти, а здесь и вовсе отбросить. И что особенно меня поражает
в Наташе, так это то, что она никогда не оставит без внимания ни один маломальский вопрос, всегда ответит, да ещё и с комментариями и различными вариантами ответов. И курс
у неё выстроен также, как выложенная прямая красивая тропинка, но с препятсвиями ввиде
интересных практических заданий, чтобы было весело и не скучно осваивать азы программирования. Кроме всего прочего в курсе даже учтены практически все инструменты для работы
именно для начинающих. Первым занятием идёт подробное объяснение, как все устанавливать и начать работать. Для меня это оказалось чуть ли не самым важным, потому что до
этого я никогда не сталкивался ни с гитом, ни с виртуальными окружением, ни со средой
программирования.
Скажу честно, этот курс заставил мои мозги напрячься, но я давно не получал такого удовлетворения от процесса и самое главное избавился от фобии программирования. Рекомендую
пройти этот курс и если есть какие-то сомнения, отбросить их, вы не только сможете, но и
получите массу удовольствия.

Илья про книгу
Благодаря курсу Python для сетевых инженеров от Наташи Самойленко, я захотел сменить
квалификацию на девелопера, уже успешно решил ряд рутинных рабочих задач, постоянно
надоедавших своим однообразием. Все начиналось с простой статьи на xgu.ru, но потом это
стало чем то большим.
Простота и грациозность описания автоматизации процессов Наташи Самойленко позволила
мне открыть дверь в ранее недоступный модный «DevOps». В связи с этим, помимо развития
своих профессиональных навыков, я так же получил значительный бонус на рынке труда в
виде дополнительных знаний. Мне как человеку который изучал немного Delphi в университете, да и то не достаточно глубоко, было довольно интересно и увлекательно разбираться
с новой для меня стязей. Подача материала крайне «легка» для восприятия, и наглядна. Хорошие и полезные в ежедневной работе примеры.
Спасибо Наташе за отличный курс

Алексей Кириллов про онлайн курс
Об этом курсе я узнал совершенно случайно. Наташа предложила моему непосредственному начальнику прочитать данный курс для подчиненных инженеров. Перед нашим отделом

748

Глава 12. Отзывы читателей книги и слушателей курса

Python для сетевых инженеров, Выпуск 3.0

как раз стояла актуальная задача тестирования оборудования. После непродолжительного
согласования мы приступили к обучению.
Для большинства из нас это было первое знакомство с python. Но благодаря отличной подаче материала, а так же заданиям с разным уровнем сложности, обучение проходило весьма
интересно и продуктивно. К сожалению, не все темы нашли применение в нашей работе, но
главная цель была достигнута - мы начали создавать систему автоматизированного тестирования. Причем эти знания пригодились не только для одной конкретной задачи, но также
позволили решить множество рутинных задач. А из некоторых скриптов выросли отдельные
проекты.
Дело за малым - интересом. Подход, предлагаемый Наташей помогает не лезть в дебри программирования, а дает инструмент для автоматизации (а кто не хочет иметь больше свободного времени:) ), который легок в понимании человеку, который до этого работал только с
сетями. До этого курса я пытался изучать python по популярным книгам в интернете, но каждый раз это быстро заканчивалось из-за скучности и непонимания как я могу это применить.
В курсе же практически на каждую тему есть задачи, по которым вы видите практическое
применение того или иного объекта языка.

Слава Скороход про онлайн курс
О курсе я узнал из группы linkmeup в соцсети. Движимый желанием попрактиковаться в программировании под руководством такого уважаемого в сетевых (и не только) кругах человека, как Наташа, записался на него, и впоследствии не пожалел. Имел за плечами небольшой
опыт программирования на других языках, но с Python столкнулся впервые, что, впрочем, не
составило трудностей в его освоении, по большей части из-за качественной подачи материала. Полагаю, что курс найдет интерес как у начинающих, так и у сетевиков/разработчиков
с определенным багажом знаний, так как темы рассматриваются не только по верхам, но и
с погружением в детали реализации – например, про GIL я точно не ожидал услышать
Считаю удачным подход с демонстрацией конкретных, «живых» сетевых, а не абстрактных
примеров. Хоть мне и кажется, что важно в первую очередь понимание концепции, а область
ее применения со временем подскажут рабочие задачи, но, когда видишь реальные приложения того или иного модуля – это может дополнительно направить мысль в продуктивное
русло.
После курса в сознании очень четко выстраивается картина того, куда еще расти и на какие темы стоит обратить внимание. Область применения средств автоматизации не просто
обширна, а необъятна, и всегда есть, что еще изучить, но если вы хотели познакомиться с
Python или автоматизацией в целом, но не знали, откуда подступиться – настоятельно рекомендую
В заключение хочу поблагодарить Наташу за проделанную работу. Это очень качественный
слой информации на просторах рунета, который совершенно определенно может помочь как
минимум избавиться от рутинных задач на текущем месте работы, а как максимум – может
даже стать первым шагом на пути к смене квалификации.
Слава Скороход про онлайн курс

749

Python для сетевых инженеров, Выпуск 3.0

Марат Сибгатулин про онлайн курс
Не могу сказать, что Python ворвался в мои трудовые будни и окрасил их в жёлтый и синий.
Всё-таки прямого применения скриптингу в моей сфере я не вижу. Нет, это было, скорее,
очередное необходимое расширение зоны незнания.
Что действительно изменило мир - это регулярные выражения. Теперь, открывая 50 мегабайт
текстовых логов в Notepad++, я надеюсь, что придётся придумать регулярку похитрее, чтобы
извлечь максимум релевантных строк. Да и фильтрация вывода в консоли стала более гибкой
и функциональной.
За это спасибо лабораторкам в курсе и тестам после лекции, где задач на регулярные выражения было с избытком. Вообще практика построена очень удачным образом - она опирается
на то, что было в лекциях, но добавляет существенные детали. Получается, что выполняя задания, не только практикуешь известную теорию, но и с неожиданной стороны видишь то,
что казалось понятным. Лабораторки с изюминкой.
Лекции тоже важны. Несмотря на то, что они чётко идут по галавам книги, в них огромное
количество отступлений, комментариев и фирменного наташиного юмора.
Один совет: не стесняйтесь задавать вопросы. Лектору очень важно понимать, что аудитория, тем более онлайн, следит за ним.

Кирилл Плетнёв про книгу
Последние годы ни один настоящий сетевой инженер не мог не заметить звучащих тут и там
таких»страшных» слов, как Network Automation, Network Programmability и Software Defined
Networking. Для себя я давно решил, что нужно вливаться в струю не потому что, как часто говорят: «вы устареете и не будете востребованы»; я думаю, «классический сетевой инженер»
никуда не денется; но потому что, если вы любите свою профессию, работать в современных
реалиях и с современными инструментами - всегда очень интересно и приятно.
Не имея ни малейшего опыта программирования и послушав много мнений, я выбрал Python
за то, что это язык общего назначения (т.е. применяется для решения самых разнообразных задач), он зрелый, хорошо поддерживается, имеет огромное комьюнити и как следствие
очень много учебных материалов. Код Python легко пишется и читается, а подключение внешних библиотек обеспечивает представление результатов в любом желаемом формате. Также Python предпочитается многими вендорами сетевого оборудования, которых включают
Python API в некоторые версии своих операционных систем. Узнав, что Наташа Самойленко
написала книгу и сделала онлайн-курс «Python для сетевых инженеров», я решил, что это
будет отправной точкой в моём путешествии в мир Network Programmability.
Книга замечательно написана и любое предложение или абзац закреплены практическими
примерами, что, как мне кажется, является наилучшим форматом обучающего материала для
технаря. И примеров этих много, очень. Материал закрепляется особенно хорошо благода-

750

Глава 12. Отзывы читателей книги и слушателей курса

Python для сетевых инженеров, Выпуск 3.0

ря заданиям к каждой главе, которые всегда заставляют, подперев лицо кулаком, серьёзно
подумать над стратегией решения. Большое разнообразие заданий довольно быстро учит
стараться писать код красиво (насколько это возможно для новичка), а в Python это означает
гибко и эффективно.
Уже по прошествии 6-и глав (а это буквально пару недель занятий) , мне подвернулись две
рабочих задачи, которые были решены в кратчайшие сроки:
1. Перенос конфигурации NAT для более 1500 трансляций с Cisco IOS на FortiGate (т.е. абсолютно другой формат конфига).
2. И проверка работы системы фильтрации web-запросов.
Не знаю, сколько бы я колупался в Notepad++ в первом случае или выборочно открывал странички из присланного заказчиком списка, но благодаря Python и конкретно курсу Наташи,
каждая из задач была решена менее, чем за день. Перед тем, как взяться за курс, я и представить не мог, насколько Python удобен и прост в освоении.
В комплекте с курсом идёт тёплый приём в команде в Slack, где всегда можно спросить совета
или поделиться своими наработками.
В 1001-й раз хочу поблагодарить Наташу за её замечательный и нужный труд, ежедневную
помощь и ангельское терпение к моим «грязным» решениям =) Ни один мой вопрос не остался
без ответа!
Разумеется один курс и 2 месяца вашей жизни не сделают из вас Киану Ривза в Python, но его
более чем достаточно, чтобы понять, какие возможности он может вам дать. И как по мне,
это безумно интересно =)

Алексей про книгу
Я считаю, что это отличная книга, для людей которые направленны на результат. Написанная
инженером, для инженеров. Всё чётко и лаконично. Прочёл главу и приступил к работе.
Очень много практики и это замечательно, если всю её делать, то вы обязательно сможете
закрепить весь пройденный материал. Что не мало важно, практика может быть использована в реальной жизни и то, что вы напишите, скорее всего можно будет использовать в
реальной жизни для реальных проектов.
Да, наверное, можно было бы или ещё меньше написать или наоборот «воды налить», но
я считаю, что человеку которому это нужно для конкретных задач и который уже с чем-то
подобным был знаком ранее это хороший вариант и отличный старт познания Python’a. Для
меня эта книга сейчас как шпаргалка. Всего в голове не удержишь, а так я точно знаю, где
и что быстро найти.
Я не скажу, что я сразу кинулся всё автоматизировать, но определённое количество задач я
уже реализовал.
Спасибо большое Наташе за её труд и доступное изложение информации.
Алексей про книгу

751

Python для сетевых инженеров, Выпуск 3.0

752

Глава 12. Отзывы читателей книги и слушателей курса

13
Скачать PDF/Epub

Нажмите в нижнем левом углу на «Read the Docs» и в открывшейся панели нажмите PDF или
Epub.

753

Python для сетевых инженеров, Выпуск 3.0

754

Глава 13. Скачать PDF/Epub