Тетрадь 1 часть: ГДЗ часть 1. страница 35 математика 1 класс рабочая тетрадь Моро, Волкова

Математика. Рабочая тетрадь. 1 класс. Часть 1. ФГОС — Моро М.И., Волкова С.И. | ШЛЕЙФ’

г. Воронеж, площадь Ленина, д.4

8 (473) 277-16-90

г. Липецк, проспект Победы, 19А

8 (4742) 22-00-28

г. Воронеж, ул. Маршака, д.18А

8 (473) 231-87-02

8 (4742) 47-02-53

г. Богучар, ул. Дзержинского, д.4

8 (47366) 2-12-90

г. Воронеж, ул. Г. Лизюкова, д. 66 а

8 (473) 247-22-55

8 (47376) 4-28-43

г. Воронеж, ул. Плехановская, д. 33

8 (473) 252-57-43

г. Воронеж, ул. Ленинский проспект д.153

8 (473) 223-17-02

г. Нововоронеж, ул. Ленина, д.8

8 (47364) 92-350

г. Воронеж, ул. Хользунова, д. 35

8 (473) 246-21-08

г. Россошь, Октябрьская пл., 16б

8 (47396) 5-29-29

г. Россошь, пр. Труда, д. 26А

8 (47396) 5-28-07

8 (47391) 2-22-01

г. Белгород, Бульвар Народный, 80б

8 (4722) 42-48-42

г. Курск, пр. Хрущева, д. 5А

8 (4712) 51-91-15

8 (47241) 7-35-57

г.Воронеж, ул. Жилой массив Олимпийский, д.1

8 (473) 207-10-96

г. Калач, пл. Колхозного рынка, д. 21

8 (47363) 21-857

8 (4732) 71-44-70

г. Старый Оскол, ул. Ленина, д.22

8 (4725) 23-38-06

г. Воронеж, ул. Ростовская, д,58/24 ТЦ «Южный полюс»

8 (473) 280-22-42

г. Воронеж, ул. Пушкинская, 2

8 (473) 300-41-49

г. Липецк, ул.Стаханова,38 б

8 (4742) 78-68-01

г. Курск, ул.Карла Маркса, д.6

8 (4712) 54-09-50

г.Старый Оскол, мкр Олимпийский, д. 62

8 (4725) 39-00-10

8 (473) 269-55-64

ТРЦ «Московский Проспект», 3-й этаж

г. Курск, ул. Щепкина, д. 4Б

8 (4712) 73-31-39

Список рабочих тетрадей и принадлежностей к 1 классу | Материал (1 класс) на тему:

тетрадь — это… Что такое тетрадь?

Как использовать Jupyter Notebooks в 2020 году (Часть 1: ландшафт науки о данных)

Это первая из трех статей в блоге об экосистеме Jupyter Notebook. Здесь я расскажу о среде науки о данных и о силах, которые подталкивают наши инструменты для развития.

А, ноутбуки Jupyter. Нравится это вам или нет, они здесь, чтобы остаться. Последний я писал о них два года назад (речь идет о работе с ноутбуком с пульта сервер), и с тех пор экосистема выросла — даже то, как я взаимодействую с ноутбуками полностью изменилось!

В этом посте, состоящем из нескольких частей, я рассмотрю свой часто используемый инструмент в области науки о данных. toolbox, Jupyter Notebooks, и как я их использую в наше время.Я разделил этот пост на три:

• Часть I: Пейзаж науки о данных (Эта страница) . Я хотел бы узнать, как Практика науки о данных изменилась за последние несколько лет. Тогда я рассмотрим три основных фактора, изменивших то, как я использую ноутбуки сегодня.
• Часть II: Как я использую ноутбуки в 2020 году . Учитывая эти изменения, появились новые инструменты в экосистеме Notebook. Я хотел бы поделиться что мне нравится (и не нравится) в них, и как я использую их в своих дня в день.
• Часть III: Ноутбуки и будущее . Здесь я поделюсь своим список желаний для ноутбуков, потенциальные пробелы, которые сообщество все еще может заполнение, и почему Блокноты по-прежнему крутые!

Чтобы дать контекст, еще немного о я: как специалист по данным, я чередую между анализом записных книжек и написанием производственного кода для данных продукты. Моя рабочая среда очень удобна для совместной работы, поэтому я не просто просматриваю кода, я также читаю (и пытаюсь воспроизвести) анализ записных книжек других.С участием Тем не менее, у меня сильное предубеждение к производственному коду и программному обеспечению. передовой опыт, но я все еще использую записные книжки в повседневной жизни.

Сегодняшний ландшафт науки о данных

Область науки о данных быстро меняется . Мы наступило время, когда фразы типа «самая сексуальная работа 21-го век » и «данные — это новый масло» устарели и заменены более реалистичными бизнес-задачами и обоснованными технические проблемы. Я считаю это изменение двояким: теперь нам нужно поддерживать как (1) потребность в производственных анализах и экспериментах, так и (2) быстрое внедрение облака.

Рисунок : Упрощенная структура того, как думать о достижениях
процесса обработки и анализа данных за последние годы

Во-первых, необходимость производства , т. Е. Создание информационных продуктов или развертывание экспериментальных артефактов в жизненном цикле разработки программного обеспечения, имеет вырос с годами. Об этом свидетельствует стремление к большему количеству инженерный тип работы с ростом числа инженеров по машинному обучению и данных научное программное обеспечение Разработчики.Более того, анализы больше не ограничиваются внутренним пространством. публикаций или диаграмм, поскольку в настоящее время растет спрос на эксперименты. воспроизведены и его артефакты будут развернуты.

Далее, экспоненциальный рост данных требует внедрение облака . Мы не можем просто загрузить набор данных размером 1 ТБ в pandas, используя наши собственные ноутбуки! Популярность таких инструментов, как Docker и Kubernetes позволили нам масштабировать наши рабочие нагрузки по обработке данных до беспрецедентного уровня. Внедрение облака означает, что мы заботимся о масштабировании, выделении ресурсов и инфраструктуры при управлении нашими рабочими нагрузками.Однако предыдущий Jupyter Экосистема ноутбуков, поскольку она является основным продуктом в наборе инструментов для специалистов по анализу данных, не предназначен для этих изменений:

Рисунок : Ноутбуки, которые мы знаем, охватывают лишь небольшую область науки о данных экосистема

Как я уже сказал, известный нам Jupyter Notebook не предназначен для этих изменений. Они предназначены для разведки, а не добычи. Они предназначены для работы в одном машина, а не парк стручков. Однако за последние пять лет Jupyter Экосистема ноутбуков выросла: теперь у нас есть JupyterLab, несколько плагинов, новые ядра. для других языков и сторонних инструментов, доступных в нашем распоряжении.Конечно, мы все еще можем запускать ноутбуки, набрав jupyter notebook в наших терминалах, но теперь это нечто большее!

Тогда возникает вопрос: какие силы что вызвало эти изменения? и , как мы можем использовать этот более крупный ноутбук экосистема, чтобы отреагировать на изменения в науке о данных сегодня?

Три силы перемен

Экосистема Jupyter Notebook растет, и я полагаю, что это обусловлено три силы:

• Эксперимент в облаке : большие данные требуют больших вычислений и хранилища, то, что ваша обычная машина потребительского класса не всегда будет способен.
• Поддержка рабочего процесса разработчиков : все больше и больше команд по анализу данных начинает лучше всего внедрять программную инженерию практики — контроль версий, gitfow, запросы на вытягивание и многое другое.
• Быстрый переход от анализа к производству : недостаточно для тестирования гипотезы в контролируемой среде. Программное обеспечение, написанное для анализа должен легко использоваться повторно для прод.

Рисунок : Рост экосистемы ноутбуков обусловлен этими силами

Переход к среде, ориентированной на облако, означает, что мы можем Задачи на ноутбуке на машинах более мощных, чем наша.Например, управляемые экземпляры записных книжек позволили нам запускать записные книжки Jupyter с удаленного сервер без операций и настройки. С другой стороны, рост в сторону большего Производственный рабочий процесс предоставляет нам набор инструментов для создания наших портативных компьютеров. задачи с практиками программной инженерии. Мы увидим больше этих инструментов в следующая часть этого поста.

Наконец, обратите внимание, что рост инструмента не зависит от одного объекта или организация. Как мы увидим позже, заполнение этих пробелов может происходить из-за лица, предоставляющие сторонние плагины, или организации, предлагающие управляемые сервисы из ноутбуков.

Заключение

В первой части этой серии мы рассмотрели два фактора роста ландшафт науки о данных: (1) внедрение облака и (2) растущий спрос на продукцию. Мы видели, что записные книжки Jupyter заполняют только небольшая часть этой экосистемы, т. е. часто используется для исследования (не production) и запускались только на наших локальных машинах (не в облаке).

Затем, используя ту же схему, мы определили три силы изменения, которые позволили экосистеме Jupyter Notebook расти: увеличилось количество экспериментов над Облако, поддержка рабочего процесса разработчика и более быстрое завершение анализа к производству.Эти силы, возможно, привели к разработке новых инструментов, плагины и продукты, подобные Notebook, чтобы восполнить эти пробелы.

В следующей части этой серии я расскажу о том, как мы можем использовать Jupyter. Ноутбуки, учитывая эти силы перемен. Я рассмотрю некоторые инструменты и рабочие процессы, которые помогли мне в повседневной работе и побочных проектах.

Threat Hunting with Jupyter Notebooks — Часть 1: Ваш первый ноутбук 📓 | Роберто Родригес

Когда дело доходит до обнаружения угроз, сколько раз вы слышали, как кто-то говорил: «Это все в моей голове, просто спросите меня, есть ли у вас какие-либо вопросы!» или «Только он / она / они знают, как это делать!» Много раз, правда? Отсутствие документирования, стандартизации или обмена информацией о том, как анализировать данные для обнаружения потенциальных вторжений в сеть, встречается чаще, чем вы думаете, особенно когда команда очень разнообразна с технической точки зрения и с точки зрения опыта.Это влияет не только на ваши стратегии обнаружения, но и на динамику вашей команды.

Итак, сколько раз вы также думали о более эффективном, интуитивно понятном или творческом способе анализа событий безопасности, которые собирает ваша организация, но чувствуете себя ограниченными возможностями панели поиска, зависящей от одного языка?

Этот пост является частью серии из пяти частей, в которых будет представлена ​​концепция использования Jupyter Notebooks для более динамичного, гибкого и независимого от языка способа анализа событий безопасности и в то же время поможет вашей команде документировать , стандартизируйте и поделитесь учебниками по обнаружению. Что-то, что вы можете интегрировать с такими проектами, как ThreatHunter-Playbook, и развернуть его дома за бесплатно и за неограниченное время с проектами с открытым исходным кодом, такими как HELK.

В этом первом посте я расскажу об основах работы Jupyter Notebooks , о том, как создать свою первую записную книжку и как выполнить некоторые начальные базовые команды в Python.

Остальные четыре части можно найти по следующим ссылкам:

Думайте о записной книжке как о документе, к которому вы можете получить доступ через веб-интерфейс, который позволяет сохранять входных (т.е. live code) и вывод (т.е. результаты выполнения кода / вывод оцененного кода) интерактивных сеансов, а также важные примечания, необходимые для объяснения методологии и шагов, предпринятых для выполнения конкретных задач (например, анализа данных).

Jupyter Notebook — это веб-приложение с открытым исходным кодом, которое позволяет создавать и обмениваться документами, содержащими живой код, уравнения, визуализации и повествовательный текст. Области применения включают: очистку и преобразование данных, численное моделирование, статистическое моделирование, визуализацию данных, машинное обучение и многое другое.

Проект Jupyter Notebook — это эволюция библиотеки IPython Notebook , которая была разработана в первую очередь для улучшения Python по умолчанию . интерактивная консоль , позволяющая выполнять научные операции и расширенные возможности анализа данных с помощью общих веб-документов.

В настоящее время проект Jupyter Notebook поддерживает не только Python, но и более 40 языков программирования, таких как R, Julia, Scala и PySpark. Фактически, его название было первоначально получено из трех языков программирования: Ju lia, Pyt hon и R , что сделало его одним из первых приложений для ноутбуков, не зависящих от языка, и теперь считается одной из наиболее предпочтительных сред для данных. ученые и инженеры в сообществе для изучения и анализа данных.

Jupyter Notebooks работают с так называемой двухпроцессорной моделью , основанной на инфраструктуре ядро-клиент .Эта модель применяет аналогичную концепцию к программной среде Read-Evaluate-Print Loop (REPL) , которая принимает вводимые пользователем данные, оценивает их и возвращает результат пользователю.

Основываясь на концепции двухпроцессного модели , мы можем объяснить основные компоненты Jupyter следующим образом:

Jupyter Client

• Он позволяет пользователю отправлять код в ядро ​​в виде Qt Console или браузер через документы записной книжки .
• С точки зрения REPL, клиент выполняет операции , читает и печатает .
• Ноутбуки размещаются на веб-сервере Jupyter, который использует Tornado для обслуживания HTTP-запросов.

Jupyter Kernel

• Он принимает код, отправленный клиентом, выполняет его и возвращает результаты обратно клиенту для отображения. С процессом ядра может взаимодействовать несколько клиентов, поэтому эта модель также называется двухпроцессной моделью с развязкой, , .
• С точки зрения REPL, ядро ​​ оценивает операцию .
Ядро
• и клиенты обмениваются данными через протокол интерактивных вычислений на основе библиотеки асинхронного обмена сообщениями с именем ZeroMQ (низкоуровневый транспортный уровень) и WebSockets (на основе TCP)

Jupyter Notebook Document

• Notebooks автоматически сохраняются и хранится на диске в формате JavaScript Object Notation (JSON) с открытым исходным кодом и с расширением .ipynb расширение.

• Это веб-интерфейс нового поколения для Project Jupyter.
• JupyterLab со временем заменит классический Jupyter Notebook.
• Мы будем использовать расширение Jupyter Lab на протяжении всей серии.

Я уверен, что вам не терпится установить Jupyter и начать изучать его возможности, но сначала вы должны решить, хотите ли вы установить сервер Jupyter Notebook непосредственно в своей системе или разместить его на виртуальной машине или в докер-контейнере.

Я считаю, что важно предоставить вам варианты, чтобы вы чувствовали себя комфортно при работе с инструментом, как бы вы ни хотели. Если вы хотите выполнить классическую установку непосредственно в вашей системе, следуйте официальным документам Jupyter Install .

Для этой серии мы будем использовать проект HELK. Я предпочитаю делиться стандартизированной рабочей средой с помощью образов докеров, чтобы больше сосредоточиться на возможностях приложения, а не тратить время на устранение неполадок при установке сервера.

Требования

Начальные шаги

• Клонируйте последний репозиторий HELK , измените текущий каталог на HELK / docker и запустите сценарий helk_install.sh как sudo.

 git clone https://github.com/Cyb3rWard0g/HELK.git 
 cd HELK / docker 
 sudo ./helk_install.sh 

• Для этой серии мы собираемся использовать вариант 3 с базовым лицензия

• Как только сценарий завершится (около 5–10 минут), вам будет представлен аналогичный результат:

• Перейдите к HELK JUPYTER SERVER URL
• Вы можете получить Ошибка конфиденциальности .Просто проигнорируйте это, нажмите Advanced , а затем Proceed .

• КОПИРУЙТЕ значение JUPYTER CURRENT TOKEN , отображаемое на консоли, и ВСТАВЬТЕ ТОКЕН в поле Пароль или маркер и нажмите Войти в систему .

• Вы получите доступ к главному меню Jupyter Lab.

• Как вы можете видеть на изображении выше, имеется папка с именем datasets .Он содержит набор данных Mordor по умолчанию, который мы будем использовать в следующих публикациях. Кроме того, для вас есть несколько записных книжек. Я сделал все это для вас, чтобы вы познакомились с концепциями, которыми я поделюсь.

Раздел обозревателя файлов

• В этом разделе показаны доступные объекты, такие как папки или файлы, которые вы можете использовать. Вы можете переименовать , переместить , загрузить или удалить любые папки или файлы, щелкнув объекты правой кнопкой мыши.

• Вы также можете загрузить файл, который существует локально в вашей системе, щелкнув значок Загрузить , как показано ниже.

• Кроме того, вы также можете создавать новые объекты, такие как Notebooks , текстовые файлы и даже запускать терминал bash.

• Вы также можете сделать это из раздела запуска, как показано ниже

• Как вы можете видеть на изображении выше, наш сервер Jupyter имеет четыре доступных ядра: Python 3, PySpark, R и Syplon .
• По умолчанию Jupyter поставляется с ядром Python 3 (IPython) . Команда Jupyter поддерживает ядро ​​IPython, поскольку сервер ноутбуков Jupyter зависит от функциональности ядра IPython. В записной книжке можно использовать многие другие языки, помимо Python. Это то, что я имел в виду, говоря о подходе, не зависящем от языка. Если вы хотите узнать больше о других ядрах, вы можете сделать это здесь.

Раздел «Работающие терминалы и ядра»

• В этом разделе представлена ​​информация о текущих запущенных процессах Jupyter.Когда вы создаете записную книжку или запускаете сеанс терминала, вы сможете отслеживать эти процессы здесь.

Раздел команд

• В этом разделе представлена ​​информация о нескольких командах, которые доступны для взаимодействия с файлами новых консолей. ядра и т. д.

Создадим нашу первую записную книжку и познакомимся с дополнительными опциями.

• Вернитесь в раздел Launcher и щелкните конкретное ядро, которое вы хотите использовать для инициализации новой записной книжки.Выберем Python 3 .

• Вы получите доступ к базовому веб-интерфейсу записной книжки с начальной записной книжкой с именем Untitled и одной доступной ячейкой input (In) , где вы можете добавить код для выполнения ядра Python 3 .
• Вы также увидите новый файл с именем без названия с расширением ipynb . Блокноты сохраняются автоматически.

• Вы можете свернуть раздел File Browser , щелкнув его значок

• Вы можете переименовать записную книжку, щелкнув правой кнопкой мыши название записной книжки и выбрав Переименовать записную книжку .

• Если вы проверите сеансы ядра Jupyter, вы увидите, что ваш ноутбук работает с возможностью выключить ядро.

В интерфейсе записной книжки доступно несколько опций, и большинство из них очень просты и работают аналогично тому, как вы получаете на обычной панели инструментов документа, где вы можете сохранять, открывать или закрывать файлы. Однако есть несколько вариантов и концепций, которые очень важно понять:

Среда ячейки

• 1️⃣ Одной из основных частей среды ячейки является контейнер входной ячейки , где вы можете ввести код (т.е.e Python) или текст (например, Markdown) для оценки и выполнения ядром.
• 2️⃣ Слева от ячейки ввода находится метка ввода , которая отслеживает выполнение кода посредством последовательности чисел, начиная с [1] . Если ничего еще не было запущено, будут показаны пустые скобки [] . Если ядро ​​выполняет код, оно отображает * внутри скобок [] .
• 3️⃣ Вы можете сохранить содержимое записной книжки, добавить новые ячейки (➕), вырезать / удалить ячейку (✂) ️, скопировать ячейку и вставить ячейки.
• 4️⃣ Вы можете запустить код, выбрав контейнер входной ячейки и нажав кнопку ячейки запуска . Вы также можете запустить ячейку с SHIFT + ВВОД .
• 5️⃣ Вы можете выбрать тип входа, с которым будете работать, с помощью раскрывающейся кнопки код . В настоящее время существует три типа ввода ячеек. Код Тип ввода позволяет пользователю запускать код на конкретном языке программирования, определенном в ядре. В этом случае Python 3.

Вы также можете получить доступ к дополнительным параметрам через вкладку Выполнить , как показано ниже:

Среда ядра

• Вы можете получить доступ к параметрам ядра через вкладку Ядро .

Теперь, когда мы понимаем, как взаимодействовать с интерфейсом Jupyter Notebooks, давайте запустим некоторый базовый код Python в контейнере входных ячеек .

• Введите базовый оператор python PRINT и запустите ячейку ( SHIFT + ENTER )

print («Hola World !!»)

• Попробуйте запустить цикл FOR через последовательность из 5 чисел, сгенерированная RANGE

 для x в диапазоне (5): 
 print (x) 

• Переключите новый тип ячейки на Markdown , чтобы ввести некоторую уценку

• COPY , PASTE и ЗАПУСТИТЕ в ячейке Markdown :

 # Обнаружение угроз 
 ## Анализ данных 
 ### Источники данных 
 #### Мониторинг процессов 
 PowerShell Execution 

• Выбрать все текущие ячейки с SHIFT + UP и удалите их.

• Сделайте переменную доступной для нескольких входных ячеек, создав переменную в одной ячейке и запустив ее сначала, прежде чем вызывать ее из другой ячейки

dog_name = 'Pedro'

print (dog_name + "это мой лучший друг! ")

Одна полезная функция по сравнению со стандартной оболочкой Python — это завершение табуляции .

• Вы можете ввести первые буквы переменной dog_name и нажать клавишу tab на клавиатуре.Это будет искать в пространстве имен любые переменные, соответствующие набранным вами буквам.

dog_

• Вы также можете tab полные методы или атрибуты, доступные в объекте.
• Давайте определим список с элементами о моей собаке и сохраним его в переменной

dog_list = ['pedro, 4, 2015]

• Затем вы можете ввести dog_list с периодом после него и нажмите клавишу вкладки , чтобы увидеть методы, которые вы можете использовать для этого списка .Например, вы можете добавить новый элемент в список.

• То же самое можно сделать и для модулей. Давайте импортируем модуль random и на вкладке завершим доступные с ним методы или функции.

• Функция завершения табуляции также работает для путей к файлам. Мы можем протестировать его на нашей папке datasets .

Еще одна интересная функция — Introspection , она используется для получения информации об объекте (т.е список, функции и т. д.). Вы можете просто ввести вопросительный знак (?) До или после объекта.

• Давайте используем его против нашей переменной dog_list (list)

• А как насчет функции? Давайте протестируем это против функции print . Если задать один вопросительный знак (?), Будет напечатана строка документации функции.

Учебное пособие: создание прогнозной модели с помощью записной книжки (часть 1 из 2) — Машинное обучение Azure

• 11.12.2020
• 7 минут на чтение

В этой статье

В части 1 этого руководства вы обучаете и развертываете модель прогнозирующего машинного обучения с помощью кода в Jupyter Notebook.Вы также создадите сценарий оценки, чтобы определить схему ввода и вывода модели для интеграции в Power BI. Во второй части вы будете использовать модель для прогнозирования результатов в Microsoft Power BI.

В этом руководстве вы:

• Создайте блокнот Jupyter.
• Создайте вычислительный экземпляр машинного обучения Azure.
• Обучите регрессионную модель с помощью scikit-learn.
• Напишите сценарий оценки, который определяет ввод и вывод для простой интеграции в Microsoft Power BI.
• Разверните модель в конечной точке скоринга в реальном времени.

Есть три способа создать и развернуть модель, которую вы будете использовать в Power BI. В этой статье рассматривается «Вариант A: обучение и развертывание моделей с помощью записных книжек». Это вариант создания кода сначала. Он использует записные книжки Jupyter, размещенные в Студии машинного обучения Azure.

Но вместо этого вы можете использовать один из других вариантов:

Предварительные требования

Создание записной книжки и вычисление

На домашней странице Azure Machine Learning Studio выберите Создать новый > Записная книжка :

На Создайте новый файл Страница:

1. Назовите свой блокнот (например, my_model_notebook ).
2. Измените тип файла на Notebook .
3. Выберите Создать .

Затем, чтобы запустить ячейки кода, создайте вычислительный экземпляр и прикрепите его к своей записной книжке. Начните с выбора значка плюса в верхней части записной книжки:

На Create compute instance page:

1. Выберите размер виртуальной машины ЦП. Для этого руководства вы можете выбрать Standard_D11_v2 с 2 ядрами и 14 ГБ ОЗУ.
2. Выбрать Далее .
3. На странице Configure Settings укажите допустимое имя Compute . Допустимые символы: прописные и строчные буквы, цифры и дефисы (-).
4. Выберите Создать .

В ноутбуке вы могли заметить кружок рядом с Compute , ставший голубым. Это изменение цвета указывает на то, что создается вычислительный экземпляр:

Примечание

Подготовка вычислительного экземпляра может занять от 2 до 4 минут.

После подготовки вычислений вы можете использовать записную книжку для запуска ячеек кода. Например, в ячейке можно ввести следующий код:

  импортировать numpy как np

нп.син (3)
  

Затем выберите Shift + Enter (или выберите Control + Enter или нажмите кнопку Play рядом с ячейкой). Вы должны увидеть следующий результат:

Теперь вы готовы создать модель машинного обучения.

Постройте модель с помощью scikit-learn

В этом руководстве вы используете набор данных «Диабет».Этот набор данных доступен в открытых наборах данных Azure.

Импорт данных

Чтобы импортировать данные, скопируйте следующий код и вставьте его в новую ячейку кода в записной книжке.

  из azureml.opendatasets import Diabetes

диабет = Диабет.get_tabular_dataset ()
X = диабет. drop_columns ("Y")
y = диабет.keep_columns ("Y")
X_df = X.to_pandas_dataframe ()
y_df = y.to_pandas_dataframe ()
X_df.info ()
  

Фрейм данных X_df pandas содержит 10 исходных входных переменных.Эти переменные включают возраст, пол, индекс массы тела, среднее кровяное давление и шесть измерений сыворотки крови. Целевая переменная — это фрейм данных y_df pandas. Он содержит количественный показатель прогрессирования заболевания через год после исходного уровня. Фрейм данных содержит 442 записи.

Обучаем модель

Создайте в записной книжке новую ячейку с кодом . Затем скопируйте следующий код и вставьте его в ячейку. Этот фрагмент кода создает модель регрессии гребня и сериализует модель с использованием формата pickle Python.

  импорт joblib
из sklearn.linear_model import Ridge

model = Ridge (). fit (X_df, y_df)
joblib.dump (модель, 'sklearn_regression_model.pkl')
  

Зарегистрировать модель

Помимо содержимого самого файла модели, ваша зарегистрированная модель будет хранить метаданные. Метаданные включают описание модели, теги и информацию о структуре.

Метаданные полезны, когда вы управляете моделями и развертываете их в своем рабочем пространстве. Например, используя теги, вы можете классифицировать свои модели и применять фильтры при перечислении моделей в своей рабочей области.Кроме того, если вы отметите эту модель фреймворком scikit-learn, вы упростите развертывание ее как веб-службы.

Скопируйте следующий код и вставьте его в новую ячейку с кодом в записной книжке.

  импортный склеарн

из azureml.core import Workspace
из модели импорта azureml.core
из azureml.core.resource_configuration импорт ResourceConfiguration

ws = Workspace.from_config ()

model = Model.register (workspace = ws,
                       model_name = 'my-sklearn-model', # Имя зарегистрированной модели в вашем рабочем пространстве.model_path = '. / sklearn_regression_model.pkl', # Локальный файл для загрузки и регистрации в качестве модели.
                       model_framework = Model.Framework.SCIKITLEARN, # Платформа, использованная для создания модели.
                       model_framework_version = sklearn .__ version__, # Версия scikit-learn, используемая для создания модели.
                       sample_input_dataset = X,
                       sample_output_dataset = y,
                       resource_configuration = ResourceConfiguration (cpu = 2, memory_in_gb = 4),
                       description = 'Модель регрессии гребня для прогнозирования прогрессирования диабета.',
                       tags = {'область': 'диабет', 'тип': 'регрессия'})

print ('Имя:', имя_модели)
print ('Версия:', модель.версия)
  

Вы также можете просмотреть модель в Студии машинного обучения Azure. В меню слева выберите Models :

Определите сценарий оценки

При развертывании модели, которая будет интегрирована в Power BI, необходимо определить скрипт оценки Python и настраиваемую среду. Скрипт скоринга содержит две функции:

• Функция init () запускается при запуске службы.Он загружает модель (которая автоматически загружается из реестра моделей) и десериализует ее.
• Функция run (data) запускается, когда вызов службы включает в себя входные данные, которые необходимо оценить.

Примечание

Декораторы Python в приведенном ниже коде определяют схему входных и выходных данных, что важно для интеграции в Power BI.

Скопируйте следующий код и вставьте его в новую ячейку с кодом в записной книжке.В следующем фрагменте кода есть магия ячейки, которая записывает код в файл с именем score.py .

  %% writefile score.py

импортировать json
импортный рассол
импортировать numpy как np
импортировать панд как pd
импорт ОС
импорт joblib
из модели импорта azureml.core.model

из inference_schema.schema_decorators import input_schema, output_schema
из inference_schema.parameter_types.numpy_parameter_type import NumpyParameterType
из inference_schema.parameter_types.pandas_parameter_type import PandasParameterType


def init ():
    глобальная модель
    # При необходимости замените имя файла.путь = os.getenv ('AZUREML_MODEL_DIR')
    model_path = os.path.join (путь, 'sklearn_regression_model.pkl')
    # Десериализуйте файл модели обратно в модель sklearn.
    модель = joblib.load (путь_модели)


input_sample = pd.DataFrame (data = [{
    «ВОЗРАСТ»: 5,
    «СЕКС»: 2,
    «ИМТ»: 3,1,
    «БП»: 3,1,
    «S1»: 3,1,
    «S2»: 3,1,
    «S3»: 3,1,
    «S4»: 3,1,
    «S5»: 3,1,
    «S6»: 3,1
}])

# Это пример целочисленного типа. Используйте тип данных, отражающий ожидаемый результат.
output_sample = np.массив ([0])

# Чтобы указать, что мы поддерживаем ввод данных переменной длины,
# set enforce_shape = False
@input_schema ('данные', PandasParameterType (input_sample))
@output_schema (NumpyParameterType (output_sample))
def run (данные):
    пытаться:
        print ("input_data ....")
        печать (data.columns)
        печать (тип (данные))
        result = model.predict (данные)
        print ("результат .....")
        печать (результат)
    # Вы можете вернуть любой тип данных, если он может быть сериализован с помощью JSON.
        вернуть результат.к списку()
    кроме исключения как e:
        ошибка = str (e)
        ошибка возврата
  

Определите настраиваемую среду

Затем определите среду для оценки модели. В среде определите пакеты Python, такие как pandas и scikit-learn, которые требуются скрипту скоринга ( score.py ).

Чтобы определить среду, скопируйте следующий код и вставьте его в новую ячейку кода в записной книжке.

  с сайта azureml.core.импорт модели InferenceConfig
из среды импорта azureml.core
из azureml.core.conda_dependencies импорт CondaDependencies

environment = Окружающая среда ('my-sklearn-environment')
environment.python.conda_dependencies = CondaDependencies.create (pip_packages = [
    'azureml-defaults',
    'схема вывода [поддержка-numpy]',
    'joblib',
    'тупой',
    'панды',
    'scikit-learn == {}'. format (sklearn .__ version__)
])

inference_config = InferenceConfig (entry_script = '. / score.py', среда = среда)
  

Развернуть модель

Чтобы развернуть модель, скопируйте следующий код и вставьте его в новую ячейку кода в записной книжке:

  service_name = 'моя-диабет-модель'

service = Модель.развертывание (WS, имя_службы, [модель], конфигурация_вывода, перезапись = Истина)
service.wait_for_deployment (show_output = True)
  

Примечание

Для развертывания службы может потребоваться от 2 до 4 минут.

Если служба развертывается успешно, вы должны увидеть следующий результат:

  Советы: вы можете попробовать get_logs (): https://aka.ms/debugimage#dockerlog или локальное развертывание: https://aka.ms/debugimage#debug-locally для отладки, если развертывание занимает больше 10 минут.
Бег................................................... ...................................
Удалось
Операция создания службы ACI завершена, операция «Успешно»
  

Вы также можете просмотреть службу в Студии машинного обучения Azure. В меню слева выберите Конечные точки :

Мы рекомендуем вам протестировать веб-службу, чтобы убедиться, что она работает должным образом. Чтобы вернуть записную книжку, в Студии машинного обучения Azure в меню слева выберите Записные книжки .Затем скопируйте следующий код и вставьте его в новую ячейку с кодом в записной книжке, чтобы протестировать службу.

  импорт json

input_payload = json.dumps ({
    'данные': X_df [0: 2] .values.tolist ()
})

output = service.run (input_payload)

печать (вывод)
  

Результат должен выглядеть следующим образом: структура JSON: {'прогнозировать': [[205.59], [68.84]]} .

Следующие шаги

В этом руководстве вы узнали, как построить и развернуть модель, чтобы ее можно было использовать в Power BI.В следующей части вы узнаете, как использовать эту модель в отчете Power BI.

The Jupyter Notebook — документация Jupyter Notebook 6.2.0

Введение

Ноутбук расширяет консольный подход к интерактивным вычислениям в качественно новое направление, предоставляющее веб-приложение, подходящее для захват всего вычислительного процесса: разработка, документирование и выполнение кода, а также передача результатов.Блокнот Jupyter объединяет два компонента:

Веб-приложение : инструмент на основе браузера для интерактивного создания документы, которые объединяют пояснительный текст, математику, вычисления и их мультимедийный вывод.

Документы записной книжки : представление всего содержимого, видимого в Интернете приложение, включая входы и выходы вычислений, пояснительную текст, математика, изображения и мультимедийные представления объектов.

Основные возможности веб-приложения

• Редактирование кода в браузере с автоматическим выделением синтаксиса, отступы и завершение / самоанализ табуляции.

• Возможность выполнять код из браузера, с результатами вычисления, приложенные к коду, который их сгенерировал.

• Отображение результата вычислений с использованием мультимедийных представлений, например как HTML, LaTeX, PNG, SVG и т. д. Например, показатели качества публикации визуализируется библиотекой matplotlib, может быть встроен.

• Редактирование форматированного текста в браузере с использованием языка разметки Markdown, который может комментировать код, не ограничиваясь простым текстом.

• Возможность простого включения математических обозначений в ячейки уценки с использованием LaTeX и изначально рендерится с помощью MathJax.

Блокнот с документами

 [NotebookApp] Ядро запущено: 87f7d2c0-13e3-43df-8bb8-1bd37aaf3373
 

 $ jupyter qtconsole - существующий 87f7d2c0
 

Когда ячейка кода выполняется, код, который она содержит, отправляется ядру. связанный с ноутбуком. Результаты, которые возвращаются из этого вычисления затем отображаются в записной книжке как результат ячейки . В вывод не ограничивается текстом, со многими другими возможными формами вывода также возможно, включая matplotlib рисунков и таблицы HTML (как используется, для Например, в пакете анализа данных pandas ). Это известно как IPython расширенный дисплей возможностей.

Ячейки уценки

Можно грамотно задокументировать вычислительный процесс, чередуя описательный текст с кодом, используя форматированный текст . В IPython это выполняется путем разметки текста языком Markdown. Соответствующие ячейки вызвал ячеек Markdown . Язык Markdown предоставляет простой способ выполнить эту разметку текста, то есть указать, какие части текста следует выделяться (курсив), жирным шрифтом, формировать списки и т. д.

Если вы хотите обеспечить структуру для своего документа, вы можете использовать уценку заголовки.Заголовки уценки состоят из 1–6 хеш-знаков # # , за которыми следует пробел и заголовок вашего раздела. Заголовок уценки будет преобразован к интерактивной ссылке на раздел записной книжки. Это также используется как подсказка при экспорте в другие форматы документов, например PDF.

Когда выполняется ячейка Markdown, код Markdown преобразуется в соответствующий форматированный текст. Markdown допускает произвольный HTML-код для форматирование.

Внутри ячеек Markdown вы также можете включить математических единиц в простой Кстати, используя стандартную нотацию LaTeX: $... долларов на встроенную математику и $$ ... $$ для отображаемой математики. Когда выполняется ячейка Markdown, части LaTeX автоматически отображаются в выводе HTML как уравнения с качественной типографикой. Это стало возможным благодаря MathJax, который поддерживает большую часть функциональности LaTeX

Стандартные математические среды, определенные LaTeX и AMS-LaTeX ( amsmath package) также работают, например \ begin {уравнение} ... \ end {уравнение} и \ begin {align}... \ end {align} . Новые макросы LaTeX могут быть определены стандартными методами, например, \ newcommand , поместив их в любом месте между математическими разделителями в ячейка Markdown. Эти определения затем доступны в остальной части сеанс IPython.

Сырые клетки

Необработанные ячейки предоставляют место, в которое вы можете напрямую записать , вывод . Необработанные ячейки не анализируются ноутбуком. При прохождении через nbconvert необработанные ячейки прибывают в формат назначения не изменен.Например, вы можете ввести полный LaTeX в необработанную ячейку, которая будет отображаться LaTeX только после преобразования nbconvert.

Базовый рабочий процесс

Обычный рабочий процесс в ноутбуке очень похож на стандартный Сеанс IPython, с той разницей, что вы можете редактировать ячейки на месте несколькими раз, пока вы не получите желаемых результатов, вместо того, чтобы повторно запустить отдельные сценарии с помощью волшебной команды % run .

Обычно вы будете работать над вычислительной задачей по частям, систематизируя связанные идеи в ячейки и продвижение вперед после того, как предыдущие части работают правильно.Это намного удобнее для интерактивного исследования, чем разбиение вычислений на сценарии, которые должны выполняться вместе, как это было ранее необходимо, особенно если части из них требуют длительного времени для запуска.

Чтобы прервать вычисление, которое занимает слишком много времени, используйте ядро, Пункт меню «Прервать» или сочетание клавиш i, i . Аналогичным образом, чтобы перезапустить весь вычислительный процесс, используйте пункт меню Kernel, Restart или 0,0 ярлык.

Ноутбук можно загрузить как .ipynb или преобразованный в несколько другие форматы, используя пункт меню Файл, Загрузить как.

Сочетания клавиш

Все действия в ноутбуке можно производить с помощью мыши, кроме клавиатуры. горячие клавиши также доступны для наиболее распространенных. Основные ярлыки запомнить следующие:

• Shift - Введите : запустить ячейку

  Выполнить текущую ячейку, отобразить любой результат и перейти к следующей ячейке ниже.Если Shift - Enter вызывается в последней ячейке, ниже создается новая ячейка. Это эквивалентно щелчку Ячейки, меню Выполнить. элемент или кнопку Воспроизвести на панели инструментов.

• Esc : командный режим

  В командном режиме вы можете перемещаться по ноутбуку с помощью сочетаний клавиш.

• Введите : режим редактирования

  В режиме редактирования вы можете редактировать текст в ячейках.

Чтобы просмотреть полный список доступных ярлыков, нажмите «Справка», Сочетания клавиш в меню ноутбука.

Участок

Одной из основных особенностей записной книжки Jupyter является возможность отображать графики, которые являются результатом работы ячеек кода. Ядро IPython предназначено для работы легко с библиотекой построения графиков matplotlib, чтобы обеспечить эту функциональность. Конкретная интеграция библиотеки построения графиков — это особенность ядра.

Установка ядер

Для получения информации о том, как установить ядро ​​Python, см. Страница установки IPython.

Вики Jupyter содержит длинный список ядер для других языков. Обычно они идут с инструкциями о том, как сделать ядро ​​доступным. в записной книжке.

Доверяющие ноутбуки

Чтобы предотвратить выполнение ненадежного кода от имени пользователей при открытии записных книжек, мы храним подпись каждой доверенной записной книжки. Сервер записной книжки проверяет эту подпись при открытии записной книжки. Если подходящей подписи не найдено, Вывод Javascript и HTML не будет отображаться пока они не будут восстановлены путем повторного выполнения ячеек.

Любая записная книжка, которую вы полностью выполнили самостоятельно, будет считается надежным, и его вывод HTML и Javascript будет отображаться на нагрузка.

Если вам нужно увидеть вывод HTML или Javascript без повторного выполнения, и вы уверены, что блокнот не является вредоносным, вы можете сказать Jupyter, чтобы он доверял ему в командной строке:

 $ jupyter доверяют mynotebook.ipynb
 

Дополнительные сведения о механизме доверия см. В разделе «Безопасность в документах записной книжки».

Совместимость с браузером

Jupyter Notebook поддерживает последние версии этих браузеров:

Последние версии Opera и Edge также могут работать, но если они не работают, пожалуйста используйте один из поддерживаемых браузеров.

Известно, что использование Safari с HTTPS и ненадежным сертификатом не работает (веб-сокеты не работают).

Форматы блокнотов — Jupytext documentation

Jupytext Markdown

Jupytext может сохранять записные книжки как документы Markdown. Этот формат хорошо адаптирован для учебных пособий, книг или, в более общем смысле, записных книжек, которые содержат больше текста, чем кода. Блокноты, представленные в этой форме, хорошо обрабатываются большинством редакторов или средств рендеринга Markdown, включая GitHub.

Как и все форматы Jupytext, записные книжки Jupytext Markdown начинаются с (необязательного) заголовка YAML.Этот заголовок используется для хранения выбранных метаданных записной книжки, таких как информация о ядре, вместе с форматом Jupytext и информацией о версии.

 ---
jupyter:
  jupytext:
    текст_представление:
      расширение: .md
      format_name: уценка
      формат_версия: '1.1'
      jupytext_version: 1.1.0
  Kernelspec:
    display_name: Python 3
    язык: питон
    имя: python3
---
 

Вы можете добавить собственные метаданные записной книжки, такие как author или title в разделе jupyter: , они будут синхронизированы с метаданными записной книжки.А если вы хотите экспортировать больше метаданных из записной книжки, прочтите параграф о фильтрации метаданных.

В формате Markdown ячейки уценки вставляются дословно и разделяются двумя пустыми строками.

Если вы хотите, чтобы разрывы ячеек также происходили в заголовках Markdown, добавьте запись split_at_heading: true в раздел jupytext в заголовке YAML, или если вы хотите, чтобы эта опция использовалась по умолчанию для всех документов Markdown в Jupyter , активируйте опцию в диспетчере содержимого Jupytext:

 г.ContentsManager.split_at_heading = Верно
 

Ячейки кода кодируются с использованием классических тройных обратных кавычек, за которыми следует язык записной книжки. Метаданные ячейки добавляются после информации о языке с синтаксисом ключ = значение , где значение закодировано в формате JSON. Например, в записной книжке Python простая ячейка кода с тегом параметров представлена ​​как:

 `` `теги python = [" параметры "]
param = 5
``
 

Фрагменты кода превращаются в ячейки кода в Jupyter, как только у них есть явный язык, когда этот язык поддерживается в Jupyter.Таким образом, у вас есть фрагмент кода, который вы не хотите выполнять в Jupyter, вы можете либо

• удалить информацию о языке,

• или начните фрагмент кода с тройной тильды, например ~~~ python , вместо `` python

• или добавьте метаданные ячейки active = "md" или атрибут .noeval после информации о языке, например `` питон .noeval

• или окружите фрагмент кода явными маркерами ячеек Markdown (см. Ниже).

Необработанные ячейки разделяются комментариями HTML и принимают метаданные ячеек в том же формате ключ = значение:

 
необработанный текст



необработанная ячейка с метаданными

 

также могут иметь явные маркеры: используйте один из или или и соответствующий аналог. Обратите внимание, что маркеры ячеек и можно складывать в VS Code, и что вы также можете вставить туда заголовок, например . Метаданные ячеек принимаются в формате ключ = "значение" ( "значение" кодируется в JSON), как и для других типов ячеек.

Для конкретного примера посмотрите, как наши населения Мира.Ноутбук ipynb в папке demo представлен в Markdown.

R Уценка

R Markdown — это формат RStudio для записных книжек с поддержкой R, Python и многих других языков.

Jupytext очень похожа на реализацию формата Markdown. Основное различие заключается в ячейках кода, в которых используется соглашение R Markdown, т.е. язык и параметры заключены в фигурные скобки, а метаданные ячеек кодируются как объекты R. Например, наша ячейка с параметрами тегами будет представлена ​​как:

 `` `{python tags = c (" параметры ")}
param = 5
``
 

Python и R, представленные в формате R Markdown, могут работать как в Jupyter, так и в RStudio.Обратите внимание, что вы можете изменить среду Python по умолчанию в RStudio с помощью RETICULATE_PYTHON в файле .Renviron , см. Здесь.

Посмотрите, как наша записная книжка World Population.ipynb в демонстрационной папке представлена ​​в R Markdown.

Pandoc Markdown

Pandoc, универсальный конвертер документов , может читать и писать записные книжки Jupyter — см. Документацию Pandoc.

В Pandoc Markdown все ячейки помечены pandoc div ( ::: ).Поэтому формат немного более подробный, чем формат Jupytext Markdown.

Посмотрите, например, как наша записная книжка World Population.ipynb представлена ​​в формате md: pandoc .

Если вы хотите использовать этот формат, установите pandoc в версии 2.7.2 или выше, например, conda установить pandoc -c conda-forge .

MyST Markdown

MyST (Markedly Structured Text) — это разновидность уценки, которая «реализует лучшие части reStructuredText».Он обеспечивает способ вызова директив и ролей Sphinx из Markdown, с использованием небольшого расширения для уценки CommonMark. MyST-NB и Jupyter Book основаны на этой разновидности уценки, чтобы предложить прямое преобразование Jupyter Notebooks в документы Sphinx.

Подобно формату jupytext Markdown, MyST Markdown использует блоки кода для содержания ячеек кода. Однако разница в том, что метаданные содержатся в блоке YAML:

 `` {code-cell} ipython3
---
Другие:
  подробнее: правда
теги: [скрыть-вывод, показать-ввод]
---

print («Привет!»)
``
 

ipython3 здесь совершенно необязательный, как помощник для подсветки синтаксиса.В двустороннем режиме он копируется из notebook.metadata.language_info.pygments_lexer .

Кроме того, по возможности при преобразовании будет использоваться формат сокращенных метаданных. (см. руководство MyST):

 `` {code-cell} ipython3
: теги: [скрыть-вывод, показать-ввод]

print («Привет!»)
``
 

Сырые клетки также представлены аналогичным образом:

 `` {raw-cell}
: raw_mimetype: текст / html

 Полужирный текст 
``
 

Ячейки Markdown не упаковываются.Если в ячейке уценки есть метаданные, или непосредственно переходит к другой ячейке уценки, тогда будет вставлен разрыв блока над ним с (необязательным) однострочным JSON-представлением метаданных:

 +++ {"слайд": правда}

Это ячейка уценки с метаданными

+++

Это новая ячейка уценки без метаданных
 

Посмотрите, например, как наша записная книжка World Population.ipynb представлена ​​в формате myst .

Примечание : для формата myst требуется Python> = 3.6

Совет : Вы можете использовать расширение VS Code myst-highlight, чтобы обеспечить лучшую подсветку синтаксиса для этого формата.

Продвинутых трюков с ноутбуком Jupyter — Часть I

Я люблю ноутбуки Jupyter! Они отлично подходят для экспериментов с новыми идеями или наборами данных, и хотя мои «игровые площадки» для записных книжек начинаются как беспорядок, я использую их, чтобы сформулировать четкую идею для создания моих окончательных проектов.

Jupyter настолько хорош для интерактивного исследовательского анализа, что легко упустить из виду некоторые другие его мощные функции и варианты использования.Я хотел написать сообщение в блоге о некоторых менее известных способах использования Jupyter, но их так много, что я разбил сообщение на две части.

Сегодня в первой части я описываю, как использовать Jupyter для создания конвейеров и отчетов. В следующем посте я опишу, как использовать Jupyter для создания интерактивных панелей мониторинга.

Проект, сопутствующий этому блогу, можно найти здесь, на платформе Domino Data Science.

Вы, наверное, знаете, что ноутбуки можно запускать с разными ядрами (например, с разными ядрами).g., R, Julia) — не только Python. Возможно, вы не знаете, что даже в записной книжке вы можете запускать разные типы кода в разных ячейках. С помощью «магии» можно использовать разные языки. Однако доступные магии зависят от ядра ноутбука.

Запустив % lsmagic в ячейке, вы получите список всех доступных магий. Вы можете использовать % , чтобы запустить однострочное выражение для запуска с помощью команды magics. Или вы можете использовать двойное значение %% для выполнения многострочного выражения.

Некоторые из моих любимых:

• % env для вывода списка переменных среды.
• ! : для запуска команды оболочки. Например, ! замораживание пипса | grep pandas , чтобы узнать, какая версия pandas установлена.
• % matplotlib inline для отображения графиков matplotlib в записной книжке.
• % pastebin 'file.py' , чтобы загрузить код в pastebin и получить возвращенный URL.
• % bash для запуска ячейки с bash в подпроцессе.
  
• % времени будет синхронизировать все, что вы оцениваете
• %% latex для отображения содержимого ячейки как LaTeX
  
• % timeit будет измерять время, которое вы оцениваете несколько раз, и даст вам лучшее, и среднее время

• % prun , % lprun , % mprun может дать вам построчную разбивку времени и использования памяти в функции или скрипте. См. Хороший учебник здесь.
• %% HTML : для визуализации ячейки как HTML.Таким образом, вы даже можете встроить изображение или другой носитель в свой блокнот:

Вы даже можете использовать волшебство, чтобы смешивать языки в одной записной книжке. Например, rmagics позволяет запускать код R — включая построение графиков — в записной книжке Python. Обратите внимание, что сначала вам нужно загрузить расширение rmagics .

Как описано в документации rmagics, вы можете использовать % Rpush и % Rpull для перемещения значений назад и вперед между R и Python:

Вы можете найти другие примеры языковой магии в Интернете, включая магию SQL и магию cython.Вы можете прочитать о более распространенных магиях здесь. Серьезно, вы можете потратить на это целый день!

Трубопроводы

Magics удобны сами по себе, но они действительно сияют, когда вы их комбинируете. Эти функции могут помочь вам создавать конвейеры в одном визуальном потоке, комбинируя шаги на разных языках. Знакомство с магией дает вам возможность использовать наиболее эффективное решение для каждой подзадачи и связывать их вместе для вашего проекта.

При таком использовании записные книжки Jupyter превратились в «сценарии визуальной оболочки», предназначенные для работы в области науки о данных.Каждая ячейка может быть шагом в конвейере, который может напрямую использовать язык высокого уровня (например, R, Python) или команду оболочки более низкого уровня. В то же время ваш «сценарий» может также содержать хорошо отформатированную документацию и визуальный вывод шагов процесса. Он даже может документировать свою собственную производительность, автоматически записывая использование ЦП и памяти в своих выводах.

Как и любой другой скрипт Python, можно также запустить свой блокнот в пакетном режиме. Используя nbconvert, вы можете вычислить всю записную книжку в неинтерактивном режиме, сохранив ее на месте или во множестве других форматов.

Эта возможность делает ноутбуки мощным инструментом для ETL и отчетности. Для отчета просто запланируйте автоматическое регулярное выполнение записных книжек и обновите его содержимое или отправьте результаты по электронной почте коллегам. Или, используя магические приемы, описанные выше, записная книжка может также реализовать конвейер данных или задачу ETL для запуска по автоматическому расписанию.

Планшетная панель

Допустим, вам нужно регулярно отправлять карту фолия на электронную почту вашего коллеги со всеми землетрясениями за прошедший день.

Для этого вам сначала понадобится набор данных о землетрясениях, который обновляется регулярно (по крайней мере, ежедневно). Канал данных, который обновляется каждые 5 минут, можно найти здесь. Затем вы можете использовать Jupyter для написания кода для загрузки этих данных и создания карты.

Domino позволяет запланировать запуск любого сценария на регулярной основе, и это работает для файлов ipynb, как и все остальное. Когда он запускает запланированное выполнение batchdemo.ipynb , Domino вычислит записную книжку и обновит свои ячейки с новейшими результатами.

Соавторы могут посетить страницу, чтобы просмотреть обновленную записную книжку в браузере — без запуска сервера Jupyter. Таким образом, ваш блокнот превратился в постоянно обновляемую панель управления.

Запланированная панель управления с волшебством и экспортом в HTML

Еще одним шагом является объединение волшебной конвейерной обработки и превращение всей записной книжки в HTML-отчет. В следующем примере показано, как сначала можно использовать сценарий оболочки для получения веб-страницы (http: //www.sfgate.com), которое вы визуализируете в облаке Word с помощью Python. Затем, как часть запланированного запуска, он преобразуется в HTML-страницу с результатом выполнения. Вы можете настроить запланированные запуски на автоматическую отправку по электронной почте любых результатов (например, записной книжки в формате HTML) вашим коллегам.

Когда вы закончите свою записную книжку встроенными визуализациями, создайте сценарий оболочки, похожий на:

 
ipython nbconvert --to html pipelinedashboard.ipynb
 
 После планирования этого сценария оболочки результатом будет обычная HTML-версия последнего запуска записной книжки.
 Следите за обновлениями в части II, в которой мы рассмотрим создание интерактивных панелей мониторинга в записных книжках Jupyter.
 

Практическое глубокое обучение для кодеров

Если вы готовы нырнуть прямо сейчас, вот как начать. Если вы хотите узнать больше об этом курсе, прочтите следующие разделы, а затем вернитесь сюда.

Чтобы просмотреть видео, щелкните раздел Lessons на боковой панели навигации. У всех уроков есть записи с возможностью поиска; нажмите «Поиск в стенограмме» на верхней правой панели, чтобы найти слово или фразу, а затем нажмите ее, чтобы перейти прямо к видео в то время, которое указано в стенограмме.Все видео снабжены субтитрами, а также переведены на китайский (简体 中文) и испанский; во время просмотра видео нажмите кнопку «CC», чтобы включить и выключить их, и кнопку настройки, чтобы изменить язык.

Каждое видео охватывает одну главу из книги. Каждая глава книги полностью доступна в виде интерактивной записной книжки Jupyter. Jupyter Notebook — самый популярный инструмент для анализа данных на Python, и не зря. Это мощный, гибкий и простой в использовании. Мы думаем, вам это понравится! Поскольку самое важное для изучения глубокого обучения — это написание кода и эксперименты, важно, чтобы у вас была отличная платформа для экспериментов с кодом.

Для начала мы рекомендуем использовать сервер Jupyter с одной из рекомендуемых онлайн-платформ (щелкните ссылки, чтобы узнать, как использовать их для курса):

• Colab: популярный бесплатный сервис от Google. Google довольно сильно изменил платформу ноутбука, поэтому сочетания клавиш другие, и не все работает (например, большая часть главы 2 не работает, потому что Colab не поддерживает создание графических интерфейсов веб-приложений)
• Gradient: В отличие от Colab, это «настоящий» Jupyter Notebook, поэтому все в курсе работает.В нем также есть место для хранения ваших записных книжек и моделей. Однако иногда бесплатные серверы перегружаются, и когда это происходит, невозможно подключиться.

Если вас интересует опыт работы с полноценным сервером Linux, вы можете рассмотреть DataCrunch.io (очень новый сервис, поэтому мы не знаем, насколько он хорош, не требует настройки, очень хорошее соотношение цены и чрезвычайно быстрые графические процессоры), или Google Cloud (чрезвычайно популярный сервис, очень надежный, но самые быстрые графические процессоры намного дороже).