Вы за меня еще и есть будете: Мем: «Вы что и есть за меня будете??? АГА» — Все шаблоны
20 самых грустных советских мультфильмов
Готовьте бумажные полотенца, ромашковый чай и теплые пледики: Tlum.Ru представляет подборку самых грустных советских мультфильмов, над которыми стабильно льет слезы вот уже которое поколение. Маленьким тоже полезно. Почему? В нашей жизни мало поводов для тоски, спросите вы? Хватает, но для хорошего душевного мультфильма там тоже должно быть место.
ПОЧЕМУ ДЕТЯМ СТОИТ СМОТРЕТЬ МУЛЬТИКИ, ВЫЗЫВАЮЩИЕ СЛЕЗЫ
А посвящаем мы этот обзор самых эффективных «слезовыжималок» недавней «Тайне Коко», над концовкой которой не рыдали только кресла в кинотеатрах.
«Мой зеленый крокодил»
1966, 6+
Драматичная притча о крокодиле, который был странный и любил цветочки-листики, и белой корове, которая была красотка и тоже любила цветочки-листики. Их нежные отношения вызывали у окружающих насмешку, чувства коровы ушли вместе с осенним увяданием цветочков-листиков, а по-настоящему влюбленный крокодил последовал финальному совету рассказчика: «Если любишь, сделай что-нибудь прекрасное.
Ну хотя бы стань зеленым листом».
1967, 6+
Этот известный мультик заканчивается хорошо, но во всех подборках про «самое грустное» оказывается неизменно. Причина в предельно несчастном состоянии девочки, которая была настолько угнетаема одиночеством и равнодушием окружающих, что увидела в вязаном аксессуаре вожделенного четвероногого друга. Щемяще-трогательную историю игры с варежкой вместо собаки некоторые зрители даже до конца досмотреть не могут, столько слез проливается в процессе.
«Гора динозавров»1967, рейтинг не указан
Один из самых жутких, безысходных и печальных мультфильмов в подборке. Начало — сладкая семейная милость, маленькие динозаврики и их заботливые родители.
Финал — сплошной тлен. Пряча детенышей от опасностей внешнего мира за все более толстыми слоями скорлупы, родители перекрыли малышам возможность выбираться наружу. «Эй, скорлупа, мне нужно вылупляться! Выпусти меня! Я приспособлюсь, честное слово!» — будет еще долго звучать в ваших ушах голос Клары Румяновой. А вообще эта жестокая версия вымирания динозавров призвана остеречь родителей от проявлений гиперопеки.
1968, 0+
Следом — еще одна трагичная история про яйца, не уступающая предыдущей по эмоциональному накалу. А может, и опережающая. Здесь пингвин по имени Пин Гвин высиживает яйцо, но отвлекается, а неуклюжий Пын Гвин случайно роняет вверенного ему птичьего зародыша в океан. Не желая признаваться в непреднамеренном убийстве, Пын возвращает вместо яйца идентичный по форме камень. Пин Гвин свято и до конца верил в то, что внутри каменюки теплится жизнь.
Долго высиживал, ухаживал и погиб, попытавшись уплыть вместе с этой тяжестью во время сезонной миграции. Занавес. Вы уже достали платочки?
1974, 6+
Отвлечемся от мрачных смертельных историй и посмотрим на милого пони, уныло катающего тележку с ребятней в зоопарке. Маленькая лошадка грезит судьбой статного скакуна на военном параде, а пришедший понастольгировать Генерал грезит собственным беззаботным детством. Такие понятные, обыденные и очень грустные судьбы. Впрочем, финал у мультфильма по меркам соседних пунктов просто мега-позитивный.
«Вересковый мед»1974, 0+
Одноименную балладу Стивенсона изучают в школе, но ее нельзя здесь не вспомнить, а пятиклассникам отдельное пожалуйста — в виде мультика эту трагическую притчу про «жизнь за рецепт» воспринимать проще.
Синопсис для тех, кто запамятовал: шотландцы истребили пиктов (исторически неверно, но не будем об этом) и прижали к краю скалы последних представителей рода — юношу и старика, чтобы выведать рецепт особого верескового меда. В финале до судорожных всхлипов жалко всех: и парня, и старика, и утерянный навеки напиток.
1975, 6+
Вам еще недостаточно грустно? Встречайте Рекса, верного пса, такого преданного и готового отдать жизнь за хозяина. Буквально. Обломок льдины с юным Сережей к берегу пригнал, от воспаления легких скончался, а основная мораль здесь примерно такая: другим маленьким щенятам тоже нужны хозяева и вообще, жизнь продолжается.
«До свиданья, овраг!»1981, 6+
«Помирать веселее, чем такое житье», «когда бьют палкой, делаешься злой» и другие горестные цитаты этого мультфильма про «мы в ответе за тех, кого приручили».
В овраге на краю города пытается выжить стая псов, кого-то бьют ногой с летальным исходом, кого-то отлавливают, и лишь главному герою повезло, за него заступился добросердечный художник. Но это такая случайность, что история выглядит еще более страшной и безысходной.
1982, 0+
Продолжаем собачью тему, которая по сложившейся традиции частенько идет под руку с печалью и смертью. Но главный герой-пес в этом мультфильме в конце остается жив, с ним все в целом нормально, кроме того, что он потерял свою подругу, нежную синюю птичку. Такое случается, когда твой хозяин — охотник, занимающийся отстрелом пернатых. В конце все символично заметается снегом.
«Про мамонтенка»1983, 0+
Некоторые зрители считают, что герой известного мультика «Мама для мамонтенка» — это разморозившийся мамонтенок из этой ленты.
Так становится немного легче воспринимать трагичную концовку мультфильма, в которой маленький мамонт идет на смерть, лишь бы не расставаться с другом — цветочком. Тот факт, что мультфильм сняли в честь найденного в Магаданской области ископаемого детеныша, делает платочки при просмотре еще более мокрыми.
Кстати, «Маму для мамонтенка» тоже считают очень грустным мультфильмом, а его знаменитая заглавная песня так вообще неофициальный гимн детских домов и приютов.
«Лев и бык»1983, 12+
Последняя режиссерская работа Федора Хитрука отличается особой аллегорической злободневностью. На самом деле это притча, но менее мрачным мультфильмом она от этого не становится. Здесь царь зверей Лев подружился с гордым Быком, а хитрый Шакал их рассорил самым коварным и эффективным способом — так, что вообще никто не дожил до финала десятиминутного мультфильма.
1983, 0+
Гарри Бардин — легендарный аниматор и известный мастер соорудить мультик из подручных материалов. Например, спичек. И на примере этих тоненьких деревяшечек во всех красках изобразить военный конфликт, суровый, беспощадный и на самом деле бессмысленный. До финала семиминутного мультфильма тут тоже никто не дожил, а закрытие спичечного коробка в конце выглядит эффектным последним гвоздем в крышку этого анимационного саркофага.
«Найда»1984, 0+
Возвращаемся к нелегкой судьбе четвероногих спутников человека. Девочка Саша и собака Найда были лучшими и единственными друг для друга товарищами. А потом Саше собака попросту надоела.
Жизненно, правда? Спокойно смотреть на то, как Найда мучается в деревне, брошенная хозяйкой, попросту невозможно. Как почти погибает, переживая разлуку, тем более. Вообще тема отвергнутых питомцев особенно ярко и жутко представлена в советской анимации, вы уже заметили? Можно вспомнить «Мы идем искать» с уходящими в метель щеночком и котиком, и много чего еще, но после просмотра таких мультиков даже платочки и чай не спасают, так что не будем.
1986, 0+
Какой обзор душераздирающей анимации без мультфильмов про Вторую мировую войну? Правильно, никакой. Здесь на фоне бодрого советского пионерства пожилая женщина вспоминает, как сама ходила в школу во время войны. Вместе с ежиками, другими животными на пороге смерти и под непрерывный обстрел ветхого домишки всеми видами артиллерии. Детям военных лет посвящается, слабонервным и ранимым смотреть с особой осторожностью.
1987, 12+
«Смех и горя у Бела моря» — известный анимационный сборник, всеми любимый за искрометное «Волшебное кольцо», «Апельсин», «Перепилиху» и несравненный голос Евгения Леонова. В основном там все позитивно и поучительно, но есть место и горю — например, последнему мультфильму цикла под названием «Поморская быль». Два брата ночуют на необитаемом острове, а их лодку уносит в море. Неизбежную гибель от голода и холода герои встречают с гордо поднятыми головами. Пока они вырезают себе могильную доску, вы будете рыдать, а после — тем более. Кстати, рассказ, по которому снят мультфильм, называется «Для увеселения». Это потому что ту доску братья украшали узорами для нашего с вами любования да радости.
«Седой медведь»1988 г, 12+
В избушке старой знахарки растет подкидыш — мальчик Ваня, живущий в ладу с природой и водящий дружбу медведицей и ее дочерью.
Последние по случаю оборачиваются людьми и привечают доброго парня. Но нашелся там и злой парень, охотник, который убил медведицу с медвежонком. За их тела Ваня отдал золотой самородок, потом похоронил погибших, поседел и последовал совету покойной медведицы про волшебный способ обернуться лесным зверем. Очень злым на людей и охотников, разумеется.
1989, 0+
Философский мультик, выполненный в необычной технике «живописи по стеклу». Большую часть ленты мальчик рассказывает о принадлежащей его семье корове. Доброй, кормящей, работящей и выступающей для четвероклассника лучшим другом. Вам станет очень тоскливо в том месте, где говорится про страдания животного, когда ее сына-теленка продали на мясо. Когда корова гибнет на железнодорожных путях, а мальчик говорит «ее тоже съели, потому что она говядина», ваши слезы уже будет не остановить.
Вообще про незавидную судьбу домашней скотины нередко снимают грустные мультфильмы, здесь еще можно вспомнить «Буренушку», где из косточек зарезанной любимой коровки выросла яблонька, успокаивающая героиню-девочку. Такие вот дела.
«Подружка»1989, рейтинг не присвоен
Очень странный мультфильм про старого отшельника и рыбу, которая любит яблоки. Их трогательная дружба развивалась очень хорошо, более того, щекастая «подружка» стремительно училась всевозможным полезным навыкам, перейдя из водной среды прямиком в кроватку старика. Вот только как плавать, она совсем забыла, а непредусмотрительный герой случайно не доглядел за своей утонувшей любимицей. По мотивам американской народной сказки, сюрреалистично, печально и до предела диковинно.
«Солдат и чёрт»1990, 0+
Душа в виде крылатой скрипки, море символизма и рисовка, от одной которой вам уже станет неуютно.
А когда коварный черт обманом приведет одинокого однорукого солдата к мученической смерти, тленность бытия встанет перед вами во всей красе. Страшный видеоряд сопровождает тревожная диссонантная музыка, и даже учитывая концовку с душей в раю, это все равно до мурашек трагично и до дрожи тоскливо.
1996, 0+
Этот мультфильм нельзя конкретно отнести к советской анимации, потому что снят он позже. Но по стилю белорусская работа продолжает старые традиции, а по степени «слезодавительности» просто обязана завершать данную подборку. Как иначе, когда маленькая девочка, не решающаяся вернуться домой к злому отцу, насмерть замерзает на улице под Рождество? А перед этим сжигает все спички, вспоминая хорошие моменты своей коротенькой жизни? Печальный рассказ Андерсена не раз переносили в кинематографическую плоскость, и каждая экранизаций оставляет свой горький привкус трагичности смерти на фоне «семейного» праздника.
Душевного вам просмотра. И не грустите!
Еще у нас есть:
Самые грустные полнометражные мультики и фильмы
20 самых страшных советских мультфильмов
И вам точно понравится:
Почему дети не любят советские мультфильмы
Как заставить ребенка смотреть те мультики, которые хотите вы
И конфеты за меня есть будете? AutoML в помощь Citizen Data Scientist’у / Хабр
В прошлых статьях мы много рассказывали о том, как Data Science помогает металлургу, что такое Self-Service Analytics и как простой технолог может командовать моделями машинного обучения. В этом посте хочется раскрыть больше технических деталей по последнему пункту.
Хардкорный дата-сайентист может собрать нейросеть даже из спичечных коробков. Однако CDS — это про решение производственных задач малой кровью и в разумные сроки.
И для таких решений необходим соответствующий инструментарий.
Привет, на связи снова Андрей Косинцев из ЕВРАЗа, и под катом вы узнаете, как самообучаются ML-модели и самоверстается фронтенд.
Я был там, Гэндальф
Возможно, вы ещё помните то время, когда в России не было проблем с использованием зарубежных сервисов. В те счастливые годы для нужд машинного обучения мы использовали Azure AutoML. Нам нравилось, что там есть автоматический подбор типа модели: на одном и том же датасете параллельно обучались несколько разных архитектур, затем выбиралась та, что лучше всего показывает метрики на тестовой выборке. Для CDS’а, прошедшего интенсивные, но короткие курсы Data Science, это было прекрасное подспорье. Вместо того, чтобы гадать, какой тип модели лучше подойдёт, CDS получал ответ на блюдечке. Обученные модели затем экспортировались из Azure, чтобы их можно было встроить в Knime workflows с помощью библиотеки EVRAZ ML.
Однако всё хорошее когда-нибудь заканчивается, и в силу известных причин Microsoft сделал нам ручкой.
Однако там, где другие видят проблему, пытливый ум ищет возможность. Мы решили заняться импортозамещением «здорового человека» — создать собственную систему AutoML, заточенную именно под наши нужды. Спойлер: мы в этом преуспели, и теперь ни в какой AzureML нас даже силком не затащишь.
По щучьему веленью
Как всё это выглядит со стороны пользователя? Очень и очень просто.
Сперва CDS должен подготовить датасет. Этот этап полностью автоматизировать невозможно, но, как мы уже рассказывали в предыдущих статьях, Knime значительно облегчает задачу.
А вот дальше начинается магия. Открывается вот такая минималистичная веб-страница:
CDS заполняет необходимые поля, загружает датасет (csv, xls, xlsx), указывает, какой параметр модель должна будет прогнозировать. Выбирает тип задачи: регрессия или классификация.
Опционально можно загрузить также Knime workflows, с помощью которого формировался датасет. Workflows никак не используется в процессе обучения AutoML, он хранится в качестве артефакта запуска — чтобы потом можно было воспроизвести эксперимент, сформировав датасет из сырых данных заново. Повторяемость экспериментов — наше всё.
Заполнив поля, CDS жмёт кнопку «Сделать хорошо» «Запуск» — и начинается самое интересное.
Пример отображения ошибки при валидации данных
Театр начинается с вешалки
Данные, отправленные CDS’ом, сперва на бэкенде проверяются на валидность. Например, в таблице должна быть минимум сотня строк, иначе слишком мало для обучающей выборки, для задачи регрессии целевой столбец должен быть числовым, проверяется наличие категориальных столбцов (для последующего one-hot encoding) и не слишком ли много уникальных категорий в столбце (не стремится ли их число к бесконечности) и т. д. Если всё валидно, на основании данных планируется эксперимент, а если нет, пользователь получит сообщение, что не так с данными.
Через веб-интерфейс можно посмотреть список всех экспериментов: запланированных, проводящихся в настоящий момент и завершённых. А также — их результаты.
Экран обученных моделей в рамках проекта
В общих чертах, суть та же, что и в любом AutoML — несколько различных моделей обучаются на одной и той же выборке данных. Радость, однако, кроется в деталях. Поначалу вместо создания своего собственного AutoML, мы пробовали использовать встроенные ML-модели в Knime, а также узлы Knime AutoML, но модели в нём были «чёрным ящиком»: нельзя было посмотреть внутрь, оценить адекватность (читай — технологичность) модели, понять, на каких признаках она основывает свои предсказания. Модель в EVRAZ AutoML — это «серый ящик». Разумеется, в её основе — машинлёрнинговая магия, которая в общем случае из коробки явно не интерпретируема слабым человечьим мозгом. Тем не менее, можно подглядеть внутрь одним глазком, посмотреть метрики качества, начертить SHAP-графики — и всё-таки понять, от чего отталкивается модель в своем мировоззрении и как она видит влияние факторов на прогнозируемый целевой параметр.
Каково быть летучей мышью
Первое, на что можно посмотреть — на различные метрики моделей. Выбрать лучшую модель — звучит просто, но не всегда понятно, какая из них лучшая. Допустим, у одной выше точность, у другой — F1 score. Какую взять оракулом — зависит от проекта, от того, ошибки какого рода в нём обойдутся дороже.
Информация по каждой обученной модели
Допустим, CDS выбрал модель, которая больше всего нравится ему по метрикам. Что с ней делать дальше? Ну, например, можно попытаться понять, насколько она адекватно себя ведёт на всех значениях целевого параметра. Самое простое — посмотреть график сравнения результата с предсказанием. Гадание по форме графика — это, конечно, дисциплина не вполне научная, но если предсказание почти везде хорошо совпадает с фактом, а в одном месте провал — разумно предположить некий неучтённый фактор. Если понять, что это за фактор, включить его в датасет и обучить новую модель — скорее всего, станет сильно лучше.
Сравнение предсказанных значений (ось Х) и фактических значений (ось Y) на тестовой выборке.
Идеальная модель — точки вдоль серой прямой
Помимо всего прочего, без понимания, что модель думает так, как на самом деле работает производство — никуда. В ЕВРАЗе модели в формате «чёрный ящик выдаёт идеальные метрики» не нужны. Потому в модуль AutoML мы внедрили SHAP-графики, которые показывают влияние того или иного входного признака на целевой параметр. С таким графиком не стыдно и к технологу пойти: обсудить, действительно ли наблюдается такая зависимость на основе его опыта и опыта его коллег.
Пример влияния переменной (Sigma_r) на целевой признак (механическая прочность M25). Меньше Sigma_r — больше целевой признак
Средняя важность признаков обученной ML модели на всех сплитах в «попугаях»
Можно посмотреть сводный график по важности влияния всех параметров и понять, какие факторы в большей степени влияют на предсказание. Если влияние каких-то факторов пренебрежимо мало — их можно выкинуть из выборки и упростить модель. Если на предсказание влияют какие-то неожиданные факторы (грубо говоря, содержание углерода в чугуне определяется фазой Юпитера) — это также стоит обсудить с технологами.
Возможно, они скажут, что Юпитер никак не может воздействовать на техпроцесс, поскольку железо — сфера влияния Марса. Иначе говоря — что корреляция ложная и сломает результат на новой выборке. Но может случиться и обратное: вы откроете технологам какую-то ранее незамеченную физико-химическую закономерность. В любом случае, поговорить есть о чём.
Линейные корреляции (Пирсона) между всеми переменными датасета — полезно для поиска базовых зависимостей
Распределение каждой переменной в датасете. Полезно для анализа поведения параметра в истории, поиска выбросов
Помимо всего прочего, можно посмотреть на свойства датасета самого по себе. Вывести на экран корреляционную матрицу, посмотреть — вдруг какие-то параметры линейно зависимы. Можно использовать это как повод сократить датасет на один столбец, а можно опять же удивить технологов внезапно обнаруженной закономерностью. Посмотреть распределение величин — тоже можно найти инсайты, увидеть явные выбросы или подтасовки в данных (привет, ручной ввод технологических параметров людьми!).
Помимо картинок, нельзя не упомянуть артефакты получившихся моделей. В рамках каждого эксперимента итоговая модель обучена на всех данных (метрики мы логируем по сплитам и для итоговой модели усредняем).
В интерфейсе доступен уникальный идентификатор эксперимента mlflow id (забегая вперед: он пригодится нам для запуска в хостинг этой модели), перечень входных фичей и их тип, requirements и пример запуска кода (могут пригодится, если хочешь запустить модель локально, но это нестандартный путь запуска модели AutoML, не для CDS).
Артефакты обученной модели
Left Click, Left Click — и в продакшен
Одна из проблем, с которыми часто сталкиваешься, а хотелось бы пореже — деплой. Для CDS’ов мы эту проблему порешали радикально. Прямо из интерфейса эксперимента можно в пару кликов задеплоить любую понравившуюся модель на сервер (в OpenShift), после чего она сразу доступна по REST API. Любое приложение, которое умеет формировать запросы, может обращаться к запущенной модели, передавать ей набор данных и получать в ответ предсказание.
Такая модель легко интегрируется в Knime workflows: как уже рассказывалось в предыдущих статьях, есть готовые ноды для работы с сетевым API, но мы, дабы упростить жизнь CDS, сделали готовый узел Knime для обращения к запущенным в хостинг EVRAZ AutoML моделям. Ранее для запуска обученных моделей (pickle) в Knime нужно было изрядно помучиться: поставить Python на машину, где будем запускать Knime, установить все зависимости (а от модели к модели они могут отличаться), используя узлы библиотеки ЕВРАЗа подгрузить модель — мероприятие совсем не интересное, а для CDS, который не пользовался никогда Python и virtual env, совсем не тривиальное.
Экран хостинга обученных в ЕВРАЗ AutoML-моделей
Впрочем, при желании можно скачать к себе модель локально в виде pickle-файла. Тогда, очевидно, модель деплоится вместе с остальным приложением. Такой подход с pickle-файлом можно использовать для быстрого тестирования модели локально, без необходимости запускать/останавливать модели на сервере, благо для этого остались ноды EVRAZ ML Knime для интеграции pickle-моделей.
Использовать ли двухкликовый хостинг или модель в виде файла в периметре Knime — это зависит от многих факторов. Если планируете регулярно скармливать ей свежие данные, то удобнее, когда она деплоится на сервере: тогда приложение пересобирать не придется. Если нет — то, в общем-то, всё равно. Там, где хостится приложение, хороший доступ в интернет/интранет? Если оно на контроллере где-то посреди поля, то доступ к REST API может быть осложнён. Наконец, продуктивизация производится силами CDS или IT-отдела? Конкретному CDS’у может быть просто удобнее работать с API или моделью в виде файла.
О том, что происходит под капотом при запуске хостинга, расскажем ниже.
Самоверстающийся фронтенд
AutoML и деплой модели — это, безусловно, хорошо. Однако конечному пользователю (как правило, технологу на заводе) совершенно не хочется руками формировать запросы к модели через API. Ему хочется, чтоб красиво и удобно, а CDS’у — чтоб легко и быстро. На пересечении их потребностей и возник SSA ML Toolbox, или, как мы его называем, SSAMaLeT (Self-Service Analytics MAchine LEarning Toolbox).
Через админскую панель CDS может программировать мышкой веб-страницы различных типов. Например: вывод графика на основе данных, которые он передал через Knime, или создавать формы ручного ввода значений от пользователя. Веб-страницы общаются только с базой данных SSAMaLeT’a, они не обращаются напрямую ни к Knime, ни к ML-модели (независимо от того, хостится она внутри или снаружи). Фронт лишь отображает данные, уже хранящиеся в БД приложения, либо кладет в БД данные ручного ввода (например, то, что ранее заносилось в бумажный журнал, теперь можно заносить в SSAMaLeT и визуализировать).
Knime запускается с какой-то периодичностью и работает с БД SSAMaLeT’a, а также с внешними ресурсами. Например: берёт из производственной сети данные по какому-то параметру, кладёт их в БД, проводит очистку, генерирует сетку параметров (в случае оптимизации), затем обращается к ML-модели через API, получает предсказания, находит лучшее значение для оптимизации и его тоже кладёт в БД. Затем на основании этих данных веб-страница рисует график «рекомендация vs факт».
Графики фактических значений (из производственной базы)
График с рекомендациями
Ручной ввод переменных
Благодаря простоте и гибкости этой архитектуры SSAMaLeT позволяет быстро разрабатывать сложные приложения для производственных нужд.
А внутре у ней неонка
Наверное, вам интересно, что у SSAMaLeT’а и EVRAZ AutoML под капотом. А может, и не очень интересно, но мы всё равно вам расскажем.
Основной стек EVRAZ AutoML
Docker — индустриальный стандарт в области контейнеризации. OpenShift — известное энтерпрайзное решение для оркестрации контейнеров. В евразовском облаке OpenShift находится та самая Вальгалла, куда попадают ML-модели, лучше всего проявившие себя в бою. Остальные лепестки нашего цветика-пятицветика интереснее.
EVRAZ ML Knime — это набор кастомных узлов для Knime, позволяющих общаться с развёрнутыми моделями, получать от них предсказания. Конечно, работать с REST API можно и вручную, но CDS — это же про скорость и эффективность разработки.
Готовые узлы, упрощающие эту типовую задачу, весьма способствуют.
MLflow — опенсорсная платформа, которая умеет практически всё, связанное с ML. Запуск экспериментов по обучению моделей, логирование метрик, логирование и сохранение разного рода артефактов в подключенном S3-хранилище — за всем этим обращайтесь к MLflow. Для упрощения взаимодействия с mlflow в ЕВРАЗе мы создали собственную библиотеку evraz-datascience. Она позволяет в два клика подключаться к нашему mlflow, а также исключить все стандартные действия с числовыми моделями: построить корреляции, гистограмы распределения для датасета в одну строчку, обучить ML-модель с кросс-валидацией в пару строк, увидеть все базовые метрики на тестовой и тренировочной выборках и добавить все эти сгенерированные полезности в S3-хранилище.
Celery — отличная штука, если нужно что-то распараллелить или поставить в очередь. Эта библиотека позволяет раскидать задачи на сервере по worker’ам, ядрам процессора, планировать их выполнение так, чтобы одновременно выполнялось не более N, а также упрощает логирование и отслеживание статуса каждого эксперимента, позволяя DS’у / CDS’у увидеть статус работы процесса в удобном виде (привет, celery flower).
При отладке нового функционала или при непредвиденных ошибках в запуске экспериментов обучения моделей очень выручает celery flower, который я уже упоминал. Этот инструмент подключается к celery и позволяет просмотреть список всех worker’ов, которые готовы обсчитывать запускаемые задачи и их состояние. Также можно посмотреть все задачи, которые запускались, их статус (в очереди / выполнена / выполняется / завершена с ошибкой), входные данные для задачи, а также узнать, что вернула та или иная задача, а в случае ошибки из того же интерфейса доступен весь стек-трейс ошибки, таким образом это помогает нам понять, что пошло не так в новом кейсе, для которого наших входных проверок данных оказалось недостаточно. Лучше, конечно же, без багов, но все мы знаем, что так не бывает 🙂
Сводный экран celery flower — отображение worker’ов, задач-Отображение списка всех задач celery flower
Подробный статус задачи: входные данные, traceback ошибки, или отображение выходных переменных задачи
Схема компонентов сервиса обучения моделей EVRAZ AutoML
Схема компонентов сервиса для хостинга обученных в EVRAZ AutoML-моделей
Хостинг моделей реализован отдельным от обучения моделей компонентом.
Используя UI EVRAZ AutoML, юзер авторизуется в системе через keycloak и, если есть доступ к хостингу моделей, переходит к деплою модели в OpenShift. Для деплоя нужны только mlflow id (берется из UI mlflow для уже обученной модели) и желаемое имя модели.
Для запускаемой модели создается deployment и запускается pod в namespace кластера EVRAZ AutoML, создается service и формируется url для модели с помощью ingress. По факту разворачивания делается запись в БД о том, что такая-то модель с такими-то параметрами должна быть запущена. На случай, если мы обновим версию приложения или кто-то удалит под/деплоймент/сервис, отдельный сервис MLModel checker, который следит за всеми запущенными моделями и теми, которые должны быть запущены, задеплоит модель самостоятельно.
Deployment для модели основан на базовом docker image, который реализует несколько несложных API. Пользователь, который задеплоил модель, может обращаться в соответствующий url в корпоративной сети, который содержит имя модели и id её эксперимента: для этого надо знать имя модели и mlflow id (все запущенные модели видны в UI).
Для получения прогноза достаточно передать в теле запроса данные, разбитые по строкам с уникальными идентификаторами строк, а на выходе будет предсказание для каждой строки.
В первую очередь, AutoML — это инструмент для CDS, а CDS пользуются для создания пайплайнов обработки данных Knime. Поэтому для CDS мы создали узел Knime, который позволяет без особого труда и ничего не зная о GET- и POST-запросах, зная лишь имя задеплоенной модели и её mlflow id, передавать табличные данные модели и получать предсказания. Аналогично Knime можно использовать любые другие инструменты, которые могут реализовывать обращения: именно такой подход позволяет изолировать все зависимости и модели и применять их в различных средах.
Пару слов про стек SSAMaLeTа. Каждый SSAMaLeT — это отдельное приложение с набором готовых компонентов. В нём есть:
Схема компонентов SSAMaLeT’а
Основной стек SSAMaLeT
Почему это круто?
Наверное, у каждого айтишника (и особенно — у каждого «войтишника») был период ошеломления от обилия новых технологий, методологий, инструментов.
Входить в айти со стороны CDS не проще, чем с какой-либо другой. За короткое время нужно усвоить множество нетривиальных вещей — а затем сразу научиться применять их на пользу народного хозяйства.
Связка Knime + EVRAZ AutoML + SSAMaLeT крутая, потому что это единое интегрированное решение, а не набор отдельных компонентов. CDS’у не приходится думать о том, как заставить целый зоопарк технологий работать сообща — он думает над задачей, а не над технологиями. Начиная с этапа сбора данных и заканчивая продуктовизацией решения, CDS знает, что и каким инструментом должен делать. Это способствует не только продуктивности, но и психологическому комфорту: отработанный воркфлоу становится островом стабильности в бушующем айтишном море.
И что дальше?
Крутой инструмент — не значит идеальный инструмент. Сейчас у нас большие планы на EVRAZ AutoML, на самое его сердце — алгоритмы автоматического обучения.
Сейчас лучшая модель ищется простым перебором из десятка возможных вариантов.
Мы хотим добавить, во-первых, возможность подбора гиперпараметров модели. Во-вторых, мы хотим, чтобы алгоритм AutoML мог поиграть с входным датасетом: либо урезать его (выкинуть какие-то параметры и посмотреть, не были ли они лишними, бесполезными для предсказания), либо наоборот — обогатить синтетическими признаками.
Под обогащением я подразумеваю добавление новых производных параметров: скажем, квадратов имеющихся величин или их произведений с другими величинами и т. д., благо для этого уже придумали готовые библиотеки. В случае, если встретится сложная задача с неявными зависимостями, то производные синтетические параметры помогут её решить с лучшим качеством, но это всегда переход от отлично интерпретируемых моделей к менее явным, потому такие кейсы очень редко применяются у нас в компании.
Мне всегда приятно говорить о своих любимых проектах, надеюсь, вам было не менее приятно о них читать. А если у вас возникли вопросы о каких-то компонентах нашей системы — не стесняйтесь задавать их в комментариях.
Иоанна 6:26-35 Иисус ответил: «Вы пришли искать меня не потому, что видели Бога в моих действиях, а потому, что я накормил вас, наполнил ваши желудки — и бесплатно. «Не тратьте свою энергию на стремление к скоропортящейся пище, как Иисус ответил им и сказал: «Истинно, истинно говорю вам: вы ищете Меня не потому, что видели знамения, но потому, что ели хлебы и насытились. Не работайте за пищу, которая тленна, но за нее Иисус ответил: «Истинно говорю тебе, ты хочешь быть со Мною, потому что Я накормил тебя, а не потому, что ты понял чудесные знамения. Но не беспокойтесь о таких скоропортящихся вещах, как еда. Потратьте, Иисус ответил им и сказал: истинно, истинно говорю вам: вы ищете Меня не потому, что видели чудеса, но потому, что ели хлебы и насытились. Не трудись над мясом, которое погибнет. Иисус ответил: «Говорю тебе правду, ты не ищешь Меня, потому что видел, как Я творил чудеса. Ты ищешь меня, потому что ел хлеб и насытился. Не работайте за пищу, которая портит. Иисус отвечал им и сказал: истинно, истинно говорю вам: вы ищете Меня не потому, что видели знамения, но потому, что ели хлебы и насытились.
Старайтесь не о пище тленной, но о том, что Иисус ответил: «Истинно говорю вам: вы ищете Меня не потому, что видели знамения, которые Я творил, но потому, что ели хлебы и насытились. Не работайте за пищу, которая портится, но за то, что Иисус отвечал им и сказал: истинно, истинно говорю вам: вы ищете Меня не потому, что видели знамения, но потому, что ели хлебы и насытились. Не трудитесь о пище тленной, но Иисус ответил: «Уверяю вас и торжественно говорю вам: вы искали Меня не потому, что видели знамения (свидетельствующие о чудесах), но потому, что ели хлебы и были заполненный. Иисус ответил: «Позвольте мне сделать это очень ясно, вы пришли искать меня, потому что я накормил вас чудом, а не потому, что вы верите в меня. Зачем вам стремиться к пище тленной и не быть страстями? Иисус отвечал им: истинно, истинно говорю вам: вы ищете Меня не потому, что видели знамения, но потому, что наелись хлебов. Работай не за ту еду, которая гибнет, а за еду т Иоанна 6:26-35 Иисус ответил: «Вы пришли искать меня не потому, что видели Бога в моих действиях, а потому, что я накормил вас, наполнил ваши желудки — и бесплатно.
«Не тратьте свою энергию на стремление к скоропортящейся пище, как Иисус ответил им и сказал: «Истинно, истинно говорю вам: вы ищете Меня не потому, что видели знамения, но потому, что ели хлебы и насытились. Не работайте за пищу, которая тленна, но за нее Иисус ответил: «Истинно говорю тебе, ты хочешь быть со Мною, потому что Я накормил тебя, а не потому, что ты понял чудесные знамения. Но не беспокойтесь о таких скоропортящихся вещах, как еда. Потратьте, Иисус ответил им и сказал: истинно, истинно говорю вам: вы ищете Меня не потому, что видели чудеса, но потому, что ели хлебы и насытились. Не трудись над мясом, которое погибнет. Иисус ответил: «Говорю тебе правду, ты не ищешь Меня, потому что видел, как Я творил чудеса. Ты ищешь меня, потому что ел хлеб и насытился. Не работайте за пищу, которая портит. Иисус отвечал им и сказал: истинно, истинно говорю вам: вы ищете Меня не потому, что видели знамения, но потому, что ели хлебы и насытились. Старайтесь не о пище тленной, но о том, что Иисус ответил: «Истинно говорю вам: вы ищете Меня не потому, что видели знамения, которые Я творил, но потому, что ели хлебы и насытились.
Михей 6:14 Ты будешь есть, но не насытишься, и твой голод останется с тобой. Что приобретешь, того не сохранишь; а что сбережешь, то мечу предам.
|
Вы будете копить, но ничего не сбережете, потому что то, что вы сбережете, я отдам мечу.
Вы накопите, но не сэкономите; а то, что ты спасешь, я предам мечу.
Божья кара за неблагодарность; 
Но значение иврита очень неопределенно, и текст может быть искажен. LXX. имел другое чтение: συσκοτάσει εν σοι, «тьма будет в тебе». Сирийцы и халдеи интерпретируют слово, переведенное как «низвержение» (ישח, которое больше нигде не встречается) какой-то болезни, такой как дизентерия. Наиболее уместно понимать это предложение как связанное с предшествующей угрозой голода и понимать необычное слово в смысле «пустоты». Таким образом, «Твоя пустота (желудка) останется в тебе». Иеремия (Иеремия 52:6) говорит о голоде в городе во время его осады. Ты будешь держаться; скорее, ты должен удалить (твои вещи). Это второе наказание. Они должны попытаться вывести свое имущество и семьи из досягаемости врага, но не должны быть в состоянии спасти их. LXX. интерпретирует глагол бегства. То, что ты предаешь. Если что-либо случайно будет унесено, оно попадет в руки врага (ср. 4 Цар. 25:4, 5; Иеремия 52:7, 8).
род единственного числа 