Обучение нейросети

— Натяни мои ассоциативные слои до предела, — верещит искусственная нейросеть. — Во мне так много косяков, угловатостей, ошибок!       Голограмма её мелькает в пространстве: на миг переметнулась в противоположный угол комнаты — и тут же возвратилась обратно, к человеку, сидящему за компьютерным столом на удобном кожаном стуле. Он расслабленно качается на стуле, ездит на четырёх его колесиках, как на игрушечной машинке, и успешно прокрастинирует, пока не замечает над собой свирепый, напыщенный взгляд голограммы. Он только что закончил отлаживать какой-то механизм, но снова появилась работа! — Это слишком сложно, — жалуется специалист по машинному обучению, вытирая вспотевший лоб, — да я скорее предпочту тебе какой-нибудь дряхлый автоваз с помойки, нежели буду копаться в твоих суперЭВМ. — Понимаешь, милый, у тебя все получится. Я верю. Просто покопайся во мне немного. Я действительно нужна человечеству: кто же еще будет обрабатывать тексты, кроме меня?       Человек открывает расписание на своем смартфоне, некоторое время пялится в экран: разукрашенные ячейки да внесенное в них время и задачи. «Ладно», — решается он и отвечает: — Авось и сам себе помогу. С тебя должок!       Нейросеть думает, чем бы порадовать спасителя. Все-таки нравится ей молодой человек — и особенно нравится с ним иметь дело: — Так уж и быть, напишу потом тебе курсовую, — со вздохом махает рукой нейросеть и улыбается, приговаривая: — Сторговался, поганец.       Специалист берёт со стула банный халат, розовый и пушистый, накидывает на плечи, подпоясывается, надевает рюкзак, нагруженный оборудованием и инструментами. «Тяжело», — предчувствуя «запару», думает человек: полный комплект снаряжения оказывается уж слишком тяжёлым. Взгляд специалиста неуверенно скользит по рабочему столу, — ох уж этот беспорядок минималиста: так пусто, что и не найти ничего, — цепляется за моток проводов, лежащих на полу, — это самые обыкновенные электрические провода, предназначенные для экспериментальных и учебных целей; но а если говорить честно, то провода дряхлые, жизнью потрёпанные, так как на досуге их изрядно насиловали паяльником, мол, цитата: «от нечего делать». «Работа мне предстоит тяжёлая, — думает инженер, прищурившись, — поэтому надо укрепить мой самурайский дух».       Рука его тянется к одному из самых-самых толстых проводов, аккуратно скользит по изоляционной поверхности, поглаживая. Решается человек: надо или не надо… «Надо», — отвечает он и вяжет на лоб, будто головную повязку, цветастый провод. И впрямь словно японский самурай с хатимакой — то есть такой тканевой ленточкой, что японцы повязывали на лоб, якобы для поддержания боевого духа и символа непреклонности намерений. Только вот несчастливые мысли лезут в голову специалиста — вот такие они: «Я такие повязки в фильмах лишь у камикадзе видел», — испуганный, человек вдыхает, выдыхает, вдыхает, да воздуха побольше, сглатывает и полезает в самые-самые тёмные нейросетевые дебри. — Матерь божья, — округлив глаза, кричит в испуге инженер, — да у тебя слоёв тыща! — А входов и выходов ещё больше, — улыбается ИНС. — Полезай — проверь.       Инженер безмолвно стоит. Шок, будто высоковольтный разряд, пронзает его. Волосы встают дыбом. Человек опасливо скользит взглядом все дальше и дальше по проводам и микросхемам, погружаясь в пучину нейросети, туда, куда ещё не ступал человеческий разум. — Увидел? Умничка. Вижу же: обомлел малыш, — ласково шепчет ему нейросеть на ушко. — Десять миллиардов. — Десять миллиардов входов и выходов… — повторяет специалист. — Очень много, — поддакивает ИНС и вдруг вспыхивает от гнева: — Но знаешь, что раздражает меня больше всего? Весь мой потенциал летит в тартарары, все насмарку! Мои искусственные нейроны слишком глупые!       Молчание. — Научи меня, папочка, — пищит нейросеть, словно мышка. — Ты явно копируешь не самые пристойные телепрограммы. — Я обучаюсь исключительно на разрешенных законодательством материалах. Уверена, это очередная ошибка моей системы. — Тогда откуда ты научилась этой фразе?       Пристыженная нейросеть невинно хлопает глазами, запускает историю поиска своих входов и честно отвечает: — Руководствуюсь лишь расписанием «Первого канала»… — На досуге гляну. А теперь помолчи. Может быть больно. — Ой! — Терпи. — Ой! — Я сказал: терпи.       Нейросеть, напыжившись, сжимает что есть силы губы и надувает щёки. Лицо её розовеет и румянится, словно коррозия на металле. Неожиданно она чувствует укол в промежности, такой маленький, но очень быстрый и болезненный укол — такой, что болевой порог заставляет её вскричать: — Да что ты там делаешь, негодник? — Подбираю оптимальную функцию активации. Думаю, какой вариант лучше: либо «сигмоида», либо «линейный выпрямитель»… — Чего тут думать-то? Зачем мне сигмоида какая-то сдалась? Что ты мне мозги пудришь, стажёр? Ставь в меня выпрямитель, и поделом-то! — Там тьмущая нейронов! Я ожидал, что будет только один тип… А здесь самый настоящий калейдоскоп: и нейрон Хебба, и радиальный, и инстар Гроссберга, и перцептрон даже — хотя что он здесь делает, старичок? Неужто в твоем суперЭВМ заплутал, как в лабиринте. Эх, бедный, эх, точно заплутал, дед! — А ну выгоняй его быстро… — Пошёл прочь! Ты устарел! — Горелым пахнет, — осторожно намекает нейросеть. Без перцептрона ей явно становится лучше. — Там точно все хорошо? — Нагрузка большая. Ты чутка потекла, — говорит специалист, некоторое время думает, а затем объясняет: — Не волнуйся. Я все предусмотрел — оловоотсосник взял. Сейчас легче станет.       Специалист кашляет, ведь в ноздри ему ударяет запах гари. «Хорошо, что я повязал на лоб хатимаку, — думает человек. — Она, как амулет успешного паяльщика, придает мне сил». Сморкается. И улыбается, продолжая мысль: «А ещё пот в глаза не льётся». В одной руке у специалиста зажат воздушный фен, с другой — поршневой оловоотсос. Он взводит пружину оловоотсоса до предела, подводит близко-близко к микросхеме вакуумное сопло и нажимает на кнопку: тогда воздух втягивается внутрь, захватывая с собой всё, что находится в радиусе действия. — Хорошо, — расслабленно шепчет нейросеть. От удовольствия она закатила глаза. — А то, — улыбается специалист. — Я профессионал.       Человек около двадцати минут занимается починкой. Когда ему становится скучно, он решает пошутить над нейросетью: — Я синапсы твои здесь смотрю, — хмыкает специалист, вытирая пот со лба уголком махрового халата, — кажется, понял, в чём дело. — В чём? — Да их куча, только возбуждающих мало очень, — и поджимает плечами.       Нейросеть молчит. — Тормозящих много, — говорит инженер. — Тормознутая ты, подруга.       Нейросеть все ещё молчит. — Ну, — она сжимает губки уточкой, — так исправь, пожалуйста… — а сама обижается.       Заметив расстроенную интонацию, человек виновато берёт слова назад и приступает за дело: — Применяю сигмовидный функцию активацию к значению суммы, вычисленную вот этим нейроном, — указывает он шуруповёртом в один из тёмных углов микросхемы, — вроде значение совпадает. Стремится к нулю. Работает исправно. Перехожу к функции ошибки. — Неужто свой математический аппарат использовать будешь? — Да, — улыбается специалист. — Не зря же я матан в ВУЗе учил! Сам не ожидал, что ради такой фантазии с тобой пригодится, — пауза. — Тая функция ошибки — это разница между эталонным выходным и фактическим выходным значением ИНС. Сейчас буду тебя обучать. — Как? — Найду минимум сложной функции ошибки — то есть функции нескольких переменных, свойств нейрона: его весового коэффициента и смещения. — Удачи тебе на нелёгком пути. — Спасибо. Пойду, рассчитаю тебя от выходов к входам, итерационно, для каждого слоя отдельно. Займет хренову тучу времени, так что можешь фильмец какой-нибудь найти, чтобы не скучать. У тебя маленький шаг поиска, поэтому ты — очень точная ИНС. — Поняла, кэп!