Перцептрон

Ребятки, привет! Как и обещала, сегодня я показываю вам второй пример, который мы можем пощупать вживую. Помните, в прошлый раз мы занимались цифровой обточкой кирпича и смотрели, как градиентный спуск сам вылепляет из него форму с идеальной аэродинамикой? Так вот, сегодня мы окончательно развенчаем миф о «магии» нейросетей и снимем корону с этого вашего хайпового искусственного интеллекта. Никакой мистики внутри нейросетей нет, там сидит точно такой же математический движок, который мы использовали для крыла, просто теперь мы заставим его работать со зрением. Для этого я собрала интерактивный блокнот, где мы с нуля обучим перцептрон — самую базовую модель нейросети — распознавать рукописные цифры из индекса.

Давайте сразу разберем, как дифференцируемое программирование разваливает сказки о «цифровом мозге». Любая нейросеть — это просто длинная математическая функция с кучей внутренних коэффициентов, которые инженеры называют весами. Когда мы только запускаем код, все эти веса забиты случайными числами — полным хаосом, похожим на белый шум на экране старого телевизора. Естественно, на старте наша функция жестко тупит. Но вместо того чтобы прописывать миллиард условий и правил через обычные if/else, мы используем силу дифференцируемого программирования. Мы строим код так, чтобы от всей программы целиком можно было автоматически взять производную.

Сначала мы берем картинку 28 на 28 пикселей, вытягиваем ее в строчку из 784 чисел и умножаем на наши случайные веса. Полученный ответ сравниваем с реальностью и считаем ошибку по формуле потерь: Loss = -sum(Target * log(Prediction)). А дальше включается градиентный спуск. Программа идет по цепочке вычислений обратно и через автоматическое дифференцирование находит производную ошибки по каждому весу — dLoss / dW. Эта производная работает как идеальный навигатор. Она буквально говорит коду: если мы уменьшим вот этот коэффициент пикселя, то общая ошибка всей программы станет меньше. Мы обновляем веса по формуле W_new = W_old - learning_rate * dLoss / dW и повторяем это по кругу, пока функция не настроится сама.

В моем блокноте на библиотеке JAX этот процесс превращен в живой мультик. Вы своими глазами увидите, как за несколько эпох из хаотичного шума в ячейках проступают призрачные, светящиеся силуэты цифр от нуля до девятки. В самом конце я прикрутила интерактивный холст, где можно порисовать мышкой и устроить модели проверку.

Но скажу честно — качество распознавания вашего почерка там будет не особо высокое. Наш перцептрон — модель однослойная, у нее нет скрытых слоев и сложных извилин. Она просто сверяет ваш рисунок со своими картами весов. Если нарисовать единицу слишком жирно или сдвинуть семерку в угол экрана, геометрия сломается и сеть выдаст неверный ответ. Зато вы в реале увидите, с каких ограничений начиналась история технологий.

Интерактивный блокнот:
https://colab.research.google.com /drive/1l7ugimW0WAZuZm7rBKNhi2TXr1koehMV?usp=sharing

Видео презентация:
https://drive.google.com /file/d/1DMJU0n931IgjWB4g-sVq8vjOHyo4hxH-/view?usp=sharing



Стефания
https://github.com/ST3PH-X


*Для успешного открытия ссылок - уберите пробел после доменного имени.


Рецензии