Перцептрон
Давайте сразу разберем, как дифференцируемое программирование разваливает сказки о «цифровом мозге». Любая нейросеть — это просто длинная математическая функция с кучей внутренних коэффициентов, которые инженеры называют весами. Когда мы только запускаем код, все эти веса забиты случайными числами — полным хаосом, похожим на белый шум на экране старого телевизора. Естественно, на старте наша функция жестко тупит. Но вместо того чтобы прописывать миллиард условий и правил через обычные if/else, мы используем силу дифференцируемого программирования. Мы строим код так, чтобы от всей программы целиком можно было автоматически взять производную.
Сначала мы берем картинку 28 на 28 пикселей, вытягиваем ее в строчку из 784 чисел и умножаем на наши случайные веса. Полученный ответ сравниваем с реальностью и считаем ошибку по формуле потерь: Loss = -sum(Target * log(Prediction)). А дальше включается градиентный спуск. Программа идет по цепочке вычислений обратно и через автоматическое дифференцирование находит производную ошибки по каждому весу — dLoss / dW. Эта производная работает как идеальный навигатор. Она буквально говорит коду: если мы уменьшим вот этот коэффициент пикселя, то общая ошибка всей программы станет меньше. Мы обновляем веса по формуле W_new = W_old - learning_rate * dLoss / dW и повторяем это по кругу, пока функция не настроится сама.
В моем блокноте на библиотеке JAX этот процесс превращен в живой мультик. Вы своими глазами увидите, как за несколько эпох из хаотичного шума в ячейках проступают призрачные, светящиеся силуэты цифр от нуля до девятки. В самом конце я прикрутила интерактивный холст, где можно порисовать мышкой и устроить модели проверку.
Но скажу честно — качество распознавания вашего почерка там будет не особо высокое. Наш перцептрон — модель однослойная, у нее нет скрытых слоев и сложных извилин. Она просто сверяет ваш рисунок со своими картами весов. Если нарисовать единицу слишком жирно или сдвинуть семерку в угол экрана, геометрия сломается и сеть выдаст неверный ответ. Зато вы в реале увидите, с каких ограничений начиналась история технологий.
Интерактивный блокнот:
https://colab.research.google.com /drive/1l7ugimW0WAZuZm7rBKNhi2TXr1koehMV?usp=sharing
Видео презентация:
https://drive.google.com /file/d/1DMJU0n931IgjWB4g-sVq8vjOHyo4hxH-/view?usp=sharing
Стефания
https://github.com/ST3PH-X
*Для успешного открытия ссылок - уберите пробел после доменного имени.
Свидетельство о публикации №126111804798