Teaching ML in the Age of AI Agents (2/3)
Learning is much less about theoretical knowledge than it is about building your own skills. It’s nice to have an all-powerful (not really) AI in your pocket, but success comes from regular practice and keeping your focus over the long haul.
So even in the AI era the teacher’s main jobs are the same as before: keep students motivated, evaluate the skills they’ve actually picked up, develop reflection in them, and make the time they spend at university count for more.
There's always a handful of conscientious students who don't really need a teacher all that much — maybe just as a source of interesting problems. That was already true back in the Google era. Everyone else needs a lot of joint work; rewiring your living neural network is hard for everyone.
Dropping lectures
In this year’s machine learning course I decided to drop the lectures. Last year I recorded all of them on video with nice slides, and now I happily share them with anyone who wants. The freed-up time goes into receiving homework assignments and asking comprehension questions offline in the class: I might ask a student to explain one specific line of the code they handed in, or to write out the formula for the quadratic loss or for cross-entropy.
Next year I’m planning even more hands-on sessions in a master-class format, possibly team-style mini-competitions: sitting down together and writing some model from scratch with your own hands and without AI, or coding up backprop through a convolutional layer the same way.
The whole point of these practicums is to keep your mind in shape, in spite of the always-available all-powerful AI in your pocket. Roughly the way we still go to the gym and walk up the stairs, run and swim, in spite of cars, elevators, and ships.
Homework assignments are designed in the same spirit, to push students into using their own thinking as much as possible. In one of them, for example, students have to write their own post analysing either a paper or a project in machine learning.
Two fresh student posts
// Student post — Stepan Maliarovsky
Agents, Puzzles, and "Thinking" Models: A Recap of Apple's "The Illusion of Thinking"
Medium
A measured recap of Apple's puzzle-based study (Hanoi, Checker Jumping, River Crossing, Blocks World) showing that reasoning LLMs match plain models on easy tasks, pull ahead in the middle, and collapse on hard ones — with the curious twist that they spend fewer thinking tokens right as accuracy falls off the cliff.
// Student post — Mikhail Maliugin
Mixture-of-Recursions (MoR): Recursion That Beats Both Vanilla Transformers and Mixture-of-Experts
HackMD
A deep, well-structured walk-through of Bae et al.'s NeurIPS 2025 paper that fuses parameter sharing, per-token adaptive depth, and recursion-aware KV caching — with the nice framing that MoE adds horizontal sparsity while MoR adds vertical sparsity, so the two are complementary rather than competing.
Обучение — это не столько про теоретические знания, это про развитие собственных навыков. Конечно, приятно иметь под рукой всемогущий (на самом деле нет) ИИ, но успех зависит от регулярных занятий и долгосрочного сохранения фокуса.
Поэтому и в эру ИИ главными задачами преподавателя остаются поддержание мотивации к учёбе, оценка приобретённых студентами навыков, развитие в них рефлексии и повышение эффективности проведённого в университете времени.
Всегда есть какое-то количество сознательных студентов, которым по большому счёту преподаватель не очень-то и нужен, может быть только как источник интересных задач — так было и в эру Гугла. С остальными нужно много работать вместе, помогать им учиться: ведь перестраивать свои живые нейросети всем нелегко.
Отказ от лекций
В своём курсе по машинному обучению с этого года я решил отказаться от лекций, которые в прошлом году все записал на видео с красивыми презентациями, и теперь спокойно делюсь со всеми желающими. В освободившееся время провожу приёмку домашних заданий и спрашиваю вопросы на понимание материала: могу попросить объяснить конкретную строчку сданного ребятами кода или выписать формулу квадратичной функции потерь или кросс-энтропии.
В следующем году ещё планирую сделать больше практик в формате мастер-классов, возможно командных мини-соревнований: вместе написать своими руками с нуля и без ИИ какую-нибудь модель или тот же бэкпроп через свёрточный слой.
Главный смысл таких практик — держать свой разум в тонусе, несмотря на всегда доступный всемогущий ИИ в твоем кармане. Примерно как мы все сейчас ходим в спортзал и по лестницам, бегаем и плаваем, несмотря на автомобили, лифты и корабли.
Домашние задания тоже максимально способствуют использованию своего собственного мышления. Например, в одном из них студентам нужно написать свой пост с разбором либо статьи, либо проекта по машинному обучению.
Пара свежих студенческих постов
// Студенческий пост — Степан Маляровский
Agents, Puzzles, and "Thinking" Models: A Recap of Apple's "The Illusion of Thinking"
Medium
Аккуратный пересказ работы Apple на головоломках (Ханойские башни, Checker Jumping, River Crossing, Blocks World): reasoning-модели сравниваются с обычными на простых задачах, обгоняют их на средних и проваливаются на сложных — и любопытно, что прямо в момент обрушения точности они начинают тратить меньше "думающих" токенов.
// Студенческий пост — Михаил Малюгин
Mixture-of-Recursions (MoR): Recursion That Beats Both Vanilla Transformers and Mixture-of-Experts
HackMD
Глубокий и аккуратно структурированный разбор статьи Bae et al. с NeurIPS 2025: совмещение шеринга параметров, потокенной адаптивной глубины и recursion-aware KV-кэширования — с приятной рамкой, что MoE добавляет горизонтальную разреженность, а MoR — вертикальную, так что два подхода скорее дополняют друг друга, чем соревнуются.