Следующий хот-тейк про АИ - на данном этапе я не верю в "самообучающийся" harness без Human-in-the-Loop. Про это написано уже с десяток наверное paper'ов на arxiv, но суть одна - "самообучение" и "самоулучшение" скиллов приводит к деградации общего качества harness Это не значит что в cockpit (моя обвязка которой я делаю задачи) нету этапа ретроспективы - наоборот, модель заглядывает в транскрипты каждого блока и предлагает улучшения в системных и в проектных блоках. Но в среднем после первых парочки очень крутых дней 50% предлагаемых улучшений я отклоняю, потому что модель пытается все время впасть в гиперфокусы Я (в Гитлабе) делаю пачку тасок связанных с наследованием групп - модель такая "а давай напишем хелпер чтоб это было лучше делать, а то я кучу токенов сделала пока ошиблась", вот только этот же хелпер потом мешает, когда нужно делать схожую-но-другую задачу в другом модуле. И так часто Эвалы тут к сожалению меня практически не спасают - эвалы хорошо ловят деградации на прошлых тасках. но естественно никак не покрывают unknown unknowns. Ближайшей аналогией для меня (да, да, я мыслю аналогиями) - учить нейронку на исторических данных рынка - перестараетесь и получите прекрасное предсказание прошлого с неспособностью действовать в будущем Как это изменится с улучшением моделей? мне кажется никак. Вернее, не совсем так - моделям будет требоваться все меньше уточнений, уже сейчас модель в принципе может со многим справиться сама, просто ДОРОГО и ДОЛГО - и когда мы начинаем крутить чтоб было не дорого или не долго - все упирается в суждения, которые я пока не знаю как передать модели