- Регистрация
- 5 Ноя 2019
- Сообщения
- 7.536
- Реакции
- 2.965
- Баллы
- 113
Прости, @Генри, не смогла удержаться...точно).. теоретически базу данных ИИ можно постоянно обогащать новыми примерами.
А вот без принципа современные ученые почти поголовно жалуются на страшнейший кризис воспроизводимости.Большая база данных - это не только объем, это сложная логистика между её классами и подклассами, управление которыми осуществляется по специальным алгоритмам. Это усложняет дело, но, в принципе, как говорится, нет ничего невозможного.
В 2016 году в журнале Nature вышла статья IS THERE A REPRODUCIBILITY CRISIS (Происходит ли сейчас кризис воспроизводимости)? В которой привели результаты опроса 1576 исследователей:
По итогам опроса 52% исследователей считают, что имеет место существенный кризис, 38% — легкий кризис (итого 90% суммарно!), 3% — что кризиса нет и 7% — не определились (конспирологическая версия — учитывая масштабы бедствия, последние просто не хотят привлекать «излишнее» внимание к вопросу).
Воспроизводимость в Computer Science
В Arizona State University (крупный университет, по количеству студентов в 2 раза больше МГУ) на программистском факультете сделали специальный сайт http://repeatability.cs.arizona.edu/, посвященный проведенному у них исследованию воспроизводимости результатов в 601 статье из журналов и конференций ACM. Получилась такая картина:
Источник: Repeatability in Computer Science
106 статей они не проверили, поскольку не хотели нарушать чистоту эксперимента (они писали авторам и запрашивали код), в оставшихся:
- в 93 статьях (19%) нет кода, либо было железо, с которым они не могли сравниться,
- в 176 статьях (35%) авторы не предоставили код,
- в 226 статьях (46%) код был, в 9 (2%) его не удалось собрать, а у 87 (64 + 23) статей (18%) на решение проблем сборки проекта ушло больше получаса (в 23-х случаях проблемы устранить не удалось, но автор заверил, что «приложи больше усилий» всё бы собралось).
А ведь (в узких кругах) хорошо известно что после сборки самое интересное только-только начинается, но в исследовании они на этом этапе решили остановиться, и при таком количестве их можно понять,
В любом случае, статистика очень показательная, и 35% отказов предоставить код пробуждают самые мрачные подозрения...
Но и это не все! В последнее время стремительно распространяется машинное обучение вообще и нейросети в частности. Это круто. Оно обалденно работает. Совершенно невозможное вчера становится возможным уже сегодня! Просто праздник какой-то! Так?
Нет. Нейросети добавили Computer Science новый виток погружения в пучину невоспроизводимости.

