В DeepMind обучили ИИ добывать алмазы в Minecraft

Специалисты Google DeepMind разработали агента Dreamer 4. Он смог выполнить один из самых известных тестов для ИИ в Minecraft – добыть алмазы. Именно это испытание является важным в понимании успешности обучения искусственного интеллекта (ИИ).

Данная задача длиной порядка двадцати тысяч последовательных действий. Важно: раньше ее обычно решали через длительное онлайн-обучение, но в этот раз агент Dreamer 4 освоил умение по офлайн-данным, что стало шагом вперед.

Dreamer 4 сначала учится на видеозаписях предсказывать, что произойдет при разных действиях, и таким образом строит внутреннюю симуляцию мира. В этой симуляции он применяет обучение с подкреплением, находит результативные последовательности шагов и только потом переносит стратегию в игру. По заявлениям авторов, мировая модель достаточно точна и быстра, чтобы воспроизводить взаимодействия объектов в реальном времени на одной видеокарте.

От прежних подходов это отличает отказ от «живого» обучения и меньшая зависимость от человеческих демонстраций. DreamerV3 добывал алмазы при онлайн-тренировке в самой игре; OpenAI VPT делал ставку на имитацию по крупным интернет-видео геймплея. Преимущество Dreamer 4 – в офлайн-тренировке поведения внутри нее.

В то же время финансовый успех компании Google достиг небывалых высот: за последний квартал стоимость акций увеличилась на 38%, что стало максимальным показателем за последние 20 лет. Общая динамика показывает устойчивый рост, с начала года ценные бумаги Google подорожали почти на 30%.