Delavande оценит потребление электроэнергии чат-ботами

Инженер Hugging Face Жюльен Делаванд представил инструмент, который позволяет узнать, сколько электроэнергии тратиться на сообщение в диалоге с чат-ботами. Инструмент называется Delavande. 

Delavande предназначен для работы с Chat UI, открытым исходным кодом для таких моделей, как Llama 3.3 70B от Meta и Gemma 3 от Google. 

Новая разработка инженера способна оценивать потребление энергии сообщениями, отправляемыми на модель и с нее в режиме реального времени. Она выражает потребление в ватт-часах или джоулях. 

Инструмент также сравнивает потребление энергии моделью с потреблением обычных бытовых приборов, таких как микроволновые печи и светодиоды. 

Например, по данным инструмента, при написании типичного электронного письма Llama 3.3 70B потребляет приблизительно 0,1841 Вт·ч. Это сравнимо с работой микроволновой печи в течение 0,12 секунды или использованию тостера в течение 0,02 секунды. 

Сообщается, что ИИ-модели потребляют энергию при каждом запуске. Они запускаются на графических процессорах и специализированных чипах, которым требуется много энергии для выполнения вычислительных рабочих нагрузок в масштабе. 

Точное потребление энергопотребление оценить тяжело, однако ожидается, что растущее использование ИИ-технологий приведет к тому, что потребности в электроэнергии в ближайшие годы достигнут новых цифр. 

Кроме того, потребность в большей мощности для питания ИИ привела к тому, что некоторые компании стали следовать неэкологичным стратегиям. Такие инструменты, как Delavande, направлены на то, чтобы привлечь внимание общественности к этому и, возможно, заставить некоторых пользователей ИИ задуматься. 

Напомним, что согласно исследованию, опубликованному в журнале Nature Computational Science, искусственный интеллект является причиной роста электронных отходов в мире. С 2023 по 2030 год показатель может достичь 5 млн тонн «мусора».