Недавно стало интересно, где можно аредовать GPU и сколько это стоит. Сподвигла на это реклама на Хабре, типа, наши услуги для ваших ЭмЭльных задач. Пошел в поисковик и забил “аренда серверов с гпу” и пошел прям по порядку. Быстро понял, что сравнивать разные предложения не очень-то и просто: кто-то считает стоимость за минуту, кто-то за месяц (а если за месяц, не ясно, можно ли арендовать поминутно), кто-то включает в стоимость остальные компоненты, кто-то нет. Приправлено это всякими скидками на первый заказ или оплату оптом. Как увидете, разброс цен на одни и теже карточки очень большой.

Тем не менее, я собрал стоимости аренды за месяц (если было за минуту, то преобразовывал к месяцу) те GPU, которые встретились не менее двух раз (кроме H100). Надеюсь, что хоятя бы среднее даст какие-то ориентиры. Кроме аренды я еще добавил вариант “купить самому”. Цену смотрел на маркертплейсах и выбирал «не очень дорогую и не очень дешевую».

  A10 24GB A100 80GB A4000 16GB A5000 24GB 3090 24GB 4090 24GB H100 80GB V100 32GB
Купить самому 250 000 ₽ 1 500 000 ₽ 125 000 ₽ 230 000 ₽ 130 000 ₽ 230 000 ₽ 2 874 319 ₽ 600 000 ₽
adminvps.ru     10 959 ₽ 17 790 ₽ 26 459 ₽ 28 669 ₽    
immers.cloud/ 26 316 ₽ 166 154 ₽   79 034 ₽ 51 523 ₽ 68 155 ₽ 328 514 ₽ 69 559 ₽
https://gpudc.ru/workstation   108 000 ₽     28 800 ₽ 79 200 ₽   43 200 ₽
https://iqhost.ru     12 000 ₽ 19 200 ₽ 17 300 ₽ 28 800 ₽    
https://intelion.cloud 29 260 ₽ 130 820 ₽   29 260 ₽ 39 260 ₽      
Среднее по сервисам 27 788 ₽ 134 991 ₽ 11 480 ₽ 36 321 ₽ 32 668 ₽ 51 206 ₽ 328 514 ₽ 56 380 ₽
Разница между покупкой и арендой 9.00 11.11 10.89 6.33 3.98 4.49 8.75 10.64
Стоимость минуты 38.59 ₽ 187.49 ₽ 15.94 ₽ 50.45 ₽ 45.37 ₽ 71.12 ₽ 456.27 ₽ 78.30 ₽

Что видим?

  1. Где-то я видел, что БЯМ размера 32b при должном шаманизме можно впихнуть на инференс в 24G, а вот 72b уже нет. Заплатить за запуск такой модели придется в 2.8 раз дороже.
  2. В целом, если у вас нет задач на обучение, которые длятся месяцами, то явно проще и дешевле будет арендовывать мощности поминутно. Правда, чтобы такая схема работала, хорошо бы иметь хоть какую-нибудь gpu, чтобы на локальной машине убедиться, что всё работает.
  3. Очень популярными карточками являются 3090 и 4090. Внезапно, V100 16 Gb не нашел вообще. H100 нашлась только у одного по цене паравоза, но оно того стоит, отвечаю.

Ну вот я базовый Берт на датасете в 40к тренировочных примерах на 5 эпохи обучаю за 26 минут на 4090 24 GB. Получается, это бы мне примерно обошлось в ~1900 рублей. Моя коллега недавно поставила 14 экспериментов в плюс-минус таком же сеттинге, а значит это стоило почти 27к. И это уже 10 процентов от стоимости видюшки. Гляжу сейчас в Clearml и понимаю, что за год проекта по суицидникам процентов 50-60 стоимости мы нажгли. Да даже если бы 80, то всё равно проще было бы арендовать, если бы у нас не было доступа к университетским ресурсам. Конечно, я это говорю с точки зрения экономики. Вот если б еще узнать, насколько просто и легко запускать обучение на арендованных тачках. А еще знать бы прозрачно ли начисляют за компьют. В общем, думайте.