Каковы технические требования к серверу для UTM5 при количестве клиентов ~10000 и одновременной работе ~600 клиентов с расчетом, что на одном сервере работают: UTM5, MySQL.
В вашем случае лучше всего взять сервер с запасом по производительности:
вполне подойдет 2х процессорная машина с быстрым винчестером (SCSI) и 1-2 GB оперативной памяти.
MySQL нужно будет настроить на максимальное использование ресурса сервереа, так как именно на БД будет основная нагрузка.