В один прекрасный день у нас на тестовом сервере поломался Prometheus, возможно, из-за частой смены времени на сервере (это нужно было для целей тестирования основной системы).
Удалять метрики можно через API, но в моем случае это почему-то не помогло, поэтому пришлось применить радикальный способ.
Способ заключается в удалении содержимого директории базы данных временных рядов /var/lib/prometheus/.
Расположение этой директории можно узнать с помощью команды:
sudo service prometheus status
Выполнив команду, вы увидите --storage.tsdb.path /var/lib/prometheus/ - путь к базе данных временных рядов.