скорее всего robots не поможет, потому что это - "рекомендация" для ботов, а не правило, которому надо следовать. саранче, собирающей информацию, этот запрет не помешает.
даже "официальный" гугл-бот мне частенько писал:
страница проиндексирована, не смотря на запрет в robots
и после этого начинал жаловаться, что прочитанная закрытая информация "плохо индексируется". это более чем подтверждает, что запрет надо ставить более жёстко.
либо в .htaccess - это прямая команда управляющему серверу и она игнорироваться точно не будет, либо с помощью самого форума - включать ip и имя бота в чёрный список в админке.
