Como está seu código ? Deveria funcionar assim... Mas a melhor forma é limitar os votos de alguma forma pelo PHP, já que isso também impediria que pessoas votassem várias vezes propositalmente. Pode, por exemplo, limitar o voto a cada usuário, se houver um sistema de cadastros.