Sergen Yalçın, taraftarı kırmadı