Questão de semântica?

Fico sempre baralhado quando ouço o argumento: «Ah, aquilo foi um ataque pessoal». Ou a variante: «Em vez de discutirem ideias, atacam as pessoas».
Sinceramente, onde acabam as ideias e começam as pessoas?