Vou começar com a descrição de Dumbledore do incidente de Quirrell:
[Harry]: "Mas por que Quirrell não me tocou?" [Dumbledore]: "Sua mãe morreu para salvá-lo. Se há uma coisa que Voldemort não consegue entender, é o amor. Ele não percebeu que o amor tão poderoso quanto o de sua mãe por você deixa sua própria marca. Nem uma cicatriz, nem visível sinal ... ter sido amado tão profundamente, mesmo que a pessoa que nos amou tenha partido, nos dará alguma proteção para sempre. Está em sua própria pele. Quirrell, cheio de ódio, ganância e ambição, compartilhando sua alma com Voldemort, não pude tocar em você por este motivo. Era uma agonia tocar uma pessoa marcada por algo tão bom. "
Portanto, vejo dois pontos importantes aqui. Primeiro, Harry não destruiu fisicamente Quirrell tanto quanto lhe causou uma agonia insuportável. E sim, lembro-me de que isso causou queimaduras físicas em Quirrell, mas não acho que o teria destruído tanto quanto seria necessário para destruir uma horcrux. E segundo, isso foi tão doloroso para Quirrell porque ele estava compartilhando sua alma com Voldemort. Horcruxes não têm alma (além daquela armazenada nelas), então elas não estariam sujeitas à mesma dor, e sendo (na maior parte) inanimadas, elas não podiam sentir a dor de qualquer maneira e então não t destruí-los. No máximo, a parte da alma de Voldemort "sentiria" a dor (se isso fosse possível de alguma maneira), mas sabemos que Voldemort não poderia sentir quando eles foram destruídos inteiramente, então ele provavelmente não teria sentido essa dor em todos. E considere a parte da alma de Voldemort que estava dentro de Harry. Se alguma das horcruxes tivesse sido destruída pelo toque de Harry, teria sido essa.
Então, em resumo, acho que tudo se resume ao fato de que foi a dor que destruiu Quirrell, por compartilhar sua alma com Voldemort e por ser objetos inanimados sem alma para compartilhar nem capacidade de sentir dor, muito menos ser destruída por ele, as horcruxes restantes (com a possível exceção de Nagini) não teriam sido destruídas pelo toque de Harry.