Boa tarde Ariel, tudo bem?
Bom como você sabe o Diferencial de aliquota é calculado em cima da aliquota interna do estado. Porque neste caso é 5% e não 17%? Você não poderia criar uma exceção para esse caso na J1btax fazendo assim que o sistema calcule o diferencial sobre os 5%.
Para que o ICMS não seja somado ao total da nota você deve desassociar um grupo de imposto para a condição desejada na tabela J_1BAJV. Não recomendo que faça isso, porque não acredito que seja esse o seu problema.
Att,
André