根据《中华人民共和国增值税暂行条例》第六条的规定：“销售额为纳税人发生应税销售行为收取的全部价款和价外费用，但是不包括收取的销项税额。”

根据《中华人民共和国增值税暂行条例实施细则》第十二条的规定：“条例第六条第一款所称价外费用，包括价外向购买方收取的手续费、补贴、基金、集资费、返还利润、奖励费、违约金、滞纳金、延期付款利息、赔偿金、代收款项、代垫款项、包装费、包装物租金、储备费、优质费、运输装卸费以及其他各种性质的价外收费。”

根据《国家税务总局关于增值税若干征管问题的通知》(国税发〔1996〕155 号)第一条的规定：“对增值税一般纳税人(包括纳税人自己或代其他部门)向购买方收取的价外费用和逾期包装物押金，应视为含税收入，在征税时换算成不含税收入并入销售额计征增值税。”

因此，销货方在价外向购买方收取的赔偿金应该缴纳增值税，在征税时换算成不含税收入并入销售额计征增值税。