对国务院部门或者省、自治区、直辖市人民政府的具体行政行为不服的， 向作出该具体行政行为的国务院部门或者省、自治区、直辖市人民政府申请行政复议，A应当向商务部申请复议，因此错误；
对县级以上地方各级人民政府工作部门的具体行政行为不服的，由申请人选择，可以向该部门的本级人民政府申请行政复议，也可以向上一级主管部门申请行政复议，B说法正确；
对地方各级人民政府的具体行政行为不服的，向上一级人民政府申请行政复议，C正确；
对海关、金融、国税、外汇管理等实行垂直领导的行政机关和国家安全机关的具体行政行为不服的，向上一级主管部门申请行政复议，D应当找省税务局复议，因此错误。