财政部门在行使行政处罚裁量权时，应充分听取当事人的陈述和申辩，对当事人提出的事实、理由和证据成立的，应当采纳。对于属于法定听证情形的，应当告知当事人有要求听证的权利，当事人要求听证的，应当举行听证。在行政处罚决定中，应写明当事人财政违法行为的事实和证据，以及作出行政处罚决定的理由和依据。同时，财政执法人员与案件有利害关系的，应当回避，以确保公正执法。财务部门在进行行政处罚时，不仅涉及上述方面，还有权力和义务对社会上发生的财务违法行为进行监督和教育。如果违法行为被认定触犯法律，财务部门将下达行政处罚决定书。