公法之债的债权人往往享有私法之债的债权人所没有的种种特权，例如公法之债产生争议或得不到履行时无需借助司法机关而自行实现其债权的强制执行权（自力救济），以及相对于私法之债的优先受偿权。发端于1919年德国《租税通则》第81条“税收债务关系说”的税收之债是公法之债的典型，世界各国在税法上规定滞纳金的理论根据也正基于此。
性质不同。行政处罚和执行罚虽然都是针对不履行法定义务的当事人，但行政处罚本质上属于制裁性法律责任，于设定新的义务；执行罚属于强制性法律责任，是以设定新的义务的办法来促使当事人履行法定义务。
制裁性法律责任一般都以“一事不再罚”为原则，一次违法行为只惩罚一次；强制性法律责任的终目的在于义务的履行，因而执行罚可以多次适用，直至义务人履行义务为止。学界对于执行罚与行政处罚关系的分歧对于滞纳金性质的认定并无多大影响，关键在于滞纳金仅仅是确保公法之债得以履行的一种手段，当这种间接强制的手段失效之后应该是直接强制的及时介入，而不是“钓鱼执法”模式下行政机关对公法之债债务人财富的觊觎。
滞纳金的课征主体是法律规定的行政机关。对于执行罚的主体是行政机关还是司法机关，两大法系本来有重大区别。其根源在于对于行政强制执行权的性质的认识，普通法系国家从来都将行政强制执行权看成是司法权的一部分。在美国行政法上，将行政强制执行的手段（执行罚）称为“简易权力（ summary power），属于简易行动（summary action）的一种形式”而行政机关的简易行动，是一种例外的行政执行程序。……这种执行方式由行政机关以实力直接实现执行目标，不需要法院的支持。然而不能认为这种执行方式和法院完全无关。因为行政机关的简易执行行为是否符合法律规定，是否超过必要的范围，仍然处在法院的监督下。” 但在大陆法系的许多国家则历来将行政强制执行权看成是行政权的一部分，由行政机关自行执行。在法国行政法上，“行政处理的当事人不履行行政处理中所规定的义务时，行政机关在必要时可依职权强制执行，毋须请求法院强制执行。这是行政处理的一种特权。”