临时工和合同工都属于公司的在职职工，在核定残保金的金额时，都应该计算在内的。
不能说某个人在几个单位都交了残保金，而是单位按照实际职工人数以一定比例交纳多少残疾人保障金。实际职工人数一般按照年度末公司人数计算的。

财税「2015」72号：用人单位在职职工，是指用人单位在编人员或依法与用人单位签订1年以上（含1年）劳动合同（服务协议）的人员。季节性用工应当折算为年平均用工人数。以劳务派遣用工的，计入派遣单位在职职工人数。所以临时工属于季节性用工的，要按工作时间折算用工人数；非季节性用工签订劳动合同的合同期限不超过1年的不计算为用工人数；实习生不计入单位用工人数。

不用计算

上年用人单位在职职工人数”指单位在编人员或签订1年以上（含1年）劳动合同（服务协议）的人员。季节性用工应当折算为年平均用工人数（如季节工人数为20人，用工时间为3个月。公司二名临时工如果与公司没有签订1年以上（含1年）服务协议，就不算在职职工人数。如果签了1年以上（含1年）服务协议，就需要计入。

不需要
依据财政部、国家税务总局、中国残疾人联合会关于印发《残疾人就业保障金征收使用管理办法》的通知（财税[2015]72号）的规定：用人单位在职职工，是指用人单位在编人员或依法与用人单位签订1年以上（含1年）劳动合同（服务协议）的人员。季节性用工应当折算为年平均用工人数。以劳务派遣用工的，计入派遣单位在职职工人数。

临时的不算在残保金申报里面的