我一直被某部抽调，一年多了，这次有机会从乡里调到县上别的单位，但党关系在某部，我人已经到别的单位报道上班三个月了，党费交到六月的，因为我表明想留在给编的单位，某部已经生气，这次组织生活会也没有叫我，我这次不参加，有没有影响？