Скрытое управление людьми

На работе я часто сталкиваюсь с тем, что коллеги перекладывают на меня свои задачи, ссылаясь на занятость или срочность, и я не могу отказать, чтобы не испортить отношения. Как распознать такие манипуляции на ранней стадии и мягко, но твердо обозначить свои границы в коллективе?