Если во время перетаскивания файла в мусорную корзину (или выбора пункта меню "удалить") Вы будете держать нажатой кнопку SHIFT, то файл будет удален, а не помещен в корзину.