$unset er tom. Du skal angive et felt som sådan:{$unset:{:...}}

Jeg var ikke i stand til at gengive den fejlmeddelelse, men som du har set, vil Mongoose kun opdatere felter defineret i skemaet. Du kan dog tilsidesætte denne standardadfærd ved at inkludere strict: false mulighed:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)