Jeg tror ikke, der er noget problem med .populate('adminInfo.adminId')
metode.
er du sikker på, at ref feltet er i CamelCase .
Hvis ikke, prøv at ændre ref felt ->
adminInfo: {
_id: false,
adminId: [{
type: Schema.Types.ObjectId,
ref: 'user'
}]
}