Du behøver ikke at flygte så meget. Du kan bare bruge enkelt anførselstegn uden for forespørgslen og dobbelt anførselstegn indeni, dvs. men pas på at have typen som hex, hvilket betyder "03" og ikke "3"
mongodump --host localhost --db test --collection bd --query
'{"_id" : { "$binary" : "ryBRQ+Px0kGRsZofJhHgqg==", "$type" : "03" } }'