Mit gæt er, at enten udsendes svaret som almindeligt binært, som ikke er base64-kodet (stadig en buffer), eller også er det et komprimeret (gzip) svar, der først skal komprimeres.
Det er dog svært at lokalisere problemet uden at se koden.
OPDATERING:
Det ser ud til, at du mangler de rigtige svaroverskrifter.
Prøv at sætte disse overskrifter før downloadStream.pipe(res) :
res.setHeader('Content-disposition', 'attachment; filename=test.pdf');
res.set('Content-Type', 'application/pdf');