Ved at læse https://hub.docker.com/_/postgres/ forklarer afsnittet 'Udvid dette billede', at enhver .sql i /docker-entrypoint-initdb.d vil blive udført efter build.
Jeg skulle bare ændre min Dockerfile.db til:
FROM postgres
ADD ./devops/db/dummy_dump.sql /docker-entrypoint-initdb.d
Og det virker!