Jeg havde et lignende problem. Jeg bruger Spring Boot 1.5.9 og postgres 9.6, data.sql med inserts. Kodning på data.sql var UTF-8, men efter start af applikationen var der i DB specielle symboler i stedet for russiske bogstaver.
spring.datasource.sql-script-encoding= UTF-8
Denne egenskab i application.properties har hjulpet.
Alle ejendomme ansvarlige for DB:
spring.datasource.jndi-name=java:/PostgresDS
spring.jpa.properties.hibernate.default_schema=my_scheme_name
spring.jpa.hibernate.ddl-auto = update
spring.jpa.show-sql = false
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.PostgreSQLDialect
spring.datasource.continue-on-error=true
spring.datasource.sql-script-encoding= UTF-8