Stødte over dette med AWS Glue og Postgres. Der var en fejl i Spark 2.1.0, der løste det for de fleste mennesker, men nogen postede en løsning i kommentarerne om at bruge en indstilling for tilpasset skema .
Jeg havde et lignende problem med AWS Glue og Spark SQL:Jeg beregnede et valutabeløb, så resultatet var en float. Lim kastede fejlen Decimal precision 1 exceeds max precision -1 selvom Glue Data Catalog definerede kolonnen som en decimal. Tog en side fra ovenstående customSchema-løsning ved eksplicit at caste kolonnen som NUMERIC(10,2), og Spark holdt op med at klage.