Jeg er ikke sikker på, hvorfor ovenstående svar ikke virkede for mig, men jeg tænkte, at jeg også kunne dele, hvad der faktisk virkede for mig, når jeg kørte pyspark fra en jupyter-notebook (Spark 2.3.1 - Python 3.6.3):
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)