Hvordan fjerner jeg de tomme tweets ved hjælp af filter() i pyspark?

Hvis dine data som denne

tweets = sc.parallelize(["title1", "", "title2", "title3", ""])

du kan bruge len(x) som filterbetingelsen:

tweets.filter(lambda x: len(x) > 0).count()