Du skal bare udelukke dem, der er direkte venner såvel som at være venner-af-venner. Jeg har omarrangeret tabelaliasserne, så det er lidt klarere (ihvertfald for mig), hvad der hentes:
SELECT
u.*
FROM
user u
INNER JOIN friend ff ON u.user_id = ff.friend_id
INNER JOIN friend f ON ff.user_id = f.friend_id
WHERE
f.user_id = {$user_id}
AND ff.friend_id NOT IN
(SELECT friend_id FROM friend WHERE user_id = {$user_id})
Det fjerner også behovet for at ekskludere det bruger-id, der forespørges på.