Du kan vælge hvert element fra Items og LEFT JOIN MyTbl på den fælles ItemID , tæller kampene;
select
Items.itemId,
count(MyTbl.itemId) as count
from Items
left join MyTbl on (MyTbl.ItemID = Items.ItemID)
group by Items.itemId
order by Items.itemId