Redis vil bestemt ikke være hurtigere end native Java på en enkelt maskine. Det ville give dig mulighed for at distribuere behandling, men hvis bidderne af data virkelig er store, vil de sandsynligvis ikke passe ind i hukommelsen alligevel. Uden at vide mere om, hvad du laver, vil jeg foreslå at gemme dataene på disken. Når du får flere maskiner, kan du netværksmontere partitionen og dele data på den måde. Alternativt lyder Hadoop med MapReduce som den rigtige ting til det, du laver.