A diferença é quão longe no tempo cada ação ocorreu e se uma delas estava ocorrendo quando outra aconteceu.

Em I was eating when he arrived, as duas ações descritas ocorreram no passado, mas a primeira indica que a ação era contínua e a segunda ação aconteceu no momento em que a primeira ainda estava ocorrendo. Nesta frase, os eventos aconteceram num tempo mais perto do presente.

Já em I had been eating when he had arrived, a primeira ação também estava em andamento quando a segunda ação aconteceu, o que diferencia mesmo da primeira é o fato de que as duas ações aconteceram num passado mais distante, bem mais longe do tempo presente.