Tanto os hosts como gateways têm tabelas de roteamento. Quando o software de roteamento IP num host ou gateway necessita transmitir um datagrama, ele consulta a tabela de roteamento para decidir onde enviar o datagrama.
Tipicamente a informação que se armazena nas tabelas de rotas é o par (N,G), onde N é o endreço IP da rede destino e G é o endereço IP do próximo gateway no caminho a rede N. De modo que uma tabela de roteamento num gateway G somente especifica um passo do caminho de G a uma rede destino, o gateway não sabe o caminho completo ao destino.
É importante entender que a tabela de roteamento sempre aponta aos gateways que podem ser alcançados através da rede a qual esse gateway está conetado. Isso significa que todos os gateways listados na tabela de roteamento de uma máquina M devem conetar-se as redes às quais M está conetada diretamente. Quando um datagrama está pronto para sair de M, o software IP localiza o endereço IP destino e extrae a porção da rede. Logo M usa a identificação da rede para fazer uma decisão de roteamento, selecionando um gateway que possa ser alcançado diretamente.
Nas tabelas de roteamento não é possível armazenar as informações de cada máquina destino, seria impossível manter as tabelas atualizadas, além de que as máquinas teriam problemas com armazenamento para toda a informação.