A Internet é organizada em um número de redes conectadas por gateways. As redes podem ser links ponto-a-ponto ou redes mais complexas como as Ethernet ou a ARPANET. Assim, hosts e gateways estão presentes na rede endereçando datagramas IP a algum hosts. Neste processo, denomina-se roteamento o método pelo qual o host e o gateway decidem onde colocar o datagrama. O datagram pode ser colocado, diretamente, no seu destino desde que este encontre-se em uma das redes que sã diretamente conectadas ao host ou gateway.
Nos casos em que o host não se encontra, diretamente, conectado o gateway envia o datagrama até o gateway mais próximo que esteja na mesma rede do host-destino.
A principal função do protocolo de roteamento é fornecer a informação necessária para fazer o roteamento.