Pues si, precisarás un router.
También unas tarjetas de red (una para cada PC a conectar)

Luego existe un soft llamado NETWORK MAGIX de la casa CISCO que hace todo lo demás por tí

dependera que recursos necesites sacar de tu red.
Lo mas estandar es un router, pero en su mayoria tienen capacidad para 4 puertos, osea 4 estaciones.

Si solo quieres estar en red, y compartir archivos, carpetas impresoras, etc, puedes usar un switch. Este funciona para distruibuir la senal alambrica, y son muchismo mas baratos que un router, y solo necesitas conectar las maquinas y ya estaran en red, luego creas un grupo de trabajo en windows XP y todas podran verse, y compartir archivos, impresoras, etc.

El router te da la facilidad ademas, de administrar las configuraciones de acceso, ya que es programable, caso contrario a los switch standares (no hablo de siwtch de capas).

Resumo, si son 4 makinas, opta mejor por el router, si son mas, te sale mas comodo el siwtch. (router van desde 40$ a 150$ aprox los normales y el switch van desde $20 en adelante).