Claro que es posible, ya que el router bien puede configurarse como punto de acceso o como repetidor, en cualquier caso, la manera mas sencilla y que te quita de problemas es la siguiente:

Conectas mediante un cable de red cruzado tu PC con internet al router. Configuras el router para que funcione como punto de acceso solo, si no se puede tienes que ir a la segunda manera.

Conectasr todas las PC al router y configurarlo. Eso si la configuración no es tan sencilla, pero es muy pero muy seguro de que se puede hacer, yo ya lo he hecho por eso te lo menciono. A partir de una conexion debes ponerlo como punto de acceso solo.

Si quieres que esto no se haga asi, pues ve si funciona como switch o compra un switch y configura una LAN con tu red de internet compartida y conectas los dispositivos por tarjeta de red al switch. Si quieres solo probar hazlo con un cable cruzado entre dos pc conectadas por la tarjeta de red y configura tu red, con conexion compartida por medio de la usb y asi ya veras como te queda, ya que el asistente de configuración te hace todo.

Saludos, la mejor manera es hacerlo manualmente, pero debes tener idea de redes, protocolos, subredes y muchas cosas, para poder hacerlo sin problema,, pero usa el asistente que seguro te ira bien.

Espero haberte ayudado.

Pues se agradece muchisimo el aporte...