Можно купить свич на 4 порта, объединить компы в сеть витой парой, а дальше дело техники.
У меня год назад именно так и было дома сделано: комп, ноут и свич. Интернет приходит в свич, на компе проходит аутентификация по pppoe и расшаривание в локальную сеть. На ноуте тольуо шлюз прописать остается.
Но с роутером конечно удобнее: аутентификация проходит на роутере, а на клиентах остается только шлюз прописать.
Вообще самый лучший вариант для дома - это вай-фай роутер, но ТС говорит, что ни на ноуте, ни на компе нет адаптера вай-фай, а это еще плюс рубль. Но если это вариант не временный, то лучше потратится немного на покупку всех вай-фай девайсов и не парить себе мозг всякими проводами, а тем более блютусами)
Тем более если у ТС есть кокой-нить КПК, то вообще трушно можно заюзать домашний интернет лежа на диване тыкая пальцем в мобилку.