Funkcje serwera może spełniać byle jaki komputer, jednak w celu pełnego wykorzystania możliwości, jakie daje oprogramowanie serwerowe, powinna to być maszyna przeznaczona do tej roli. Urządzenia takie są przystosowane do ciągłej pracy. Serwer wyposażony powinien być w duże i szybkie dyski, na przykład SCSI, dużą ilość pamięci RAM – najczęściej ECC. Bardzo ważnym elementem jest wydajny procesor.

Ze względu na coraz częstsze wykorzystywanie w pracy środowiska z rozproszonymi bazami danych serwery muszą być niezawodne i stabilne, niezbędnym jest możliwość obsługi przez płytę główna 2,3 a nawet 4 procesorów. Niezawodność serwera uzależniona jest również od odpowiedniego zasilacza i podtrzymania napięcia. Serwer często posiada wbudowane 2 lub więcej zasilacze typu hot-plug i awaryjne zasilanie. Pomieszczenie w jakim znajduje się serwer powinno być wyposażone w wentylacje i klimatyzacje. Dobrym zwyczajem jest umieszczenie urządzenia w szafie serwerowej.

Szafy serwerowe to oddzielne urządzenie posiadające odpowiednie wyposażenie, takie jak wentylator, półki, listwy zasilające, zamknięcia. Na rynku dostępne są różne rozwiązania, generalnie szafa serwerowa musi posiadać odpowiednie zabezpieczenia przed czynnikami pogodowymi jak i przed kradzieżą.