Das Telefonieren über das Internet benötigt eine entsprechende Hardware. Dafür gibt es vier verschiedene Alternativen. Eine Möglichkeit ist es, einen gewöhnlichen Computer zu verwenden. Dieser muss über ein Mikrofon und einen Lautsprecher oder Kopfhörer verfügen, um den anderen Gesprächsteilnehmer zu hören und um die eigene Sprache aufnehmen und übermitteln zu können. Außerdem ist eine spezielle Software notwendig, die auf dem PC installiert werden muss.
Eine weitere Möglichkeit ist die Verwendung eines speziellen VoIP-Endgeräts , eines IP-Telefons oder eines SIP-Telefons. Diese sind einem gewöhnlichen Telefon ähnlich, jedoch verwenden sie eine Technik, die die Datenübertragung im Internet ermöglicht.
Eine dritte Möglichkeit ist es, das bisherige Telefongerät einfach weiterzuverwenden. Dazu muss es jedoch an einen speziellen Adapter angeschlossen werden, der die analogen Telefondaten in digitale Signale umwandelt.
Die letzte Möglichkeit besteht darin, mittels FMC-Client sein Handy einzubinden und dann über die Telefonanlage zu telefonieren. Diese drei Alternativen bieten den Vorteil, dass sie genau wie ein herkömmliches Telefon bedient werden können. Außerdem sind die Nutzer so auch dann erreichbar, wenn der Computer ausgeschaltet ist.
Der Verbindungsaufbau erfolgt nach dem Session Initiation Protocol. Dabei muss sich das SIP-Telefon mit einem Server verbinden. Dieser registriert bei der Anmeldung die Rufnummer. Wenn ein Anruf eingehen sollte, wird dieser zunächst an den entsprechenden Server weitergeleitet. Sollte das entsprechende Gerät angemeldet sein, leitet der Server die Anfrage weiter und der Anrufer hört den Freiton. Wenn der Empfänger den Anruf beantwortet, entsteht eine Verbindung. Für Anrufe zu Kunden des gleichen VoIP-Dienstleisters entstehen in der Regel keine Kosten. Viele Anbieter berechnen auch keine Kosten für Anrufe zu Kunden anderer VoIP-Unternehmen. Durch spezielle Gateways ist es auch möglich, Anrufe in das herkömmliche Telefonnetz durchzuführen. Für diese Dienstleistung werden jedoch immer Gebühren berechnet.