1. Faça o download do GeoServer-x.x.x-bin.zip na página do GeoServer;
2. Descompacte o arquivo em diretório a sua escolha;
3. Abre um terminal e vá até a pasta ‘Geoserver’ (na linha de comando).
4. Configure o ambiente Java no Mac OS X, isso é feito digitando:
export JAVA_HOME=/Library/Java/Home
5. Execute bin/startup.sh
6. Pronto! Agora abra o browser em http://localhost:8080/geoserver e configure o seu GeoServer!
Se você estiver interessado em rodar o GeoServer com o Tomcat no Mac OS X Server, clique aqui.