Basicamente você quer um gateway de pagamento, isso requer um belo investimento inicial, pois além do sistema você com certeza vai ter que contratar um seguro contra fraudes e etc... a muito tempo li por ai que o moip na época teve um investimento inicial de R$150 mil, para sistema e publicidade, então ai já te dá uma idéia. Quanto ao servidor, óbvio, no mínimo um dedicado, que hoje se acha, para começar, por US$200,00 mensais.