Já mostramos como utilizar RSA em Python, oferecendo o ebook Criptografia RSA numa Casca de Noz, num post anterior. Agora é a vez do PHP.
Você vai precisar deste módulo do PEAR: http://pear.php.net/package/Crypt_RSA/.
Ele já inclui exemplo de uso... Estude e divirta-se. =D