работающий образец - http://fetishbook.ru/capcode
Вызывается как картинка в теге IMG
т.е. в HTMLe место, где должна быть каптча должно быть выглядеть так - <img src=captcha.php>

а это содержимое файлеГа captcha.php
Скачать

после вызова в кукисы помещается числовое значение каптчи, зашифрованное MD5 ключиком (там где 1234567890)
обработчик формы ввода каптчи должен зашифровать полученное значение через POST/GET в MD5 тем же ключиком и сравнить с кукисами.