Шаг 1. Создаем новое изображение и применяем фильтр Filter/ Render/ Difference clouds.
Шаг 2. Теперь к получившемуся применяем эффект (параметры смотрите на рисунке) Filter/ Render/ Lighting effects.
Шаг 3. Применяем фильтр Filter/ Brush strokes/ Accented edges с параметрами : Edge Width : 2 ; Edge Brightness :40 ; Smoothness : 15. Вот что у вас должно было получиться.