فانتزی‌های جنسی در بین زنان و مردان متفاوت است. ادبیات تحقیقی بیان می‌کند که زنان بیشتر به احساسات فیزیکی و عاطفی خود اهمیت می‌دهند، در حالی که مردان تصاویری از چند شریک جنسی را تداعی می‌کنند. زنان همچنین بیشتر احتمال دارد در مورد فردی که سابقه مشترکی با آن‌ها داشته‌اند یا کسانی که می‌خواهند یک رابطه طولانی‌مدت داشته باشند، خیال‌پردازی کنند. از دیدگاه زنانه، خطرات همراهی با چندین شریک مرد بسیار بیشتر از هر گونه مزیت بالقوه است؛ بنابراین جای تعجب نیست که مردان ویژگی‌های فیزیکی خاصی را تجسم می‌کنند. ریشه و هدف آن را می‌توان در تکامل یافت.

از طرفی مردان تمایل دارند در مورد تجربیات جنسی گذشته خیال‌پردازی کنند، در حالی که زنان بیشتر احتمال دارد یک عاشق خیالی یا رابطه جنسی را تداعی کنند که قبلاً تجربه نکرده‌اند. از آن‌جایی که فانتزی‌های مردانه بیشتر بر روی تصاویر بصری و جزئیات آناتومیک صریح تمرکز می‌کنند، مردان بدون توجه به گرایش جنسی، بیشتر به تحریک جنسی بصری و فانتزی‌های مربوط به تماس‌های جنسی گاه به گاه علاقه دارند.

فانتزی‌های جنسی احتمالاً از موضوعات مرتبط با دلبستگی پیروی می‌کنند. افراد با دلبستگی ناایمن و دارای اضطراب، موارد بیشتری از خیال‌پردازی جنسی را گزارش می‌کنند و خود را ضعیف، قابل اعتماد و ناتوان نشان می‌دهند. انواع دلبستگی اجتنابی فانتزی‌هایی را گزارش می‌کنند که در آن‌ها روابط سرد، بی‌احساس و غیرشخصی تلقی می‌شود. به این ترتیب، فانتزی‌های جنسی کارکرد اصلی تحقق اهداف بین فردی را از طریق شیوه بازنمایی ذهنی انجام می‌دهند.

به طور کلی، متداول‌ترین خیال‌پردازی‌ها برای مردان و زنان عبارتند از: زنده کردن یک تجربه جنسی هیجان‌انگیز، تصور رابطه جنسی با شریک فعلی و تصور رابطه جنسی با یک شریک متفاوت. تفاوتی در محبوبیت این سه دسته از فانتزی‌ها وجود ندارد. متداول‌ترین فانتزی‌های بعدی شامل رابطه جنسی دهانی، رابطه جنسی در یک مکان عاشقانه یا مکان عمومی، قدرت جنسی یا مقاومت‌ناپذیری (در حد افراطی سادیسم یا مازوخیسم)، و تجاوز جنسی است.