La fédération INAVEM est composée uniquement d'associations exerçant une activité d'aide aux victimes généraliste, même si par ailleurs certaines sont habilitées à exercer des mandats judiciaires tels que la médiation pénale, l'administration ad hoc ou les enquêtes victimes.
Pour appartenir à la fédération, l'association exerçant la seule activité de médiation ou d'administration ad hoc doit être rattachée par convention à un service d'aide aux victimes.