Here's how you can answer:
If it IS your color:
* Oui, c'est ma couleur. (Yes, it's my color.)
* Oui, j'aime cette couleur. (Yes, I like this color.)
* Oui, je porte souvent cette couleur. (Yes, I often wear this color.)
If it IS NOT your color:
* Non, ce n'est pas ma couleur. (No, it's not my color.)
* Non, je n'aime pas cette couleur. (No, I don't like this color.)
* Non, je ne porte pas souvent cette couleur. (No, I don't often wear this color.)
To be more specific, you could also add:
* Je préfère le [color]. (I prefer [color].)
* C'est plutôt la couleur de [person/thing]. (It's more the color of [person/thing].)
Remember:
* The French word for "color" is "couleur".
* The question "Est-ce ta couleur?" is asking about your preference for a specific color.
Let me know if you have any other French questions!