Sólo se puede filtrar por color a partir de la versión 2007, las versiones anteriores no permiten realizar este tipo de filtros. Es una de las novedades de la 2007.

Si los colores provienen de un formato condicional podrías aplicar el mismo criterio para filtrar, bien mediante autofiltro si la condición es sencilla, bien mediante un filtro avanzado para cosas más complicadas, como por ejemplo cuando quieras aplicar varias condiciones simultaneamente.
Pero si los colores los has aplicado a mano, no vas a poder filtrar salvo que utilices una macro.

Otra opción es utilizar una función personalizada que "vea" cuál es el color de las celdas.

Por ejemplo:

Function DimeTuColor(celda As Range)
' devuelve el color de la celda que se proporcione como argumento
   DimeTuColor = celda.Interior.ColorIndex

End Function

Básicamente es una función personalizada que te devuelve como resultado un número que corresponde al color de relleno. Puedes poner esta fórmula a la derecha de tus datos y luego filtrar por el valor de estas celdas.