デスクトップやエクスプローラに表示されるアイコンの絵が消えてしまう症状で、アイコンキャッシュを削除すると解決する場合の対処法です

Windows 7 および Windows Vista のスタート メニューやエクスプローラ内の表示で、一部のアプリケーションのアイコンが適切に表示されないことがある
http://support.microsoft.com/kb/958740/ja

これでアイコン表示がリフレッシュされます。
ただ、すぐ再発したり頻繁に起こる場合には、IconCache.dbを削除したあと同名のファイル(内容は空でよい)を作成し、読み取り専用にすることで新しいアイコンキャッシュを作らなくする方法が有効です。

ファイルやフォルダを右クリックした時に表示されるWindowsMediaPlayerの項目(〜で再生するなど)は邪魔なので消しました。

レジストリエディタを開いて、HKEY_CLASSES_ROOT\SystemFileAssociations\audio\shellを空に。以下同様。
HKEY_CLASSES_ROOT\SystemFileAssociations\video\shell
HKEY_CLASSES_ROOT\SystemFileAssociations\Directory.Video\shell
HKEY_CLASSES_ROOT\SystemFileAssociations\Directory.Audio\shell