うちのは Ubuntu サーバーです。
入ってなかったら mplayer と youtube-dl コマンドを入れる。apt で入るし便利ですね。
そしたら

$ mplayer -novideo `youtube-dl -g "http://www.youtube.com/watch?v={VIDEO_ID}"`

のようなコマンドで映像出力なしで再生できる。色々組み合わせればプレイリストとして流し込んだり、動画情報取得して Last.fm に無理矢理 scrobble とかもできていいかもしれない。

参考 http://linux-suomi.net/modules/sinyD0/index.php?id=3