Würd auch sagen derjenige der den PC als ZockerPC zusammenstellen sollte ist entweder nich der hellste oder wollt sich n paar euro dazu verdienen.
Ich habe mir Anfang 2008 ein sehr ähnliches System mit Ausnahme Grafikkarte (9600 statt 9400 - aber die 200 mehr sind schon n erheblicher Unterschied, Leistung is fast wie 8800, nich ganz, aber dafür dx10 tauglich, und wengier stromverbrauch/leiser).
Das System hatte mich nichmal 1,2 gekostet, trotz Markenkomponenten (Ausnahme RAM = OEM), aber wie gesagt - 2 Jahre her 
Genauso schleierhaft ist, wieso der Zusammensteller das System als Zockerpc nicht auch mit dx9 tauglichen Treibern versorgt hat.
Von Darkclouds Tipp mit dem Umstieg auf Windows 7 würde ich eher abraten, außer du hast legalen Zugriff auf eine kostenlose Studentenversion. Windows 7 ist nicht billig, außer vllt als OEM Update beim Neukauf. Ist aber privat zusammengezimmert der PC…
Die 4 statt 3GB werden dein Ruckelproblem eh nicht lösen - Ausnahme sind max zu Stoßzeiten mmorpgs an sozialen Knotenpunkten :ugly
Außerdem empfindet Ruckeln jeder anders. Interressant wäre hier ein Benchmark mit FPS Angabe + Auflösung / AA* und AF* aus.
Theoretisch empfindet das menschliche Auge alles über 27-30 fps als ruckelfrei - wäre da nicht die höhere Bildwiederholfrequenz. Ideal sollten also um die 60fps sein.
Hardcore Ego-Shooter Zocker empfinden sogar erst ab 120fps ein flüssiges Bild (schnelle 180° Turns) 
Und nochwas… bei der Leistung des Systems solltest du Offline testen. Also nicht online auf einem Server sonst kommst evtl zur Verwechslung mit sog. LAGs. - WoW beispielsweise ist absolut nicht das Maß der Dinge in Sachen ruckelfreie Systeme - hinkt der Server, hilft auch die beste Grafikkarte 0.
Durch den Monitor kann Ruckeln nur durch den sehr unwahrscheinlichen Fall bedingt sein, dass V-Synch aktiviert ist und die Framerate (FPS) sehr weit unter (<50%) die vertikale Bildwiederholfrequent (Hz - bei Flachbild meist 50-60Hz) fällt. Hast du ein Röhrenmonitor mit 120hz oder gar mehr laufen wäre es bei aktuellen Titeln empfehlenswert V-Synch zu deaktivieren.
Und noch ein Tipp:
Programme wie TuneUp sind äußerst fragwürdig, zumal jede Einstellung per Hand vorgenommen werden kann, und wenn man wenig Ahnung davon hat, sollte man so oder so die Finger davon lassen. Man kann sein System auch kaputt tunen ^^
Auf jeden Fall würde ich dir zu einem Reklamationsgespräch auf Kulanz raten 
Sollte das nciht klappen, verklopp die Graka bei Ebay und hol dir keine Abspeckversion von Grafikkarte - es muss nciht Ultra etc sein, aber da wird dich jeder fachhändler entsprechend beraten können. In deinem Sys ist garantiert die Grafikkarte ein Flaschenhals (sofern wir von aufwendigen 3D Spielen reden)
edit: vorübergehnde Hilfe wäre wohl oder Übel nur Grafikreduzierungen innerhalb der Spiele vorzunehmen. Angefangen mit Reduzierung der Auflösung. Abschalten von AA/AF. Effekte wie aufwendige Schatten/Lichter deaktiviern. Shadereffekte (ich glaub das kann jede der 9-er Reihe gforce) nur redzuieren, nciht ganz abschalten).
Optionen wie Sichtweite-Reduzierung können auch was bringen.
edit2: mir ist noch was eingefallen. Der Zusammflicker des PCs hat evtl auch dämliche Einstellungen am BIOS vorgenommen. Dort kann man auch ne Menge Mist bauen wenn man keine Ahnung hat. Am besten auch mal jemanden mit Ahnung hinein sehen lassen.
Und falls du dir jetzt ne neue Graka holst, solltest du vorher auch nochmal kurz dein Netzteil vom PC checken (lassen) bezüglich der Leistung und Stabilität - Möglicherweise hat dein PC-Bauer auch ein minderwertiges Netzteil verbaut mit dem eine höherwertigere Grafikkarte verhungern würde.