1944 október 25-én Sopronban született, szülei hét gyermeke közül elsőként. Édesapja kohómérnök, édesanyja okleveles tanítónő. Sopron bombázása után a Zala megyei Kútfejre költöznek.

1948 Édesapját internálják, ekkor a két legnagyobb gyermeket nagyszüleik magukhoz veszik Sopronba.

1949 Az egész család Sopronba költözik, miután a háború miatt félbeszakított egyetemet az apja befejezi.

1954 A család felköltözik Budapestre, a budai várba.

1956 A szomszédos evangélikus templom tornya aknatalálat következtében megsérül, a lehullott rézlemezekből az akkor 12 éves fiú domborítani kezd, először dísztárgyakat, majd domborműveket.

1957 Felveszik – 13 évesen – a Fő utcai Képzőművész Körbe, rajzolni Mészáros Mihály festőművésztől, mintázni Kőfalvi Sándor szobrászművésztől tanul.

1958-tól a Képző- és Iparművészeti gimnázium tanulója, ahol rajzot Miskolczi László festőművész, mintázást Gács Lajos tanít. Harmadévtől szobrász-szakra kerül Somogyi Józsefhez.

1963-ban érettségizik. Ekkor veszik fel a Képzőművészeti Főiskolára. A főiskolán ebben az évben kezd tanítani Somogyi József. Az ő kezdő osztályába kerül Raffay Béla is, Baksa Soós Krisztina, Kő Pál, Gyurcsek Ferenc, Korényi Dalma, Medve András, Szentirmai Zoltán és Várnagy Ildikó társaságában.

1967-ben befejezi a főiskolát. Még ez évben feleségül veszi Korényi Dalmát. Az Eötvös klubban egyéni kiállítása nyílik. A főiskolán egy ultrabalos államellenes összeesküvésben vesz részt, melynek következtében húsz évre kiszorul a művészeti életből. A bírósági ítélet után - amely 6 hónap felfüggesztett börtönbüntetés volt - hét hónapig az ipari szerelvénygyárban, tizenhárom hónapig a Kőbányai Vas- és Acélöntödében dolgozik mint olvasztár és centrifugálöntő. Az öntödei munka mellett leteszi a lánghegesztő vizsgát, s ezzel egyidejűleg a lipótmezei Elmegyógyintézetben rajzterápiát tart a női zárt osztályon. Később a Csepeli Tanács Képzőművészeti szakreferenseként dolgozik. Részt vesz a Csepeli Olvasó Munkás klub életében. Főiskolai évfolyamtársuk Bchmüller Éva a Halász Színház tagjaként meghívja a Szobaszínház előadásaira, így születnek – az akkoriban sokat fotózó Raffay – fotódokumentációi a Halász Színházról.

1970-es évek elején megismerkedik Erdély Miklóssal, és belép a BÉPA KTSZ-be, ahol feleségével együtt fotómozaikot rak.

1973 augusztus 8-án megszületik Dávid fiúk. Erdély Miklós happeningjeinek technikai kivitelezésében vesz részt, így ismerkedik meg az akkoriban rétegkultúrát képviselő avantgarde művészekkel.  (fotók: Beke László, Szentjóby Tamás)

1975-ben a mozaik műhely dolgozói - tízen - megvásárolják a Salföld, Kossuth u. 14. számú házat, amely egy év múlva Somogyi Győző tulajdonába megy át. Rá egy évre Raffay megveszi a szemközti, Kossuth utca 15. szám alatti házat. Azóta Salföldön él.

1976 Elválik feleségétől. Ekkoriban mozaik faliképek kivitelezéséből él, melyeket főleg Pólya Józsefnek és Szabó Zoltánnak készít.

1978 Megismerkedik második feleségével, Mozsgai Anikó textiles iparművésszel, az év szeptemberében össze is házasodnak.

1979. május 30-án leég a salföldi házuk. Június 14-én megszületik Gergő fiúk.

1985 Megbízást kap a győri Trófeabíráló Bizottság elé készítendő Vadkan című szobrára, mely még az évben felállításra kerül. Ez a megbízás fordulópontot jelent életében; egyre több szobor, főleg kisplasztika kerül ki kezei közül.

1987-ben a badacsonytomaji Tanács megbízást ad egy ivókút elkészítésére, melyet 1988-ban fel is állítanak. Résztvesz a Veszprémi Művész Céh szervezésében. A Céh Raffay salföldi otthonában alakul meg, 1989-ben.

1989 Második egyéni kiállításával egyidőben megválasztják a Céh első cébmesterének, mely tisztséget az alapszabály értelmében két évig viseli.

1991-ben elkészül a salföldi II. világháborús emlékműve, melyet a salföldi temetőben állítanak fel.

1992-ben Badacsonytomajnak csinál világháborús emlékművet. Ekkortól rendszeresen állít ki a Balatoni Nyári és a Veszprémi Tavaszi Tárlatokon és a Céh kiállításain.

1992-ben a Veszprém Megyei Kultúráért Alapítvány kurátorává választják, 1994-ben pedig az alapítvány képviselője lett.

1993-ban három köztéri alkotása születik. Jutaspusztán hadgyakorlaton szerencsétlenül járt katonák emlékművét, Révfülöpre Békakirályfi című ivókútját, Tapolcára Gyíkfejes ivókutját készíti. 1993-ban a Honvédelmi Miniszter I. osztályú Honvédelemért kitüntető címet adományozott az emlékműért. Ebben az évben két munkája csak terv maradt, a pörbölyi gyermektragédia áldozatainak emlékművére kiírt pályázatot megnyeri, de mégsem vitelezhette ki a munkát, a pétfürdői bombázási emlékmű terve helyett is olcsóbb megoldást választott a megrendelő.

1994 Az alapítvány képviselője lesz. Az 1990-es évek elejétől a mai napig 50 köztéri szobra áll, aktív kiállító művész külföldön és idehaza egyaránt.

2000 Az ezredfordulón súlyos betegséggel kell megküzdenie. Ő maga és családja is sokat köszönhet az őket körülvevő orvosoknak, barátoknak, akik mindent megtettek gyógyulása érdekében. Az orvosok, a barátok és saját kitartása tették lehetővé munkájának folytatását, melyet társadalmi elismerés övez, ezt az adományozott kitüntetések sora jelzi, ezzel egy időben a közigazgatási hivatal kafkai eljárásaival próbálja munkáját ellehetetleníteni. Az élet küzdelmes, szeretné folytatni.

2006-tól a Veszprém Megye Kultúrájáért Közalapítvány elnöke.