Integrating open source distributed rendering solutions in public and closed networking environments

Abstract

Modern scientific research relies heavily on computers and scavenging computing cycles. Projects have become larger and resource requirements have grown respectively, increasing the total costs. Scientists have addressed this problem by developing distributed computing systems that offer an alternative to expensive supercomputers. Instead, computer resources are donated by volunteers who are interested in these research projects.

Open Rendering Environment is a project initiated by Laurea University of Applied Sciences. The project’s most important output is the publicly distributed rendering service Renderfarm.fi. It was developed to take advantage of distributed computing for the purposes of creating 3D-graphics. It is a platform that offers computing power for graphic artists and animators who are dependent on these computing resources. The technology used on Renderfarm.fi is based on BOINC and BOINC project BURP (Big and Ugly Rendering Project). BURP makes it possible for volunteers to participate in the rendering work by donating their idle computing power.

The theoretical part of this thesis describes distributed computing and its structure. Especially we concentrate on volunteer computing based technology called BOINC (Berkeley Open Infrastructure for Network Computing). Other major technology we examine is grid computing that is used on centralized computing networks. Furthermore, we compare two real desktop grids; BOINC project XtremLab and Amazon’s EC2 grid.

The empirical section of this thesis is concentrated on testing various grid computing platforms. Our goal was to provide Renderfarm.fi with computing power that is always available. This is only possible by creating a locally working computing grid where all the computers are dedicated to the system. We studied different ways of executing a render farm and then tested the performance differences between these technologies.

We examined four different render farm technologies; Yadra, DrQueue, Loki Render and Farmerjoe. We built three working render farms which proved to have insignificant performance differences. DrQueue was the most versatile with its feature to support many 3D-modelling packages. We did not manage to build a running environment with DrQueue, but we came to a conclusion that it would be the most beneficial for Renderfarm.fi in the future.

Avoimen lähdekoodin jaetun renderöinnin ratkaisut julkisiin ja suljettuihin ympäristöihin

Moderni tutkimustiede on yhä enemmän riippuvainen tietokoneista ja niiden tuottamasta laskentatehosta. Tutkimusprojektit kasvavat jatkuvasti, mikä aiheuttaa tarpeen suuremmalle tietokoneteholle ja lisää kustannuksia. Ratkaisuksi tähän ongelmaan tiedemiehet ovat kehittäneet hajautetun laskennan järjestelmiä, joiden tarkoituksena on tarjota vaihtoehto kalliille supertietokoneille. Näiden järjestelmien toiminta perustuu yhteisön lahjoittamaan tietokonetehoon.

Open Rendering Environment on Laurea-ammattikorkeakoulun aloittama projekti, jonka tärkein tuotos on yhteisöllinen renderöintipalvelu Renderfarm.fi. Palvelu hyödyntää hajautettua laskentaa nopeuttamaan 3D-animaatioiden renderöintiä. Tämä tarjoaa uusia mahdollisuuksia mallintajille ja animaatioelokuvien tekijöille joilta tavallisesti kuluu paljon aikaa ja tietokoneresursseja töidensä valmiiksi saattamiseksi. Renderfarm.fi-palvelu perustuu BOINC-pohjaiseen BURP- projektiin (Big and Ugly Rendering Project), joka on kehitetty pilkkomaan renderöintityö vapaaehtoisten tietokoneille.

Tämän työn teoriaosa käsittelee hajautetun laskennan järjestelmiä sekä niiden rakennetta. Keskeisenä aiheena on BOINC-teknologia (Berkeley Open Infrastructure for Network Computing), joka hyödyntää yhteisön tarjoamaa ylimääräistä tietokonetehoa. Toinen tärkeä osa-alue on keskitetty laskenta, jossa kaikki tietokoneet ovat kontrolloidussa, suljetussa ympäristössä. Vertaamme näiden teknologioiden eroja tutkimalla jo toteutettuja projekteja. Esimerkkinä käytämme hajautettua laskentaa hyödyntävää XtremLab-projektia sekä klusterilaskentaan perus-tuvaa Amazonin EC2-tietokonepilveä.

Tämän työn empiirisenä osuutena tutkimme hajautettua laskentaa hyödyntäviä teknologioita. Tarkoituksena oli tarjota Renderfarm.fi-palvelulle erillinen, paikallisessa verkossa toimiva tietokoneklusteri, jonka laskentateho olisi aina saatavilla.

Vertasimme neljää hajautetun laskennan teknologiaa, jotka olivat Yadra, DrQueue, Loki Render ja Farmerjoe. Saimme rakennettua kolme toimivaa tietokoneklusteria, joiden suorituskyvyssä ei ollut huomattavia eroja. DrQueue oli ominaisuuksiltaan monipuolisin ja yksi sen vahvuuksista oli tuki useille 3D-ohjelmistoille. Emme saaneet DrQueue:a toimimaan täysin mutta tulimme siihen päätelmään, että Renderfarm.fi hyötyisi siitä kaikista eniten tulevaisuudessa.