Utilizing generative AI in 3D modeling for robotics

Abstract

As robotics expands into different fields and is used in increasingly complex processes, the need to effectively manipulate objects of different sizes and shapes increases. The integral part between the robot and the manipulated object is the end-effector. Designing an end-effector is a complex process requiring deep expertise and knowledge in many areas. One of those areas is the domain of Computer-Aided Design (CAD). However, as CAD has a steep learning curve it makes the design process of end-effectors inaccessible for many.

Recent developments in Artificial Intelligence (AI) have allowed its usage in different fields and provided opportunities to simplify workflows and make tasks such as programming accessible through natural language.

This thesis explores the intersection between generative AI and CAD modeling, specifically for robotic end-effectors. An exploratory approach to the topic is taken, and by combining a comprehensive literature review with an experimental evaluation, the capabilities and limitations of generative AI for CAD are assessed.

Through the review and experimentation, large language models (LLMs) proved their effectiveness, specifically in generating Python-based CadQuery code, which can be used to parametrically and iteratively design different parts. GPT-4o and GPT-4o mini was then used in two different design tasks: through natural language to create a simple robotic gripper, and to create two sets of customized fingers for the Franka Emika Panda robot.

Together with the review, these tests provided valuable insights into the current capabilities and limitations of generative AI. The findings suggest that while generative AI can effectively assist with basic designs, challenges remain in understanding spatial relationships, design intent, and generating complex geometries. Additionally, the results provide directions for future research.

Although generative AI is not yet ready to replace expert designers, the results highlight its potential for changing design workflows across different fields.

Robotiikan laajentuessa eri aloille ja yhä monimutkaisempiin prosesseihin, kasvaa myös tarve erikokoisten ja -muotoisten esineiden tehokkaalle käsittelylle. Robotit käyttävät tarttujia hallitakseen erilaisia esineitä, tarttujan suunnittelu on kuitenkin monimutkainen prosessi, joka edellyttää syvällistä tuntemusta useilta eri alueilta. Yksi näistä alueista on tietokoneavusteinen suunnittelu (CAD). CAD-mallinnuksen opettelu on kuitenkin vaikeaa, ja sen yhdistäminen tarttujien suunnitteluun vaadittaviin taitoihin tekee tarttujien suunnittelusta erityisen hankalaa.

Tekoälyn viimeaikainen kehitys on mahdollistanut sen hyödyntämisen eri aloilla sekä tarjonnut keinoja yksinkertaistaa prosesseja ja tehdä tehtävistä, kuten ohjelmoinnista mahdollista luonnollisen kielen avulla.

Tässä työssä tutkitaan tekoälyn ja CAD-mallinnuksen rajapintaa erityisesti robottien tarttujien suunnittelussa. Aihetta lähestytään eksploratiivisesti yhdistämällä kirjallisuuskatsaus kokeellisiin testeihin, joiden avulla arvioidaan generatiivisen tekoälyn mahdollisuuksia CAD-mallinnuksessa.

Kirjallisuuden ja testien perusteella suuret kielimallit osoittautuivat tehokkaimmaksi vaihtoehdoksi, hyödyntäen Python-pohjaisen CadQuery-koodin tuottamista, jonka avulla voidaan iteratiivisesti tuottaa parametrisia 3D-malleja. GPT-4o ja GPT-4o mini kielimalleja käytettiin kahdessa eri suunnittelutehtävässä, ensin suunniteltiin yksinkertainen tarttuja, jonka jälkeen kaksi paria kustomoituja sormia Franka Emika Panda robotille.

Yhdessä kirjallisuuskatsauksen kanssa nämä testit antoivat arvokasta tietoa generatiivisen tekoälyn tämänhetkisistä kyvyistä ja rajoituksista. Tulokset osoittivat, että vaikka generatiivinen tekoäly voi tehokkaasti auttaa yksinkertaisten 3D-mallien suunnittelussa, haasteita on yhä muun muassa geometristen suhteiden hahmotuksessa sekä monimutkaisten muotojen tuottamisessa. Lisäksi tutkimus tuo esiin tärkeitä suuntaviivoja tulevaisuuden tutkimukselle.

Vaikka generatiivinen tekoäly ei vielä kykene korvaamaan suunnittelijoita, tulokset osoittavat sen potentiaalin muuttaa suunnitteluprosesseja eri aloilla.