วีดีโอ

안녕하세요. 학습을 gpu가 아닌 cpu를 사용하면 가능합니다. 다만 학습을 위한 계산 시간이 훨씬 오래 걸리는 점은 어느 정도 감내하셔야 합니다.

안녕하세요. IsaacGym은 사실 자료가 많이 없어서 자체 document나 구글링에 많이 의존을 해야 하는 상황입니다. 강화학습은 자료가 워낙 많아서 검색을 잘 해보시거나 아니면 david silver 강의 추천드립니다. 로봇팔 관련 공부는 조금 방대한데.. Craig책 introduction to robotics나, modern robotics 책도 볼만한 것 같습니다. IsaacSim은 아직까지 NVIDIA 공식 document가 가장 나은 것 같습니다. ros2는 대부분의 로봇에 공식/비공식 적으로 많이 호환됩니다. 많이 사용하는 로봇팔은 Franka panda, UR시리즈 로봇 정도 보시면 무난할 것 같습니다. 유료 컨설팅/개발 대행은 하고 있지 않습니다.

안녕하세요. set_actor_root_state_tensor는 rigid body의 상태를 강제로 직접 조정하는 함수로써 주로 reset을 할 때 object를 특정 위치/자세로 teleport 시킬 때 사용합니다. position을 언급한 것으로 보아 policy의 action이 대상 object state의 위치(x, y, z)를 직접 조정하는 것으로 보이는데요, 이렇게 되면 만약 충돌이 발생한 시점에서 다음 simulation step에 원래 서로 튕기는 모션이 발생해야 하는데 특정 위치로 강제하기 때문에 정상적인 충돌이 발생하지 않을 수도 있을 것 같네요. 만약 제가 이해한 상황이 맞으면, 제가 생각하는 해결책은 policy의 action을 대상 object의 위치 말고 속도와 연결시키거나, apply_rigid_body_force_tensors함수를 이용하여 물체에 힘을 가하는 방식으로 해결할 수 있을 것 같습니다. 물체 위치를 직접적으로 teleport시키는 방식의 action은 자연스럽지 않아 보입니다.

​@@tweak-cd6ss 답변 감사드립니다. 제가 원하는 것은 물체의 pos를 학습시키고, 해당 pos로 로봇의 엔드이펙터를 pd control하는 것이었습니다. 그래서 경로에 대한 pos값이 필요한데, 그러면 학습은 velocity나 force에 대해서 하고, 찾아낸 최적 policy를 통해 움직이는 물체의 pos을 따로 저장하여 pd control에 사용해도 유효한 결과를 얻을 수 있을까요? agent는 vel이나 force에 대한 최적값을 학습하는데 정작 사용하는 값은 pos라 해당 경로가 최적값이 아닐 수 있겠다는 점 때문에 고민이 됩니다.

로봇 EE를 가이드 해주는 pointer의 최적 경로를 학습하는 걸로 이해되는데, 가이더가 단순 pointer 역할만 하는 것이라면 물리 속성의 영향력을 최소화 시킬 수 있도록 가이더의 속성값을 설정해주면 어느 정도는 pos에 준하는 성능이 나올 것 같습니다. 즉, 가이더의 gravity를 disable해주고, density 값을 작게 설정한 뒤, velocity/force로 움직이면 충돌 검출을 하면서 physical effect는 최소화하고, 경로 찾기 문제에만 focus할 수 있는 가이더가 학습될 것 같습니다.

@@tweak-cd6ss 답변 정말 감사드립니다. 조언해주신 내용 고려하여 수정해보겠습니다. 항상 좋은 영상에 감사드립니다.

일단 dist, rotation, around_handle reward에 의해 그리퍼를 문고리에 위치하도록 만들어주면 그 다음에 영향을 미치는 것은 finger distance reward입니다. 이것에 의해 grip이 발생하게 되는데, left finger의 z축 값과 문고리 좌표의 z축 값 사이의 거리가 작을 수록 높은 reward를 얻도록 설계되어 있고, right finger도 마찬가지 입니다. 다만, 이 reward의 최종 계산 값이 적용되기 까지 두 개의 조건을 만족해야 하는데, left finger의 z축이 문고리 좌표 z축 위치보다 높게 있어야 하고, right finger의 z축은 문고리 z축 위치보다 낮게 있어야 조건이 성립되고, 그 이후부터는 finger와 문고리 사이의 거리가 가까워야 높은 reward를 얻도록 설계되어 있습니다. 01:04:40 이 부분을 참고하시면 되겠습니다. 참고로 finger distance reward의 0.04(meter)라는 값은 left/right finger의 각각의 가동 범위입니다.

⁠@@tweak-cd6ss빠른 답변 정말 감사합니다. 이해가 되었습니다. 기본적으로 rewarding에서 접근 후 손가락으로 잡는 방식으로 유도를 하는 군요. 그렇다면, 이전에 기본편에서 state machine 설명하셨는데, 그걸 여기에 적용할 수 있을것 같은데, 어떻게 생각하시는지 여쭤봐도 될까요? 접근하는 것과 그립, 풀링을 각각 다른 state로 설정하면 cascaded if의 방향으로 리워딩을 안해도 되지 않을가 생각되어서요.

일단 FSM은 적용이 가능할텐데, 적용한다면 policy 학습 과정에서 search space가 기존의 continuous space에서 제한된 state로 discrete하게 줄어서 빠른 학습은 가능할 것 같습니다(마치 grid world 문제와 같이... towardsdatascience.com/reinforcement-learning-implement-grid-world-from-scratch-c5963765ebff). 이 경우 reward의 형태가 서랍이 열리면 +1, 그렇지 않은 경우 0으로 아주 간단(sparse)하게 설정할 수 있을 것 같긴 합니다(state 사이의 motion은 algorithmic planning으로 수행). 다만 manual한 state modeling 및 그에 따른 정교한 goal pose설정이 필요하고, 태스크가 거대해질 수록 확장성이 제한될 것 같습니다. 또한 policy가 주어진 태스크를 수행하기 위한 global optimal에 가까운 solution을 찾을 확률이 줄어들 수도 있을 것 같습니다. 로봇의 motion이 사용자가 정의한 state machine내의 motion 분포로 제한될 테니까요(태스크가 어느 정도 단순한 경우). 이 외에도 replanning과 같은 동적 상황에서의 작업 수행 능력은 아무래도 반응성 등이 떨어질 것으로 보입니다. 태스크가 복잡한 경우에는 오히려 단순 reward shaping만으로는 solution 자체를 찾을 확률이 FSM에 비해 현저히 떨어지는데, 그에 따라 low-high level policy로 나눠서 low-level policy는 imitation learning으로 pre-train, high-level policy는 sparse reward로 푸는 방법도 있습니다.

@@tweak-cd6ss 와 깊은 insight 감사합니다. 제가 따라가야 할 부분이 많군요. 저는 이 예제를 돌려보면서 rewarding 으로 손잡이에 접근시키기까지도 training iteration이 좀 오래걸리는 구나 싶어서 초반state는 아예 graph search algorithm으로 접근시키고, 이후 좀 복잡한 task인 'grip' 부분만 따로 reward로 학습시키고, 'pull' 같은 부분은 말씀하신 discrete task로 하면 되지 않을까 생각했거든요. 늘 귀한 답변 감사드립니다. 말씀해주신 키워드로도 좀 더 알아보겠습니다.

pcie 배속을 비교/변경하며 isaacgym에서 multi-gpu를 이용한 벤치마크 실험을 해본적은 없습니다. 제가 사용하는 PC의 메인보드는 두 개 GPU활용 시 x8/x8로 제한되는 모델인데요, 질문에 정확히 답변이 되는 실험은 아니겠으나 Humanoid 태스크를 1000epoch 학습 시킴에 있어서 single-gpu는 약 523초, multi-gpu(RTX6000 ada 2개)는 약 552초 가량 소요되어 overhead로 인하여 multi-gpu가 학습에 더 많은 시간이 소요되었습니다(state기반, not image). pcie 배속에 따른 성능 측정을 위해서는 x4레인으로 강제로 다운 시켜서 multi-gpu 학습 후 비교하면 될 것 같은데, 다른 PC는 사양이 달라서 정확한 비교가 안될 것 같고, 지금 PC는 재부팅이 불가능한 상황이라 더 이상의 실험은 어렵네요... 개인적인 생각으로는 isaacgym과 연동하여 학습할 모델이 큰 이미지를 다루고 거대한 모델을 다루는 경우, x8/x8, multi-gpu 조합이 유리해 보이고, 그게 아니라면 x4/x16-single-gpu로 셋팅하여 first gpu는 display/evaluation용, second gpu는 x16 slot에 물려서 학습 전용으로 구성하는 방법도 좋아 보입니다. 아무래도 x4 <-> x16간에 레인 차에 따른 multi-gpu overhead 및 속도 저하가 예상되기 때문입니다. 만약 저라면 그냥 x8/x8로 갈 것 같습니다~

한국 유튜브 채널도 간혹 보이기는 합니다만, 아직까지는 구글링(영문) 및 NVIDIA 공식 문서가 공부하기에 가장 좋아보입니다. 막히는 부분은 Forum에서 검색하시는 것도 좋을 것 같네요. forums.developer.nvidia.com/

@@tweak-cd6ss 감사합니다!

저는 IsaacSim --> IsaacGym으로 변환해본 경험은 없습니다. IsaacGym 벤치마크 환경에서 IsaacSim기반 학습 환경인 IsaacLab으로 migration하는 과정은 isaac-sim.github.io/IsaacLab/source/migration/migrating_from_isaacgymenvs.html 여기서 확인이 가능하니 참고하시면 좋을 것 같습니다.

안녕하세요. 채널 더보기에서 다음의 이메일 주소 확인이 가능합니다. mindstone39@gmail.com

아 그렇군요. 제가 2017년도 즈음에 사용했을 때는 C#과 javascript만 활용 가능했었던 것 같은데 검색해보니 이후에 python지원이 되었나 보네요.

@@tweak-cd6ss 저도 최근에 AI 공부하다가 우연히 알게 되었어요. 파이썬 생태계에도 침범하고자 여러가지를 넣어놨더군요.

개인이나 소규모 랩은 점점 장비 허들이 높아 지는 추세네요..

IsaacGym도 당분간은 계속 다룰 생각입니다. IsaacSim이 좋기는 하지만, 복잡하고 무겁다는 단점이 있습니다. 반면에 IsaacGym은 미들급 사양의 PC에도 원활하게 돌릴 수 있고, 알고리즘을 빠르게 검증하는 데에 앞으로도 쓸모가 있을 것 같습니다. pybullet이 여전히 쓰이는 것 처럼요. simulately.wiki/docs/simulators/IsaacGym/ 여기를 보시면 IsaacGym이 최근 연구에도 여전히 널리 사용되고 있습니다. Isaac 시리즈 이외에 다른 새로운 컨텐츠에 대한 exploration도 항상 고민중입니다 :)

좋게 봐주셔서 감사합니다 ^^

안녕하세요. 대부분의 경우 PID보다는 PI, 또는 PD와 같이 두 개의 term으로만 구성해서 사용하게 되는데, 응용에 따라서 굳이 세 개의 term을 모두 사용할 필요가 없기 때문입니다. 일단 변수가 많아지면 그만큼 튜닝이 어려워지고 제어기가 복잡해집니다. 즉, 내가 적용하고자 하는 응용에 대해서 불필요한 요소는 배제하고 반드시 필요한 요소만 활용하여 제어기를 구성하는 것이 시스템 복잡도, computational cost, tuning 작업 등에서 유리하므로 응용에 맞게 반드시 필요한 요소만 포함하는 것이 좋은데, 많은 응용에서 pd컨트롤러 만으로 충분하기 때문입니다. 예를 들어 휴머노이드 예제 같은 경우, 앞으로 달리는 모션을 생성함에 있어 하나의 지점에 정확한 타겟에 오랫동안 위치하는 것이 중요한게 아니라, 목표하는 위치로 빠르게 보내면서도 그렇다고 너무 불안정하지 않도록 적당히 안정적으로 관절을 움직이는 것이 중요합니다(안정적이며 빠른 응답성). 이 경우에 PD 컨트롤러만으로 충분히 원하는 바를 달성할 수 있기 때문에 굳이 i제어기를 포함시키지 않는 것입니다. 포함시켜봐야 계산할 것만 늘어나고 튜닝 과정도 복잡해 지기 때문입니다. i-제어기의 주요 목적 중 하나는 목표 위치에 대한 누적 오차를 줄이는, 즉 정상상태에러(steady-state error)를 없애는 것인데, 이는 목표 위치를 아주 정확하게 오랜 시간 동안 유지해야 하는 응용에 대해서는 중요하겠으나, 기민하면서도 적당히 안정된, 그리고 빠른 반응이 중요한 응용(e.g., humanoid, dexterous manipulation, drone 등)에서는 큰 역할을 수행하지 못하고 오히려 불리함을 야기 시킬 수 있습니다. 또한 noisy한 센서나 환경인 경우, 누적 에러가 과도해져서 integral term의 영향력을 증가시키고 이로 인하여 phase shift/lag(input signal과 output signal의 위상 차이)과 같은 문제가 발생하여 시스템 반응성이 나빠지고 오히려 시스템을 불안정하게 만들 수 있습니다(drift, bias issues). 저도 PID제어를 전부 활용하여 제어해본 경험은 없으나, 예상컨데 강화학습이나 imitation learning으로 학습할 때, policy action을 통해 next step에서 움직여야 할 motion의 반응성이 낮아지거나 불안정해 지면 불안정한 시스템에 의한 불안정한 데이터가 수집될 것이고, 결과적으로 학습에 불리하게 작용할 것으로 생각됩니다.

아쉽게도 아니네요^^;

@@tweak-cd6ss 그렇군요.. 어찌되었건 Issac gym 강의 유튜브에서 보기 쉽지 않은데 한국어로 이런 고품질의 강의를 공유해주셔서 정말 감사드립니다. 학습에 있어 유용하게 활용하겠습니다. 감사합니다

원래 계획은 없었는데 최근에 저도 기존에 구현했던 환경을 isaacsim으로 옮기는 것도 좋을 것 같다는 생각은 하고 있었습니다. 특히 photorealistic 영상이나 isaacgym의 미흡한 기능을 isaacsim이 많이 채워줄 것으로 기대합니다. 해당 내용도 고려해보겠습니다

I cannot see the image you uploaded, but if the robot is not moving properly after replacing the gripper, it is likely that the URDF is not correctly configured. I recommend verifying that the URDF is functioning correctly using ROS2 and RViz packages.

@@tweak-cd6ss so, the moving of robot arm and gripper will depend on which? code on the franka_cube_osc.py or on my URDF file? thank you

@@tweak-cd6ss hello, can you please help me to check it? I verified, everything is okay, but i still dont know why it doesnt work, i stucked on it for a long time, so, please help me to test it. thank you so much. thank you so much. drive.google.com/drive/folders/1xOuSQ2JFOmqTemeSGg_iWTrXSkV-ZjiR?usp=drive_link i uploaded the python file and folders have urdf and meshes file, my urdf file names franka_sus.urdf in franka_description folder. thank you so much

@@tweak-cd6ss hello, can you please help me to check these file, i verified but it doesnt work, i dont know why is it. i stuked in this for a long time, please help me to check, test and fix it please. thank you so much for your help. drive.google.com/drive/folders/1xOuSQ2JFOmqTemeSGg_iWTrXSkV-ZjiR?usp=sharing . i put my own urdf file with name franka_sus.urdf in the franka_description folder. please help me.

"Your uploaded file appears to be based on the ROS1 build system. I am currently not using ROS1, and it would take considerable time for me to verify your file. If the control works correctly in RViz, there shouldn't be significant issues running it in IsaacGym, but other aspects like paths may need verification. I'm sorry I couldn't be of more help."

The error code "0x80070522" indicates that you do not have the necessary permissions to perform the action you're attempting, which typically involves copying files to a restricted location. This issue often occurs when trying to move files to system directories or other protected locations without the appropriate permissions. Running as an administrator or trying various permission-related methods might be helpful.

@@tweak-cd6ss Thank you, also thank you for replying to older TH-cam videos, you are the BEST ! I was finally able to get it to extract using 7-zip with command window. I ran into another error where after creating a python environment and installing -e. I had a new error where it says PhysX SDK and lib were not found/created. Have you come across this issue? Sense I am on windows 11 do you think that could be causing issues ? Thank you again for your help : )

Isaac Gym does not officially support installation on Windows. It is only installable on Ubuntu 18.04 or later versions. To install Isaac Gym on Windows, you need to use WSL (Windows Subsystem for Linux) to set up an Ubuntu environment, and then proceed with the Isaac Gym installation within that environment.

@@tweak-cd6ss I have been reading on the forum post and saw that Isaac Sim 4.0 supports unified RL platform and Multi-GPU training. Do you think Isaac Sim is now an easier way to do RL in ? Also, have you ever done RL in Isaac Sim or was it only in Gym ? Thank you again btw.

Isaac Sim currently provides an RL training framework based on Multi-GPU, along with well-organized manuals, making it relatively easy to perform desired tasks. This offers several advantages over Isaac Gym, but like everything, it comes with its own set of pros and cons. The current RL framework based on Isaac Sim demands higher computer specifications and is structurally more complex. Although well-structured frameworks like Isaac Orbit have recently been introduced, they are still heavy and relatively complex in structure. Based on my experience using RL with Isaac Sim and Isaac Orbit, while they offer richer features and photorealistic images, I personally use Isaac Gym more frequently. Isaac Gym is more intuitive, lightweight, and easier to debug. Additionally, due to these advantages, there seem to be more research cases utilizing Isaac Gym in top-tier robotics conferences such as RSS, ICRA, and CoRL.

First of all, the material specified in the drawing uploaded to Git is AL 7075. The notation of 7074 is a typo. If you are making an adapter with a thickness of 10mm from AL 7075 material, 10mm thickness will be sufficient. The yield strength of heat-treated AL 7075 is approximately 450 MPa, and the stress on the adapter for a 1.5kg Allegro hand is roughly 5 MPa according to a simple calculation, which is enough to support the robot hand. However, if the goal is simply to reduce weight, drilling dummy holes could be one option.

@@tweak-cd6ssThank you very much. Using 7 series aluminum sounds sturdy enough. Good luck to your projecets!

참고하겠습니다. 감사합니다

많은 분들이 sim2real에 관심이 많으신 것 같네요. 고려해보도록 하겠습니다

커스텀 모델 import 관련 영상은 아직 없습니다 ^^;

@@tweak-cd6ss 그렇군요. 답변 감사드립니다. 항상 영상 잘 보고 있습니다

@@tweak-cd6ss 혹시 추후 그런 영상을 제작할 계획은 있으신건가요?

다른 분들도 요청해주시는 분들이 종종 계셔서 고려해보도록 하겠습니다.

어차피 Isaac Sim 기반이니 Orbit 영상도 좋을 것 같네요.

Hello, I will soon be uploading an example of how to use camera images in Isaac Gym.

If you have trained a state-based model, you can verify it by placing the same robot and objects used in the simulation environment in the same positions in the real world. However, the placement needs to be relatively precise. If you have trained using image-based learning, you can attempt verification in the real environment by appropriately placing the same robot and objects, but positioning the camera accurately may be challenging. To solve such issues, you can apply domain randomization during the training process, which involves varying the positions of the camera and objects.

There are no default or benchmark examples based on camera observations. However, you can create such an environment by replacing the state with image observations and incorporating a CNN into the initial part of the policy neural network.

@@tweak-cd6ss Thank you very much for your reply, because I am not particularly familiar with reinforcement learning networks, I would like to ask if there are any examples that you have written for reference in the method of adding a layer of CNN to the initial network

The numbers are documented as "param6 (int) - a bitwise filter used to mask off collision among elements in the same collisionGroup." For more detailed information, please refer to the document at isaacgym/docs/index.html.

You can add your own robot to the simulation environment by modifying the asset file path. For example, in the franka cabinet example, replace the 'franka_asset_file' in the _create_env() function with the path to your urdf file.

@@tweak-cd6ss thank you so much for your reply. but i still confuse about urdf file, please help me answer it. i saw that, in the code file, it has the path to gripper urdf and robot arm urdf seperately. so, should i make a link between arm and gripper in the 3D file, then export to 1 urdf file includes both of arm and gripper? or i will import path of gripper urdf and arm urdf file seperately like in the code file? thank you so much.

I recommend combining the separate URDF files first and then importing the merged file into the simulator. This approach will give you more stable control results. You can find information on how to combine URDF files by searching on Google.

@@tweak-cd6ss thank you so much for your answer. hi, but i still confuse sth, please help me answer it. so, my task is using computer vision and robot arm to pick a object in the dense objects, i will train policy to take the best position of object. but i still have not know how to use, transfer the training result into the real world, or how to transfer from the sim to real as know as sim2real. thank you so much

If your goal is to train a policy for a robotic pick-and-place task and transfer it to a real environment, the paper "Transferring End-to-End Visuomotor Control from Simulation to Real World for a Multi-Stage Task," published in CoRL 2017, could be helpful. It provides a comprehensive overview of the process of transferring simulated robot manipulation skills to the real world. I recommend reading the paper thoroughly and watching the accompanying video clip for a better understanding.

The issue appears to be related to the library path. The function 'quat_apply' is defined in isaacgym/python/isaacgym/torch_utils.py. Please ensure that your Isaac Gym installation is correct.

@@tweak-cd6ss Thank you very much for your prompt reply, I successfully solved this problem. But one more question for you, have you tried the Robotiq85 type of gripper to open and close in the Isaac Gym?How do I do that?

Please refer to this GitHub github.com/aai4r/aai4r-pouring-skill/tree/release. It includes the process of simulating a pouring task with a robotiq85 gripper attached to a UR3 robot in the Isaac Gym environment. However, since this is our on-going project, the code is not yet neatly organized.

안녕하세요. 해당 오류는 겪어본 적이 없어서 잘 모르겠네요.

I’m glad to hear that it was helpful :)

안녕하세요. 해당 부분이 추가되었는지 몰랐네요. 알아보고 필요하다 판단되면 영상 제작을 고려해보겠습니다~

말씀하신 영상은 별도의 제작 계획은 원래 없습니다만, 제작을 고민해 보도록 하겠습니다.

​@@tweak-cd6ss감사합니다 :)

Numerous options are available for constructing and inspecting URDF files, such as utilizing SolidWorks, Onshape, and various online viewers. Check out these resources for guidance: SolidWorks and Onshape tutorials: th-cam.com/video/TJeCpGnX508/w-d-xo.html, th-cam.com/video/T7X_p_KMwus/w-d-xo.html. Foxglove Studio for URDF visualization: foxglove.dev/urdf. Alternatively, you can explore a variety of results by searching "URDF creator, viewer" on Google to find the tool that best suits your needs.

Really helpful. Thanks a lot@@tweak-cd6ss

Absolutely. I've shared the repository on my GitHub page. Take a look at github.com/tweak4u/IsaacGymEnvs/blob/main/isaacgymenvs/tasks/franka_cabinet.py. Everything matches the original source code except for a few lines dedicated to coordinate visualization.

감사합니다 :)