2wnswoo 님의 블로그

강화학습 : 경험을 통해 스스로 배우는 학습 방법*강화 : 행동을 의미, 어떤 상황에서 어떤 행동을 취할지 선택할 수 있는 능력 또는 지식이 강화되는 것보상 : 우리의 특정 행동을 강화해주는 역할을 하는 것, 긍정적 보상 뿐 아니라 특정 행동을 억제하는 부정적 보상도 있음, 강화학습을 가능하게 하는 매우 중요한 요소이다.자율주행에서 강화학습이란? : 실시간으로 변화하는 도로 상황에 대응하고 안전하게 목적지까지 운전하는 방법을 찾는 데 사용됨Agent가 Environment와 상호작용하면서, 최적의 Action을 학습하는 기계 학습AgentEnvironmentAction강화학습을 구성하는 핵심요소AgentEnvrionmentStateActionRewardPolicy각 구성 요소의 역할Agent : 학습의 ..

강화학습, Reinforcement Learning : 어떤 Agent가 환경 안에서 행동( a )을 했을 때 얻게 되는 보상( r )을 사용해 학습하는 방법환경이라는 것은, 의사결정 주체인 Agent가 들어가있는 환경Agent가 Action을 취하게 되면, 그 Agent는 현 상태에서 다음 상태로 상태가 변화될 수 있다.따라서 state랑 Action은 중요한 개념이다.이 Action을 취하면 Reward를 받을 수 있다.Reward, 보상 : 주어진 state에 Action을 수행했을 때 얻게 되는 것Discount Factor, 할인인자 : 미래의 보상은 불확실성이 있기 때문에 그 가치를 현재의 가치보다 떨어뜨리는 비율Markov Decision Process( MDP ), 마르코프 결정과정Poli..

RNN 모델의 핵심은 루프가 있다"라는 것이다.그 루프를 펼쳐보면, 히든 투 히든 스테이트로 연결고리가 있다.Norm선형대수학에서 놈은 벡터의 크기( Magnitude ) 또는 길이 ( length )를 측정하는 방법이다. 놈은 크게 Vector norm 과 Matrix norm으로 나눌 수 있고 L1, L2, Frobenius norm 등 여러가지 계산방법에 따라 어떻게 정의 하느냐에 따라 그 값이 달라진다. 따라서, 놈을 다룰때는 어떤 norm인지 명확히 제시해야한다. L1 norm ( 맨하탄 놈 )L2 norm ( 유클리드 놈 ) = 원점( 0,0 )에서 떨어진 점의 거리 공식이다.Gradient Clipping딥러닝에서 역전파( Backpropagation ) 시 계산된 gradient ( 기울기..

자율주행차 인지 기술이란? : 센서로부터 얻은 신호를 분석하여 차량 주변의 환경에 대한 정보를 얻는 과정을 의미자율주행에서 주변환경 요소에는 크게 두 가지로 나눌 수 있음1. 동적 환경 객체 : 시간에 따라서 그 위치와 상태가 계속해서 변화할 수 있는 객체 Ex. 타 차량, 보행자, 사이클리스트, 바이크2. 정적 환경 객체 : 위치가 잘 변하지 않는 객체 Ex. 차선, 건널목 횡단보도, 신호등, 교통표지판, 중앙 분리대 등인지기술에서는 어떤 일을 해야할까?1. 동적 객체의 검출 및 추적동적 객체의 검출이란 것은, 센서 신호를 분석하여 주변 동적 객체의 위치와 종류를 판별함동적 객체의 추적이라는 것은, 매 시점마다 얻은 검출 결과를 시간적으로 연결하여 추적함같은 객체끼리 시간 변화에 따라 변하는 객체를 서..

자율주행 차량에 장착되는 대표 센서 : LiDAR, Camera, RADAR, Ultrasonic SensorFoV, Field of View : 센서를 통해 주변 정보 수집이 가능한 영역 혹은 각도. 의 제한이 있으므로 다중 센서 사용카메라 센서 : 빛을 렌즈를 통과하여 전기적 신호로 변환하여 2차원 배열 형태로 만드는 센서, ADAS,운전자 보조에 많이 사용됨장점 CCD 센서( 빛이용 센서 )이므로 고화질임, 가격 저렴날씨와 밝기 변화, 밤에 성능 저하, 고화질이여서 계산량 많다레이다 센서 : 전자기파( RF ) 신호 송출하여 목표물에 반사된 수신파를 분석 장점: 환경변화 강하고, 거리 측정 정확도가 높다, 상대적으로 저렴단점 : 횡방향 물체 위치 측정 정보가 정확x, 장애물들에 의한 신호(*클러터 ..

1D vector의 의미 : [1, 2, 3, 4, 5] > 이것은 1D vector, Dimension[[1,2,3], [4,5,6]] 2D vector > 행렬loss의 의미 : MSE에서는, loss = (예측값 - 실제값)^2 # Mean Squared ErrorValidation test : Traning Data의 일부를 데이터 검증하는데 활용하겠다는 의미하이퍼파라미터 : 머신러닝 모델이 학습되기전 사용자가 직접 설정해줘야 하는 값, 모델이 아닌 사람이 정해주는 값batch : 데이터셋에서 한 번 훈련할 때 몇개를 모델에 넣어학습시킬거냐? Ex. Batch 64 > 64개 가져오겠다Activation Function에서 Relu 가장 많이 사용비선형성 부여가 핵심 Bias 가 있어야 기울..

💡 발표 요약 및 개념 정리: LLM과 강화학습, 진화알고리즘, 멀티태스크 학습1. LLM과 보상학습 (Reinforcement Learning from Human Feedback, RLHF)GPT 같은 대형 언어 모델(LLM)은 강화학습을 통해 보상 신호를 학습할 수 있다.일반적으로 사용하는 방식은 RLHF (Reinforcement Learning from Human Feedback):사람이 생성된 문장에 대해 더 좋은/나쁜 것을 평가이 피드백을 바탕으로 리워드 모델을 학습이후 PPO(Proximal Policy Optimization) 등의 강화학습 기법으로 파인튜닝RLHF는 LLM이 더 사람 친화적이고 유용한 응답을 하도록 만들어 준다.2. "보상을 받는가?"에서 "보상을 잘 받는가?"로과거에는..

대부분의 딥러닝 기법은 인공신경망을 사용인공신경망은 여러 개의 Hidden Layer를 가지고 있음데이터에서 수동으로 특징을 추출하지 않고, 학습을 통해 적절한 특징을 찾을 수 있는 능력을 학습DNN에서 Hidden Layer 수가 많을수록 고차원의 feature 특징 학습이 가능해짐그러나 Non-Linearlity 제공을 하지 않으면 의미가 없음. 고차원 feature 특징 학습이 불가능함따라서 각 Hidden Layer에 비선형성 부여위한 Activation Function 들어가야함 Activation 함수는 "비선형 부여" 반드시 기억하자Hidden Layer 많이 쌓을 때 고차원 feature 학습 위해서 비선형 부여해야 한다는 것도 Perceptron은 이진 분류( Binary Classifi..

1. 실린더와 액추에이터● 선형 액추에이터: 실린더(Cylinder)직선 운동을 만들어내는 액추에이터.압축공기로 밀어내고, 스프링으로 복귀하는 방식도 존재함.● 종류① 단동 실린더 (Single-Acting Cylinder)유체 압력은 한 방향으로만 작용.복귀는 스프링에 의해 이루어짐.② 복동 실린더 (Double-Acting Cylinder)유체 압력이 양 방향으로 작용하여 왕복 운동이 가능함.스프링은 필요 없음.2. 제어 밸브(Control Valve)● 서보/비례 제어 밸브 (Servo/Proportional Valve)전류의 세기에 비례하여 밸브의 위치를 제어.정밀한 유량 조절에 사용됨.● 프로세스 제어 밸브 (Process Control Valve)유체가 통과하는 단면적을 조절하여 유량을 제어...

1. 유압(Hydraulic System)Accumulator (축압기)유압 시스템에서 압력을 저장해뒀다가, 필요할 때 빠르게 유체를 공급하는 장치.시스템 압력 변동을 완화하고, 압력 유지 및 응답 속도를 높이는 역할을 함.저장된 압력 에너지를 이용해서 유체를 밀어주는 역할을 함.Pump의 역할시스템 내 유체를 흐르게 하기 위해 기계적 에너지를 유체 에너지로 변환함.운동 에너지( 속도 ) 로 유체를 빠르게 이동시키고, 위치 에너지( 높이 ) 로 유체를 높은 곳으로 올린다.유체 에너지( 압력 ) > 파이프 내 압력 상승유체를 끌어올려 압력을 형성하고, 회로 내 유동을 유도함.*기계적 에너지 : 운동에너지와 위치에너지의 합을 의미한다.왜 outlet 압력보다 inlet 압력이 커야 할까?유체는 항상 고압에..