Trouble Shooting
-
Thanos compactor error: pre compaction overlap check: overlaps found while gathering blocksTrouble Shooting 2024. 3. 3. 09:52
Thanos compactor를 사용하다보면 종종 다음과 같은 error를 마주할 수 있다. level=error ts=2018-08-08T14:49:50.954091484Z caller=main.go:160 msg="running command failed" err="compaction: pre compaction overlap check: overlaps found while gathering blocks. [mint: 1532649600000, maxt: 1532656800000, range: 2h0m0s, blocks: 2]: , \n[mint: 1532685600000, maxt: 1532692800000, range: 2h0m0s, blocks: 2]: , \n[mint: 15326136000..
-
golang: Found, but does not contain packageTrouble Shooting 2022. 11. 19. 19:10
나같은 이상한 실수를 하는 사람이 없기를 바라면서, 작성한다. 새로운 pkg를 설치하려다 다음과 같은 error를 마주쳤다. # pkg 다운로드 시도 go get sigs.k8s.io/cluster-api-provider-vsphere/apis/v1alpha3@v0.7.6 # 실패 error go get: module sigs.k8s.io/cluster-api-provider-vsphere@v0.7.6 found, but does not contain package sigs.k8s.io/cluster-api-provider-vsphere/apis/v1alpha3 해당 error는 cluster-api-provider-vsphere라는 저장소는 찾았지만, apis/v1alpha3라는 pkg가 존재하지 않는..
-
Validation webhook + k8s certificate 갱신 문제 Trouble shootingTrouble Shooting 2022. 9. 18. 12:18
문제 상황 평소처럼 회사 k8s cluster 환경에서 operator 수정 작업을 하고 있었다. (회사 k8s cluster 환경에는 제품을 실행시키기 위해 필요한 모듈들이 모두 깔려 있다) docker image 빌드 후, 돌아가고 있는 deployment의 tag를 변경해서 바꾸어주는 방식으로 테스트를 하고 있었는데, 그러던 어느 날, deployment의 image tag를 변경해도 pod가 생성되지 않는 문제가 생겼다. 정확하게 말하면, replicas가 새로 생성되지 않았고, deployment를 지웠다가 새로 생성해도 마찬가지였다. 기존에 있던 pod를 삭제해도, 새로운 pod가 생성되지 않는 혼란스러운 상황이었다. describe deploy operator를 해도 error는 확인할 수 ..
-
defaultMode Permission 이슈Trouble Shooting 2022. 8. 22. 09:54
틀린 내용이 있을 수도 있습니다! 틀린 내용이 있다면 댓글로 달아주시면 감사하겠습니다! K8S에서는 시크릿 볼륨을 마운트할 때 다음과 같이 defaultMode를 통해서 권한을 지정해줄 수 있다. apiVersion: v1 kind: Pod metadata: name: mypod spec: containers: - name: mypod image: redis volumeMounts: - name: foo mountPath: "/etc/foo" volumes: - name: foo secret: secretName: mysecret defaultMode: 0400 apiVersion: v1 kind: Pod metadata: name: mypod spec: containers: - name: mypod i..
-
K8S에서 secret을 통해 AWS credential 사용시 invalid header errorTrouble Shooting 2022. 7. 23. 00:53
틀린 내용이 있을 수도 있습니다! 틀린 내용이 있다면 댓글로 달아주시면 감사하겠습니다! pod 내부에서 secret을 통해 aws credential을 사용해야 했는데, secret에 값이 뭔가 잘못 들어갔는지 다음과 같은 에러가 출력되었다. invalid header field value "AWS4-HMAC-SHA256 Credential=AWS-ACCESS-KEY-ID\n/20180808/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-content-sha256;x-amz-date, Signature=74fe603e8f353df20d2d87fdd9761f~~~~" for key Authorization (정확한 에러는 기억이 나지 않아 비슷한 에러를 긁어 ..
-
K8S Network Failure Trouble shootingTrouble Shooting 2021. 7. 18. 16:51
1. CNI 플러그인 Error 배포해놓은 애플리케이션이 동작하지 않아서 endpoint를 먼저 확인 엔드포인트 확인 결과, 애플리케이션 단에서는 문제가 없는 듯 하다. 네트워크 문제인가 싶어 전체 포드를 확인해보니 cni 플러그인이 없다. weave plugin 설치 kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" 애플리케이션 동작 확인 결과 잘 된다. 2. kubeproxy 에러 다음과 같이 kube-proxy pod에서 에러가 발생했다. kubeproxy로그를 확인해봤더니 컨테이너 내부에서 /var/lib/kube-proxy/configuration.conf ..
-
K8S Worker Node Not Ready Trouble ShootingTrouble Shooting 2021. 7. 18. 14:58
이번 포스팅은 worker node에서 생길 수 있는 kubelet issue에 대해서 다루고 이를 trouble shooting한다. kubelet issue는 다음과 같이 나눌 수 있다. - 워커노드의 kubelet이 죽은 경우 - inactive - 워커노드의 kubelet이 활성화되고 있는 중인 경우 - activating - 워커노드의 kubelet이 동작 중인 경우 - active 1. 워커노드의 kubelet이 죽은 경우 먼저 노드 상태를 확인한다. node01의 상태가 not ready다. 어떤 문제가 있는 듯 하다. 좀 더 구체적인 정보를 위해 node01을 inspect 해본다. 노드의 상태를 알 수 없다고 한다. node의 agent인 kubelet으로부터 필요한 데이터를 받아오지 못..
-
VPN Routing Table 연결 문제 해결Trouble Shooting 2021. 7. 13. 11:33
우분투 18.04에서 학교 랩실 VPN에 연결 후, 오픈스택에 접속해야하는데 이상하게 연결이 안된다... 그래서 오픈스택 IP(192.168.50.10)으로 ping을 보내보니 그래도 ping은 잘 간다. (하지만 ping이 아주 느리게 갔다.) 그래서 먼저 원인 파악을 위해 vpn서버의 인터페이스와 연결된 내 로컬 PC의 vpn 인터페이스를 확인하였다. 못 보던 ppp0라는 인터페이스가 생겼고, 이 인터페이스는 192.168.50.1이라는 vpn 서버의 인터페이스와 연결되어 있는 듯 하다. 그리고 라우팅 테이블을 열어봤다. 라우팅 테이블에는 ppp0를 사용하는 테이블 규칙이 추가되어 있다. 그런데? 이 라우팅 테이블에는 192.168.50.10로 가는 방법이 없다... (default는 제외하고) 그래..