Моніторинг, логування та налагодження
Налаштуйте моніторинг та логування для розвʼязання проблем кластера або налагодження контейнеризованих застосунків.
Іноді трапляються неприємності. Цей посібник допоможе вам зібрати необхідну інформацію та вирішити проблеми. Він складається з чотирьох розділів:
- Налагодження вашого застосунку — корисно для користувачів, які розгортають код у Kubernetes та цікавляться причиною його непрацездатності.
- Налагодження вашого кластера — корисно для адміністраторів та операторів кластерів, які усувають несправності у самому кластері Kubernetes.
- Логи в Kubernetes — корисно для адміністраторів кластерів, які хочуть налаштувати та керувати логами у Kubernetes.
- Моніторинг в Kubernetes — корисно для адміністраторів кластерів, які хочуть увімкнути моніторинг у кластері Kubernetes.
Вам також слід перевірити відомі проблеми для випуску, який ви використовуєте.
Отримання допомоги
Якщо жоден із наведених вище посібників не відповідає на ваше питання, є різні способи отримати допомогу від спільноти Kubernetes.
Питання
Документацію на цьому сайті структуровано так, щоб відповідати на широке коло питань. Концепції пояснюють архітектуру Kubernetes і роботу кожного компонента, а Налаштування містить практичні інструкції для початку роботи. Завдання показують, як виконувати поширені завдання, а Навчальні матеріали — це докладніші покрокові розбори реальних, галузевих або наскрізних сценаріїв розробки. Розділ Довідник містить докладну документацію з API Kubernetes та інтерфейсів командного рядка (CLI), таких як kubectl.
Допоможіть! Моє питання не розглянуто! Мені потрібна допомога зараз!
Stack Exchange, Stack Overflow або Server Fault
Якщо у вас є питання, повʼязане з розробкою програмного забезпечення для вашого контейнеризованого застосунку, ви можете задати його на Stack Overflow.
Якщо у вас є питання про Kubernetes, повʼязані з керуванням кластером або конфігурацією, ви можете поставити їх на Server Fault.
Також існують кілька більш конкретних сайтів мережі Stack Exchange, які можуть бути відповідним місцем для питань про Kubernetes в таких областях, як DevOps, Software Engineering або InfoSec.
Можливо, хтось зі спільноти вже ставив схоже питання або може допомогти з вашою проблемою.
Команда Kubernetes також слідкуватиме за постами з теґом Kubernetes. Якщо немає наявних питань, які можуть допомогти, будь ласка, переконайтеся, що ваше питання відповідає правилам Stack Overflow, Server Fault або сайту мережі Stack Exchange, на якому ви його ставите, і ознайомтеся з інструкцією як поставити нове питання, перед тим як задавати нове!
Slack
Багато людей зі спільноти Kubernetes спілкуються у Kubernetes Slack в каналі #kubernetes-users. Slack потребує реєстрації; ви можете надіслати запит на запрошення, реєстрація відкрита для всіх. Запрошуємо приходити й ставити будь-які питання. Після реєстрації відкрийте організацію Kubernetes у Slack у браузері або у власному застосунку Slack.
Після реєстрації переглядайте список каналів для різних тем. Наприклад, люди, які тільки вчаться Kubernetes, також можуть приєднатися до каналу #kubernetes-novice. Як ще один приклад, розробникам корисно приєднатися до каналу #kubernetes-contributors.
Також існують багато каналів, специфічних для країн / мов. Запрошуємо приєднатися до цих каналів для локалізованої підтримки та інформації:
Форум
Вас раді бачити на офіційному форумі Kubernetes: discuss.kubernetes.io.
Помилки та запити на нові можливості
Якщо ви натрапили на щось схоже на помилку або хочете запросити нову можливість, скористайтеся системою відстеження issue на GitHub.
Перш ніж створювати issue, пошукайте серед наявних issue, чи вашу проблему вже описано.
Якщо ви повідомляєте про помилку, додайте докладну інформацію про те, як відтворити проблему, наприклад:
- Версія Kubernetes:
kubectl version - Хмарний провайдер, дистрибутив ОС, конфігурація мережі та версія середовища виконання контейнерів
- Кроки для відтворення проблеми
1 - Логи в Kubernetes
Архітектура логування та системні логи.
На цій сторінці наведено ресурси про логування в Kubernetes. Ви можете дізнатися, як збирати, переглядати й аналізувати логи за допомогою вбудованих інструментів і популярних стеків логування:
2 - Моніторинг в Kubernetes
Моніторинг системних компонентів Kubernetes.
На цій сторінці наведено ресурси про моніторинг у Kubernetes. Ви можете дізнатися, як збирати системні метрики й трасування для системних компонентів Kubernetes:
3 - Усунення несправностей застосунків
Налагодження поширених проблем контейнеризованих застосунків.
Цей розділ містить набір ресурсів для виправлення проблем із контейнеризованими застосунками. Він охоплює поширені проблеми з ресурсами Kubernetes (як-от Pods, Services або StatefulSets), поради щодо розуміння повідомлень про завершення контейнерів і способи налагодження запущених контейнерів.
3.1 - Налагодження Podʼів
Цей посібник допоможе користувачам налагодити застосунки, які розгорнуті в Kubernetes і поводяться некоректно. Це не посібник для тих, хто хоче налагодити свій кластер. Для цього ознайомтеся з цим посібником.
Діагностика проблеми
Перший крок в усуненні несправностей — первинна оцінка. У чому проблема? У ваших Podʼах, ReplicationController чи Service?
Налагодження Podʼів
Перший крок у налагодженні Podʼа — переглянути його. Перевірте поточний стан Podʼа й останні події такою командою:
kubectl describe pods ${POD_NAME}
Перегляньте стан контейнерів у Podʼі. Чи всі вони в стані Running? Чи були нещодавні перезапуски?
Продовжуйте налагодження залежно від стану Podʼів.
Мій Pod залишається в стані Pending
Якщо Pod застряг у стані Pending, це означає, що його не можна призначити на вузол. Зазвичай це стається через нестачу ресурсів того чи іншого типу, яка заважає плануванню. Перегляньте вивід команди kubectl describe ... вище. Там мають бути повідомлення від планувальника про те, чому він не може запланувати ваш Pod. Можливі причини:
У вас недостатньо ресурсів: можливо, ви вичерпали запас CPU або памʼяті в кластері; у такому разі потрібно видалити Podʼи, скоригувати запити ресурсів або додати нові вузли до кластера. Докладніше дивіться документ про обчислювальні ресурси.
Ви використовуєте hostPort: коли ви привʼязуєте Pod до hostPort, кількість місць, де можна запланувати цей Pod, обмежена. У більшості випадків hostPort не потрібен, спробуйте використати обʼєкт Service, щоб відкрити доступ до вашого Podʼа. Якщо hostPort вам усе ж потрібен, ви зможете запланувати лише стільки Podʼів, скільки вузлів у вашому кластері Kubernetes.
Мій Pod залишається у стані Waiting
Якщо Pod застряг у стані Waiting, його вже призначено на робочий вузол, але він не може працювати на цій машині. Знову ж таки, корисну інформацію має дати вивід kubectl describe .... Найпоширеніша причина Podʼів у стані Waiting — помилка завантаження образу. Перевірте три речі:
- Переконайтеся, що ви правильно вказали імʼя образу.
- Чи надіслали ви образ до реєстру?
- Спробуйте вручну завантажити образ, щоб перевірити, чи його можна завантажити. Наприклад, якщо ви використовуєте Docker на своєму ПК, виконайте
docker pull <image>.
Мій Pod залишається у стані Terminating
Якщо Pod застряг у стані Terminating, це означає, що для Podʼа надіслано запит на видалення, але панель управління не може видалити обʼєкт Pod.
Зазвичай таке стається, якщо Pod має завершувач, а в кластері встановлено вебхук допуску, який не дає панелі управління вилучити завершувач.
Щоб виявити такий сценарій, перевірте, чи є у вашому кластері ValidatingWebhookConfiguration або MutatingWebhookConfiguration, спрямовані на операції UPDATE для ресурсів pods.
Якщо вебхук надає третя сторона:
- Переконайтеся, що ви використовуєте найновішу версію.
- Вимкніть вебхук для операцій
UPDATE. - Повідомте про проблему відповідному постачальнику.
Якщо ви автор вебхука:
- Для змінювального вебхука переконайтеся, що він ніколи не змінює незмінні поля під час операцій
UPDATE. Наприклад, зміни контейнерів зазвичай не дозволені. - Для валідаційного вебхука переконайтеся, що ваші політики валідації застосовуються лише до нових змін. Іншими словами, слід пропускати Podʼи з наявними порушеннями. Це дозволяє Podʼам, створеним до встановлення валідаційного вебхука, і далі працювати.
Мій Pod виходить з ладу або несправний іншим чином
Щойно ваш Pod заплановано, для налагодження можна використовувати методи, описані в Налагодження запущених Podʼів.
Мій Pod працює, але не робить того, що я йому вказав
Якщо ваш Pod поводиться не так, як ви очікували, можливо, в описі Podʼа (наприклад, у файлі mypod.yaml на вашому локальному компʼютері) була помилка, яку мовчки проігнорували під час створення Podʼа. Часто якийсь розділ опису Podʼа вкладено неправильно або імʼя ключа написано з помилкою, тож ключ ігнорується. Наприклад, якщо ви написали command як commnd, Pod буде створено, але він не використовуватиме командний рядок, який ви задумали.
Насамперед видаліть свій Pod і спробуйте створити його знову з параметром --validate. Наприклад, виконайте kubectl apply --validate -f mypod.yaml. Якщо ви написали command як commnd, ви отримаєте помилку на кшталт такої:
I0805 10:43:25.129850 46757 schema.go:126] unknown field: commnd
I0805 10:43:25.129973 46757 schema.go:129] this may be a false alarm, see https://github.com/kubernetes/kubernetes/issues/6842
pods/mypod
Далі перевірте, чи збігається Pod на API-сервері з Podʼом, який ви хотіли створити (наприклад, з YAML-файлом на вашому локальному компʼютері). Наприклад, виконайте kubectl get pods/mypod -o yaml > mypod-on-apiserver.yaml, а потім вручну порівняйте початковий опис Podʼа, mypod.yaml, з тим, що ви отримали від API-сервера, mypod-on-apiserver.yaml. Зазвичай у версії з API-сервера будуть рядки, яких немає в початковій версії. Це очікувано. Однак якщо в початковому описі є рядки, яких немає у версії з API-сервера, це може свідчити про проблему зі специфікацією вашого Podʼа.
Налагодження ReplicationController
ReplicationController досить прості. Вони або можуть створювати Podʼи, або не можуть. Якщо вони не можуть створювати Podʼи, скористайтеся інструкціями вище, щоб налагодити свої Podʼи.
Також можна використати kubectl describe rc ${CONTROLLER_NAME}, щоб переглянути події, повʼязані з ReplicationController.
Налагодження Service
Service забезпечують балансування навантаження між набором Podʼів. Є кілька поширених проблем, через які Service можуть працювати неправильно. Наведені нижче інструкції допоможуть налагодити проблеми з Service.
Спершу переконайтеся, що для Service є точки доступу. Для кожного обʼєкта Service API-сервер робить доступними один або кілька ресурсів EndpointSlice.
Переглянути ці ресурси можна так:
kubectl get endpointslices -l kubernetes.io/service-name=${SERVICE_NAME}
Переконайтеся, що точки доступу в EndpointSlice відповідають кількості Podʼів, які мають входити до вашого Service. Наприклад, якщо ваш Service призначено для контейнера nginx з 3 репліками, ви маєте побачити три різні IP-адреси в EndpointSlice цього Service.
У моєму Service бракує точок доступу
Якщо точок доступу бракує, спробуйте вивести перелік Podʼів за мітками із селектора Service. Наприклад, у вас є Service з таким селектором:
...
spec:
selector:
name: nginx
type: frontend
Можна використати:
kubectl get pods --selector=name=nginx,type=frontend
щоб вивести перелік Podʼів, які відповідають цьому селектору. Перевірте, чи список збігається з Podʼами, які мають обслуговувати ваш Service. Перевірте, чи containerPort Podʼа збігається з targetPort Service.
Мережевий трафік не пересилається
Докладніше дивіться налагодження Service.
Що далі
Якщо жоден із наведених вище кроків не розвʼязав вашої проблеми, виконайте інструкції з документа про налагодження Service, щоб переконатися, що ваш Service працює, має Endpoints, а ваші Podʼи справді обслуговують запити; що DNS працює, правила iptables встановлено, а kube-proxy поводиться правильно.
Докладніше також дивіться документ про усунення несправностей.
3.2 - Налагодження StatefulSet
Це завдання показує, як налагоджувати StatefulSet.
Перш ніж ви розпочнете
- Вам потрібен кластер Kubernetes, та інструмент командного рядка kubectl повинен бути налаштований на звʼязок з вашим кластером.
- У вас має бути запущений StatefulSet, який ви хочете дослідити.
Налагодження StatefulSet
Щоб вивести список усіх Podʼів, які належать до StatefulSet і мають мітку app.kubernetes.io/name=MyApp, можна використати таку команду:
kubectl get pods -l app.kubernetes.io/name=MyApp
Якщо ви бачите, що якісь із перелічених Podʼів тривалий час перебувають у стані Unknown або Terminating, зверніться до завдання Видалення Podʼів StatefulSet за інструкціями, що з ними робити. Налагоджувати окремі Podʼи у StatefulSet можна за допомогою посібника Налагодження Podʼів.
Що далі
Дізнайтеся більше про налагодження init-контейнера.
3.3 - Налагодження запущених Podʼів
Ця сторінка пояснює, як налагоджувати Podʼи, що працюють (або аварійно завершуються) на вузлі.
Перш ніж ви розпочнете
- Ваш Pod уже має бути запланований і запущений. Якщо ваш Pod ще не запущений, почніть з Налагодження Podʼів.
- Для деяких з розширених кроків налагодження вам потрібно знати, на якому вузлі запущений Pod, і мати доступ до оболонки для виконання команд на цьому вузлі. Вам не потрібен такий доступ для виконання стандартних кроків налагодження, що використовують
kubectl.
Використання kubectl describe pod для отримання деталей про Podʼи
У цьому прикладі ми використаємо Deployment для створення двох Podʼів, подібно до попереднього прикладу.
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx
resources:
limits:
memory: "128Mi"
cpu: "500m"
ports:
- containerPort: 80
Створіть Deployment такою командою:
kubectl apply -f https://k8s.io/examples/application/nginx-with-request.yaml
deployment.apps/nginx-deployment created
Перевірте статус Podʼів такою командою:
NAME READY STATUS RESTARTS AGE
nginx-deployment-67d4bdd6f5-cx2nz 1/1 Running 0 13s
nginx-deployment-67d4bdd6f5-w6kd7 1/1 Running 0 13s
Набагато більше інформації про кожен із цих Podʼів можна отримати за допомогою kubectl describe pod. Наприклад:
kubectl describe pod nginx-deployment-67d4bdd6f5-w6kd7
Name: nginx-deployment-67d4bdd6f5-w6kd7
Namespace: default
Priority: 0
Node: kube-worker-1/192.168.0.113
Start Time: Thu, 17 Feb 2022 16:51:01 -0500
Labels: app=nginx
pod-template-hash=67d4bdd6f5
Annotations: <none>
Status: Running
IP: 10.88.0.3
IPs:
IP: 10.88.0.3
IP: 2001:db8::1
Controlled By: ReplicaSet/nginx-deployment-67d4bdd6f5
Containers:
nginx:
Container ID: containerd://5403af59a2b46ee5a23fb0ae4b1e077f7ca5c5fb7af16e1ab21c00e0e616462a
Image: nginx
Image ID: docker.io/library/nginx@sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767
Port: 80/TCP
Host Port: 0/TCP
State: Running
Started: Thu, 17 Feb 2022 16:51:05 -0500
Ready: True
Restart Count: 0
Limits:
cpu: 500m
memory: 128Mi
Requests:
cpu: 500m
memory: 128Mi
Environment: <none>
Mounts:
/var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-bgsgp (ro)
Conditions:
Type Status
Initialized True
Ready True
ContainersReady True
PodScheduled True
Volumes:
kube-api-access-bgsgp:
Type: Projected (a volume that contains injected data from multiple sources)
TokenExpirationSeconds: 3607
ConfigMapName: kube-root-ca.crt
ConfigMapOptional: <nil>
DownwardAPI: true
QoS Class: Guaranteed
Node-Selectors: <none>
Tolerations: node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 34s default-scheduler Successfully assigned default/nginx-deployment-67d4bdd6f5-w6kd7 to kube-worker-1
Normal Pulling 31s kubelet Pulling image "nginx"
Normal Pulled 30s kubelet Successfully pulled image "nginx" in 1.146417389s
Normal Created 30s kubelet Created container nginx
Normal Started 30s kubelet Started container nginx
Тут ви можете побачити інформацію про конфігурацію контейнерів і Podʼа (мітки, вимоги до ресурсів тощо), а також інформацію про статус контейнерів і Podʼа (стан, готовність, кількість перезапусків, події тощо).
Стан контейнера — Waiting, Running або Terminated. Залежно від стану надається додаткова інформація: тут видно, що для контейнера в стані Running система повідомляє, коли контейнер запустився.
Ready показує, чи пройшов контейнер останню пробу готовності. (У цьому випадку контейнер не має налаштованої проби готовності; вважається, що контейнер готовий, якщо проба готовності не налаштована.)
Restart Count показує, скільки разів контейнер перезапускався; ця інформація може бути корисною для виявлення циклів аварійного перезапуску в контейнерах з політикою перезапуску Always.
Наразі єдиний стан (Condition), повʼязаний з Podʼом, — двійковий стан Ready, який показує, що Pod може обслуговувати запити й має бути доданий до пулів балансування навантаження всіх відповідних Service.
Нарешті, ви бачите журнал останніх подій, повʼязаних з вашим Podʼом. "From" вказує на компонент, який записує подію в лог. "Reason" і "Message" пояснюють, що сталося.
Приклад: налагодження Podʼів у стані Pending
Поширений сценарій, який можна виявити за допомогою подій, — коли ви створили Pod, що не вміщується на жодному вузлі. Наприклад, Pod може запитувати більше ресурсів, ніж вільно на будь-якому вузлі, або вказувати селектор міток, якому не відповідає жоден вузол. Скажімо, ми створили попередній Deployment з 5 репліками (замість 2), які запитують 600 мілі-ядер замість 500, у кластері з чотирьох вузлів, де кожна (віртуальна) машина має 1 CPU. У такому разі один з Podʼів не вдасться запланувати. (Зверніть увагу, що через Podʼи надбудов кластера, такі як fluentd, skydns тощо, які працюють на кожному вузлі, якби ми запросили 1000 мілі-ядер, жоден з Podʼів не вдалося б запланувати.)
NAME READY STATUS RESTARTS AGE
nginx-deployment-1006230814-6winp 1/1 Running 0 7m
nginx-deployment-1006230814-fmgu3 1/1 Running 0 7m
nginx-deployment-1370807587-6ekbw 1/1 Running 0 1m
nginx-deployment-1370807587-fg172 0/1 Pending 0 1m
nginx-deployment-1370807587-fz9sd 0/1 Pending 0 1m
Щоб дізнатися, чому Pod nginx-deployment-1370807587-fz9sd не працює, можна виконати kubectl describe pod для Podʼа в стані Pending і переглянути його події:
kubectl describe pod nginx-deployment-1370807587-fz9sd
Name: nginx-deployment-1370807587-fz9sd
Namespace: default
Node: /
Labels: app=nginx,pod-template-hash=1370807587
Status: Pending
IP:
Controllers: ReplicaSet/nginx-deployment-1370807587
Containers:
nginx:
Image: nginx
Port: 80/TCP
QoS Tier:
memory: Guaranteed
cpu: Guaranteed
Limits:
cpu: 1
memory: 128Mi
Requests:
cpu: 1
memory: 128Mi
Environment Variables:
Volumes:
default-token-4bcbi:
Type: Secret (a volume populated by a Secret)
SecretName: default-token-4bcbi
Events:
FirstSeen LastSeen Count From SubobjectPath Type Reason Message
--------- -------- ----- ---- ------------- -------- ------ -------
1m 48s 7 {default-scheduler } Warning FailedScheduling pod (nginx-deployment-1370807587-fz9sd) failed to fit in any node
fit failure on node (kubernetes-node-6ta5): Node didn't have enough resource: CPU, requested: 1000, used: 1420, capacity: 2000
fit failure on node (kubernetes-node-wul5): Node didn't have enough resource: CPU, requested: 1000, used: 1100, capacity: 2000
Тут видно подію, створену планувальником, яка повідомляє, що Pod не вдалося запланувати з причиною FailedScheduling (і, можливо, з іншими). Повідомлення каже, що на жодному з вузлів не було достатньо ресурсів для Podʼа.
Щоб виправити ситуацію, можна за допомогою kubectl scale оновити Deployment і вказати чотири або менше реплік. (Або можна залишити один Pod у стані Pending, це нешкідливо.)
Події, подібні до тих, що ви бачили в кінці виводу kubectl describe pod, зберігаються в etcd і дають загальне уявлення про те, що відбувається в кластері. Щоб вивести всі події, можна використати
але памʼятайте, що події належать до простору імен. Це означає, що якщо вас цікавлять події для обʼєкта в просторі імен (наприклад, що сталося з Podʼами в просторі імен my-namespace), потрібно явно вказати простір імен у команді:
kubectl get events --namespace=my-namespace
Щоб побачити події з усіх просторів імен, ви можете використовувати аргумент --all-namespaces.
Крім kubectl describe pod, ще один спосіб отримати додаткову інформацію про Pod (понад ту, що надає kubectl get pod) — передати команді kubectl get pod прапорець формату виводу -o yaml. Так ви отримаєте у форматі YAML ще більше інформації, ніж від kubectl describe pod, — фактично всю інформацію, яку система має про Pod. Тут ви побачите, зокрема, анотації (метадані у вигляді пар ключ-значення без обмежень, що діють для міток, які внутрішньо використовують компоненти системи Kubernetes), політику перезапуску, порти й томи.
kubectl get pod nginx-deployment-1006230814-6winp -o yaml
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: "2022-02-17T21:51:01Z"
generateName: nginx-deployment-67d4bdd6f5-
labels:
app: nginx
pod-template-hash: 67d4bdd6f5
name: nginx-deployment-67d4bdd6f5-w6kd7
namespace: default
ownerReferences:
- apiVersion: apps/v1
blockOwnerDeletion: true
controller: true
kind: ReplicaSet
name: nginx-deployment-67d4bdd6f5
uid: 7d41dfd4-84c0-4be4-88ab-cedbe626ad82
resourceVersion: "1364"
uid: a6501da1-0447-4262-98eb-c03d4002222e
spec:
containers:
- image: nginx
imagePullPolicy: Always
name: nginx
ports:
- containerPort: 80
protocol: TCP
resources:
limits:
cpu: 500m
memory: 128Mi
requests:
cpu: 500m
memory: 128Mi
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
volumeMounts:
- mountPath: /var/run/secrets/kubernetes.io/serviceaccount
name: kube-api-access-bgsgp
readOnly: true
dnsPolicy: ClusterFirst
enableServiceLinks: true
nodeName: kube-worker-1
preemptionPolicy: PreemptLowerPriority
priority: 0
restartPolicy: Always
schedulerName: default-scheduler
securityContext: {}
serviceAccount: default
serviceAccountName: default
terminationGracePeriodSeconds: 30
tolerations:
- effect: NoExecute
key: node.kubernetes.io/not-ready
operator: Exists
tolerationSeconds: 300
- effect: NoExecute
key: node.kubernetes.io/unreachable
operator: Exists
tolerationSeconds: 300
volumes:
- name: kube-api-access-bgsgp
projected:
defaultMode: 420
sources:
- serviceAccountToken:
expirationSeconds: 3607
path: token
- configMap:
items:
- key: ca.crt
path: ca.crt
name: kube-root-ca.crt
- downwardAPI:
items:
- fieldRef:
apiVersion: v1
fieldPath: metadata.namespace
path: namespace
status:
conditions:
- lastProbeTime: null
lastTransitionTime: "2022-02-17T21:51:01Z"
status: "True"
type: Initialized
- lastProbeTime: null
lastTransitionTime: "2022-02-17T21:51:06Z"
status: "True"
type: Ready
- lastProbeTime: null
lastTransitionTime: "2022-02-17T21:51:06Z"
status: "True"
type: ContainersReady
- lastProbeTime: null
lastTransitionTime: "2022-02-17T21:51:01Z"
status: "True"
type: PodScheduled
containerStatuses:
- containerID: containerd://5403af59a2b46ee5a23fb0ae4b1e077f7ca5c5fb7af16e1ab21c00e0e616462a
image: docker.io/library/nginx:latest
imageID: docker.io/library/nginx@sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767
lastState: {}
name: nginx
ready: true
restartCount: 0
started: true
state:
running:
startedAt: "2022-02-17T21:51:05Z"
hostIP: 192.168.0.113
phase: Running
podIP: 10.88.0.3
podIPs:
- ip: 10.88.0.3
- ip: 2001:db8::1
qosClass: Guaranteed
startTime: "2022-02-17T21:51:01Z"
Перегляд логів Podʼа
Спочатку перегляньте логи ураженого контейнера:
kubectl logs ${POD_NAME} -c ${CONTAINER_NAME}
Якщо ваш контейнер раніше аварійно завершився, лог аварійного завершення попереднього контейнера можна переглянути так:
kubectl logs ${POD_NAME} -c ${CONTAINER_NAME} --previous
Налагодження за допомогою виконання команд у контейнері
Якщо образ контейнера містить утиліти для налагодження, як-от образи, зібрані на основі базових образів ОС Linux і Windows, можна виконувати команди в конкретному контейнері за допомогою kubectl exec:
kubectl exec ${POD_NAME} -c ${CONTAINER_NAME} -- ${CMD} ${ARG1} ${ARG2} ... ${ARGN}
Примітка:
-c ${CONTAINER_NAME} є необовʼязковим. Ви можете опустити його для Podʼів, які містять лише один контейнер.Наприклад, щоб переглянути логи запущеного Podʼа Cassandra, можна виконати
kubectl exec cassandra -- cat /var/log/cassandra/system.log
Можна запустити оболонку, підʼєднану до вашого термінала, за допомогою аргументів -i і -t команди kubectl exec, наприклад:
kubectl exec -it cassandra -- sh
Докладніше дивіться Отримання доступу до оболонки запущеного контейнера.
Налагодження за допомогою ефемерного контейнера налагодження
СТАН ФУНКЦІОНАЛУ:
GA since Kubernetes v1.25
Ефемерні контейнери корисні для інтерактивного усунення несправностей, коли kubectl exec недостатньо, тому що контейнер аварійно завершився або образ контейнера не містить утиліт налагодження, як, наприклад, образи distroless.
Дозволи для ефемерних контейнерів
З міркувань безпеки для додавання ефемерного контейнера до запущеного Podʼа використовується підресурс ephemeralcontainers цього Podʼа. На рівні API це запит update до pods/ephemeralcontainers. Самого лише дозволу на patch Podʼа недостатньо, щоб користувачі могли додавати до нього ефемерні контейнери.
Підресурс pods/ephemeralcontainers навмисно не входить до стандартних ClusterRole для користувачів admin і edit. Чому так, дивіться в розділі Ефемерні контейнери: контроль доступу.
Якщо запустити kubectl debug, щоб додати ефемерний контейнер, без потрібного дозволу, ви побачите помилку, подібну до такої:
Error from server (Forbidden): pods "example" is forbidden: User "alice" cannot
patch resource "pods/ephemeralcontainers" in API group "" in the namespace "example-ns"
Якщо ви керуєте доступом до кластера і ваш кластер використовує RBAC Kubernetes, цей дозвіл можна надати одним із двох способів.
Щоб розширити вбудовані ClusterRole edit і admin для всього кластера, створіть агреговану ClusterRole з міткою для агрегації ClusterRole. Достатньо мітки aggregate-to-edit, оскільки стандартна ClusterRole edit сама агрегується в admin:
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: aggregate-ephemeralcontainers-edit
labels:
rbac.authorization.k8s.io/aggregate-to-edit: "true"
rules:
- apiGroups: [""]
resources: ["pods/ephemeralcontainers"]
verbs: ["patch", "update"]
Щоб надати дозвіл лише певним користувачам або групам (наприклад, окремій групі для налагодження або SRE), створіть вужчу ClusterRole і привʼяжіть її безпосередньо:
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: debug-ephemeralcontainers
rules:
- apiGroups: [""]
resources: ["pods/ephemeralcontainers"]
verbs: ["patch", "update"]
Примітка:
Ефемерні контейнери перевіряються механізмом Pod Security admission на відповідність тим самим стандартам безпеки Podʼів, що й звичайні контейнери. Надаючи дозвіл на додавання ефемерних контейнерів до Podʼів, на які поширюється політика baseline або restricted, виберіть відповідний профіль налагодження, наприклад --profile=baseline або --profile=restricted для kubectl debug.
Вебхуки допуску або політики допуску у вашому кластері, які не перевіряють поле ephemeralContainers, також може знадобитися оновити, щоб вони перехоплювали ресурс pods/ephemeralcontainers і перевіряли поле ephemeralContainers у специфікації Podʼа.
Приклад налагодження за допомогою ефемерних контейнерів
Ви можете використовувати команду kubectl debug, щоб додати ефемерні контейнери до запущеного Podʼа. Спочатку створіть Pod для прикладу:
kubectl run ephemeral-demo --image=registry.k8s.io/pause:3.1 --restart=Never
Приклади в цьому розділі використовують образ контейнера pause, оскільки він не містить утиліт налагодження, але цей метод працює з усіма образами контейнерів.
Якщо ви спробуєте використати kubectl exec для створення оболонки, ви побачите помилку, оскільки в цьому образі контейнера немає оболонки.
kubectl exec -it ephemeral-demo -- sh
OCI runtime exec failed: exec failed: container_linux.go:346: starting container process caused "exec: \"sh\": executable file not found in $PATH": unknown
Натомість можна додати контейнер налагодження за допомогою kubectl debug. Якщо вказати аргумент -i/--interactive, kubectl автоматично підʼєднається до консолі ефемерного контейнера.
kubectl debug -it ephemeral-demo --image=busybox:1.28 --target=ephemeral-demo
Defaulting debug container name to debugger-8xzrl.
If you don't see a command prompt, try pressing enter.
/ #
Ця команда додає новий контейнер busybox і підʼєднується до нього. Параметр --target вказує на простір імен процесів іншого контейнера. Він потрібен тут, тому що kubectl run не вмикає спільний простір імен процесів у Podʼі, який створює.
Примітка:
Параметр
--target має підтримуватися
середовищем виконання контейнерів. Якщо його не підтримано, ефемерний контейнер може не запуститися або запуститися з ізольованим простором імен процесів, і
ps не показуватиме процеси в інших контейнерах.
Стан новоствореного ефемерного контейнера можна переглянути за допомогою kubectl describe:
kubectl describe pod ephemeral-demo
...
Ephemeral Containers:
debugger-8xzrl:
Container ID: docker://b888f9adfd15bd5739fefaa39e1df4dd3c617b9902082b1cfdc29c4028ffb2eb
Image: busybox
Image ID: docker-pullable://busybox@sha256:1828edd60c5efd34b2bf5dd3282ec0cc04d47b2ff9caa0b6d4f07a21d1c08084
Port: <none>
Host Port: <none>
State: Running
Started: Wed, 12 Feb 2020 14:25:42 +0100
Ready: False
Restart Count: 0
Environment: <none>
Mounts: <none>
...
Коли закінчите, видаліть Pod за допомогою kubectl delete:
kubectl delete pod ephemeral-demo
Налагодження за допомогою копії Podʼа
Іноді параметри конфігурації Podʼа ускладнюють усунення несправностей у певних ситуаціях. Наприклад, не можна виконати kubectl exec, щоб усунути несправності контейнера, якщо образ контейнера не містить оболонки або якщо ваш застосунок аварійно завершується під час запуску. У таких ситуаціях можна за допомогою kubectl debug створити копію Podʼа зі зміненими значеннями конфігурації, що полегшують налагодження.
Копіювання Podʼа з додаванням нового контейнера
Додавання нового контейнера може бути корисним, коли ваш застосунок працює, але поводиться не так, як ви очікуєте, і ви хочете додати до Podʼа додаткові утиліти для усунення несправностей.
Наприклад, можливо, образи контейнерів вашого застосунку зібрані на основі busybox, але вам потрібні утиліти налагодження, яких немає в busybox. Цей сценарій можна змоделювати за допомогою kubectl run:
kubectl run myapp --image=busybox:1.28 --restart=Never -- sleep 1d
Виконайте цю команду, щоб створити копію myapp з назвою myapp-debug, яка додає новий контейнер Ubuntu для налагодження:
kubectl debug myapp -it --image=ubuntu --share-processes --copy-to=myapp-debug
Defaulting debug container name to debugger-w7xmf.
If you don't see a command prompt, try pressing enter.
root@myapp-debug:/#
Примітка:
kubectl debug автоматично генерує назву контейнера, якщо ви не задали її прапорцем --container.- Прапорець
-i стандартно змушує kubectl debug підʼєднатися до нового контейнера. Щоб цього уникнути, вкажіть --attach=false. Якщо сесію буде розірвано, можна знову підʼєднатися за допомогою kubectl attach. --share-processes дозволяє контейнерам у цьому Podʼі бачити процеси інших контейнерів Podʼа. Докладніше про те, як це працює, дивіться Спільний простір імен процесів для контейнерів у Podʼі.
Не забудьте прибрати Pod для налагодження, коли ви закінчите:
kubectl delete pod myapp myapp-debug
Копіювання Podʼа зі зміною його команди
Іноді корисно змінити команду для контейнера, наприклад, щоб додати прапорець для налагодження або через те, що застосунок аварійно завершується.
Щоб симулювати аварійне завершення застосунку, використайте kubectl run, щоб створити контейнер, який негайно завершується:
kubectl run --image=busybox:1.28 myapp -- false
Ви можете побачити за допомогою kubectl describe pod myapp, що цей контейнер аварійно завершується:
Containers:
myapp:
Image: busybox
...
Args:
false
State: Waiting
Reason: CrashLoopBackOff
Last State: Terminated
Reason: Error
Exit Code: 1
Можна за допомогою kubectl debug створити копію цього Podʼа з командою, заміненою на інтерактивну оболонку:
kubectl debug myapp -it --copy-to=myapp-debug --container=myapp -- sh
If you don't see a command prompt, try pressing enter.
/ #
Тепер у вас є інтерактивна оболонка, яку ви можете використовувати для виконання завдань, таких як перевірка шляхів файлової системи або виконання команди контейнера вручну.
Примітка:
- Щоб змінити команду для конкретного контейнера, вам потрібно вказати його назву за допомогою
--container, інакше kubectl debug створить новий контейнер для виконання вказаної вами команди. - Прапорець
-i стандартно змушує kubectl debug підʼєднатися до контейнера. Щоб цього уникнути, вкажіть --attach=false. Якщо сесію буде розірвано, можна знову підʼєднатися за допомогою kubectl attach.
Не забудьте прибрати Pod для налагодження, коли ви закінчите:
kubectl delete pod myapp myapp-debug
Копіювання Podʼа з заміною образів контейнерів
У деяких ситуаціях вам може знадобитися замінити звичайні робочі образи контейнерів Podʼа, що поводиться неправильно, на образ зі збіркою для налагодження або з додатковими утилітами.
Наприклад, створіть Pod за допомогою kubectl run:
kubectl run myapp --image=busybox:1.28 --restart=Never -- sleep 1d
Тепер за допомогою kubectl debug створіть копію та змініть її образ контейнера на ubuntu:
kubectl debug myapp --copy-to=myapp-debug --set-image=*=ubuntu
Синтаксис --set-image використовує той самий синтаксис container_name=image, що й kubectl set image. *=ubuntu означає зміну образу всіх контейнерів на ubuntu.
Не забудьте прибрати Pod для налагодження, коли ви закінчите:
kubectl delete pod myapp myapp-debug
Налагодження через оболонку на вузлі
Якщо жоден з цих підходів не працює, ви можете знайти вузол, на якому працює Pod, і створити Pod, який буде виконуватися на цьому вузлі. Щоб створити інтерактивну оболонку на вузлі за допомогою kubectl debug, виконайте:
kubectl debug node/mynode -it --image=ubuntu
Creating debugging pod node-debugger-mynode-pdx84 with container debugger on node mynode.
If you don't see a command prompt, try pressing enter.
root@ek8s:/#
Створюючи сесію налагодження на вузлі, памʼятайте, що:
kubectl debug автоматично генерує назву нового Podʼа на основі назви вузла.- Коренева файлова система вузла буде змонтована в
/host. - Контейнер працює в просторах імен IPC, Network і PID хоста, хоча Pod не привілейований, тому читання деякої інформації про процеси може не вдатися, і
chroot /host може не спрацювати. - Якщо вам потрібен привілейований Pod, створіть його вручну або використайте прапорець
--profile=sysadmin.
Не забудьте прибрати Pod для налагодження, коли ви закінчите з ним:
kubectl delete pod node-debugger-mynode-pdx84
Захоплення та аналіз трафіку вузла/Podʼа
Під час налагодження проблем з мережею захоплення та аналіз мережевого трафіку з вузлів/Podʼів може дати цінну інформацію про проблеми зі зʼєднанням, збої розвʼязання DNS або неочікувану поведінку мережі.
Ви можете використовувати kubectl debug з прапорцем --profile=sysadmin, щоб запускати інструменти захоплення мережевого трафіку на вузлі. Спочатку створіть сесію налагодження на вузлі, де працює ваш Pod:
kubectl debug --profile=sysadmin node/${NODE_NAME} -it --image=ubuntu:latest
Після входу в контейнер налагодження встановіть tcpdump і захопіть трафік на мережевих інтерфейсах вузла:
apt-get update && apt-get install -y tcpdump
tcpdump -i any -n
Примітка:
Не забудьте прибрати Pod для налагодження, коли ви закінчите з ним:
kubectl delete pod node-debugger-mynode-pdx84
Ви також можете захоплювати трафік з конкретного Podʼа:
kubectl debug --profile=sysadmin pod/${POD_NAME} -n ${NAMESPACE} -it --image=ubuntu:latest
Потім виконайте ту саму команду tcpdump у контейнері налагодження, щоб захопити трафік з мережевого простору імен Podʼа.
Налагодження Podʼа або вузла із застосуванням профілю
Коли ви використовуєте kubectl debug для налагодження вузла через Pod налагодження, Podʼа через ефемерний контейнер або скопійованого Podʼа, до них можна застосувати профіль. Застосування профілю встановлює певні властивості, такі як securityContext, що дає змогу пристосуватися до різних сценаріїв. Є два типи профілів: static і custom.
Застосування профілю static
Профіль static — це набір наперед визначених властивостей, які можна застосувати за допомогою прапорця --profile. Доступні такі профілі:
| Профіль | Опис |
|---|
| legacy | Набір властивостей для зворотної сумісності з поведінкою 1.22 |
| general | Обґрунтований набір загальних властивостей для будь-якого налагодження |
| baseline | Набір властивостей, сумісних з політикою baseline PodSecurityStandard |
| restricted | Набір властивостей, сумісних з політикою restricted PodSecurityStandard |
| netadmin | Набір властивостей, включаючи привілеї адміністратора мережі |
| sysadmin | Набір властивостей, включаючи привілеї системного адміністратора (root) |
Примітка:
Якщо ви не вкажете --profile, стандартно використовується профіль legacy, але його планується найближчим часом визнати застарілим. Тому рекомендується використовувати інші профілі, такі як general.Припустимо, що ви створюєте Pod і налагоджуєте його. Спочатку створіть Pod з назвою myapp, наприклад:
kubectl run myapp --image=busybox:1.28 --restart=Never -- sleep 1d
Потім налагодьте Pod за допомогою ефемерного контейнера. Якщо ефемерному контейнеру потрібні привілеї, можна використати профіль sysadmin:
kubectl debug -it myapp --image=busybox:1.28 --target=myapp --profile=sysadmin
Targeting container "myapp". If you don't see processes from this container it may be because the container runtime doesn't support this feature.
Defaulting debug container name to debugger-6kg4x.
If you don't see a command prompt, try pressing enter.
/ #
Перевірте можливості процесу ефемерного контейнера, виконавши таку команду в контейнері:
/ # grep Cap /proc/$$/status
...
CapPrm: 000001ffffffffff
CapEff: 000001ffffffffff
...
Це означає, що завдяки профілю sysadmin процесу контейнера надано всі можливості, як привілейованому контейнеру. Докладніше про можливості.
Ви також можете перевірити, що ефемерний контейнер був створений як привілейований контейнер:
kubectl get pod myapp -o jsonpath='{.spec.ephemeralContainers[0].securityContext}'
{"privileged":true}
Приберіть Pod, коли закінчите з ним:
Застосування профілю custom
СТАН ФУНКЦІОНАЛУ:
GA since Kubernetes v1.32
Можна визначити часткову специфікацію контейнера для налагодження як профіль custom у форматі YAML або JSON і застосувати його за допомогою прапорця --custom.
Примітка:
Профіль custom підтримує лише зміну специфікації контейнера, але зміни полів name, image, command, lifecycle і volumeDevices специфікації контейнера не дозволені. Зміну специфікації Podʼа він не підтримує.Створіть Pod з назвою myapp, наприклад:
kubectl run myapp --image=busybox:1.28 --restart=Never -- sleep 1d
Створіть профіль custom у форматі YAML або JSON. Тут створимо файл у форматі YAML з назвою custom-profile.yaml:
env:
- name: ENV_VAR_1
value: value_1
- name: ENV_VAR_2
value: value_2
securityContext:
capabilities:
add:
- NET_ADMIN
- SYS_TIME
Виконайте цю команду, щоб налагодити Pod за допомогою ефемерного контейнера з профілем custom:
kubectl debug -it myapp --image=busybox:1.28 --target=myapp --profile=general --custom=custom-profile.yaml
Можна перевірити, що ефемерний контейнер додано до цільового Podʼа із застосованим профілем custom:
kubectl get pod myapp -o jsonpath='{.spec.ephemeralContainers[0].env}'
[{"name":"ENV_VAR_1","value":"value_1"},{"name":"ENV_VAR_2","value":"value_2"}]
kubectl get pod myapp -o jsonpath='{.spec.ephemeralContainers[0].securityContext}'
{"capabilities":{"add":["NET_ADMIN","SYS_TIME"]}}
Закінчивши роботу, приберіть Pod:
4 - Усунення несправностей кластерів
Налагодження поширених проблем кластера.
Цей документ присвячено усуненню несправностей кластера; ми припускаємо, що ви вже виключили свій застосунок як першопричину проблеми, з якою стикаєтеся. Поради щодо налагодження застосунків дивіться в посібнику з усунення несправностей застосунків. Докладніше також дивіться загальний документ з усунення несправностей.
Про усунення несправностей kubectl дивіться Усунення несправностей kubectl.
Виведення інформації про кластер
Перше, що слід перевірити під час налагодження кластера, — чи всі ваші вузли зареєстровано правильно.
Виконайте таку команду:
І переконайтеся, що всі очікувані вузли присутні й перебувають у стані Ready.
Щоб отримати детальну інформацію про загальний стан вашого кластера, ви можете виконати:
kubectl cluster-info dump
Приклад: налагодження вимкненого/недоступного вузла
Іноді під час налагодження корисно переглянути стан вузла — наприклад, тому що ви помітили дивну поведінку Podʼа, який працює на вузлі, або щоб зʼясувати, чому Pod не призначається на вузол. Як і для Podʼів, для отримання детальної інформації про вузли можна використовувати kubectl describe node і kubectl get node -o yaml. Наприклад, ось що ви побачите, якщо вузол не працює (відʼєднаний від мережі, або kubelet завершився й не перезапускається тощо). Зверніть увагу на події, які показують, що вузол у стані NotReady, а також на те, що Podʼи більше не працюють (їх буде виселено після пʼяти хвилин у стані NotReady).
NAME STATUS ROLES AGE VERSION
kube-worker-1 NotReady <none> 1h v1.23.3
kubernetes-node-bols Ready <none> 1h v1.23.3
kubernetes-node-st6x Ready <none> 1h v1.23.3
kubernetes-node-unaj Ready <none> 1h v1.23.3
kubectl describe node kube-worker-1
Name: kube-worker-1
Roles: <none>
Labels: beta.kubernetes.io/arch=amd64
beta.kubernetes.io/os=linux
kubernetes.io/arch=amd64
kubernetes.io/hostname=kube-worker-1
kubernetes.io/os=linux
node.alpha.kubernetes.io/ttl: 0
volumes.kubernetes.io/controller-managed-attach-detach: true
CreationTimestamp: Thu, 17 Feb 2022 16:46:30 -0500
Taints: node.kubernetes.io/unreachable:NoExecute
node.kubernetes.io/unreachable:NoSchedule
Unschedulable: false
Lease:
HolderIdentity: kube-worker-1
AcquireTime: <unset>
RenewTime: Thu, 17 Feb 2022 17:13:09 -0500
Conditions:
Type Status LastHeartbeatTime LastTransitionTime Reason Message
---- ------ ----------------- ------------------ ------ -------
NetworkUnavailable False Thu, 17 Feb 2022 17:09:13 -0500 Thu, 17 Feb 2022 17:09:13 -0500 WeaveIsUp Weave pod has set this
MemoryPressure Unknown Thu, 17 Feb 2022 17:12:40 -0500 Thu, 17 Feb 2022 17:13:52 -0500 NodeStatusUnknown Kubelet stopped posting node status.
DiskPressure Unknown Thu, 17 Feb 2022 17:12:40 -0500 Thu, 17 Feb 2022 17:13:52 -0500 NodeStatusUnknown Kubelet stopped posting node status.
PIDPressure Unknown Thu, 17 Feb 2022 17:12:40 -0500 Thu, 17 Feb 2022 17:13:52 -0500 NodeStatusUnknown Kubelet stopped posting node status.
Ready Unknown Thu, 17 Feb 2022 17:12:40 -0500 Thu, 17 Feb 2022 17:13:52 -0500 NodeStatusUnknown Kubelet stopped posting node status.
Addresses:
InternalIP: 192.168.0.113
Hostname: kube-worker-1
Capacity:
cpu: 2
ephemeral-storage: 15372232Ki
hugepages-2Mi: 0
memory: 2025188Ki
pods: 110
Allocatable:
cpu: 2
ephemeral-storage: 14167048988
hugepages-2Mi: 0
memory: 1922788Ki
pods: 110
System Info:
Machine ID: 9384e2927f544209b5d7b67474bbf92b
System UUID: aa829ca9-73d7-064d-9019-df07404ad448
Boot ID: 5a295a03-aaca-4340-af20-1327fa5dab5c
Kernel Version: 5.13.0-28-generic
OS Image: Ubuntu 21.10
Operating System: linux
Architecture: amd64
Container Runtime Version: containerd://1.5.9
Kubelet Version: v1.23.3
Kube-Proxy Version: v1.23.3
Non-terminated Pods: (4 in total)
Namespace Name CPU Requests CPU Limits Memory Requests Memory Limits Age
--------- ---- ------------ ---------- --------------- ------------- ---
default nginx-deployment-67d4bdd6f5-cx2nz 500m (25%) 500m (25%) 128Mi (6%) 128Mi (6%) 23m
default nginx-deployment-67d4bdd6f5-w6kd7 500m (25%) 500m (25%) 128Mi (6%) 128Mi (6%) 23m
kube-system kube-proxy-dnxbz 0 (0%) 0 (0%) 0 (0%) 0 (0%) 28m
kube-system weave-net-gjxxp 100m (5%) 0 (0%) 200Mi (10%) 0 (0%) 28m
Allocated resources:
(Total limits may be over 100 percent, i.e., overcommitted.)
Resource Requests Limits
-------- -------- ------
cpu 1100m (55%) 1 (50%)
memory 456Mi (24%) 256Mi (13%)
ephemeral-storage 0 (0%) 0 (0%)
hugepages-2Mi 0 (0%) 0 (0%)
Events:
...
kubectl get node kube-worker-1 -o yaml
apiVersion: v1
kind: Node
metadata:
annotations:
node.alpha.kubernetes.io/ttl: "0"
volumes.kubernetes.io/controller-managed-attach-detach: "true"
creationTimestamp: "2022-02-17T21:46:30Z"
labels:
beta.kubernetes.io/arch: amd64
beta.kubernetes.io/os: linux
kubernetes.io/arch: amd64
kubernetes.io/hostname: kube-worker-1
kubernetes.io/os: linux
name: kube-worker-1
resourceVersion: "4026"
uid: 98efe7cb-2978-4a0b-842a-1a7bf12c05f8
spec: {}
status:
addresses:
- address: 192.168.0.113
type: InternalIP
- address: kube-worker-1
type: Hostname
allocatable:
cpu: "2"
ephemeral-storage: "14167048988"
hugepages-2Mi: "0"
memory: 1922788Ki
pods: "110"
capacity:
cpu: "2"
ephemeral-storage: 15372232Ki
hugepages-2Mi: "0"
memory: 2025188Ki
pods: "110"
conditions:
- lastHeartbeatTime: "2022-02-17T22:20:32Z"
lastTransitionTime: "2022-02-17T22:20:32Z"
message: Weave pod has set this
reason: WeaveIsUp
status: "False"
type: NetworkUnavailable
- lastHeartbeatTime: "2022-02-17T22:20:15Z"
lastTransitionTime: "2022-02-17T22:13:25Z"
message: kubelet has sufficient memory available
reason: KubeletHasSufficientMemory
status: "False"
type: MemoryPressure
- lastHeartbeatTime: "2022-02-17T22:20:15Z"
lastTransitionTime: "2022-02-17T22:13:25Z"
message: kubelet has no disk pressure
reason: KubeletHasNoDiskPressure
status: "False"
type: DiskPressure
- lastHeartbeatTime: "2022-02-17T22:20:15Z"
lastTransitionTime: "2022-02-17T22:13:25Z"
message: kubelet has sufficient PID available
reason: KubeletHasSufficientPID
status: "False"
type: PIDPressure
- lastHeartbeatTime: "2022-02-17T22:20:15Z"
lastTransitionTime: "2022-02-17T22:15:15Z"
message: kubelet is posting ready status
reason: KubeletReady
status: "True"
type: Ready
daemonEndpoints:
kubeletEndpoint:
Port: 10250
nodeInfo:
architecture: amd64
bootID: 22333234-7a6b-44d4-9ce1-67e31dc7e369
containerRuntimeVersion: containerd://1.5.9
kernelVersion: 5.13.0-28-generic
kubeProxyVersion: v1.23.3
kubeletVersion: v1.23.3
machineID: 9384e2927f544209b5d7b67474bbf92b
operatingSystem: linux
osImage: Ubuntu 21.10
systemUUID: aa829ca9-73d7-064d-9019-df07404ad448
Аналіз логів
Наразі для глибшого дослідження кластера потрібно входити на відповідні машини. Ось розташування відповідних файлів логів. У системах на основі systemd замість перегляду файлів логів може знадобитися journalctl.
Вузли панелі управління
/var/log/kube-apiserver.log — API-сервер, відповідальний за обслуговування API/var/log/kube-scheduler.log — планувальник, відповідальний за ухвалення рішень щодо планування/var/log/kube-controller-manager.log — компонент, який запускає більшість вбудованих контролерів Kubernetes, за помітним винятком планування (плануванням займається kube-scheduler).
Робочі вузли
/var/log/kubelet.log — логи kubelet, відповідального за запуск контейнерів на вузлі/var/log/kube-proxy.log — логи kube-proxy, відповідального за спрямування трафіку до точок доступу Service
Режими відмови кластера
Це неповний перелік того, що може піти не так, і того, як змінити налаштування кластера, щоб помʼякшити проблеми.
Причини відмов
- Вимкнення віртуальних машин
- Розділення мережі всередині кластера або між кластером і користувачами
- Збої програмного забезпечення Kubernetes
- Втрата даних або недоступність постійного сховища (наприклад, томів GCE PD або AWS EBS)
- Помилка оператора, наприклад, неправильно налаштоване програмне забезпечення Kubernetes або застосунків
Конкретні сценарії
- Вимкнення віртуальної машини API-сервера або збій apiserver
- Результати
- не вдається зупинити, оновити чи запустити нові Podʼи, Service, ReplicationController
- наявні Podʼи та Service мають і далі працювати нормально, якщо вони не залежать від API Kubernetes
- Втрата сховища, що лежить в основі API-сервера
- Результати
- компонент kube-apiserver не може успішно запуститися й стати справним
- kubelet не зможуть звʼязатися з ним, але й далі запускатимуть ті самі Podʼи та забезпечуватимуть те саме проксіювання Service
- перед перезапуском apiserver необхідно вручну відновити або відтворити його стан
- Вимкнення віртуальних машин або збої допоміжних сервісів (контролер вузлів, менеджер контролерів реплікації, планувальник тощо)
- наразі вони розміщені разом з apiserver, і їхня недоступність має схожі наслідки, як і недоступність apiserver
- у майбутньому вони також будуть репліковані й можуть розміщуватися окремо
- вони не мають власного постійного стану
- Вимкнення окремого вузла (віртуальної або фізичної машини)
- Результати
- Podʼи на цьому вузлі припиняють роботу
- Розділення мережі
- Результати
- розділ A вважає, що вузли в розділі B не працюють; розділ B вважає, що не працює apiserver. (За умови, що master VM опиниться в розділі A.)
- Збій програмного забезпечення kubelet
- Результати
- kubelet, що аварійно завершився, не може запускати нові Podʼи на вузлі
- kubelet може видаляти Podʼи або ні
- вузол позначається як несправний
- ReplicationController запускають нові Podʼи в інших місцях
- Помилка оператора кластера
- Результати
- втрата Podʼів, Service тощо
- втрата сховища, що лежить в основі apiserver
- користувачі не можуть читати API
- тощо
Помʼякшення
Дія: використовуйте можливість автоматичного перезапуску віртуальних машин IaaS-провайдера для віртуальних машин IaaS
- Помʼякшує: вимкнення віртуальної машини apiserver або збій apiserver
- Помʼякшує: вимкнення віртуальних машин або збої допоміжних сервісів
Дія: використовуйте надійне сховище IaaS-провайдера (наприклад, томи GCE PD або AWS EBS) для віртуальних машин з apiserver+etcd
- Помʼякшує: втрату сховища, що лежить в основі apiserver
Дія: використовуйте конфігурацію з високою доступністю
- Помʼякшує: вимкнення вузла панелі управління або збої компонентів панелі управління (планувальник, API-сервер, controller-manager)
- Витримує одну або кілька одночасних відмов вузлів чи компонентів
- Помʼякшує: втрату сховища, що лежить в основі API-сервера (тобто теки даних etcd)
- Передбачає конфігурацію etcd з високою доступністю (HA)
Дія: регулярно створюйте знімки томів PD/EBS apiserver
- Помʼякшує: втрату сховища, що лежить в основі apiserver
- Помʼякшує: деякі випадки помилок оператора
- Помʼякшує: деякі випадки збоїв програмного забезпечення Kubernetes
Дія: використовуйте ReplicationController і Service перед Podʼами
- Помʼякшує: вимкнення вузла
- Помʼякшує: збій програмного забезпечення kubelet
Дія: застосунки (контейнери), спроєктовані так, щоб витримувати неочікувані перезапуски
- Помʼякшує: вимкнення вузла
- Помʼякшує: збій програмного забезпечення kubelet
Що далі
4.1 - Конвеєр метрик ресурсів
Для Kubernetes Metrics API пропонує базовий набір метрик для підтримки автоматичного масштабування та подібних випадків використання. Це API робить доступною інформацію про використання ресурсів вузлами й Podʼами, зокрема метрики CPU та памʼяті. Якщо ви розгорнете Metrics API у своєму кластері, клієнти API Kubernetes зможуть запитувати цю інформацію, а ви зможете використовувати механізми контролю доступу Kubernetes для керування дозволами на це.
HorizontalPodAutoscaler (HPA) і VerticalPodAutoscaler (VPA) використовують дані з Metrics API, щоб коригувати кількість реплік і ресурси робочих навантажень відповідно до попиту користувачів.
Ви також можете переглядати метрики ресурсів, використовуючи команду kubectl top.
Примітка:
Metrics API та конвеєр метрик, який воно уможливлює, надають лише мінімальний набір метрик CPU та памʼяті для автоматичного масштабування за допомогою HPA та / або VPA. Якщо ви хочете надати повніший набір метрик, ви можете доповнити простіший Metrics API, розгорнувши другий
конвеєр метрик, який використовує
Custom Metrics API.
Схема 1 ілюструє архітектуру конвеєра метрик ресурсів.
flowchart RL
subgraph cluster[Кластер]
direction RL
S[
]
A[Сервер-
метрик]
subgraph B[Вузли]
direction TB
D[cAdvisor] --> C[kubelet]
E[Середовище
виконання
контейнерів] --> D
E1[Середовище
виконання
контейнерів] --> D
P[Дані Podʼа] -.- C
end
L[API-сервер]
W[HPA]
C ---->|метрики ресурсів
на рівні вузла| A -->|Metrics
API| L --> W
end
L ---> K[kubectl
top]
classDef box fill:#fff,stroke:#000,stroke-width:1px,color:#000;
class W,B,P,K,cluster,D,E,E1 box
classDef spacewhite fill:#ffffff,stroke:#fff,stroke-width:0px,color:#000
class S spacewhite
classDef k8s fill:#326ce5,stroke:#fff,stroke-width:1px,color:#fff;
class A,L,C k8s
Схема 1. Конвеєр метрик ресурсів
Компоненти архітектури, справа наліво на схемі, такі:
cAdvisor: демон, вбудований у kubelet, для збирання, агрегування та надання метрик контейнерів.
kubelet: агент вузла для керування ресурсами контейнерів. Метрики ресурсів доступні через точки доступу API kubelet /metrics/resource і /stats.
метрики ресурсів на рівні вузла: API, який надає kubelet для виявлення й отримання підсумкової статистики по вузлу, доступної через точку доступу /metrics/resource.
metrics-server: компонент-надбудова кластера, який збирає й агрегує метрики ресурсів, отримані від кожного kubelet. API-сервер обслуговує Metrics API для HPA, VPA і команди kubectl top. Metrics Server — це еталонна реалізація Metrics API.
Metrics API: API Kubernetes, що надає доступ до даних про CPU та памʼять, які використовуються для автомасштабування робочих навантажень. Щоб це працювало у вашому кластері, потрібен API-сервер розширення, який надає Metrics API.
Примітка:
cAdvisor підтримує читання метрик з cgroups, що працює зі звичайними середовищами виконання контейнерів у Linux. Якщо ви використовуєте середовище виконання контейнерів з іншим механізмом ізоляції ресурсів, наприклад віртуалізацією, це середовище виконання контейнерів має підтримувати
метрики контейнерів CRI, щоб метрики були доступні kubelet.
Metrics API
СТАН ФУНКЦІОНАЛУ:
GA since Kubernetes v1.37
Metrics-server реалізує Metrics API. Це API дає змогу отримати дані про використання CPU та памʼяті вузлами й Podʼами вашого кластера. Його основна роль — передавати метрики використання ресурсів компонентам автомасштабування K8s.
Ось приклад запиту до Metrics API для вузла minikube, обробленого через jq для зручного перегляду:
kubectl get --raw "/apis/metrics.k8s.io/v1/nodes/minikube" | jq '.'
Той самий виклик API за допомогою curl:
curl http://localhost:8080/apis/metrics.k8s.io/v1/nodes/minikube
Приклад відповіді:
{
"kind": "NodeMetrics",
"apiVersion": "metrics.k8s.io/v1",
"metadata": {
"name": "minikube",
"selfLink": "/apis/metrics.k8s.io/v1/nodes/minikube",
"creationTimestamp": "2022-01-27T18:48:43Z"
},
"timestamp": "2022-01-27T18:48:33Z",
"window": "30s",
"usage": {
"cpu": "487558164n",
"memory": "732212Ki"
}
}
Ось приклад запиту до Metrics API для Podʼа kube-scheduler-minikube у просторі імен kube-system, обробленого через jq для зручного перегляду:
kubectl get --raw "/apis/metrics.k8s.io/v1/namespaces/kube-system/pods/kube-scheduler-minikube" | jq '.'
Той самий виклик API за допомогою curl:
curl http://localhost:8080/apis/metrics.k8s.io/v1/namespaces/kube-system/pods/kube-scheduler-minikube
Приклад відповіді:
{
"kind": "PodMetrics",
"apiVersion": "metrics.k8s.io/v1",
"metadata": {
"name": "kube-scheduler-minikube",
"namespace": "kube-system",
"selfLink": "/apis/metrics.k8s.io/v1/namespaces/kube-system/pods/kube-scheduler-minikube",
"creationTimestamp": "2022-01-27T19:25:00Z"
},
"timestamp": "2022-01-27T19:24:31Z",
"window": "30s",
"containers": [
{
"name": "kube-scheduler",
"usage": {
"cpu": "9559630n",
"memory": "22244Ki"
}
}
]
}
Metrics API визначено в репозиторії k8s.io/metrics. Вам потрібно увімкнути шар агрегації API та зареєструвати APIService для API metrics.k8s.io.
Щоб дізнатися більше про Metrics API, дивіться дизайн API метрик ресурсів, репозиторій metrics-server і API метрик ресурсів.
Примітка:
Щоб отримати доступ до Metrics API, потрібно розгорнути metrics-server або інший адаптер, який його надає.Вимірювання використання ресурсів
CPU
CPU відображається як середнє використання ядер, виміряне в одиницях CPU. Один CPU у Kubernetes еквівалентний 1 vCPU/ядру в хмарних провайдерів і 1 гіперпотоку на процесорах Intel на bare-metal.
Це значення отримують, обчислюючи швидкість зміни накопичувального лічильника CPU, який надає ядро (і в Linux, і в Windows). Часове вікно, використане для обчислення CPU, показано в полі window у Metrics API.
Щоб дізнатися більше про те, як Kubernetes розподіляє та вимірює ресурси CPU, дивіться значення CPU.
Памʼять
Памʼять відображається як робочий набір, виміряний у байтах, у момент збору метрики.
В ідеальному світі "робочий набір" — це обсяг памʼяті, що використовується й не може бути звільнений за умов тиску на памʼять. Однак обчислення робочого набору залежить від ОС хоста й, як правило, значною мірою покладається на евристики для отримання оцінки.
Модель Kubernetes для робочого набору контейнера очікує, що середовище виконання контейнерів враховує анонімну памʼять, повʼязану з відповідним контейнером. Метрика робочого набору зазвичай також включає деяку кешовану памʼять (file-backed), оскільки ОС хоста не завжди може звільнити сторінки.
Щоб дізнатися більше про те, як Kubernetes розподіляє та вимірює ресурси памʼяті, дивіться значення памʼяті.
Metrics Server
Metrics-server отримує метрики ресурсів від kubelet і надає їх через Metrics API на API-сервері Kubernetes для використання HPA та VPA. Ці метрики також можна переглядати командою kubectl top.
Metrics-server використовує API Kubernetes для відстеження вузлів і Podʼів у вашому кластері. Metrics-server запитує кожен вузол через HTTP, щоб отримати метрики. Metrics-server також будує внутрішнє подання метаданих Podʼів і зберігає кеш стану справності Podʼів. Ця кешована інформація про стан справності Podʼів доступна через API розширення, яке надає metrics-server.
Наприклад, для запиту HPA metrics-server має визначити, які Podʼи відповідають селекторам міток у Deployment.
Metrics-server викликає API kubelet для збору метрик з кожного вузла. Залежно від версії metrics-server використовується:
- Точка доступу ресурсів метрик
/metrics/resource у версії v0.6.0+ або - Точка доступу Summary API
/stats/summary у старіших версіях
Що далі
Щоб дізнатися більше про metrics-server, перегляньте репозиторій metrics-server.
Також можна переглянути таке:
Щоб дізнатися про те, як kubelet надає метрики вузла, і як ви можете отримати до них доступ через API Kubernetes, прочитайте Дані метрик вузлів.
4.2 - Відстеження стану вузлів
Node Problem Detector — це демон для моніторингу стану вузла та звітування про нього. Node Problem Detector можна запустити як DaemonSet або як окремий демон. Node Problem Detector збирає інформацію про проблеми вузла з різних демонів і повідомляє про ці стани API-серверу як стани вузла або як події.
Щоб дізнатися, як встановити й використовувати Node Problem Detector, дивіться документацію проєкту Node Problem Detector.
Перш ніж ви розпочнете
Вам треба мати кластер Kubernetes, а також інструмент командного рядка kubectl має бути налаштований для роботи з вашим кластером. Рекомендується виконувати ці настанови у кластері, що має щонайменше два вузли, які не виконують роль вузлів управління. Якщо у вас немає кластера, ви можете створити його, за допомогою minikube або використовувати одну з цих пісочниць:
Обмеження
Увімкнення Node Problem Detector
Деякі хмарні постачальники вмикають Node Problem Detector як надбудову. Ви також можете увімкнути Node Problem Detector за допомогою kubectl або створивши DaemonSet надбудови.
Використання kubectl для увімкнення Node Problem Detector
kubectl дає найгнучкіше керування Node Problem Detector. Ви можете перезаписати стандартну конфігурацію, щоб пристосувати її до свого середовища або виявляти власні проблеми вузла. Наприклад:
Створіть конфігурацію Node Problem Detector, аналогічну node-problem-detector.yaml:
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: node-problem-detector-v0.1
namespace: kube-system
labels:
k8s-app: node-problem-detector
version: v0.1
kubernetes.io/cluster-service: "true"
spec:
selector:
matchLabels:
k8s-app: node-problem-detector
version: v0.1
kubernetes.io/cluster-service: "true"
template:
metadata:
labels:
k8s-app: node-problem-detector
version: v0.1
kubernetes.io/cluster-service: "true"
spec:
hostNetwork: true
containers:
- name: node-problem-detector
image: registry.k8s.io/node-problem-detector:v0.1
securityContext:
privileged: true
resources:
limits:
cpu: "200m"
memory: "100Mi"
requests:
cpu: "20m"
memory: "20Mi"
volumeMounts:
- name: log
mountPath: /log
readOnly: true
volumes:
- name: log
hostPath:
path: /var/log/
Примітка:
Перевірте, чи тека системного логу правильна для дистрибутиву вашої операційної системи.Запустіть Node Problem Detector за допомогою kubectl:
kubectl apply -f https://k8s.io/examples/debug/node-problem-detector.yaml
Використання Podʼа надбудови для увімкнення Node Problem Detector
Якщо ви використовуєте власне рішення для початкового налаштування кластера й вам не потрібно перезаписувати стандартну конфігурацію, ви можете скористатися Podʼом надбудови, щоб ще більше автоматизувати розгортання.
Створіть node-problem-detector.yaml та збережіть конфігурацію в теці Podʼа надбудови /etc/kubernetes/addons/node-problem-detector на вузлі панелі управління.
Перезапис конфігурації
Стандартна конфігурація вбудовується під час збирання Docker-образу Node Problem Detector.
Однак ви можете використовувати ConfigMap для перезапису конфігурації:
Змініть файли конфігурації в config/.
Створіть ConfigMap node-problem-detector-config:
kubectl create configmap node-problem-detector-config --from-file=config/
Змініть node-problem-detector.yaml, щоб використовувати ConfigMap:
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: node-problem-detector-v0.1
namespace: kube-system
labels:
k8s-app: node-problem-detector
version: v0.1
kubernetes.io/cluster-service: "true"
spec:
selector:
matchLabels:
k8s-app: node-problem-detector
version: v0.1
kubernetes.io/cluster-service: "true"
template:
metadata:
labels:
k8s-app: node-problem-detector
version: v0.1
kubernetes.io/cluster-service: "true"
spec:
hostNetwork: true
containers:
- name: node-problem-detector
image: registry.k8s.io/node-problem-detector:v0.1
securityContext:
privileged: true
resources:
limits:
cpu: "200m"
memory: "100Mi"
requests:
cpu: "20m"
memory: "20Mi"
volumeMounts:
- name: log
mountPath: /log
readOnly: true
- name: config # Overwrite the config/ directory with ConfigMap volume
mountPath: /config
readOnly: true
volumes:
- name: log
hostPath:
path: /var/log/
- name: config # Define ConfigMap volume
configMap:
name: node-problem-detector-config
Перестворіть Node Problem Detector з новим файлом конфігурації:
# Якщо у вас працює node-problem-detector, видаліть його перед перестворенням
kubectl delete -f https://k8s.io/examples/debug/node-problem-detector.yaml
kubectl apply -f https://k8s.io/examples/debug/node-problem-detector-configmap.yaml
Примітка:
Цей підхід застосовується тільки до Node Problem Detector, запущеного за допомогою kubectl.Перезапис конфігурації не підтримується, якщо Node Problem Detector працює як надбудова кластера. Менеджер надбудов не підтримує ConfigMap.
Демони проблем
Демон проблем — це піддемон Node Problem Detector. Він моніторить певні види проблем вузла та повідомляє про них Node Problem Detector. Існує кілька типів підтримуваних демонів проблем.
Демон типу SystemLogMonitor відстежує системні логи й повідомляє про проблеми та метрики згідно з попередньо визначеними правилами. Ви можете налаштувати конфігурації для різних джерел логів, таких як filelog, kmsg, kernel, abrt і systemd.
Демон типу SystemStatsMonitor збирає різні системні статистичні дані, повʼязані зі справністю, як метрики. Його поведінку можна налаштувати, оновивши його файл конфігурації.
Демон типу CustomPluginMonitor викликає та перевіряє різні проблеми вузла, запускаючи сценарії, визначені користувачем. Ви можете використовувати різні власні втулки моніторингу для відстеження різних проблем і налаштовувати поведінку демона, оновивши файл конфігурації.
Демон типу HealthChecker перевіряє справність kubelet і середовища виконання контейнерів на вузлі.
Монітор системного логу наразі підтримує файлові логи, journald та kmsg. Додаткові джерела можна додати, реалізувавши новий спостерігач за логами.
Додавання власних втулків моніторингу
Ви можете розширити Node Problem Detector, щоб він виконував будь-які сценарії моніторингу, написані будь-якою мовою, розробивши власний втулок. Сценарії моніторингу мають відповідати протоколу втулка щодо коду виходу та стандартного виводу. Докладніше дивіться пропозицію інтерфейсу втулка.
Експортер
Експортер повідомляє про проблеми та/або метрики вузлів певним бекендам. Підтримуються такі експортери:
Експортер Kubernetes: цей експортер повідомляє про проблеми вузлів API-серверу Kubernetes. Тимчасові проблеми повідомляються як події (Events), а постійні — як стани вузла (Node Conditions).
Експортер Prometheus: цей експортер локально повідомляє про проблеми вузлів і метрики як метрики Prometheus (або OpenMetrics). IP-адресу й порт експортера можна вказати аргументами командного рядка.
Експортер Stackdriver: цей експортер повідомляє про проблеми вузлів і метрики до Stackdriver Monitoring API. Поведінку експорту можна налаштувати за допомогою файлу конфігурації.
Рекомендації та обмеження
Рекомендується запускати Node Problem Detector у кластері для моніторингу стану вузлів. Під час роботи Node Problem Detector можна очікувати додаткових витрат ресурсів на кожному вузлі. Зазвичай це прийнятно, оскільки:
- Лог ядра росте відносно повільно.
- Для Node Problem Detector встановлено обмеження ресурсів.
- Навіть під високим навантаженням використання ресурсів прийнятне. Докладніше дивіться результати бенчмарку Node Problem Detector.
4.3 - Налагодження вузлів Kubernetes за допомогою crictl
СТАН ФУНКЦІОНАЛУ:
GA since Kubernetes v1.11
crictl — це інтерфейс командного рядка для середовищ виконання контейнерів, сумісних з CRI. За його допомогою можна оглядати й налагоджувати середовища виконання контейнерів і застосунки на вузлі Kubernetes. crictl і його вихідний код розміщено в репозиторії cri-tools.
Перш ніж ви розпочнете
Для роботи crictl потрібна операційна система Linux із середовищем виконання CRI.
Встановлення crictl
Стиснений архів crictl для кількох різних архітектур можна завантажити зі сторінки релізів cri-tools. Завантажте версію, яка відповідає вашій версії Kubernetes. Розпакуйте архів і перемістіть crictl у теку з вашого системного шляху, наприклад /usr/local/bin/.
Загальне використання
Команда crictl має кілька підкоманд і прапорців середовища виконання. Докладніше дивіться crictl help або crictl <subcommand> help.
Точку доступу для crictl можна встановити одним із таких способів:
- Встановіть прапорці
--runtime-endpoint та --image-endpoint. - Встановіть змінні середовища
CONTAINER_RUNTIME_ENDPOINT та IMAGE_SERVICE_ENDPOINT. - Встановіть точку доступу у файлі конфігурації
/etc/crictl.yaml. Щоб вказати інший файл, використовуйте прапорець --config=PATH_TO_FILE під час запуску crictl.
Примітка:
Якщо ви не встановите точку доступу, crictl намагатиметься підʼєднатися до відомих точок доступу зі списку, що може вплинути на продуктивність.Також можна вказати тайм-аут підʼєднання до сервера й увімкнути або вимкнути налагодження, задавши значення timeout або debug у файлі конфігурації або використавши прапорці командного рядка --timeout і --debug.
Щоб переглянути або змінити поточну конфігурацію, перегляньте або відредагуйте вміст /etc/crictl.yaml. Наприклад, з середовищем виконання контейнерів containerd конфігурація буде схожа на таку:
runtime-endpoint: unix:///var/run/containerd/containerd.sock
image-endpoint: unix:///var/run/containerd/containerd.sock
timeout: 10
debug: true
Щоб дізнатися більше про crictl, зверніться до документації crictl.
Приклади команд crictl
Наведені нижче приклади показують деякі команди crictl і приклади їхнього виводу.
Отримання переліку Podʼів
Вивести всі Podʼи:
Вивід подібний до такого:
POD ID CREATED STATE NAME NAMESPACE ATTEMPT
926f1b5a1d33a About a minute ago Ready sh-84d7dcf559-4r2gq default 0
4dccb216c4adb About a minute ago Ready nginx-65899c769f-wv2gp default 0
a86316e96fa89 17 hours ago Ready kube-proxy-gblk4 kube-system 0
919630b8f81f1 17 hours ago Ready nvidia-device-plugin-zgbbv kube-system 0
Вивести Podʼи за назвою:
crictl pods --name nginx-65899c769f-wv2gp
Вивід подібний до такого:
POD ID CREATED STATE NAME NAMESPACE ATTEMPT
4dccb216c4adb 2 minutes ago Ready nginx-65899c769f-wv2gp default 0
Вивести Podʼи за міткою:
crictl pods --label run=nginx
Вивід подібний до такого:
POD ID CREATED STATE NAME NAMESPACE ATTEMPT
4dccb216c4adb 2 minutes ago Ready nginx-65899c769f-wv2gp default 0
Отримання переліку образів
Вивести всі образи:
Вивід подібний до такого:
IMAGE TAG IMAGE ID SIZE
busybox latest 8c811b4aec35f 1.15MB
k8s-gcrio.azureedge.net/hyperkube-amd64 v1.10.3 e179bbfe5d238 665MB
k8s-gcrio.azureedge.net/pause-amd64 3.1 da86e6ba6ca19 742kB
nginx latest cd5239a0906a6 109MB
Вивести образи за репозиторієм:
Вивід подібний до такого:
IMAGE TAG IMAGE ID SIZE
nginx latest cd5239a0906a6 109MB
Вивести лише ідентифікатори образів:
Вивід подібний до такого:
sha256:8c811b4aec35f259572d0f79207bc0678df4c736eeec50bc9fec37ed936a472a
sha256:e179bbfe5d238de6069f3b03fccbecc3fb4f2019af741bfff1233c4d7b2970c5
sha256:da86e6ba6ca197bf6bc5e9d900febd906b133eaa4750e6bed647b0fbe50ed43e
sha256:cd5239a0906a6ccf0562354852fae04bc5b52d72a2aff9a871ddb6bd57553569
Отримання переліку контейнерів
Вивести всі контейнери:
Вивід подібний до такого:
CONTAINER ID IMAGE CREATED STATE NAME ATTEMPT
1f73f2d81bf98 busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47 7 minutes ago Running sh 1
9c5951df22c78 busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47 8 minutes ago Exited sh 0
87d3992f84f74 nginx@sha256:d0a8828cccb73397acb0073bf34f4d7d8aa315263f1e7806bf8c55d8ac139d5f 8 minutes ago Running nginx 0
1941fb4da154f k8s-gcrio.azureedge.net/hyperkube-amd64@sha256:00d814b1f7763f4ab5be80c58e98140dfc69df107f253d7fdd714b30a714260a 18 hours ago Running kube-proxy 0
Вивести запущені контейнери:
Вивід подібний до такого:
CONTAINER ID IMAGE CREATED STATE NAME ATTEMPT
1f73f2d81bf98 busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47 6 minutes ago Running sh 1
87d3992f84f74 nginx@sha256:d0a8828cccb73397acb0073bf34f4d7d8aa315263f1e7806bf8c55d8ac139d5f 7 minutes ago Running nginx 0
1941fb4da154f k8s-gcrio.azureedge.net/hyperkube-amd64@sha256:00d814b1f7763f4ab5be80c58e98140dfc69df107f253d7fdd714b30a714260a 17 hours ago Running kube-proxy 0
Виконання команди в запущеному контейнері
crictl exec -i -t 1f73f2d81bf98 ls
Вивід подібний до такого:
bin dev etc home proc root sys tmp usr var
Отримання логів контейнера
Отримати всі логи контейнера:
crictl logs 87d3992f84f74
Вивід подібний до такого:
10.240.0.96 - - [06/Jun/2018:02:45:49 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
10.240.0.96 - - [06/Jun/2018:02:45:50 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
10.240.0.96 - - [06/Jun/2018:02:45:51 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
Отримати лише останні N рядків логів:
crictl logs --tail=1 87d3992f84f74
Вивід подібний до такого:
10.240.0.96 - - [06/Jun/2018:02:45:51 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
Що далі
4.4 - Аудит
Аудит Kubernetes надає важливий для безпеки хронологічний набір записів, що документують послідовність дій у кластері. Кластер проводить аудит дій, ініційованих користувачами, застосунками, які використовують API Kubernetes, і самою панеллю управління.
Аудит дає змогу адміністраторам кластера відповісти на такі запитання:
- що сталося?
- коли це сталося?
- хто це ініціював?
- з чим це сталося?
- де це було помічено?
- звідки це було ініційовано?
- куди це прямувало?
Записи аудиту починають свій життєвий цикл у компоненті kube-apiserver. Кожен запит на кожному етапі виконання генерує подію аудиту, яку потім попередньо обробляють відповідно до певної політики й записують у бекенд. Політика визначає, що записується, а бекенди зберігають записи. Поточні реалізації бекендів — файли логів і вебхуки.
Кожен запит можна записати з відповідним етапом (stage). Визначено такі етапи:
RequestReceived — етап для подій, що генеруються, щойно обробник аудиту отримує запит, і до того, як запит передано далі ланцюжком обробників.ResponseStarted — після надсилання заголовків відповіді, але до надсилання тіла відповіді. Цей етап генерується лише для тривалих запитів (наприклад, watch).ResponseComplete — тіло відповіді завершено, і більше жодних байтів не буде надіслано.Panic — події, що генеруються, коли сталася паніка.
Можливість логування аудиту збільшує споживання памʼяті API-сервером, оскільки для кожного запиту зберігається певний контекст, потрібний для аудиту. Споживання памʼяті залежить від конфігурації логування аудиту.
Політика аудиту
Політика аудиту визначає правила щодо того, які події слід записувати і які дані вони мають містити. Структуру обʼєкта політики аудиту визначено в групі API audit.k8s.io. Під час обробки подію по черзі порівнюють зі списком правил. Перше правило, що збіглося, встановлює рівень аудиту події. Визначено такі рівні аудиту:
None — не записувати події, які відповідають цьому правилу.Metadata — записувати події з метаданими (користувач, що надіслав запит, часова мітка, ресурс, дієслово тощо), але без тіла запиту чи відповіді.Request — записувати події з метаданими й тілом запиту, але без тіла відповіді. Це не стосується запитів, не повʼязаних з ресурсами.RequestResponse — записувати події з метаданими запиту, тілом запиту й тілом відповіді. Це не стосується запитів, не повʼязаних з ресурсами.
Файл з політикою можна передати kube-apiserver за допомогою прапорця --audit-policy-file. Якщо прапорець пропущено, жодні події не записуються. Зверніть увагу, що поле rules обовʼязково має бути у файлі політики аудиту. Політика без правил (0) вважається неприпустимою.
Нижче наведено приклад файлу політики аудиту:
apiVersion: audit.k8s.io/v1 # Це обовʼязково.
kind: Policy
# Не генерувати події аудиту для всіх запитів на етапі RequestReceived.
omitStages:
- "RequestReceived"
rules:
# Логувати зміни Podʼів на рівні RequestResponse
- level: RequestResponse
resources:
- group: ""
# Ресурс "pods" не охоплює запити до будь-якого субресурсу Podʼів,
# що узгоджується з політикою RBAC.
resources: ["pods"]
# Логувати "pods/log", "pods/status" на рівні Metadata
- level: Metadata
resources:
- group: ""
resources: ["pods/log", "pods/status"]
# Не логувати запити до ConfigMap з назвою "controller-leader"
- level: None
resources:
- group: ""
resources: ["configmaps"]
resourceNames: ["controller-leader"]
# Не логувати watch-запити від "system:kube-proxy" до endpoints або services
- level: None
users: ["system:kube-proxy"]
verbs: ["watch"]
resources:
- group: "" # основна група API
resources: ["endpoints", "services"]
# Не логувати автентифіковані запити до певних URL-шляхів, що не є ресурсами.
- level: None
userGroups: ["system:authenticated"]
nonResourceURLs:
- "/api*" # Зіставлення за шаблоном.
- "/version"
# Логувати тіло запитів на зміну ConfigMap у kube-system.
- level: Request
resources:
- group: "" # основна група API
resources: ["configmaps"]
# Це правило застосовується тільки до ресурсів в просторі імен "kube-system".
# Порожній рядок "" можна використовувати для вибору ресурсів без простору імен.
namespaces: ["kube-system"]
# Логувати зміни ConfigMap і Secret у всіх інших просторах імен на рівні Metadata.
- level: Metadata
resources:
- group: "" # основна група API
resources: ["secrets", "configmaps"]
# Логувати всі інші ресурси в групах core та extensions на рівні Request.
- level: Request
resources:
- group: "" # основна група API
- group: "extensions" # Версію групи НЕ слід вказувати.
# Загальне правило для логування всіх інших запитів на рівні Metadata.
- level: Metadata
# Тривалі запити, як-от watch, що підпадають під це правило,
# не генерують подію аудиту на етапі RequestReceived.
omitStages:
- "RequestReceived"
Можна використати мінімальний файл політики аудиту, щоб записувати всі запити на рівні Metadata:
# Записувати всі запити на рівні Metadata.
apiVersion: audit.k8s.io/v1
kind: Policy
rules:
- level: Metadata
Якщо ви створюєте власний профіль аудиту, за відправну точку можна взяти профіль аудиту для Google Container-Optimized OS. Перегляньте скрипт configure-helper.sh, який генерує файл політики аудиту. Більшу частину файлу політики аудиту можна побачити безпосередньо в скрипті.
Докладніше про визначені поля дивіться в довіднику конфігурації Policy.
Бекенди аудиту
Бекенди аудиту зберігають події аудиту в зовнішньому сховищі. Без додаткових налаштувань kube-apiserver надає два бекенди:
- бекенд логів, який записує події у файлову систему
- бекенд webhook, який надсилає події до зовнішнього HTTP API
У всіх випадках події аудиту мають структуру, визначену API Kubernetes у групі API audit.k8s.io.
Примітка:
У разі патчів тіло запиту — це масив JSON з операціями патча, а не обʼєкт JSON з відповідним обʼєктом API Kubernetes. Наприклад, наведене нижче тіло запиту є коректним запитом на патч до /apis/batch/v1/namespaces/some-namespace/jobs/some-job-name:
[
{
"op": "replace",
"path": "/spec/parallelism",
"value": 0
},
{
"op": "remove",
"path": "/spec/template/spec/containers/0/terminationMessagePolicy"
}
]
Бекенд логів
Бекенд логів записує події аудиту у файл у форматі JSONlines. Бекенд аудиту логів можна налаштувати за допомогою таких прапорців kube-apiserver:
--audit-log-path вказує шлях до файлу логу, який бекенд логів використовує для запису подій аудиту. Якщо цей прапорець не вказано, бекенд логів вимкнено. - означає стандартний вивід--audit-log-maxage визначає максимальну кількість днів для зберігання старих файлів логів аудиту--audit-log-maxbackup визначає максимальну кількість файлів логів аудиту для зберігання--audit-log-maxsize визначає максимальний розмір файлу логу аудиту в мегабайтах, після якого виконується його ротація
Якщо панель управління вашого кластера запускає kube-apiserver як Pod, не забудьте змонтувати hostPath у розташування файлу політики й файлу логів, щоб записи аудиту зберігалися. Наприклад:
- --audit-policy-file=/etc/kubernetes/audit-policy.yaml
- --audit-log-path=/var/log/kubernetes/audit/audit.log
потім змонтуйте томи:
...
volumeMounts:
- mountPath: /etc/kubernetes/audit-policy.yaml
name: audit
readOnly: true
- mountPath: /var/log/kubernetes/audit/
name: audit-log
readOnly: false
і нарешті налаштуйте hostPath:
...
volumes:
- name: audit
hostPath:
path: /etc/kubernetes/audit-policy.yaml
type: File
- name: audit-log
hostPath:
path: /var/log/kubernetes/audit/
type: DirectoryOrCreate
Бекенд Webhook
Бекенд аудиту webhook надсилає події аудиту до віддаленого веб-API, яке вважається різновидом API Kubernetes, зокрема щодо засобів автентифікації. Бекенд аудиту webhook можна налаштувати за допомогою таких прапорців kube-apiserver:
--audit-webhook-config-file вказує шлях до файлу з конфігурацією webhook. Конфігурація webhook фактично є спеціалізованим kubeconfig.--audit-webhook-initial-backoff вказує час очікування після першого невдалого запиту перед повторною спробою. Подальші запити повторюються з експоненційною затримкою.
Файл конфігурації webhook використовує формат kubeconfig, щоб вказати віддалену адресу сервісу й облікові дані для підʼєднання до нього.
Пакетна обробка подій
Обидва бекенди, log і webhook, підтримують пакетну обробку. Нижче наведено перелік доступних прапорців для кожного бекенду. Стандартно пакетну обробку й тротлінг увімкнено для бекенду webhook і вимкнено для бекенду log.
--audit-webhook-mode визначає стратегію буферизації. Можливі значення:batch — буферизувати події й асинхронно обробляти їх пакетами. Це стандартний режим для бекенду webhook.blocking — блокувати відповіді API-сервера під час обробки кожної окремої події.blocking-strict — те саме, що й blocking, але якщо під час логування аудиту на етапі RequestReceived стається збій, увесь запит до kube-apiserver завершується невдачею.
Такі прапорці використовуються лише в режимі batch:
--audit-webhook-batch-buffer-size визначає кількість подій для буферизації перед пакетною обробкою. Якщо швидкість надходження подій переповнює буфер, події відкидаються. Стандартне значення — 10000.--audit-webhook-batch-max-size визначає максимальну кількість подій в одному пакеті. Стандартне значення — 400.--audit-webhook-batch-max-wait визначає максимальний час очікування перед безумовною пакетною обробкою подій у черзі. Стандартне значення — 30 секунд.--audit-webhook-batch-throttle-enable визначає, чи увімкнено тротлінг пакетів. Стандартно тротлінг увімкнено.--audit-webhook-batch-throttle-qps визначає максимальну середню кількість пакетів, що генеруються за секунду. Стандартне значення — 10.--audit-webhook-batch-throttle-burst визначає максимальну кількість пакетів, згенерованих у той самий момент, якщо дозволений QPS раніше використовувався не повністю. Стандартне значення — 15.
--audit-log-mode визначає стратегію буферизації. Можливі значення:batch — буферизувати події й асинхронно обробляти їх пакетами. Пакетна обробка не рекомендується для бекенду log.blocking — блокувати відповіді API-сервера під час обробки кожної окремої події. Це стандартний режим для бекенду log.blocking-strict — те саме, що й blocking, але якщо під час логування аудиту на етапі RequestReceived стається збій, увесь запит до kube-apiserver завершується невдачею.
Такі прапорці використовуються лише в режимі batch (стандартно для бекенду log пакетну обробку вимкнено, і коли її вимкнено, усі прапорці, повʼязані з пакетною обробкою, ігноруються):
--audit-log-batch-buffer-size визначає кількість подій для буферизації перед пакетною обробкою. Якщо швидкість надходження подій переповнює буфер, події відкидаються.--audit-log-batch-max-size визначає максимальну кількість подій в одному пакеті.--audit-log-batch-max-wait визначає максимальний час очікування перед безумовною пакетною обробкою подій у черзі.--audit-log-batch-throttle-enable визначає, чи увімкнено тротлінг пакетної обробки.--audit-log-batch-throttle-qps визначає максимальну середню кількість пакетів, що генеруються за секунду.--audit-log-batch-throttle-burst визначає максимальну кількість пакетів, згенерованих у той самий момент, якщо дозволений QPS раніше використовувався не повністю.
Налаштування параметрів
Параметри слід задавати з урахуванням навантаження на API-сервер.
Наприклад, якщо kube-apiserver отримує 100 запитів щосекунди і кожен запит проходить аудит лише на етапах ResponseStarted і ResponseComplete, слід розраховувати на ≅200 подій аудиту щосекунди. Якщо в пакеті до 100 подій, рівень тротлінгу слід встановити щонайменше 2 запити на секунду. Якщо бекенду може знадобитися до 5 секунд для запису подій, розмір буфера слід встановити так, щоб він вміщував події за 5 секунд, тобто 10 пакетів або 1000 подій.
Однак у більшості випадків стандартних параметрів має бути достатньо, і вам не потрібно задавати їх вручну. Щоб відстежувати стан підсистеми аудиту, можна переглядати такі метрики Prometheus, які надає kube-apiserver, а також логи.
- Метрика
apiserver_audit_event_total містить загальну кількість експортованих подій аудиту. - Метрика
apiserver_audit_error_total містить загальну кількість подій, відкинутих через помилку під час експорту.
Обрізання записів логу
Обидва бекенди, логів і webhook, підтримують обмеження розміру подій, що записуються. Наприклад, ось перелік прапорців, доступних для бекенду логів:
audit-log-truncate-enabled — чи ввімкнено обрізання подій і пакетів.audit-log-truncate-max-batch-size — максимальний розмір у байтах пакета, що надсилається до базового бекенду.audit-log-truncate-max-event-size — максимальний розмір у байтах події аудиту, що надсилається до базового бекенду.
Стандартно обрізання вимкнено і для webhook, і для log; щоб увімкнути цю можливість, адміністратор кластера має встановити audit-log-truncate-enabled або audit-webhook-truncate-enabled.
Що далі
4.5 - Розробка та налагодження сервісів локально за допомогою telepresence
Примітка: Цей розділ містить посилання на проєкти сторонніх розробників, які надають функціонал, необхідний для Kubernetes. Автори проєкту Kubernetes не несуть відповідальності за ці проєкти. Проєкти вказано в алфавітному порядку. Щоб додати проєкт до цього списку, ознайомтеся з
посібником з контенту перед надсиланням змін.
Докладніше. Застосунки Kubernetes зазвичай складаються з кількох окремих сервісів, кожен з яких працює у власному контейнері. Розробляти й налагоджувати ці сервіси у віддаленому кластері Kubernetes може бути незручно, бо для запуску інструментів налагодження потрібно отримати доступ до оболонки запущеного контейнера.
telepresence — це інструмент, що спрощує локальну розробку й налагодження сервісів, проксіюючи сервіс до віддаленого кластера Kubernetes. telepresence дає змогу використовувати для локального сервісу власні інструменти, як-от налагоджувач та IDE, і надає сервісу повний доступ до ConfigMap, Secrets і сервісів, що працюють у віддаленому кластері.
У цьому документі описано, як використовувати telepresence для локальної розробки й налагодження сервісів, що працюють у віддаленому кластері.
Перш ніж ви розпочнете
- Кластер Kubernetes встановлено
kubectl налаштовано для звʼязку з кластером- Telepresence встановлено
Підʼєднання вашого локального компʼютера до віддаленого кластера Kubernetes
Після встановлення telepresence виконайте telepresence connect, щоб запустити його демон і підʼєднати вашу локальну робочу станцію до кластера.
$ telepresence connect
Launching Telepresence Daemon
...
Connected to context default (https://<cluster public IP>)
Ви можете звертатися до сервісів командою curl, використовуючи синтаксис Kubernetes, наприклад curl -ik https://kubernetes.default
Розробка або налагодження наявного сервісу
Під час розробки застосунку в Kubernetes ви зазвичай програмуєте або налагоджуєте один сервіс. Цьому сервісу може знадобитися доступ до інших сервісів для тестування й налагодження. Один із варіантів — використовувати конвеєр безперервного розгортання, але навіть найшвидший конвеєр розгортання додає затримку в цикл програмування чи налагодження.
Використовуйте команду telepresence intercept $SERVICE_NAME --port $LOCAL_PORT:$REMOTE_PORT, щоб створити «перехоплення» (intercept) для перенаправлення трафіку віддаленого сервісу.
Де:
$SERVICE_NAME — це назва вашого локального сервісу$LOCAL_PORT — це порт, на якому ваш сервіс працює на вашій локальній робочій станції$REMOTE_PORT — це порт, який ваш сервіс слухає в кластері
Ця команда вказує Telepresence надсилати віддалений трафік на ваш локальний сервіс замість сервісу у віддаленому кластері Kubernetes. Вносьте зміни у вихідний код сервісу локально, зберігайте їх, і відповідні зміни одразу набиратимуть чинності під час доступу до віддаленого застосунку. Ви також можете запускати локальний сервіс за допомогою налагоджувача чи будь-якого іншого локального інструмента розробки.
Як працює Telepresence?
Telepresence встановлює sidecar traffic-agent поруч із контейнером вашого наявного застосунку, що працює у віддаленому кластері. Потім він перехоплює всі запити трафіку, що надходять до Podʼа, і замість того, щоб пересилати їх застосунку у віддаленому кластері, спрямовує весь трафік (коли ви створюєте глобальне перехоплення) або його частину (коли ви створюєте персональне перехоплення) до вашого локального середовища розробки.
Що далі
Якщо вас цікавить практичний навчальний матеріал, перегляньте цей навчальний матеріал, у якому покроково описано локальну розробку застосунку Guestbook на Google Kubernetes Engine.
Докладніше дивіться на вебсайті Telepresence.
4.6 - Усунення несправностей керування топологією
Kubernetes приховує від користувача багато аспектів того, як Podʼи виконуються на вузлах. Це зроблено навмисно. Однак деяким робочим навантаженням для прийнятної роботи потрібні сильніші гарантії щодо затримки та/або продуктивності. kubelet надає методи для складніших політик розміщення робочих навантажень і водночас зберігає абстракцію вільною від явних директив розміщення.
Ви можете керувати топологією всередині вузлів. Це означає, що ви допомагаєте kubelet налаштувати операційну систему хоста так, щоб Podʼи й контейнери розміщувалися з правильного боку внутрішніх меж, таких як домени NUMA. (NUMA — абревіатура від non-uniform memory access (нерівномірний доступ до памʼяті); вона відображає ідею, що CPU можуть бути топологічно ближчими до певних ділянок памʼяті через фізичне розташування апаратних компонентів і спосіб їх зʼєднання.)
Щоб зʼясувати, чому Pod не вдалося розгорнути або чому його відхилено на вузлі в контексті керування топологією, можна скористатися такими засобами:
- Статус Podʼа — показує помилки спорідненості топології
- Системні логи — містять цінну інформацію для налагодження, наприклад, про згенеровані підказки
- Файл стану kubelet — дамп внутрішнього стану менеджера памʼяті (включно з мапою вузлів і мапами памʼяті)
- Ви можете використовувати API ресурсів втулка пристрою для отримання інформації про памʼять, зарезервовану для контейнерів
Усунення несправностей TopologyAffinityError
Ця помилка зазвичай виникає в таких ситуаціях:
- вузол не має достатньо доступних ресурсів, щоб задовольнити запит Podʼа
- запит Podʼа відхилено через обмеження певної політики менеджера топології
Помилка зʼявляється в статусі Podʼа:
NAME READY STATUS RESTARTS AGE
guaranteed 0/1 TopologyAffinityError 0 113s
Використовуйте kubectl describe pod <id> або kubectl events, щоб отримати детальне повідомлення про помилку:
Warning TopologyAffinityError 10m kubelet, dell8 Resources cannot be allocated with Topology locality
Перегляньте системні логи
Шукайте в системних логах записи щодо конкретного Podʼа.
Набір підказок, згенерованих менеджером CPU, має бути в логах. Також у логах можна знайти набір підказок, які менеджер памʼяті згенерував для Podʼа.
Менеджер топології обʼєднує ці підказки, щоб обчислити одну найкращу підказку. Найкраща підказка також має бути в логах.
Найкраща підказка вказує, де виділити всі ресурси. Менеджер топології перевіряє цю підказку на відповідність своїй поточній політиці й, залежно від результату, або допускає Pod на вузол, або відхиляє його.
Також шукайте в логах записи, повʼязані з менеджером памʼяті, наприклад, щоб знайти інформацію про оновлення cgroups і cpuset.mems.
Приклади
Перевірка стану менеджера памʼяті на вузлі
Спочатку розгорнімо зразковий Pod Guaranteed з такою специфікацією:
apiVersion: v1
kind: Pod
metadata:
name: guaranteed
spec:
containers:
- name: guaranteed
image: consumer
imagePullPolicy: Never
resources:
limits:
cpu: "2"
memory: 150Gi
requests:
cpu: "2"
memory: 150Gi
command: ["sleep","infinity"]
Далі увійдіть на вузол, де його розгорнуто, і перегляньте файл стану в /var/lib/kubelet/memory_manager_state:
{
"policyName":"Static",
"machineState":{
"0":{
"numberOfAssignments":1,
"memoryMap":{
"hugepages-1Gi":{
"total":0,
"systemReserved":0,
"allocatable":0,
"reserved":0,
"free":0
},
"memory":{
"total":134987354112,
"systemReserved":3221225472,
"allocatable":131766128640,
"reserved":131766128640,
"free":0
}
},
"nodes":[
0,
1
]
},
"1":{
"numberOfAssignments":1,
"memoryMap":{
"hugepages-1Gi":{
"total":0,
"systemReserved":0,
"allocatable":0,
"reserved":0,
"free":0
},
"memory":{
"total":135286722560,
"systemReserved":2252341248,
"allocatable":133034381312,
"reserved":29295144960,
"free":103739236352
}
},
"nodes":[
0,
1
]
}
},
"entries":{
"fa9bdd38-6df9-4cf9-aa67-8c4814da37a8":{
"guaranteed":[
{
"numaAffinity":[
0,
1
],
"type":"memory",
"size":161061273600
}
]
}
},
"checksum":4142013182
}
З файлу стану можна зробити висновок, що Pod закріплено за обома вузлами NUMA, тобто:
Термін «закріплений» означає, що споживання памʼяті Podʼом обмежено (через конфігурацію cgroups) цими вузлами NUMA.
Це автоматично означає, що менеджер памʼяті створив нову групу з цих двох вузлів NUMA, тобто вузлів NUMA з індексами 0 і 1.
Щоб проаналізувати ресурси памʼяті, доступні в групі, потрібно підсумувати відповідні записи з вузлів NUMA, що належать до групи.
Наприклад, загальний обсяг вільної «звичайної» памʼяті в групі можна обчислити, додавши вільну памʼять, доступну на кожному вузлі NUMA групи, тобто в розділі "memory" вузла NUMA 0 ("free":0) і вузла NUMA 1 ("free":103739236352). Отже, загальний обсяг вільної «звичайної» памʼяті в цій групі дорівнює 0 + 103739236352 байтів.
Рядок "systemReserved":3221225472 показує, що адміністратор цього вузла зарезервував 3221225472 байти (тобто 3Gi) для kubelet і системних процесів на вузлі NUMA 0 за допомогою прапорця --reserved-memory.
Перевірка API ресурсів втулка пристрою
kubelet надає gRPC-сервіс PodResourceLister, щоб уможливити виявлення ресурсів і повʼязаних з ними метаданих. Через його точку доступу gRPC List можна отримати інформацію про зарезервовану памʼять для кожного контейнера, яка міститься в повідомленні protobuf ContainerMemory.
Цю інформацію можна отримати лише для Podʼів класу QoS Guaranteed.
4.7 - Поради щодо налагодження Windows
Усунення несправностей на рівні вузла
Мої Podʼи застрягли в стані "Container Creating" або постійно перезапускаються
Переконайтеся, що ваш образ pause сумісний з версією вашої ОС Windows. Дивіться Контейнер pause, щоб дізнатися про найновіший / рекомендований образ pause та/або отримати більше інформації.
Примітка:
Якщо ви використовуєте containerd як середовище виконання контейнерів, образ pause вказується в полі plugins.plugins.cri.sandbox_image файлу конфігурації config.toml.Мої Podʼи показують статус ErrImgPull або ImagePullBackOff
Переконайтеся, що ваш Pod планується на сумісний вузол Windows.
Додаткову інформацію про те, як вказати сумісний вузол для вашого Podʼа, можна знайти в
цьому посібнику.
Усунення несправностей мережі
Мої Podʼи Windows не мають мережевого зʼєднання
Якщо ви використовуєте віртуальні машини, переконайтеся, що MAC spoofing увімкнено на всіх мережевих адаптерах віртуальних машин.
Мої Podʼи Windows не можуть виконати ping до зовнішніх ресурсів
Для Podʼів Windows не запрограмовано правил вихідного трафіку для протоколу ICMP. Однак TCP/UDP підтримується. Коли потрібно показати зʼєднання з ресурсами за межами кластера, замініть ping <IP> відповідними командами curl <IP>.
Якщо проблеми не зникли, найімовірніше, ваша мережева конфігурація в cni.conf потребує додаткової уваги. Цей статичний файл завжди можна редагувати. Оновлена конфігурація застосовується до всіх нових ресурсів Kubernetes.
Одна з мережевих вимог Kubernetes (дивіться модель Kubernetes) — звʼязок усередині кластера без NAT. Щоб виконати цю вимогу, існує ExceptionList для всього трафіку, до якого ви не хочете застосовувати вихідний NAT. Однак це також означає, що зовнішню IP-адресу, до якої ви звертаєтеся, потрібно вилучити з ExceptionList. Лише тоді трафік з ваших Podʼів Windows буде правильно оброблено SNAT, щоб отримати відповідь із зовнішнього світу. Тож ваш ExceptionList у cni.conf має виглядати так:
"ExceptionList": [
"10.244.0.0/16", # Підмережа кластера
"10.96.0.0/12", # Підмережа Service
"10.127.130.0/24" # Підмережа керування (хоста)
]
Мій вузол Windows не може отримати доступ до Service типу NodePort
Локальний доступ до NodePort із самого вузла не працює. Це відоме обмеження. Доступ до NodePort працює з інших вузлів або із зовнішніх клієнтів.
vNIC і точки доступу HNS контейнерів видаляються
Ця проблема може виникати, коли параметр hostname-override не передається до kube-proxy. Щоб її розвʼязати, користувачам потрібно передати kube-proxy імʼя хоста так:
C:\k\kube-proxy.exe --hostname-override=$(hostname)
Мій вузол Windows не може отримати доступ до моїх Service за IP-адресою Service
Це відоме обмеження мережевого стека Windows. Однак Podʼи Windows можуть звертатися до IP-адреси Service.
Під час запуску kubelet не знайдено мережевого адаптера
Мережевому стеку Windows потрібен віртуальний адаптер, щоб мережа Kubernetes працювала. Якщо наведені нижче команди не повертають результатів (в оболонці адміністратора), то створення віртуальної мережі — необхідної передумови для роботи kubelet — не вдалося:
Get-HnsNetwork | ? Name -ieq "cbr0"
Get-NetAdapter | ? Name -Like "vEthernet (Ethernet*"
Часто варто змінити параметр InterfaceName скрипту start.ps1, якщо мережевий адаптер хоста називається не "Ethernet". Інакше перегляньте вивід скрипту start-kubelet.ps1, щоб зʼясувати, чи були помилки під час створення віртуальної мережі.
DNS-перетворення не працює належним чином
Перевірте обмеження DNS для Windows у цьому розділі.
kubectl port-forward завершується з помилкою "unable to do port forwarding: wincat not found"
Це реалізовано в Kubernetes 1.15 через додавання wincat.exe до інфраструктурного контейнера pause mcr.microsoft.com/oss/kubernetes/pause:3.6. Обовʼязково використовуйте підтримувану версію Kubernetes. Якщо ви хочете зібрати власний інфраструктурний контейнер pause, обовʼязково додайте до нього wincat.
Встановлення Kubernetes завершується невдачею, бо мій вузол Windows Server розташований за проксі
Якщо ви перебуваєте за проксі, потрібно визначити такі змінні середовища PowerShell:
[Environment]::SetEnvironmentVariable("HTTP_PROXY", "http://proxy.example.com:80/", [EnvironmentVariableTarget]::Machine)
[Environment]::SetEnvironmentVariable("HTTPS_PROXY", "http://proxy.example.com:443/", [EnvironmentVariableTarget]::Machine)
Усунення несправностей Flannel
З Flannel мої вузли мають проблеми після повторного приєднання до кластера
Щоразу, коли раніше видалений вузол знову приєднується до кластера, flannelD намагається призначити вузлу нову підмережу Podʼів. Користувачам слід видалити старі файли конфігурації підмережі Podʼів за такими шляхами:
Remove-Item C:\k\SourceVip.json
Remove-Item C:\k\SourceVipRequest.json
Flanneld зависає на "Waiting for the Network to be created"
Є чимало повідомлень про цю проблему; найімовірніше, це проблема синхронізації в момент, коли встановлюється IP-адреса керування мережі flannel. Як обхідний шлях, перезапустіть start.ps1 або запустіть його вручну так:
[Environment]::SetEnvironmentVariable("NODE_NAME", "<Windows_Worker_Hostname>")
C:\flannel\flanneld.exe --kubeconfig-file=c:\k\config --iface=<Windows_Worker_Node_IP> --ip-masq=1 --kube-subnet-mgr=1
Мої Podʼи Windows не можуть запуститися через відсутність /run/flannel/subnet.env
Це означає, що Flannel не запустився правильно. Можна спробувати перезапустити flanneld.exe або вручну скопіювати файли з /run/flannel/subnet.env на майстрі Kubernetes до C:\run\flannel\subnet.env на робочому вузлі Windows і змінити рядок FLANNEL_SUBNET на інше значення. Наприклад, якщо потрібна підмережа вузла 10.244.4.1/24:
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.4.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=true
Подальше дослідження
Якщо ці кроки не розвʼязали вашої проблеми, допомогу із запуском контейнерів Windows на вузлах Windows у Kubernetes можна отримати тут: