Merge pull request #30933 from YHNdnzj/sleep-trivial-cleanup

Trivial cleanup for systemd-sleep unit/man page

Merge pull request #30936 from yuwata/network-automatically-reconfigure-interface-on-failure

network: automatically reconfigure interface on failure

test-network: try to flip interface state frequently

network/link: automatically reconfigure interface on failure

Closes #29246.

network/link: shorten code a bit

test: create /run/sshd in TEST-74-AUX-UTILS

12264s [ 4819.948632] sshd[1365]: fatal: Missing privilege separation directory: /run/sshd
12264s [ 4819.952120] testsuite-74.sh[1362]: kex_exchange_identification: read: Connection reset by peer
12264s [ 4819.952120] testsuite-74.sh[1362]: Connection reset by /run/ssh-unix-local/socket port 0

https://autopkgtest.ubuntu.com/results/autopkgtest-jammy-upstream-systemd-ci-systemd-ci/jammy/amd64/s/systemd-upstream/20240113_093341_50fc7@/log.gz

We copy binaries manually so some setups are missing, create the directory
as needed

man/systemd-sleep.conf: document the operation of s2h more thoroughly

units: update Description= for systemd-sleep units

battery-util: raise log level for battery_is_discharging_and_low

Merge pull request #30932 from yuwata/network-route-split-out-more

network/route: split out more functions to networkd-route-nexthop.[ch]

Fix gcc14 -Wcalloc-transposed-args warnings

all functions annotated with two parameter _alloc_ are calloc-like.
gcc14 enforces this and warns if arguments are backwards.

Merge pull request #30927 from YHNdnzj/logind-action-job

logind-dbus: refuse multiple jobs in method_do_shutdown_or_sleep too

logind-dbus: refuse multiple jobs in method_do_shutdown_or_sleep too

Fixes #30917

logind-dbus: minor modernization

network/route-nexthop: make multipath_route_get_link() take fallback link

No functional change, just refactoring.

network/route-nexthop: do not update MultipathRoute object

A MultipathRoute object is always owned by a Network object, and the
interface matching with its name specified in a MultipathRoute= setting
may be removed, and re-added later with a different ifindex.

network/route-nexthop: split out route_nexthops_is_ready_to_configure()

No effective functionality changed, just refactoring and preparation for
later commits.

network/route-nexthop: split out route_nexthops_to_string()

And reorder elements shown in the debugging log.
No effective functionality changed, just refactoring.

network/route-nexthop: split out netlink message handling for route nexthops

No functional change, just refactoring and preparation for later
commits.

varlink/network: OnlineState may not be set

Follow-up for c5c74d85d302d95d2b0f2b938c4f178e428e19a3.

Fixes #30918.

Merge pull request #30916 from yuwata/network-route-section-verify

network: several cleanups for verifying [Route] section

wireguard: verify routes configured in .netdev file

Then, scope and friends are correctly adjusted, and the behavior should
be matched when the same route is configured in .network file.

network/route: split out route_section_verify_nexthops()

No effective functional change, just refactoring and preparation for
later commits.

network/route: relocate route_type_is_reject() and friends

No functional change, preparation for later commits.

Merge pull request #30895 from yuwata/network-drop-object-even-on-fail

network: remove Address object even when we failed to remove relevant address

Merge pull request #30902 from YHNdnzj/run-accounting

run: small improvements for accounting data output

Merge pull request #30897 from yuwata/network-route-expiration

network: several cleanups for route expiration handling

Merge pull request #30896 from yuwata/network-route-conf-parser

network: minor cleanups for conf parsers

modprobe: set 'ifb numifbs=0' to avoid autocreating ifb0

Fixes https://github.com/systemd/systemd/issues/30913

test: skip TEST-43-PRIVATEUSER-UNPRIV if unprivileged userns is restricted

With newer versions of AppArmor, unprivileged user namespace creation
may be restricted by default, in which case user manager instances will
not be able to apply PrivateUsers=yes (or the settings which require it).

This can be tested with the kernel.apparmor_restrict_unprivileged_userns
sysctl.

Merge pull request #30908 from poettering/nsid

networkd: expose netns "nsid" together with inode id

network: fix 6rd tunnel link section name

Spotted randomly when going through CI logs:

systemd-udevd[658]: /usr/lib/systemd/network/80-6rd-tunnel.link:21: Unknown section 'Network'. Ignoring.

Follow-up for 658169e6d30.

networkd: expose the nsid in the GetNamespaceId() varlink call

Let's return both ids in the GetNamespaceID(), since they are pretty
much the same concept.

networkd: expose nsid via dbus

socket-util: add netns_get_nsid() helper to show nsid of netns

sd-netlink: hook up nsid APIs

Merge pull request #30911 from poettering/vmspawn-tweaks

vmspawn: various clean-ups

udev: distinguish host-managed zoned block in scsi_id

According to SPC4, the value of 0x14 is reserved to distinguish
host managed zoned block, e.g., some SMR (Shingled Magnetic Recording)
disks.

Other utilities such as sg3_utils can successfully recognize such
kind of disks. This patch implements the same ability.

Merge pull request #30904 from YHNdnzj/no-selinux-reload

core/execute: don't reload selinux before spawning executor

mkosi: Build a directory image by default

Both building and booting a directory image is much faster than
building or booting a disk image so let's default to a directory
image.

In CI, we stick to a disk image to make sure that keeps working as
well.

The only extra dependency this introduces is virtiofsd which is
packaged in all distributions except Debian stable. For users
hacking on systemd on Debian stable, a disk image can be built by
writing the following to mkosi.local.conf:

```
[Output]
Format=disk
```

vmspawn: suppress unnecessary '-'

vmspawn: use SD_EVENT_SIGNAL_PROCMASK flag where possible

vmspawn: use our generic vsock CID parser, instead of a howngrown one

Let's also use 'unsigned' as type for the CID everywhere, and
VMADDR_CID_ANY as marker for "invalid CID", as that's what the vsock
APIs natively do.

vmspawn: fix empty lines before section titles in --help text

Always put an empty line before section titles (one was missing so far)

vmspawn: make sure are fine with ovmf metadata extensions

The JSON ovmf data on Fedora at least has more fields than we expect,
ignore it.

network/ndisc: do not try to set too large value for ICMP ratelimting

Follow-up for 6197db53ba3c61de2268eb723a7a9cd4b3f5f87c.

When we set too large value, the kernel just refuse it. So, this does
not change the net behavior.

Prompted by https://github.com/systemd/systemd/pull/30490#discussion_r1449477125.

json: downgrade extension log message to LOG_DEBUG

This is not supposed to be something we should complain about loudly
after all.

Follow-up for: a617fd904789cd3a05cf4cb2f54649e2a1f73d33

Add --root= support for list and prepare add-all for --root= support

Let's make sure these follow the rest of kernel-install and always
operate on the given root directory, even if the verb itself can't
support --root= just yet.

test: use systemd-id128 from the build dir

As distro sd-id128 might not have all the options we need.

Follow-up for: 378712c
Replaces: #30901

man: fix typo AV_VSOCK → AF_VSOCK

A reported by Arian van Putten:

https://github.com/systemd/systemd/pull/30777#pullrequestreview-1816817988

run: don't show IP/IO accounting data if 0

core/execute: don't reload selinux before spawning executor

With the introduction of sd-executor, SELinux needs to be re-initialized
after execve() anyway.

selinux-util: reorder functions

run: show accounting data of same type in the same line

network/route-nexthop: always reset gateway address when _dhcp or friends is specified to Gateway=

Just for safety.

network/dhcp4: use route_configure_handler_internal() at one more place

network/route: update expiration timer only when we know the route exists

network/route: save if the route expiration is managed by the kernel

Otherwise, our own expiration timer will be setup on updating a route.
See comment in link_request_route().

network/route: unconditionally call route_setup_timer() for managed routes

For foreign routes, we do not set lifetime, as it is foreign.
So, this should not change any behavior. Preparation for later commits.

network/route: use specified error message

Previously, specified error message was not used.

network/route-nexthop: make GatewayOnLink= support an empty string

And invalidate the route section if an invalid string is specified.

network/route: move two more conf parsers to networkd-route-nexthop.[ch]

Let's manage nexthop (gateway) handling in networkd-route-nexthop.[ch].

network/nexthop: drop NextHop object even if we fail to remove the nexthop

network/neighbor: drop Neighbor object even if we fail to remove the neighbor

network/address: forget address even if we could not remove it

If we could not remove an address, then previously the corresponding
Address object was never removed, as it was freed only when we receive
remove notification from the kernel. So, we might confused that the
address still exists and being removed, and might block reconfiguring
the address.

With this change, even if we fail to remove an address, the
corresponding Address object will be freed.

network/queue: introduce RemoveRequest and relevant functions

This is similar to Request, but will be used on removing configuration
(e.g. address, route, and so on).

By using another queue for removing configuration, then we can avoid to
fill the reply callback buffer in sd-netlink by remove message calls.

Follow-up for 4e6a35e2b2fad0f167a71b63525f4210bc858bc6.

homed: add helpers for checking reference status of homes

Just some refactoring to make things more readable.

update TODO

Merge pull request #30867 from dtardon/udev-conf-dropins

Allow dropins for udev.conf

Merge pull request #30893 from yuwata/add-trailing-NUL

json,netlink: add trailing NUL byte when we read binary data

Merge pull request #30777 from poettering/ssh-generator

ssh-generator which makes VMs and containers accessible to ssh via AF_UNIX and AF_VSOCK

Merge pull request #30884 from poettering/logind-background-light

logind: add "background-light" + "manager" session classes

test: use dropin dir

man: update udev.conf man page

udev: factor out config parser call into function

... which is then called from both places. This makes sure that the
configuration is parsed by udevd and other tools in exactly the same
way.

udev-util: drop unused function

udev-util: use config. parser to parse udev.conf

udevd: use config. parser to parse udev.conf

This adds support for the usual config. file hierarchy (including
dropins).

Fixes #30460.

sd-netlink: add trailing NUL byte for safety in sd_netlink_message_read_data()

Then, drop sd_netlink_message_read_data_suffix0().

json: add trailing NUL byte in json_dispatch_byte_array_iovec()

For safety.

Addresses https://github.com/systemd/systemd/pull/30879#discussion_r1448518226.

test: use correct type for the root partition

Merge pull request #30887 from poettering/id128-no-legend

id128: add --no-pager, --no-legend, --json=/-j switches to systemd-id128 tool

shell-completion: add new systemd-id128 options

logind: also restrict on which session classes one cange the session type

logind: allow taking control of devices only in some session types

Let's restrict the logic a bit, so that "manage" session types are not
misused.

id128: add --no-pager, --no-legend, --json=/-j switches to systemd-id128 tool

man: document the expanded catalogue of session classes

test: add integration test for new 'background-light' session class

logind: tighten for which classes of sessions we do stop-on-idle

We only want to do this for fully set up, interactive sessions, i.e.
user and user-early, but not for any others, hence restrict the rules a
bit.

Follow-up for: 508b4786e8592e82eb4832549f74aaa54335d14c

logind: rework GC logic

In logind we generally want to stop user@.service for a user once they
log out. So the usual rule is that whenever a User object is around that
has no pinning sessions we should close it.

Except that it isn't that easy. We allow that user@.service is also
manually started, in which case the User object is created but not
pinned by any session.

Let's rework how this is handled: we define two different GC modes. In
one GC mode we'll keep the User object around whenever *any* session
exists (thus: including the user@.service session), and one where we
only keep it around whenever a *pinning* session exists (i.e. when a
user actually logs in, but the user@.service session doesn't count like
that).

And the trick is now that we start out in the *any* GC mode, and switch
to the *pinning* GC mode once the first user session logs in.

This should make things more robust as we know exactly in which state we
are and when to GC a user.

logind: rework logic to decide whether lock + idle + display applies to a session

Let's streamline the logic that decides whether the screen lock, idle
timeout or display election mechanism applies to a session class. Let's
add explicitly SESSION_CLASS_IS_XYZ() macros for each, and then resue
them at all suitable places, and refuse any attempts to use the
functionality on the wrong clases with a friendly error message.

logind: add "background-light" session class

This is the same as the "background" class, but does *not* pull in a
service manager. It might be useful for things like select cron jobs
that do not intend to call per-user IPC calls.

Replaces: #23569
Fixes: #23978

pam_systemd: register systemd user service manager as class='manager'

Now that we have thew new class, start making us of it in pam_systemd.so
when running for user@.service.

logind: track user service managers as 'manager' session class

Previously, all user code was part of a session except for the code run
as part of user@.service, which wasn't. This tries to make this more
uniform: we'll track the user@.service runtime also as a session, but of
the special type "manager".

This means we have a really good overview finally of all user code that
is running and can make decisions on what to start when and how long to
keep it around. The pam_systemd client side will now be reasonably
uniform: it just calls the CreateSession() bus call with the right
class, and we'll return any data it needs. This means the weird
"side-channel" we previously used to initialize XDG_RUNTIME_DIR for the
user@.service goes away (see next commit).

This conditionalizes various behaviours now cleanly depending on the
session class:

1. SESSION_CLASS_WANTS_SCOPE() will be true for all classes except for
   the manager class. It declares whther the client shall be migrated
   into their own scope, which we generally want for sessions but not
   for the manager, since it already has its own service unit.

2. SESSION_CLASS_WANTS_SERVICE_MANAGER() will be true for all classes
   except for the manager class. It declares whether we shall start the
   service manager if a session of this class is around. Of course, this
   is off for the service manager, since this would always pin itself.

3. SESSION_CLASS_PIN_USER() will be true for all classes except for the
   manager class. It declares whether the we shall keep the User
   structure around for a user as long as the session is around.

Now you might wonder why have these as three functions, even though they
mostly give the same answers?

That's because this all is preparation to add further session classes
later that will return different answers for the three calls. (For
example, a later patch adds "background-light" which will return true
for SESSION_CLASS_WANTS_SCOPE() and SESSION_CLASS_PIN_USER(), but false
for SESSION_CLASS_WANTS_SERVICE_MANAGER(). i.e. it will get a scope, and
pin user tracking, but not start a service manager.

update TODO

test: add testcase for ssh generator

doc: document new /run/host/ inodes in container interface doc

nspawn: expose a dir in the container where it can bind AF_UNIX sockets that will appear on the host

ssh-proxy: add ssh ProxyCommand tool that can connect to AF_UNIX + AF_VSOCK sockets

This adds a tiny binary that is hooked into SSH client config via
ProxyCommand and which simply connects to an AF_UNIX or AF_VSOCK socket
of choice.

The syntax is as simple as this:

     ssh unix/some/path     # (this connects to AF_UNIX socket /some/path)

or:

     ssh vsock/4711

I used "/" as separator of the protocol ID and the value since ":" is
already taken by SSH itself when doing sftp. And "@" is already taken
for separating the user name.

ssh-generator: add simple new generator