Merge pull request #22836 from poettering/more-build-image-docs

docs: more tweaks for the image building docs

update TODO

docs: extend BUILDING_IMAGES with a section about IMAGE_ID=/IMAGE_VERSION=

Also, beef up links everywhere.

docs: link up new image building docs a bit

docs: make man page links in markdown Links section use teletype font, as we usually do

Merge pull request #22791 from keszybz/bootctl-invert-order

Invert order of entries w/o sort-key in sd-boot menu

Merge pull request #22629 from nishalkulkarni/oomd_service_result

core/oomd: Use oom-kill ServiceResult for oomd

sysupdate: fix error handling

NEWS: fix typo

boot: fix typo

fs-util: make sure openat_report_new() initializes return param also on shortcut

Our coding style dictates that return parameters should be initialized
always on success, hence do so here also in the shortcut codepath.

Issue discovered by @fbuihuu:

https://github.com/systemd/systemd/pull/22808/files/ca8503f168d0632c606110da909aba3057777395#r831911069

fs-util: fix typos in comments

meson: replace sh+find with an internal glob in the python helper

As suggested in https://github.com/systemd/systemd/pull/22810#discussion_r831708052

This makes the whole thing simpler. A glob is passed to helper which then resolves
it on its own. This way it's trivial to call the helper with a different
set of files for testing.

Merge pull request #22825 from keszybz/assorted-cleanups

Assorted cleanups

NEWS: adjust MONITOR_ env vars paragraph

This actually never shipped in a release, so it's not a backward-incompatible
change. Move it down and reword it.

NEWS: initial writeup for v251

Merge pull request #22821 from poettering/udev-tweaklets

Udev tweaklets

docs: add some docs about building OS images

It's not trivial to know what to reset how. Let's document this a bit.

homework: s/EWOULDBLOCK/EAGAIN/

C.f. 012d7b4217420163db5752a63da6cab39d25edf3, ff55c3c7327e6ad8ab139aef52d498386d4f4a72,
ca2031fcc863fcdd4dd1594709918cb60cfd0e1b.

errno-to-awk: simplify expression

No functional change.

sd-bus: use _cleanup_ in one more place

tools/dbus_exporter: deblackify and shorten code a bit

When we do mkdir, we should just use 0o777 and let the umask take care of the
rest. Specifying an explicit mode is inappropriate. And when touching the code,
let's replace black madness with normal python style.

man: clarify that options set the message fields and are not derived from them

Merge pull request #22778 from poettering/kernel-install-layout-rework

kernel-install/bootctl: layout fixes

man: Mention systemd-oomd now follows OOMPolicy

test/oomd: Add test for new oomd_ooms xattr

Check if `user.oomd_ooms` xattr is being set as part of `oomd_cgroup_kill()`
this xattr tracks OOM kills that were initiated by systemd-oomd.

core/oomd: Use oom-kill ServiceResult for oomd

To notify user of kill events from systemd-oomd we now use
`SERVICE_FAILURE_OOM_KILL` as the failure result.

`unit_check_oomd_kill` now calls `notify_cgroup_oom` to
update the service result to `oom-kill`.

We add a new xattr `user.oomd_ooms` to keep track of the OOM kills
initiated by systemd-oomd, this helps us resolve a race between sending
SIGKILL to processes and checking for OOM kill status from the xattr.

Related to: #20649

sd-device: use path_compare() rather than strcmp() for sorting paths

When sorting paths it actually matters to use the right comparison
function. Example:

```
a/x
a-b/y
a_/z
```

I think people would probably expect this:

```
a/x
a-b/y
a_a/z
```

but if you use strcmp() instead of path_compare() you'd instead get:

```
a-b/y
a/x
a_a/z
```

That's because `/` is between `-` and `a` in the ascii table. I think
that's quite confusing, and we shouldn#t order that way hence.

As discussed: https://github.com/systemd/systemd/pull/22662#discussion_r831174776

sd-device: fix trivial typo

Merge pull request #22662 from yuwata/udev-trigger-priority

udevadm trigger: add --prioritized-subsystem option

random-util: use correct minimum pool size constant

The actual minimum size of the pool across supported kernel versions is
32 bytes. So adjust this minimum.

I've audited every single usage of random_pool_size(), and cannot see
anywhere that this would have any impact at all on anything. We could
actually just not change the constant and everything would be fine, or
we could change it here and that's fine too. From both a functionality
and crypto perspective, it doesn't really seem to make a substantive
difference any which way, so long as the value is ≥32. However, it's
better to be correct and have the function do what it says, so clamp it
to the right minimum.

Merge pull request #22813 from poettering/sd-boot-man-fixes

man: some sd-boot doc tweaks

udevadm: trigger: implement --initialized-match/nomatch arguments

systemd-udev-trigger.service by default triggeres all devices regardless
of whether they were already recognized by systemd-udevd.

There are machines (especially in embedded environments) where
systemd-udev-trigger.service is configured to run at a later stage of
the boot sequence, which can lead to quite a lot of devices being
triggered although they were already recognized by systemd-udevd.

Re-triggering a lot of devices is a relatively expensive operation and
therefore should be avoided if unnecessary.

Therefore this patch introduces --initialized-nomatch, which filters out
devices that are already present in the udev database. For consistance
reasons --initialized-match is implemented as well, which filters out devices
that are *not* already present in the udev database.

Replaces #19949.

sd-device-enumerator: support to list only initialized or uninitialized devices

unit: make systemd-udev-trigger.service use --prioritized-subsystem

Replaces #19637 and #22643.

udevadm trigger: introduce --type=all option

udevadm trigger: introduce --prioritized-subsystem option

sd-device-enumerator: introduce device_enumerator_scan_devices_and_subsystems()

sd-device-enumerator: drop /sys/subsystem support

This addresses the comment by Lennart
https://github.com/systemd/systemd/pull/22662#discussion_r829799863:
> /sys/subsystem is preparation for a future that never came.
> And given that the main proponent of this left Linux kernel
> development (Kay), I doubt this will ever come. So maybe we
> should start dropping references to /sys/subsystem/ given it's
> unlikely to materialize anytime soon.

sd-device-enumerator: introduce device_enumerator_add_prioritized_subsystem()

If a subsystem is specified, then matching devices and their parents are
listed at first.

sd-device-enumerator: introduce device_enumerator_sort_devices()

and devices are sorted when the iteration started.

Previously, devices added by udev_enumerate_add_syspath() ->
device_enumerator_add_device() are not sorted. This fixes the issue.

sd-device-enumerator: introduce device_enumerator_unref_devices() helper function

sd-device-enumerator: introduce sound_device_compare() and devpath_is_late_block() helper functions

kernel-install: check for /loader/entries.srel file as explicit marker for standards compliant /loader/entries directory

bootctl: automatically write out $BOOT/entries/standard.srel

bootctl: generalize open_tmpfile_linkable() use a bit

We want FILE* here, instead of a plain fd. Let's generalize this in
tmpfile-util.c, so we can reuse it later easily.

docs: add /loader/entries.srel to the boot loader spec

This new file is supposed to address conflicts with Fedora/Grub's
frankenbootloaderspec implementation, that squatted the /loader/entries/
dir, but place incompatible files in them (that do variable expansion?).

A simple text file /loader/entries.srel shall indicate which spec is
implemented. If it contains the string "type1\n" then the
/loader/entries/ directory implements our standard spec, otherwise
something else.

man: clarify that type #1 entries are also read from the XBOOTLDR partition

man: also install systemd-stub man page as sd-stub

So, typically systemd-boot is referenced as sd-boot, due to te usual
shorter naming in ESP resources. systemd-stub didnt do that so far,
since it never appears as separate files in the ESP. However it's super
annoying that you can find "man sd-boot", but not the very closely
related "man sd-stub". Let's fix that, and also add an "sd-stub" alias
to the "systemd-stub" man page.

man: clarify where the settings in type #1 entries are documented

So (maybe weirdly) loader.conf(5) documents both loader.conf and type #1
entries (because they share a similar syntax). But it then only lists
the options of loader.conf. Let's add an explicit hint where to find
the documentation of the type #1 entries.

man: clarify the format used by sd-boot config files

NEWS: try to fix old entry regarding KERNEL_INSTALL_LAYOUT

The old text was simply wrong, we used to read $layout from
/etc/kernel/install.conf and the machine ID from
$KERNEL_INSTALL_MACHINE_ID from /etc/machine-info. Correct that.

Apparently KERNEL_INSTALL_MACHINE_ID was already known back in v235
times, hence don't mention it anymore.

it's kinda weird retro-fixing these NEWS entries, given we deprecate
them again, but I couldn't let this really incorrect stuff be.

kernel-install: list fields we honour in /etc/kernel/install.conf

bootctl: load /etc/kernel/install.conf's $layout field, too

bootctl so far tried to determine the layout from /etc/machine-info, but
that's obsolete, and the kernel-install script never looked there. Let's
read the setting from /etc/kernel/install.conf instead, where
kernel-install actually looks.

Support for reading the field from /etc/machine-info is retained for
compat.

This means we'll now read /etc/machine-id, /etc/machine-info and
/etc/kernel/install.conf, and read the machine ID from the former too
and the layout setting from the latter two.

bootctl: $KERNEL_INSTALL_MACHINE_ID + $KERNEL_INSTALL_LAYOUT are deprecated

Let's add a comment about this, and generate log messages if these
fields are actually used.

sd-event: fix creation of floating event_add_time_change() event sources

We shouldn't auto-disable event sources we create in "floating" mode.
Hence don#t use the disabling destructor for event sources.

Given that noone else has access to this event source we just allocated
anyway there's no point in explicitly disabling it before freeing it.

Follow-up for ec75e8e07a0ad972e0c40e0a187e15a8d4fb3d66

Merge pull request #22808 from poettering/openat-report-newly

journal: add openat() wrapper that reports file creation, and use it in journal

man: fix sysupdate typos

Merge pull request #22804 from mrc0mmand/test-tweaks

A couple of TEST-69 tweaks

core/cgroup: Add OOM check

Check if process(es) of a cgroup were killed by Kernel OOM killer
or systemd-oomd before we send the cgroup empty notification.

This allows us to show the right exit state(ServiceResult)

journal-file: port journal_file_open() to openat_report_new()

We so far had some magic logic in place that files we open for write
with size zero are freshly created. That of course is a bogus
assumption, in particular as this code deals with corrupted file systems
which oftentimes contain zero size inodes from left-over runs.

Let's fix this properly, and actually let the kernel tell us whether it
create the file or not.

sd-journal: refuse invocation of journal_file_open() with O_RDONLY|O_CREAT

fs-util: add openat_report_new() wrapper around openat()

This is a wrapper around openat(). It works mostly the same, except for
one thing: it race-freely reports whether we just created the indicated
file in case O_CREAT is passed without O_EXCL.

update TODO

test: use a dropin to override the end.service unit

instead of removing it.

test: run test-shutdown.py in verbose mode

To make the debugging of spurious fails a bit easier.

test: don't try to execute a non-existing script

Merge pull request #22798 from keszybz/test-output-narrow-and-timeouts

Increase timeout for a flaky test and make test names shorter to avoid line wrapping in output

Merge pull request #22799 from keszybz/man-spelling-and-crosslinks

Typos and more internal links in documentation

basic/strv: avoid potential UB with references to array[-1]

"""
Given an array a[N] of N elements of type T:
- Forming a pointer &a[i] (or a + i) with 0 ≤ i ≤ N is safe.
- Forming a pointer &a[i] with i < 0 or i > N causes undefined behavior.
- Dereferencing a pointer &a[i] with 0 ≤ i < N is safe.
- Dereferencing a pointer &a[i] with i < 0 or i ≥ N causes undefined behavior.
"""

As pointed by by @medhefgo, here we were forming a pointer to a[-1]. a itself
wasn't NULL, so a > 0, and a-1 was also >= 0, and this didn't seem to cause any
problems. But it's better to be formally correct, especially if we move the
code to src/fundamental/ later on and compile it differently.

Compilation shows no size change (with -O0 -g) on build/systemd, so this should
have no effect whatsoever.

Drop unused variables to fix build

This is a merge conflict between #22740 and #20156.

man: cross-link to BLS in more places, use "Type #1", "Type #2" as appropriate

spelling: weekday names are capitalized

Merge pull request #20156 from poettering/sysupdate

new "systemd-sysupdate" component

test-nss-host: increase timeout

With my crappy home network the test takes 29.5s usually. But with any
tiny slowdown, it goes above the 30s limit and fails. Let's bump the
timeout to avoid spurious failures.

fuzz: rename fuzz-dhcp-server-relay-message to fuzz-dhcp-server-relay

We can only relay messages, so we can make the name shorter without
losing informational value. This makes meson test output look better.

fuzz: rename the longest test samples

"meson test" uses a test name generated from the file name and those long names
cause the test log output to exceed terminal width which looks bad. Let's replace
some long names with more-meaningful names that actually say something about
the tests.

Merge pull request #22740 from yuwata/list

tree-wide: declare iterator of LIST_FOREACH() in the loop

Merge pull request #22789 from poettering/timesync-struct-log

timesyncd: various refactorings and cleanup + structured log msg on first sync

po: fix "sistemd" typo in it.po

Also use "ricaricare" instead of "riavviare" for "reload"

strv: make iterator in STRV_FOREACH() declaread in the loop

This also avoids multiple evaluations in STRV_FOREACH_BACKWARDS()

update TODO

test: add integration test for sysupdate

man: add sysupdate documentation

unit: add units for new "systemd-sysupdate" tool

These unit (if enabled) will try to update the OS in regular intervals.
Moreover, every day in the early morning this will attempt to reboot the
system if there's a newer version installed than running.

sysupdate: add new component "sysupdate"

list: make LIST_FOREACH() and LIST_FOREACH_BACKWARDS() safer

list: declare iterator of LIST_FOREACH() in the loop

timesyncd: improve log message whe getting a reply from server

The message is misleading: it's not about synchronization but about
successful communicaiton. And it's not about "initial", but only about
first contact since we siwtched to this server.

Let's hence reword the message a bit.

timesyncd: generate a structure log message the first time we set the clock correctly

Usecase: later on we can use this to retroactively adjust log output in
journalctl or similar on systems lacking an RTC: we just have to search
for this sructured log message that indicates the first sync point and
can then retroactively adjust the incorrect timestamps collected before
that.

timesyncd: add debug logging in case we can't touch /run/systemd/timesync/synchronized

timesyncd: when updating timestamp file, use best time we know, instead of system clock

We adjust the system clock slowly after all, even if we know a more
accurate time. Use the accurate time for the timestamp.

timesyncd: rename bool 'good' → 'talking'

THe name is just too generic. Let's pick a name that makes clear that
this is about successful communication.

timesyncd: don't abort packet handling if we can't save the timestamp to disk

This should not be a fatal error, and it isn't in the other place we
call this.

sd-event: add a single implementation of an event source that runs on clock changes

We basically had the same code in three places. Let's unify it in a
common helper function.

event_add_time_change() might be something we should add to the official
sd-event API sooner or later, given its general usefulness.

timesyncd: move stuff that is not about setting the clock out of manager_adjust_clock()

Let's make sure manager_adjust_clock() is purely about setting the
clock, and nothing else.

Let's clean up logging this way. manager_adjust_clock() now won#t log
about errors, but the caller can safely do that, and do with the right
log message string.

timesyncd: use CMSG_FIND_DATA() macro where appropriate

timesyncd: merge some variable declarations

timesyncd: rebreak some comments

timesyncd: add comment what bool arg is